任何使用过生成式人工智能的人都会对幻觉非常熟悉。幻觉是指人工智能系统生成虚假或误导性信息，这种缺陷通常源于其训练数据或模型设计的局限性。这种不准确性可能以不可预测的方式出现，其严重程度也有很大差异——从轻微错误到严重扭曲，可能会严重扭曲决策过程。
Lamini Memory Tuning 旨在显著减少幻觉，从 50% 减少到 5%，即减少 90%。该技术能够将确切的事实嵌入 LLM，据报道准确率高达 95%，与之前方法提供的 50% 准确率相比有了显著提高。
通过专门调整任何开源 LLM 上的数百万个专家适配器（例如 LoRA（低秩自适应），Lamini 内存调整可确保精确保留事实，包括从历史事件到复杂的技术数据，并且不会产生这种精度通常带来的高延迟和成本。
记忆专家的混合体
该方法受到思维导图的启发，在推理过程中有选择地从索引中激活最相关的专家，从而大大减少不必要的计算。
例如，该公司表示，当被要求回忆有关罗马帝国的具体事实时，该系统只会提取有关朱利叶斯·凯撒、渡槽或军团的必要信息，避免激活不相关的模型权重。
Lamini 内存调优背后的底层技术涉及一种稀疏激活框架，即混合内存专家 (MoME)，该框架可扩展以支持仅受训练数据大小限制的大量事实。Lamini 表示，这种方法不仅可以提高模型响应能力，还可以显著减少计算需求，使其成为提高各种应用程序中 LLM 性能的可行解决方案。
TechRadar Pro 的更多内容
1718694094
#Dropbox #和 #Figma #支持的初创公司推出了突破性技术可以解决最大的 #问题之一AMD #的 #BFF #Lamini #承诺使用类似思维导图的过程将幻觉减少
2024-06-18 06:50:28
