大型语言模型 （LLM） 非常强大，但它们经常难以跟踪全局想法。这是因为 LLM 的工作原理是一次预测一个标记或单词的文本。
这种逐个标记的方法，再加上有限的上下文窗口，可能会导致脱节的响应、丢失上下文和大量重复。这就像试图通过猜测下一个单词而不是先概述你的想法来写一篇文章。
这就是大型概念模型 （LCM） 可能有用的地方。LCM 不是逐字处理，而是在句子级别处理语言并将语言抽象为概念。这种抽象使模型能够以更深思熟虑和有意义的方式理解语言。
什么是大型概念模型？
大型概念模型 （LCM） 是一种在概念级别处理语言而不是分析单个单词的语言模型。与逐字分解文本的传统模型不同，LCM 解释语义表示，这些语义表示对应于整个句子或有凝聚力的想法。这种转变使他们能够掌握语言的更广泛含义，而不仅仅是机制。
想象一下读一本小说。LLM 将逐个标记处理它，专注于单个单词及其直接邻居。使用这种方法，它可以通过预测最可能的下一个单词来生成摘要。但它可能会错过更广泛的叙事和潜在主题。
但是，LCM 会分析较大的文本部分以提取基本思想。这种方法可以帮助他们理解更广泛的概念：整体故事情节、角色发展和主题。这种方法不仅可以帮助他们生成更完整的摘要，还可以帮助他们以更有意义的方式扩展故事。
与语言无关的方法
这种用概念而不是文字思考的能力使 LCM 非常灵活，这使它们能够处理 200 多种语言的文本和 76 种语言的语音。
LCM 不依赖于特定于语言的模式，而是在概念层面存储含义。这种抽象使它们适用于多语言摘要、翻译和跨格式内容生成等任务。
保持长篇内容的连贯性
由于 LCM 在概念级别处理语言，因此它们会生成结构化的上下文感知输出。与逐字构建文本的 LLM 不同，LCM 使用整个句子的数字表示来保持逻辑流畅。这使得它们对于起草报告或翻译冗长文档等任务特别有效。
它们还具有模块化设计，允许开发人员集成新的语言或模式，而无需重新训练整个系统。
LLM 与 LCM
LLM 和 LCM 有许多相同的目标：都生成文本、汇总信息和在语言之间进行翻译。但他们完成这些任务的方式从根本上不同。
LLM 一次预测一个标记的文本，这使得它们非常擅长生成流畅的句子。然而，这通常会导致较长的输出不一致或冗余。另一方面，LCM 在句子级别处理语言，使它们能够在扩展的段落中保持逻辑流畅。
另一个区别是他们如何处理多语言处理。LLM 严重依赖来自高资源语言或具有大量培训内容的语言（如英语）的训练数据。因此，他们经常与缺乏大型数据集的低资源语言作斗争。
但是，LCM 在 SONAR 嵌入空间中运行。这种嵌入空间允许他们处理多种语言的文本，而无需重新训练。使用抽象概念使它们更易被接受。
| 能力 | LLM 的工作原理 | LCM 如何改进 |
| 多语言和多格式的灵活性 | 主要接受高资源语言的培训，并努力使用不太常见的语言。需要针对不同格式（如语音）进行额外培训。 | 支持 200+ 种语言，支持文本和语音，无需额外培训。 |
| 泛化到新任务 | 需要微调以处理新的语言或主题。与不熟悉的数据作斗争。 | 使用独立于语言的系统，使其无需额外培训即可处理新的语言和任务。 |
| 长篇内容的连贯性 | 逐字写作，使长回复容易出现不一致或重复。 | 一次处理完整的句子，使回答比长文本更清晰、更有条理。 |
| 处理环境的效率 | 由于内存和处理需求不断增长，难以使用更长的输入。 | 使用紧凑的句子表示形式，可以更轻松地有效地处理长文档。 |
LCM 的核心组件
大型概念模型通过一个由三部分组成的系统实现其独特的功能：
- 概念编码器：将输入转换为语义嵌入空间
- LCM 核心：执行推理和预测
- 概念解码器：将模型的输出转换为人类可读的语言
上图是对 LCM 的三个模块化组件如何工作的简化说明。编码器将语言转换为抽象概念。在这里，这些抽象概念表示为图像。在模型中，这些概念以数学方式表示。核心对这些概念运行推理。然后，解码器将这些抽象转换为人类可读的语言。对于这个数字，Copilot 提供了动物图画的初稿。
概念编码器：将输入转化为概念
LCM 处理管道的第一步是将输入编码为高维语义表示。从本质上讲，这将语言转化为概念的数学表示。此概念编码器映射大段文本，如整个句子。
LCM 使用 SONAR，这是一个强大的语言嵌入空间。正是这个嵌入空间支持文本和语音的不同语言。SONAR 允许编码器处理书面和口语，将概念提炼成模型可以理解的内容。
LCM 核心：推理和预测
对概念进行编码后，LCM 核心会对其进行处理，以根据上下文生成新的概念。这就是推理发生的地方。与逐个预测文本标记的 LLM 不同，LCM 核心可以预测整个句子或概念。
LCM 内核有三种类型，每种内核都有不同的建模概念方法：
- Base-LCM：一种标准转换器，它使用均方误差损失从之前的概念中预测未来概念。
- 基于扩散的 LCM：一种生成模型，通过自回归扩散来优化嘈杂的句子嵌入，类似于 AI 图像生成器迭代优化其输出的方式。
- 量化 LCM：在建模之前将连续的句子嵌入向量转换为离散单元，使其类似于 LLM，但具有更大的标记大小。
其中，基于扩散的 LCM 已显示出最佳的预测能力，可产生最准确和上下文连贯的输出。
概念解码器：回到人类可读的语言
一旦 LCM Core 处理并预测了新概念，就必须将它们转换回人类可读的形式。这是概念解码器的工作。它将概念的数学表示形式转换为文本或语音输出。
由于基础概念存储在共享嵌入空间中，因此可以将它们解码为任何受支持的语言，而无需重新处理。这非常强大，因为这意味着输出与语言无关。所有的 “思考” 都发生在数学上。因此，主要受英语和西班牙语训练的 LCM 可以读取德语输入、数学“思考”并生成日语内容。
这也意味着 可以在不重新训练整个模型的情况下添加新的语言和模式。如果开发了新的语音转文本系统，它可以与现有的 LCM 集成，而无需大量的计算资源。
想象一下，如果有人制作了手语编码器和解码器。他们可以将其添加到现有的 LCM 核心中，而无需重新训练，并以完全不同的格式交流想法。这种灵活性使 LCM 成为多语言和多格式 AI 应用的可扩展且适应性强的解决方案。
由于 LCM 的每个部分都是模块化的，因此每个部分都可以独立更换。在上图中，我们将之前的英语编码器和解码器换成了希腊语编码器和亚美尼亚语解码器。
这些编码器和解码器也可以换成处理不同语言模态的编码器和解码器，例如口头语音而不是文本。对于这个数字，谷歌翻译提供了英文翻译，Copilot 提供了动物图画的初稿。
LCM 应用
LCM 的应用与 LLM 的应用重叠，但由于它们专注于概念和更深入的理解，因此它们有可能对需要更深入思考的行业产生更深远的影响。
多语言交流
LCM 通过在与语言无关的嵌入空间中运行来简化翻译并增强跨语言理解。这使得它们对于多语言摘要或复杂文档的翻译等任务特别有效。
例如，LCM 可以用一种语言处理复杂的法律文件，并使用另一种语言生成连贯的摘要。此功能对于全球组织、国际交流和涉及资源匮乏语言的翻译非常宝贵。
内容生成
LCM 擅长产生连贯且与上下文相关的输出，使其成为起草报告、撰写文章和创建摘要等任务的理想选择。通过保持长篇内容的逻辑一致性，LCM 可以生成比 LLM 需要明显更少的编辑工作的输出，从而为新闻、营销和研究领域的专业人士节省时间和精力。
教育工具
我认为 LCM 对教育的适用性最令人印象深刻。想象一下，一个由 LCM 提供支持的智能辅导系统，可以生成为个人学习者量身定制的解释性和交互式内容。
LCM 导师可以将一个复杂的主题总结成更简单、概念上易于理解的片段，供不同专业知识水平的学生使用。它跨语言的适应性可以让一位老师同时用数百种语言教学生！
创意写作和研究支持
LCM 也非常适合协助研究和创意写作。他们可以起草结构化、连贯的文章，例如论文、研究论文或虚构叙述，提供作者可以进一步完善的初稿。
研究人员还可以使用 LCM 来组织想法、扩展摘要，甚至根据现有数据生成假设。它们解决了研究人员认为当前 LLM 令人沮丧的许多问题。
改进的客户支持聊天机器人
我敢肯定，我不是唯一一个在与这些新的 LLM 驱动的客户支持机器人互动时有过令人沮丧的经历的人，只是因为它不理解我的问题。在 LCM 的支持下，客户支持聊天机器人可以更好地了解复杂情况，甚至可能提供更具创意的解决方案。这可以提高客户满意度和保留率。
目前，LLM 用于其中的几种功能，但它们的疗效有限。LCM 有可能提升这些应用程序的质量。很快，我们的 AI 助手可能更像是拥有真正的人类助手，能够跟随更复杂的想法和对话——只是它们的沟通速度比我们快得多。
大型概念模型的挑战
虽然 LCM 提供了令人兴奋的可能性，但它们也带来了数据要求、复杂性和计算成本方面的挑战。让我们回顾一下当前面临的一些最大挑战。
更高的数据和资源需求
训练任何 AI 模型都需要大量数据，但与 LLM 相比，LCM 具有额外的处理步骤。它们不使用原始文本，而是依赖于句子级表示，这意味着文本必须首先分解成句子，然后转换为嵌入。这增加了一层预处理和存储需求。
此外，对数千亿个句子进行训练需要巨大的计算能力。
增加复杂性和调试
LCM 将整个句子作为单个单元处理，这有助于维护逻辑流程，但会使故障排除更加困难。
LLM 一次生成一个单词的文本，允许我们将错误追溯到单个标记。相比之下，LCM 在高维嵌入空间中运行，其中决策基于抽象关系。
更高的计算成本
LCM，尤其是基于扩散的模型，需要比 LLM 更多的处理能力。LLM 在一次前向传递中生成文本，而基于扩散的 LCM 逐步优化其输出，这会增加计算时间和成本。虽然 LCM 对于长文档可能更有效，但它们对于快速响应或基于聊天的交互等短格式任务的效率通常较低。
结构限制
在句子层面定义概念本身也会带来挑战。较长的句子可能包含多个想法，因此很难将它们作为一个单元来捕获。较短的句子可能无法提供足够的上下文来进行有意义的表示。
LCM 还面临数据稀疏问题。由于单个句子比单词更独特，因此该模型需要学习的重复模式较少。
这项技术正在迅速发展，这些挑战正在积极解决。由于这项技术是开源的，因此您可以添加自己的解决方案来帮助应对这些挑战并推进这项技术。
开始使用 LCM
要了解有关 LCM 背后的理论的更多信息，请查看 Meta 的这篇论文。
结论
LCM 在概念层面运行的能力有可能改进 AI 与语言的交互。通过超越基于令牌的分析的限制，LCM 为更细致、上下文感知和多语言的应用程序开辟了道路。
我鼓励您亲自查看代码并添加您自己的风格。您可以对这项技术进行哪些改进？您可以用它创建哪些产品？