知识图与大型语言模型的协同作用

从非结构化文本中提取有价值的信息是金融行业的关键应用。然而，这项任务往往超出了简单的数据提取，需要高级推理能力。

一个典型的例子是确保信贷协议中的到期日，这通常涉及及时遵守和破译一个复杂的指令，如“到期日应在生效日期三周年之前的最后一个工作日”。这种级别的复杂推理对大型语言模型(LLM)提出了挑战。它需要结合外部知识，如假日日历，以准确地解释和使用给定的指示。集成知识图是一种很有前途的解决方案，具有几个关键优势。

Transformer的出现彻底改变了文本矢量化，实现了前所未有的精度。这些嵌入封装了深刻的语义含义，超越了以前的方法，这就是为什么大型语言模型（LLM）在生成文本方面如此出色的原因。

概述：这个LLM进一步展示了推理能力，尽管有局限性：他们推理的深度往往会迅速下降。然而，将知识图与这些向量嵌入结合可以显著提高推理能力。这种协同利用嵌入的丰富性，将推理能力提升到无与伦比的高度，标志着人工智能的重大进步。

详细说明：LLM（Language and Vision Model）是一种基于语言和视觉交互的模型，可以用于推理任务。它综合了视觉信息和语言信息，通过将知识图与这些嵌入向量结合起来，提高了推理能力。

LLM的推理能力有局限性，即当推理的深度增加时，其推理能力往往会迅速下降。然而，通过将知识图

在金融领域，LLM主要通过检索增强生成（RAG）来使用，这种方法将新的、训练后的知识注入LLM。这个过程包括对文本数据进行编码，为有效检索建立索引，对查询进行编码，并使用类似的算法获取相关段落。然后将这些检索到的段落与查询一起使用，作为LLM生成响应的基础。

这种方法大大扩展了LLM的知识基础，使其对财务分析和决策非常宝贵。虽然探索增强生成标志着重大的进步，但它也有局限性。

这是一个关键的缺点，存在于通道向量可能无法完全掌握查询的语义意图，从而导致忽略了重要的上下文。出现这种疏忽的原因是，嵌入可能无法捕捉到理解查询的全部范围所需的某些推断中断连接。

除非复杂的段落缩成单个向量可能会导致细微差别的丧失，模糊了分布在句子中的关键细节。

仍然是匹配过程单独处理每个段落，缺乏可以连续不同实例的联合分析机制。这种缺失阻碍了模型从多个来源聚合信息的能力，而聚合信息对于生成不同上下文信息达成全面而准确的响应通常是必需的。

改进检索增强生成框架的努力有很多，从优化块大小到使用父块检索器、假设问题嵌入和查询重写。虽然这些策略提供了改进，但它们不会导致革命性的结果变化。另一种方法是通过扩展上下文窗口来绕过检索增强生成，就像Google Gemini跃升到100万个令牌容量一样。然而，这带来了新的挑战，包括在扩展的背景下不一致的焦点和大量的信息，通常是数千倍的成本增加。

将知识图与密集向量结合起来是最有希望的解决方案。虽然嵌入有效地将不同长度的文本压缩为固定维向量，从而能够识别语义相似的短语，但它们有时无法区分关键的细微差别。例如，“来自银行的现金和到期”和“现金和现金等价物”产生几乎相同的向量，这表明相似性忽略了实质性差异。后者包括有息实体，如“资产支持证券”或“货币市场基金”，而“银行到期”指的是无息存款。

知识图能捕获概念之间复杂的相互关系。这培养了更深层次的上下文洞察力，通过概念之间的联系强调了额外的独特特征。例如，美国公认会计准则知识图谱清楚地将“现金和现金等价物”、“银行计息存款”和“银行到期”的总和定义为“现金和现金等价物”。

通过整合这些详细的上下文线索和关系，知识图显著提高了LLM的推理能力。它们可以在单个图中实现更精确的多级推理，并促进跨多个图的联合推理。

以上就是知识图与大型语言模型的协同作用的详细内容，更多请关注叮当号网其它相关文章！