抛开”一键生成”的幻想:在企业中重塑 AI 系统,实现确定性与可解释性
引言
近年来,随着人工智能(AI)技术的突飞猛进,尤其是大型语言模型(LLM)的迅速崛起,“一键生成知识图谱”这一概念在技术领域引发了广泛的关注和讨论。人们充满期待地认为,借助自动化工具,可以从海量的数据中快速生成知识图谱,实现对信息的高效组织和深度挖掘。这一前景听起来既令人振奋,又似乎预示着数据处理的未来方向。
然而,当我们尝试将这种先进的技术应用于真实的企业业务场景时,却不得不面对现实中存在的诸多挑战和局限性。
一、一键生成的局限性:从玩具示例到企业现实
在实验室环境或是简单的演示场景中,使用自动化工具生成知识图谱往往能够取得令人印象深刻的效果。只需输入一些数据,系统便能迅速地构建出可视化的节点和关系,展示出数据之间的关联性和潜在价值。这些示例充分展示了技术的潜力,让人们对未来充满了无限遐想。
然而,当我们将同样的方法应用到复杂的企业业务中时,却发现事情远没有想象中那般顺利。企业业务涉及到复杂的业务逻辑、多样化的数据来源以及高度定制化的需求。生成的知识图谱虽然在规模上可能十分庞大,但其中的节点和关系往往缺乏深层次的业务关联性。很多情况下,这些图谱只能体现出表面上的链接,而无法揭示数据背后真正的商业意义和逻辑关系。这样的结果显然无法满足企业对于精准分析和决策支持的实际需求。
1.1 案例分析:嘈杂混乱的证据链提取
为进一步阐述这一问题,我们曾与一家大型企业客户合作,他们的需求是从大量非结构化、嘈杂的数据中提取准确的证据链。这些数据来源繁杂多样,包括文本、图像、音频等各种形式,信息混乱且质量参差不齐。
面对如此复杂的数据环境,现有的自动化知识图谱生成工具似乎显得力不从心。尽管这些工具能够在短时间内创建一个规模庞大的知识图谱,但深入分析后我们发现,其中缺乏对业务有实际意义的深层关联。许多节点和关系只是基于表面的关键词匹配或简单的关联规则,无法准确反映企业所需的证据链和核心业务逻辑。
这种情况下,生成的知识图谱不仅无法为企业提供有价值的洞察,甚至可能因为信息的混乱而导致误判,给决策带来风险。
1.2 结论:避免陷入无休止的关系调优
由此可见,如果我们无法 100%自动生成符合业务需求的三元组关系,那么我们与客户都将陷入无休止的关系调优之中。这意味着需要大量的人力和时间来手动修正和完善生成的知识图谱,使其逐步符合业务需求。
这种过程不仅耗时耗力,拖延项目进度,而且会大幅增加成本,影响项目的整体收益和效益。更为关键的是,频繁的手动调优可能导致团队对自动化工具的信心下降,质疑技术的有效性和可靠性。这将阻碍企业对新技术的采纳和信任,不利于未来 AI 应用的推广和发展。
二、追求确定性:构建可解释的 AI 系统
面对这些挑战,我们意识到,企业真正需要的是可解释、具有确定性的 AI 系统,而不仅仅是依赖 LLM 输出的黑盒模型。在复杂多变的业务环境中,企业要求 AI 系统的决策过程透明、行为可控,以确保其输出结果的可靠性和合规性。
因此,执行明确的规则和设置严谨的”护栏”成为了构建 AI 系统的关键。通过明确的规则定义和业务逻辑嵌入,AI 系统可以在处理数据时遵循预设的路径,避免偏离业务需求或产生不可预知的结果。这不仅增强了系统的可解释性,也提高了其在实际应用中的可靠性,为企业带来实实在在的价值。
2.1 确定性方法与无限工具的支持
在我们看来,代理系统是一种具备智能和认知能力的软件,它能够理解自然语言并执行已编程的任务。与传统软件一样,开发人员需要明确指定应用程序的行为和逻辑。只有通过对系统进行精确的编程,系统才能准确地执行任务,将开发人员的意图形式化地表达出来。除非对系统进行编程,否则它并非真正自主,而是依赖于内部预设的规则和逻辑。
我们的方法强调以确定性的方式控制系统的行为,从而减少对模型微调的需求。通过精确的规则定义和逻辑控制,我们可以确保系统从始至终按照预期运行,避免因模型不确定性带来的风险。
与传统的代理框架如 LangChain、LangGraph 或 Llama-Index 不同,我们的实现具有更高的灵活性和可定制性。我们可以自定义是否使用任何 React/MKRL 代理,根据具体的业务需求选择最适合的工具。此外,我们的方法允许系统在每一个处理步骤中自由选择所需的工具,而不受预先定义的限制。这种设计使得系统能够处理无限数量的工具,满足各种复杂多样的业务需求。
三、我们的实现:LLM 自主选择执行路径的 SOP 执行引擎
为了满足企业对复杂业务流程自动化和智能化的需求,我们开发了一个 LLM 自主选择执行路径的 SOP(标准操作程序)执行引擎。该引擎结合了 LLM 的自然语言理解能力、明确的业务流程控制以及实时反馈,实现了灵活、确定性的业务流程自动化。
3.1 业务流程状态机
我们使用 Mermaid 格式的状态图来描述业务流程。LLM 能够理解这些状态图,并根据上下文在不同的节点之间进行跳转。
示例:汽车销售流程状态图
stateDiagram-v2 [*] --> 系统初始化 系统初始化 --> 数据加载完成 数据加载完成 --> 身份确认 身份确认 --> 认知途径确认 认知途径确认 --> 自我介绍 自我介绍 --> 确认认知途径 确认认知途径 --> 了解购车意愿 了解购车意愿 --> 确认购车意愿 确认购车意愿 --> 了解购车预算 了解购车预算 --> 确认购车预算 确认购车预算 --> 了解欲购车型 了解欲购车型 --> 确认欲购车型 确认欲购车型 --> 了解欲购车款 了解欲购车款 --> 确认欲购车款 确认欲购车款 --> 邀约客户到访 邀约客户到访 --> 同意到访 同意到访 --> 添加联系方式 添加联系方式 --> 添加成功 确认购车意愿 --> 异议处理: 存在异议 异议处理 --> 异议解决 异议解决 --> 确认购车意愿: 解决异议 异议解决 --> 无法解决: 无法解决异议 无法解决 --> 结束服务 添加成功 --> [*] 结束服务 --> [*]
3.2 实时反馈与动态跳转
LLM 可以根据用户的输入和当前上下文,自主决定在状态图中的下一步操作。这种方式结合了 LLM 的自然语言理解能力、明确的流程控制和实时反馈,实现了流程的自动化和智能化。
特点和优势:
- 可解释性:业务流程以状态图形式呈现,便于理解、维护和审计。
- 灵活性:LLM 根据上下文进行实时决策,提升用户体验。
- 确定性:明确的流程控制,确保业务逻辑的正确执行。
- 实时反馈:系统能够根据用户的反馈和需求变化,动态调整执行路径,提供个性化服务。
3.3 结合 Weaviate 的向量化数据引用
除了状态机的实时控制,我们的系统还支持实时反馈与用户修改的注入,并结合了向量化的数据引用,特别是使用了 Weaviate(一种开源的向量数据库)。
Weaviate 的作用:
- 增强数据检索:通过向量化的数据索引,系统能够快速、高效地检索相关信息。
- 丰富上下文管理:在与用户交互时,LLM 可以参考向量化的数据,提供更准确的回答和建议。
- 支持用户修改注入:当用户提供新的信息或修改需求时,系统能够实时更新数据引用,确保最新的信息被纳入考虑。
案例示例:在与客户交互过程中,客户可能提出特定的车型偏好。系统通过 Weaviate,将客户的偏好向量化,与数据库中的车型信息进行匹配,实时提供符合客户需求的车型建议。
四、开发者自定义工具调用:OpenAPI 转 LLM 工具调用系统
为了让开发者能够自定义并集成工具调用,我们构建了 OpenAPI 转 LLM 工具调用系统,实现了从 OpenAPI 规范到 LLM 工具调用的自动转换。该系统旨在提升开发协作效率,加快工具链集成与模型对接。
4.1 系统概述
核心目标:
- 自动化转换:将 OpenAPI 文档自动解析为 LLM 可以调用的工具定义。
- 标准化接口:提供统一的工具调用接口,方便开发者使用和扩展。
- 灵活的执行引擎:满足多种微服务的执行需求,包括同步和异步调用。
4.2 架构设计
graph TD A[OpenAPI文档] --> B[转换引擎] B --> C[工具注册表] C --> D[执行引擎] D --> E[参数处理器] E --> F[LLM交互层] F --> G[工具调用结果]
- 转换引擎:解析 OpenAPI 文档,将 Path、Operation 和 Schema 转换为工具调用接口。
- 工具注册表:管理解析后的工具,支持注册、查询与调用。
- 执行引擎:提供工具调用的执行能力,支持多种调用方式。
- 参数处理器:校验并转换输入参数,确保调用参数的正确性。
- LLM 交互层:LLM 根据需求选择合适的工具并构造参数。
4.3 开发者自定义工具调用的优势
- 便捷的工具集成:开发者可以通过 OpenAPI 规范,快速将新工具集成到系统中,丰富系统功能。
- 统一的接口规范:通过标准化的接口规范,使得工具调用更加一致,减少了对接成本。
- 自动化转换:工具的定义和参数可以自动从 OpenAPI 文档中解析,无需手动编写代码。
五、对比现有框架:我们的优势
与现有的代理框架(如 LangChain、LangGraph 或 Llama-Index 等)相比,我们的方法具有显著优势:
- 完全控制:实现了对系统行为的完全控制。
- 可以选择性的使用 React/MKRL 代理
- 无限工具集成:系统允许在每一步自由选择工具,不受预先定义的限制,支持无限数量的工具集成。
- 开发者意图形式化:通过对系统进行编程,开发者的意图得以形式化,系统行为透明、可预测。
- 减少微调需求:确定性的系统行为减少了对 LLM 微调的依赖,降低了开发成本和复杂性。
- 实时反馈与向量化引用:结合 Weaviate,实现了实时的用户反馈处理和高效的数据引用,提升了系统的智能化水平。
结语
“一键生成知识图谱”的概念虽然吸引人,但在复杂的企业应用中,我们需要更加务实的方法。通过结合 LLM 的自然语言理解能力、确定性的流程控制、实时反馈机制,以及向量化的数据引用(特别是 Weaviate 的使用),我们构建了一个满足企业需求的智能系统。
此外,开发者还可以通过 OpenAPI 转 LLM 工具调用系统,方便地自定义和集成工具,进一步增强系统的功能和灵活性。
**我们的方法减少了微调的需要,因为我们可以从头到尾以确定性的方式控制系统的行为。**这种方法不仅提高了系统的可解释性和可控性,还为企业创造了实实在在的价值。
在 AI 技术飞速发展的今天,面对”一键生成”的诱惑,我们更需要冷静地思考其在实际应用中的可行性和有效性。只有建立在确定性和可解释性基础上的 AI 系统,才能真正满足企业的需求,推动业务的发展。抛开幻想,脚踏实地,我们才能在 AI 领域走得更远,走得更稳。