Salesforce高管：“幻觉”影响“可靠性”

Salesforce在实际应用中遇到了多项大模型技术挑战，当给大模型超过8个指令时，它会开始遗漏指令，这对需要精确处理的任务来说并不理想。此外，AI还会出现“漂移”现象，“当用户提出无关问题时，AI代理会失去对其主要目标的关注”。

企业软件巨头Salesforce高管承认，对大模型的信任度在过去一年中有所下降，该公司正在其主要AI产品Agentforce中减少对生成式AI的依赖，转而采用更多基础的“确定性”自动化技术来提高软件可靠性。

周一，据The Information报道，Salesforce产品营销高级副总裁Sanjna Parulekar表示：“我们所有人在一年前对大语言模型都更有信心。”该公司现在Agentforce中使用基于预定义指令的确定性自动化，而非完全依赖AI模型的推理和解释能力。

这一策略调整旨在解决大模型在处理精确任务时出现的“幻觉”等技术故障，确保关键业务流程每次都遵循完全相同的步骤。Salesforce网站现在强调Agentforce能够帮助“消除大模型固有的随机性”。

作为最具价值的软件公司之一，Salesforce对大模型的部分退让可能对数千家使用该技术的企业产生影响，目前Agentforce预计年收入将超过5亿美元。

技术可靠性挑战推动策略转变

Salesforce在实际应用中遇到了大模型的多项技术挑战。该公司Agentforce首席技术官Muralidhar Krishnaprasad指出，当给大模型超过8个指令时，它会开始遗漏指令，这对需要精确处理的任务来说并不理想。

家庭安防公司Vivint的经历印证了这些问题。该公司为250万客户使用Agentforce处理客户支持，但遇到了可靠性问题。例如，尽管给出了在每次互动结束时向客户发送满意度调查的指令，但Agentforce有时会因无法确定的原因不发送调查。

为解决这类问题，Vivint与Salesforce合作在Agentforce内设置了"确定性触发器"，确保每次都能发送调查。使用这种基础自动化形式不仅降低了运营成本，也为客户提供了更低的价格。

应对AI"漂移"现象

Salesforce高管Phil Mui在10月的博客文章中描述了另一个关键挑战：AI“漂移”现象。据Mui介绍，该公司“最复杂的客户”在使用AI时遇到困难，“当用户提出无关问题时，AI代理会失去对其主要目标的关注”。

例如，被编程引导客户填写表格的AI聊天机器人在客户提出与表格无关的问题时会“失去焦点”。为解决这一问题，Salesforce开发了Agentforce Script系统，通过识别哪些任务可以由不使用大模型的"代理"处理来最小化大语言模型的"不可预测性"。

该系统目前处于测试阶段，旨在确保AI代理在面对偏离问题时仍能保持专注于核心任务。

实际应用中的调整与优化

在自身运营中，Salesforce也调整了对大模型的使用程度。尽管CEO Marc Benioff此前表示，部分依赖OpenAI大模型的Agentforce现在处理Salesforce大部分客户服务询问，使公司能够裁减约4000名客户服务人员，但该公司近期似乎减少了其客户服务代理对大模型的使用。

例如，上周该公司在回应Agentforce技术问题的协助请求时，显示了博客文章链接列表，而非询问更多信息或讨论可能的问题。这种响应方式类似于企业多年来使用基础聊天机器人处理客户或网站访客问题的方式。

Salesforce发言人表示，公司今年“完善了主题结构，加强了防护措施，提高了检索质量，并调整响应以更具体、更符合上下文、更符合真实客户需求”。该发言人称，帮助代理解决的客户问题比以往任何时候都多，预计在1月底结束的财年中，已解决对话数量将增长90%。

这一趋势反映了整个行业面临的挑战。本月早些时候，由企业AI初创公司Sierra提供支持的Gap Inc.聊天机器人回答了关于成人用品和纳粹德国的问题，凸显了大模型偏离预期用途的普遍性问题。