StreamSparkAI

概览/核心摘要 (Executive Summary)

Div Garg 在斯坦福 CS25 的演讲中，深入探讨了通往通用人工智能（AGI）路径上自主 AI 代理（Agent）的现状、挑战与未来。他认为，尽管超级智能似乎指日可待，但当前代理在推理、目标一致性、记忆和不确定性处理方面仍显脆弱。Garg 强调，实现 AGI 不仅仅是模型改进，更需要重新思考智能系统的设计、评估和部署，特别是采用人类启发的方法。他介绍了其团队在 AGI Inc. 和先前在 MultiOn 的工作，包括构建能够与计算机交互并协助日常任务的代理。演讲核心内容包括：AI 代理的通用架构（记忆、工具、规划、行动），通过模拟加州DMV驾驶考试等真实案例展示代理潜力；强调了严格评估标准的重要性，并展示了其团队构建的模拟网站环境（如 evaldraxfive c [原文如此，可能为转录错误]）用于基准测试，结果显示即便是 GPT-4o 等前沿模型在特定代理任务上成功率仍有不足（如 GPT-4o 仅14%）。Garg 详细阐述了通过强化学习（如其 AgentQ 系统，结合蒙特卡洛树搜索、自评机制和DPO）训练代理以实现自我改进，并能在特定任务（如OpenTable预订）上达到超过95%的准确率。他还讨论了长期记忆、个性化对代理的重要性，以及代理间通信（如MCP、A2A协议）的进展与挑战。最后，他指出了代理系统面临的关键问题，如可靠性（需达99.9%）、循环行为，并提出了通过严格测试、监控和人类监督来解决的思路。

引言与演讲者背景

• 演讲者：Div Garg，AGI Inc. 的创始人兼CEO，一个致力于重新定义 AI 与人类交互并将 AGI 带入日常生活的应用型 AI 实验室。
  • 此前创立了 MultiOn，这是首批 AI 代理创业公司之一，开发能与计算机交互并协助完成日常任务的代理，获得了顶尖硅谷风险投资公司的投资。
  • Garg 的职业生涯聚焦于 AI、研究和创业的交叉领域，曾是斯坦福大学专注于强化学习（RL）的博士生（后辍学）。
  • 其工作涵盖自动驾驶汽车、机器人、计算机控制和 Minecraft AI 代理等多个高影响力领域。
• 演讲主题：探讨以人类为灵感设计 AI 代理的方法，以及通往 AGI 之路如何需要重新思考智能系统的设计、评估和部署。
• 当前AI发展背景：
  • 超级智能似乎“近在咫尺 (round the corner)”。
  • 前沿模型持续扩展。
  • 新一代自主AI代理正在兴起，它们能够在开放环境中感知、推理和行动，代表着向AGI迈出的初步步伐。
• AGI面临的挑战：
  • 脆弱的推理能力 (brittle reasoning)
  • 目标漂移 (drifting goals)
  • 浅层记忆 (shallow memory)
  • 在不确定性下校准能力差 (poor calibration under uncertainty)
  • 实际部署暴露了当前代理的脆弱性。
• 解决方案方向：不仅仅是模型改进，更需重新思考设计、评估和部署，包括严格的评估指标和紧密的用户反馈循环，以构建能推理、记忆和恢复的系统。

AGI 的形态与 AI 代理的架构

• AGI 的未知形态：Div Garg 指出，AGI 目前仍是一个抽象概念，其具体形态尚不明确。
  • 可能是某种超级计算机。
  • 可能是十倍强大的 ChatGPT。
  • 可能是更个性化的伴侣。
  • 可能是嵌入生活中的某种形态。
• AI 代理的核心架构 (基于 OpenAI 研究员 Lilian Wang 的图表)：
  1. 记忆 (Memory)：
     • 短期记忆：如聊天窗口的即时内容。
     • 长期记忆：如用户的个人历史、偏好（“用户喜欢什么，不喜欢什么”）。
  2. 工具 (Tools)：代理应能像人类一样使用工具。
     • 例如：计算器、日历、网络搜索、编码等。
  3. 高级规划 (Advanced Planning)：
     • 反思 (Reflection)：出现问题时，能进行故障转移、错误纠正和恢复。
     • 自我批判 (Self-criticism)。
     • 分解 (Decomposition)：如思维链，使代理能进行自主推理循环，将复杂任务分解为子目标。
  4. 行动 (Actions)：代理能够代表用户执行任务。
• Garg 认为，这种架构随着系统能力的增强，最终可能导向某种形式的 AGI。

AGI Inc. 的探索与真实世界应用案例

• AGI Inc. 的使命：探索 AGI 在日常生活中的应用形态。
• 真实世界应用演示 (旧案例)：AI 代理通过加州DMV驾驶理论考试。
  • 场景：一个AI代理参与真实的DMV在线考试，人类操作员双手离开键盘。
  • 过程：代理自主完成包含约40个问题的考试。DMV方面对过程进行了屏幕录制并监控摄像头中的人。
  • 结果：代理成功“规避了整个设置 (evade like the whole startup)”并通过了考试。Garg 团队称之为一次“白帽黑客尝试 (White hat hacking attempt)”，事后通知了DMV，并且DMV还寄送了驾照。
  • 意义：展示了AI代理在真实世界应用的巨大潜力。

推动 AI 代理发展的关键举措

Div Garg 及其团队和 AI 社区在以下几个方面做出了努力：

1. 代理评估 (Agent Evaluations)：
   • 目标：建立在真实世界中评估代理的标准和基准。
   • 关注点：代理在不同网站或用例上的表现如何？如何信任它们？何时何地以及如何部署和使用它们？
2. 代理训练 (Agent Training)：
   • 目标：训练代理进行高级规划、自我纠正和自我提升。
   • 方法：结合强化学习 (reinforcement learning) 和其他先进技术。
3. 代理通信 (Agent Communication)：
   • 目标：实现代理与代理之间的有效沟通。
   • 近期突破：
     • 模型上下文协议 (Model Context Protocol, MCP)：一个新兴的协议。
     • 谷歌的 A2A (Agent-to-Agent) 通信协议。
     • Garg 团队的开源项目 Agent Protocol：允许不同类型的代理（如编码代理、网页代理、基于API的代理）相互通信，从而完成更复杂的任务。

为何需要 AI 代理及其优势

• 核心论点：“代理在数字世界中与计算机交互的效率将高于人类 (Agents will be more efficient in interfacing with computers in the digital world compared to humans)。”
• 愿景：拥有一支完全数字化的虚拟助手军队，通过人类界面进行交互，代表用户执行任务。Garg 提及了其博文 “Software 3.0” 阐述了部分此类观点。
• 超越大型语言模型 (LLM)：LLM 本身不足，需要行动能力来释放更高生产力并构建更复杂的系统。
• 构建模块：涉及链式模型、反思机制、记忆、行动、个性化、互联网接入等。

为何选择类人代理 (Human-like Agents)

• 与现有界面的兼容性：类人代理能像人类一样操作为人类设计的界面（如互联网、网页、计算机应用，通常基于键盘鼠标交互）。
  • 这使得代理可以直接与现有软件程序交互，覆盖“100%的互联网 (100% of the Internet)”，无需等待API。
  • 相比之下，API代理受限于公开API（仅约5%的API是公开的），且在API上的可靠性难以保证。
• 用户的数字延伸：代理可以学习用户习惯、上下文，并以用户的方式执行任务。
• 更少的限制边界：类人代理可以处理登录、支付等操作，与任何服务交互，不受API访问权限的限制（无需支付API费用或向服务商申请权限）。
• 简单的行动空间：代理只需学习“点击 (click)”和“输入 (type)”，即可泛化到任何界面，并通过用户记录、反馈等数据不断改进。
• API代理 vs. 直接计算机控制代理的权衡：
  • API代理：
    • 优点：易于构建、更可控、更安全。
    • 缺点：变异性高（每个API需要不同代理）、API可能频繁变更、无法保证100%工作。
  • 直接计算机控制代理：
    • 优点：行动更容易、更自由（不受API边界限制）。
    • 缺点：难以提供保证（行为不可预测）、目前仍是“进行中的工作 (work in progress)”，存在许多问题。

AI 代理的自主性级别 (Levels of Autonomy)

Garg 参照自动驾驶的分类，提出了AI代理的五个自主性级别：

• L1-L2 (人类控制，代理辅助)：人类处于主导地位，代理扮演副驾驶 (Copilot) 角色。
  • 示例：像 Cursor 这样的代码编辑器，提供并行自动化，人类指导编码，代理辅助。
• L3 (代理控制，人类后备)：代理主导大部分工作，但仍有人类监控和反馈机制。
  • 示例：像 Cursor Composer 或 Windsor 等更具代理性的代码编辑器，代理编写大部分代码，人类监控并纠错。
• L4 (高度自主，特定场景人类监控)：代理在特定环境中自主操作，无需人类实时介入，但可能有远程人类监控或自动化后备层。
  • 示例：Waymo 在旧金山的自动驾驶服务，车辆自主驾驶，但有远程操作员监控。
• L5 (完全自主)：无需任何人类介入或监控，AI代理能够完全独立自主地运行。

信任、评估与基准测试

• 核心挑战：如何信任代理会按照预期执行任务？
• AGI Inc. 的评估努力：构建了一个“互联网的微缩版本 (miniature version of the Internet)”，克隆了排名前20的网站，用于基准测试代理在这些界面上的表现。
  • 该平台据称在线，地址为 evaldraxfive c [原文如此]。
  • 克隆网站示例：Airbnb、Amazon、DoorDash (克隆名为 DashDish)、LinkedIn。
  • GPT-4o 评估结果：在11个不同环境（如DashDish、Omnizon等）的代理任务中，成功率仅为 14%。
  • 其他框架评估结果：
    • OpenAI Computer Use Model (驱动Operator)：在邮件或日历等环境最高准确率 20%，其他环境表现不佳。
    • Stagehand、BrowserUse 及 AGI Inc. 自研的 AgenZero：最高成功率约 50%。
  • 结论：当前代理在自动化真实世界网站界面方面仍处于早期阶段。
• 模型在ERC任务上的基准测试 [ERC任务具体含义原文未明确说明]：
  • Claude 3.7：表现最好，准确率约 40%。
  • Gemini 1.5 [应为2.5，根据上下文及后续提及] 和 GPT-4 Turbo [应为GPT-4o或类似新模型，根据上下文]：紧随其后。
  • 其他模型表现逐渐下降。
  • 重要启示：“许多这些模型尚未完全准备好在真实世界中部署 (a lot of these models are not fully ready to be deployed in the real world)。” 例如，一个由Claude驱动的代理，预期成功率仅41%，这还不够好。

训练更强大的代理模型：AgentQ 系统

• 目标：构建针对决策任务进行定制微调的、更强大的代理模型。
• AgentQ 系统：一个能够自我改进的代理系统，通过纠错和规划进行学习。
  • 核心机制：类似于人类学习骑自行车，通过反复试验和错误，不断改进策略。代理会保存错误并在后续学习中利用。
  • 技术组成：
    1. 蒙特卡洛树搜索 (Monte Carlo Tree Search, MCTS)：借鉴 AlphaGo 等强化学习技术，在任务的搜索空间中进行规划，实现高级推理。
    2. 自评机制 (Self-Critic Mechanisms)：代理能够自我验证，在犯错时获得反馈并从中学习。一个“批评家LM (critic LM)”会对提议的行动进行排序。
    3. 基于AI反馈的强化学习 (RLAIF)：使用如 DPO (Direct Preference Optimization) 等技术，通过偏好数据（成功与失败的轨迹）改进代理。
  • 工作流程：MCTS 生成成功和失败的轨迹 -> 自评机制识别哪些提议的行动成功或失败 -> DPO 用于优化网络。
  • 应用案例：OpenTable 餐厅预订
    • 代理在预订过程中可能犯错（如选错日期），然后通过回溯、恢复来纠正错误，最终完成预订。
    • 团队运行了成千上万（Garg口误为“十万级”）的机器人程序在OpenTable上进行测试。
    • 性能对比 (OpenTable 预订任务)：
      • GPT-4 Turbo：约 62.6% 准确率。
      • 仅使用 DPO：约 71% 准确率。
      • AgentQ (无MCTS)：81% 准确率。
      • AgentQ (完整版，包含MCTS, DPO, 自评)：接近 95.4% 准确率。
      • 训练效率：从约18.6%的基线准确率提升至95.4%（约4倍提升），训练时间少于一天。
      • 计算资源 (Q&A补充)：在 50个 H100 GPU 上训练，用时少于一天。
  • AgentQ 的研究论文已在 arXiv 上发布。

代理的记忆与个性化

• AI模型作为处理器：将AI模型（如GPT-4）类比为处理器，输入语言令牌（提示），输出新的语言令牌。
  • 随着模型上下文长度的增加（从8K到1M令牌），相当于处理器的“RAM”在增大。
• 记忆系统的重要性：需要类似计算机文件系统和RAM的机制，用于保存状态并进行迭代处理（计划的步骤1、2、3、4等）。
  • Transformer模型：可视为处理器。
  • 记忆系统、指令和规划：类比于文件系统和RAM。
  • 整体构成一个类计算机架构：代理 = 计算机系统（包含记忆、处理器/计算单元、输入/输出如浏览器/行动/多模态）。
• 长期记忆 (Long-Term Memory)：类比于计算机硬盘。
  • 目标：持久化的用户记忆，按需加载用户上下文。
  • 实现机制：主要是嵌入 (Embeddings) 和检索模型。例如，查询“Joe是否对花生过敏？”时，系统通过嵌入查找用户数据。
  • 开放性问题：
    • 记忆的层级结构 (Hierarchy)：如何将记忆分解为更复杂的图结构，实现时间持久性和结构化？
    • 记忆的适应性 (Adaptability)：人类记忆是动态变化的，代理记忆如何实现动态调整和自我修正？
• 个性化 (Personalization)：
  • 目标：通过长期记忆使代理理解用户偏好（喜欢什么、不喜欢什么），并与用户偏好对齐。例如，点餐代理避免用户过敏的食物。
  • 信息类型：
    • 显式个性化信息：用户明确提供的信息（如过敏史、座位偏好）。
    • 隐式个性化信息：通过用户行为推断的偏好（如品牌偏好Adidas vs. Nike，租房偏好）。
  • 挑战：用户隐私和信任。
  • 信息收集方法：
    • 主动学习：明确询问用户偏好。
    • 被动学习：记录用户行为，代理从中学习。
  • 实现个性化的学习方法：监督式微调、人类反馈（如点赞/点踩）。

代理间的通信 (Agent-to-Agent Communication)

• 多代理架构与系统：设想多个小型数字机器人相互交谈、协调工作。
• 构建多代理系统的原因：
  1. 并行化 (Parallelization)：将任务分解，由多个代理执行，提高速度和效率。
  2. 专业化 (Specialization)：不同代理专注于特定任务（如电子表格代理、Slack代理、浏览器代理），各司其职。
• 挑战：
  • 有损通信 (Lossy Communication)：代理间传递信息可能出错或产生误解，类似人类组织中的沟通问题。错误会传播并放大（N个代理，N²通信路径，错误可能呈二次方增长）。
  • 新兴领域：目前尚无人完全解决这些问题。
  • 系统层级：需要设计合理的层级结构（如管理者代理与工作者代理，扁平化或垂直化组织）。
  • 核心难题：如何在不丢失信息的情况下有效交换信息？如何构建同步原语 (syncing primitives) 以保证跨层级通信的有效性？
• 解决通信问题的框架：
  1. 模型上下文协议 (Model Context Protocol, MCP)：源自 Anthropic，被广泛使用。
     • 它是一个围绕API的简单包装器，为每个API提供标准化的格式。
     • 通过为服务（如文件服务器、邮件客户端、Slack客户端）创建MCP包装器，这些服务可以相互通信。
     • 优点：控制路由、模块化（即插即用新服务）、通过标准化接口吸收API变更、动态工具发现。
     • 类比：如同HTTP之于普通互联网，MCP是不同AI服务/应用间通信的协议。
  2. A2A (Agent-to-Agent) 协议：近期由谷歌推出，旨在提高代理间通信的可靠性和回退机制。
• Q&A中关于人机区分：有提问者关心如何区分AI和人类对话。Garg认为这非常困难，尤其语音代理已能有效模仿人类。未来可能需要生物识别、个人数据或密码等身份证明方式。

AI 代理系统面临的关键问题与未来方向

尽管AI代理发展迅速且前景广阔，但仍存在一些关键问题亟待解决，才能使其在日常生活中实用化：

1. 可靠性 (Reliability)：
   • “系统必须变得非常非常可靠，如果你让它们接触你的支付信息和银行账户细节……你需要达到接近99.9%的可靠性。”
   • 不希望代理失控，例如在社交媒体上发布错误信息或进行错误的金融交易。信任是基石。
2. 循环行为 (Looping)：
   • 代理可能陷入错误循环，不断重复相同过程，浪费计算资源和金钱。
3. 解决方案思路：
   • 严格测试与基准测试：在多种真实用例中测试，并从中学习。
   • 可观测性 (Observability)：在线监控代理行为，了解其内部状态。
   • 安全机制：
     • 审计追踪 (Audit trails)：记录代理的所有操作。
     • 人类覆写 (Human overrides)：当出现问题时，允许人类（如远程操作员或用户本人）接管并纠正代理行为，类似特斯拉Autopilot的人工接管。

关键问答环节 (Q&A Insights)

• 关于准确率从40%提升至99.9%的可能性：
  • Garg认为通过强化学习（如AgentQ）是“绝对可能的 (definitely possible)”。当前模型在许多代理任务上是零样本学习，直接针对任务训练能大幅提高准确率（如AgentQ在OpenTable任务上达到95%）。
  • 挑战在于任务的多样性：“如何构建一个能在整个互联网上工作、泛化到所有事物的通用代理？”
• 关于代理解决验证码 (CAPTCHAs)：
  • 代理“可以 (they can)”解决验证码。这是一场“猫鼠游戏 (cat and mouse game)”。
  • 未来需要更好的身份验证方法，如生物识别或双因素认证。
• 关于自动化AI代理创建过程：
  • Garg认为这“将会发生 (is gonna to happen)”，并且“已经在大型实验室中发生 (already happening in the bigger labs)”。
  • AI研究代理已能撰写研究论文、训练模型等。代理自我改进并构建其他代理是可能的。
  • 这可能是未来许多硬核研究（如蛋白质设计、硬科学）的方向。
• 关于解决代理的可靠性与幻觉问题 (来自一位构建“AI代理版Uber”的开发者)：
  • 用户痛点：终端用户对错误容忍度极低（“如果我让它订机票，犯一个错误，我就会失去信任”）。
  • Garg的回应：
    • 基础模型会越来越好，幻觉会减少。
    • 需要进行大量领域特定的测试和评估（“为你的用例策划正确的测试案例，比如我们真正关心的1000个场景”）。
    • 通过微调和强化学习等技术持续改进。
• 关于代理中大小模型的选择 (开发者提问)：
  • 趋势：已出现小型模型在推理任务上表现良好的迹象（如GPT-4o、Claude 3系列是经过蒸馏的小模型，擅长推理）。
  • 开发者设想：大型语言模型做管理者，小型语言模型做工作者。
  • Garg的回应：这取决于具体应用，“没有标准答案 (no right answer to it in a sense)”，需要为应用找到合适的组件。
• 关于代理的记忆系统类比 (开发者提问：当前代理有RAM，MCTS提供ROM，但缺乏硬盘/意识)：
  • Garg认为这是个有趣的问题，具体实现取决于构建的应用和目标。

核心结论

Div Garg 的演讲描绘了AI代理作为通往AGI关键一步的广阔前景，同时也坦诚地指出了当前面临的严峻挑战。他强调，通过人类启发的设计、严格的评估体系、先进的训练方法（特别是强化学习和自我改进机制）、可靠的记忆与个性化以及高效的代理间通信，是克服这些挑战、提升代理能力和可靠性的核心路径。尽管如GPT-4o等前沿模型在通用能力上表现优异，但在具体的、需要与复杂真实世界环境交互的代理任务上，其“零样本”表现仍有显著不足，凸显了针对性训练和评估的重要性。最终目标是构建高度可靠、可信赖、能够无缝融入并赋能人类日常生活的AI代理系统，但这需要整个AI社区在基础模型、算法、工程实践和安全伦理等多方面持续努力和创新。