StreamSparkAI

CS 194/294-196 (LLM Agents) - Lecture 3, Chi Wang and Jerry Liu

概览/核心摘要 (Executive Summary)

本次讲座由 Chi Wang 和 Jerry Liu 两位专家主讲，从不同视角深入探讨了大型语言模型（LLM）代理（Agents）的构建与应用。演讲呈现了两种互补的思路：Chi Wang 从框架构建出发，介绍了其通用、灵活的 AutoGen 框架；而 Jerry Liu 则从具体的商业应用落地出发，分享了构建端到端多模态知识助手的实践经验。

Chi Wang 首先阐述了未来 AI 应用的核心趋势是“代理化”（Agentic），即通过 AI 代理执行复杂任务。他强调了其团队开发的 AutoGen 框架，该框架以“多代理对话编程”为核心设计原则，允许开发者通过定义可对话代理并编排其交互来灵活构建复杂应用。Wang 通过供应链优化、科学发现（Science Agents）和网页自动化（Agent E）等案例，展示了 AutoGen 的强大能力和广泛应用前景，并介绍了旨在自动优化代理团队的 AutoBuild 等前沿研究。

Jerry Liu 随后聚焦于构建“多模态知识助手”这一高价值用例，并介绍了 LlamaIndex 的解决方案。他首先剖析了基础 RAG（检索增强生成）在处理复杂数据和任务时的局限性，进而提出了构建更优知识助手的四要素：高质量多模态检索、泛化输出、代理化推理和可靠部署。他重点阐述了 LlamaIndex 如何通过先进的文档解析与层级化索引来提升多模态 RAG 的质量，并引入“代理化 RAG”概念，即在 RAG 之上增加代理层以实现更高级的推理。Liu 还探讨了在企业实践中，为保证可靠性，开发者当前更倾向于构建“约束性”而非完全自主的“非约束性”代理流程，并分享了将代理工作流作为微服务部署的生产实践。

Speaker 1: Chi Wang - AI 代理的未来与 AutoGen 框架

未来 AI 应用的趋势：代理化 (Agentic AI)

• 背景: 自 2022 年以来，生成式 AI 在内容生成上展现出卓越能力，为更高阶的 AI 应用奠定了基础。
• 核心观点: 未来的 AI 应用将是“代理化的”（Agentic）。AI 代理将成为人类与数字世界交互、执行日益复杂任务的新范式。
  • 该观点正获得越来越多的证实，例如伯克利有文章指出 AI 成果正从使用简单语言模型转向构建“复合 AI 系统”（Compound AI Systems，即由多个模型或组件协同工作的系统）。
• 代理化 AI 的新旧应用:
  • 旧应用增强: 个人助理、聊天机器人等，借助新技术能力更强、更易构建。
  • 新型应用: 科学发现代理、网页自动化代理、从零构建软件的软件代理等。

代理化 AI 能力演示：Zinli 网站构建

• Chi Wang 展示了 AI 自动构建一个从 Hugging Face 提取并下载模型的网站的演示。
• 过程: AI 采用多代理框架，通过分析任务、安装依赖、自动编写代码、代理间协作等步骤，成功构建了网站。
• 自愈能力: 演示中，在人为删除一行关键代码后，AI 再次运行时能识别错误（missing script），并自动修正，补全代码行，展现了强大的自我修复能力，预示了未来软件构建方式的变革。

AI 代理的关键优势

1. 自然交互: 用户可通过自然语言与 AI 沟通需求并进行迭代。
2. 复杂任务自动化: 代理能以最少的人工监督完成复杂任务，释放巨大的自动化价值。
3. 新型软件架构: 多个代理协同工作，以递归方式完成更复杂的任务。Chi Wang 特别强调了这一点的重要性。

实例：AutoGen 在云端供应链优化中的应用

• 场景: 帮助非专业用户（如咖啡店主）解决需要特定数据和优化工具的复杂问题。
• AutoGen 解决方案: 构建了三个代理：Commander（指挥官）、Writer（编写器）、Safeguard（安全员）。
• 工作流程: 用户提问后，Commander 代理协调 Writer（生成代码方案）和 Safeguard（检查代码安全），在确认安全后执行代码，并将结果交由 Writer 整理成自然语言答案返回给用户。整个过程对用户透明，且能处理代码不安全或执行出错等异常情况。

AI 代理的编程范式

• 核心步骤: 1. 创建代理；2. 定义交互模式；3. 启动对话。
• 多代理编程的益处:
  1. 处理更复杂任务，提升响应质量: 通过交互改进、分而治之以及使用专用代理（如验证、接地）来弥补 LLM 的缺陷。
     • 实验数据: 将任务分解为 Writer 和 Safeguard 两个代理，对比单代理。对于 GPT-4，多代理设置在保障方面的召回率高 20%；对于 GPT-3.5，差异更大，表明任务越复杂、模型能力越弱，多代理工作流的需求越强。
  2. 易于理解、维护和扩展 (模块化设计): 可独立修改某个代理的行为，并支持自然的人工参与（人类可随时接管任一代理角色）。

设计 AI 代理框架的考量因素

• 统一的代理抽象: 能统一表示人类、工具、LLM 等不同实体。
• 灵活的多代理编排: 需平衡一系列设计上的权衡点 (Trade-offs)：
  • 控制流: 静态工作流 (可预测) vs. 动态工作流 (灵活)。
  • 控制语言: 自然语言 (易用) vs. 编程语言 (精确)。
  • 上下文管理: 共享 (协作) vs. 隔离 (独立)。
  • 交互模式: 合作 vs. 竞争。
  • 架构: 中心化 vs. 去中心化。
  • 人机协作: 自动化 vs. 人工干预。
• 有效实现设计模式: 如 ReAct、Reflection、规划、多模态、记忆等。
• 核心设计原则 (Chi Wang 个人观点): 对话 (Conversation) 是串联所有这些要素、实现复杂功能的中心机制。

主流 AI 代理框架概览

• AutoGen: 基于多代理对话编程，全面且灵活。
• LlamaIndex: Jerry Liu 后续介绍。
• 基于 LangChain 的框架: 如 LangGraph (基于图的控制流) 和 CrewAI (高级静态工作流)。

AutoGen 框架详解

• 历史: 源于 FLAML 项目，后独立发展并成立开放治理的 GitHub 组织，曾获 ICLR 2024 Agents Workshop 最佳论文奖。
• 核心概念: 1. 可对话代理 (Conversable Agent)；2. 对话编程 (Conversation Programming)。
  • 嵌套聊天 (Nested Chat): 一个代理内部可以包含并协调其他代理进行子对话，从而实现能力的递归封装和扩展。例如，一个 Critic 代理内部可协调 SEO 审阅者和法律审阅者完成多维度评审。
  • 通过对话使用工具: 引入基于工具的代理（如管理棋盘规则的 Chessboard 代理）与 LLM 代理对话，以确保任务（如下棋）的正确性。
  • 群聊 (Group Chat): Group Chat Manager 自动协调多个角色代理的发言顺序，并可通过规则进行约束，在自主性与可控性之间取得平衡。

AutoGen 的应用案例与社区影响

• 应用领域: 软件开发、代理平台、科研、数据处理、金融、医疗等。
• 精选案例:
  1. 科学与工程 (MIT): 构建 "Science Agents" 模拟科研团队，利用本体知识图谱进行推理和发现，应用于材料设计等领域。
  2. 网页代理 (Emerge AI, "Agent E"): 构建层级化代理团队执行复杂网页任务，在 WebArena 基准测试上取得当前最佳性能 (state-of-the-art)，成功率达 73%。
• 广泛关注: 吸引了各行业企业客户，以及全球大学、组织和公司的用户与贡献者（如伯克利学生创建了 MGPT 项目并与 AutoGen 进行了集成）。

AutoGen 的持续进展与未来挑战

• 进行中的工作: 代理评估工具、接口学习、AutoBuild（自动为任务构建和优化多代理工作流的研究）。
• 未来挑战: 设计最优工作流（平衡质量、成本、延迟）、提升代理核心能力（推理、规划、学习）、确保可扩展性与安全性。

Speaker 2: Jerry Liu - 使用 LlamaIndex 和代理化 RAG 构建多模态知识助手

LlamaIndex 简介与知识助手概念

• LlamaIndex: 帮助开发者构建从原型到生产的“上下文增强的 LLM 应用”。
• 知识助手核心理念: 构建一个能理解企业内部海量、多格式数据（PDF, PPT 等）并基于此执行任务（回答问题、生成报告、采取行动）的智能接口。

理解基础 RAG (Retrieval Augmented Generation) 及其局限性

• 基础 RAG 流程: 加载 -> 分块 -> 嵌入 -> 存储 -> 检索 -> 生成。
• 局限性:
  1. 数据处理原始: 粗糙的分块破坏了表格、图像等元素的语义结构。
  2. LLM 仅用于合成: 未利用其推理、规划等高级能力。
  3. 通常无状态、非个性化: 每次交互都从零开始。

迈向更好的（多模态）知识助手

• 焦点: 多模态，即能理解和推理文本、图表、图像等视觉数据。
• 四大要素:
  1. 核心的高质量多模态检索流程。
  2. 更泛化的输出（如研究报告、数据分析）。
  3. 对输入的代理化推理 (Agentic Reasoning)。
  4. 可靠的部署。

1. 建立多模态 RAG

• 数据处理至关重要: “垃圾进，垃圾出”，高质量的数据解析是所有下游任务的基础。
• LlamaParse: LlamaIndex 提供的 AI 驱动的 PDF 解析器，能以语义一致的方式提取文本、表格、图表等复杂元素。
• 层级化索引与检索 (Hierarchical Indexing and Retrieval): 一种更优的索引策略，即不直接索引大的数据块（如整个表格或图片），而是为其生成多个小尺寸的文本表征（如摘要），并索引这些表征。检索时先找到最佳表征，再通过其引用调出完整的原始数据（文本或图像）送入 LLM。
• 多模态 RAG 流程: 解析并存储文档中的文本和图像块 -> 索引这些数据块（图像可通过 CLIP 或文本表征索引）-> 检索时同时返回文本和图像块 -> 送入多模态模型进行处理。

2. 泛化输出 (如报告生成)

• (简要提及) 代理的潜力在于生成完整的输出单元（如 PPT、代码），这是企业知识工作者的一个核心需求。

3. 输入的代理化推理 (Agentic RAG)

• 代理化 RAG (Agentic RAG): 在 RAG 之上构建一个代理层，将“检索”本身视为代理可调用的“工具”之一。查询首先由代理进行分析、分解、规划，然后代理决定是否以及如何使用检索工具。
• 约束性 vs. 非约束性流程的权衡:
  • 非约束性流程 (通用代理): 如 ReAct、LLMCompiler，让代理自行规划。优点是表达能力强、灵活；缺点是可靠性低、成本高，可能陷入循环或不收敛。
  • 约束性流程: 控制流由开发者预先定义（如使用路由器提示、if-else 逻辑）。优点是可靠、可控；缺点是表达能力有限。
  • 企业实践: 目前，由于对可靠性的追求，企业更倾向于构建约束性的代理架构来解决特定问题。经验法则是，在使用 ReAct 等通用架构时，工具数量建议控制在 4-5 个，少于 10 个。
• LlamaIndex 的工作流能力: 提供一个事件驱动的编排系统，支持构建各类（约束性或非约束性）代理工作流。

实用案例与生产部署

• 案例:
  1. 报告生成: 通过 Researcher (执行 RAG) 和 Writer (生成报告) 等代理协作完成。
  2. 客户支持: 被认为是排名第一的实用企业级代理应用场景，通过自动化极大提升效率和用户体验。
• 生产中运行代理:
  • 挑战: 如何将复杂的本地多代理原型部署到生产环境。
  • LlamaIndex 的实践: 将代理工作流作为微服务 (microservices) 进行部署。每个代理被封装为服务 API，通过中央消息队列通信，易于扩展和管理。
  • 支持“人在回路” (Human-in-the-loop): 代理在需要时可暂停，向用户请求输入，待用户响应后继续执行，这对于处理模糊或关键决策至关重要。