第32章 AI 智能体研究现状、工程瓶颈与未来理想能力架构报告
研究报告既要解释方法与结果，也要说明证据对应哪个任务、哪个版本，以及结论在哪里停止。
32.1 阅读导航
本章保留定义、历史、研究现状、研究方向、瓶颈和理想能力六条线索，并在 32.6 走通一个研究报告 Agent 的证据综合案例。来源核验日期为 2026-10-18；论文结果绑定列出的版本，产品文档绑定访问快照。这里没有重跑论文、查询实时排行榜或测量产品能力，不把历史分数称为“当前最强”。
第 19 章负责检索、证据和索引机制；本章负责把取得的证据组织成有边界的研究论点。工程实现与可靠性合同仍由第 11、18、21、22 章承载，不因本章列出方向就宣称已有平台。
32.2 执行摘要
智能体研究并非始于 LLM。经典教材从感知、行动和性能度量定义理性主体，BDI 与认知架构研究显式状态和决策，强化学习研究如何根据奖励改进策略。[1][2][3][4] LLM 工具代理让语言成为任务与外部动作的接口，但不能因此抹去环境、状态、授权和验证。
本章的研究判断是：应同时看模型能力、执行系统与评估设置。ReAct 研究推理和行动交替，Reflexion 研究语言反馈与经验缓冲，MemGPT 研究跨记忆层的数据移动；它们提出不同机制，并非任一机制都能单独解决开放世界任务。[5][6][7]
网页、桌面、通用助理与模拟公司环境提供了不同证据。WebArena 论文 v4 报告其最佳 GPT-4 代理 14.41%、人类 78.24%；OSWorld v2 报告最佳模型 12.24%、人类超过 72.36%。这些是对应论文设置的历史结果，不能拿更新版 Verified、不同步数或不同任务集合的成绩直接计算进步幅度。[8][9] 本章保留问题：怎样把多步行动做对、做稳、做得可审计；不通过无依据的厂商排名回答它。
32.3 定义与范畴
AIMA 把 agent 置于感知与行动的闭环中，理性判断依赖性能度量、可获得信息和环境，不等于全知或每次都成功。[1] BDI 用信念、愿望和意图组织软件主体，Soar 提供认知架构的研究脉络；这说明计划、状态与记忆长期以来就是 agent 问题。[2][3]
| 研究传统 | 核心问题 | 本章采用的证据 | 迁移限制 |
|---|---|---|---|
| 显式状态/认知架构 | 如何表示目标、承诺与决策 | BDI、Soar | 显式可解释不等于开放环境容易建模 |
| 强化学习 | 如何从交互奖励改进策略 | Q-learning、DQN | 收敛与经验效果依状态、采样、奖励及实验条件 |
| LLM 工具代理 | 如何交替推理、行动与反馈 | ReAct、WebGPT | 文本合理不等于动作成功，引用也需支持检查 |
| 长期记忆与技能 | 什么保留、何时检索、怎样反思 | MemGPT、Generative Agents、Voyager | 模拟/游戏证据不能直接证明真实工作收益 |
| 多模态/具身 | 语言、感知与可执行动作如何对齐 | Gato、SayCan | 统一表示与物理可供性不保证跨环境安全 |
DQN 展示深度强化学习在其控制任务上的作用；Gato 采用统一策略处理多模态多任务；SayCan 把语言选择与技能可供性结合。三者解决的对象和评价环境不同。[10][11][12] 本书将现代工程 Agent 抽象为模型、工具、状态、工作流、授权与观测的组合；这是工程归纳，不是给所有研究范式强加同一种实现。
32.4 历史演进
以下只保留能解释研究转折的来源锚点；年份代表所列工作，不将某个词或技术的首次出现一概归到某年。
| 阶段/工作 | 关键转折 | 留下的问题 |
|---|---|---|
| BDI、Soar 等软件/认知主体 | 显式目标、意图、记忆与行动结构 | 开放环境知识获取与状态维护 |
| Q-learning（1992）、DQN（2015） | 根据奖励学习，深度网络连接高维观察与控制 | 样本、奖励、泛化与安全探索 |
| Transformer（2017） | 注意力架构成为后续语言/多模态模型的重要基础 | 语言建模能力如何变成可靠行动 |
| WebGPT（2021/2022 版本） | 浏览取证与人类反馈进入问答流程 | 引用能否完整支持事实，来源是否可靠 |
| Gato、SayCan（2022） | 多任务策略与语言/机器人技能连接 | 真实世界可执行性和迁移 |
| ReAct、Reflexion（2022–2023） | 推理/行动交替、反馈进入后续尝试 | 反思质量、预算与错误累积 |
| Generative Agents、Voyager、MemGPT（2023 起） | 观察/记忆/反思、技能库与分层上下文 | 错误记忆、遗忘、版本和权限 |
| WebArena、GAIA、OSWorld、TheAgentCompany（2023–2025 所列版本） | 交互任务、执行结果和跨工具工作环境 | 可比设置、可复现环境与现实迁移 |
| Plan-and-Act、Agent Lightning（2025） | 规划/执行分工与训练/执行解耦 | 信用分配、数据质量和系统开销 |
上述方法依据相应原文：Transformer 给出注意力模型；WebGPT 要求浏览时收集参考；Generative Agents 在模拟环境中组织观察、反思和规划；Voyager 在 Minecraft 中积累可执行技能。[13][14][15][16] 它们不是同一个排行榜上的竞品，也不能由“长期学习”这个词推导出模型权重持续在线更新。
32.5 研究现状：从分数回到任务与实验合同
本节采用有版本的原始基准说明评价对象，不维护实时最佳成绩。不同环境、输入模态、工具、任务集、步数、重试预算和裁判脚本都会改变分母与成功定义。
| 证据版本 | 主要测什么 | 可以得出的结论 | 不能直接推出 |
|---|---|---|---|
| WebArena v4 | 自托管网站中的功能性任务完成 | 该环境能评估长程网页操作；论文给出其基线 | 与 Lite/Verified 或在线网站成绩直接横比 |
| OSWorld v2 | 真实电脑应用、文件与跨应用任务，执行脚本验收 | GUI grounding、操作知识与终态可分层分析 | 新步数/新模型成绩代表同条件进步 |
| GAIA v1 | 推理、多模态、浏览和工具结合 | 论文显示人类与当时插件 GPT-4 的差距 | 2026 系统仍只有论文中的 15%或已解决通用工作 |
| TheAgentCompany v3 | 模拟软件公司中的浏览、程序和沟通任务 | 该文最强基线约 30%自主完成 | 真实企业当前最强表现或可直接换算节省人力 |
GAIA 论文的 92%与 15%是该版本的历史对照；TheAgentCompany 的约 30%也只对应其模拟环境和基线。[17][18] 系统比较至少保存benchmark/dataset_revision/split/model/harness/action_space/step_budget/retry_budget/evaluator/attempts/date。缺少这些字段的“达到某分数”只能作为待核验线索。
本书据此建议把质量拆成终态、过程与安全三类断言：是否完成目标、是否遵守执行顺序与状态合同、是否越权。正确终态但过程越权仍是不安全成功。评测设施见第 10 章，行为验收见第 22 章。
32.6 研究方向与报告Agent案例
| 研究方向 | 已有方法锚点 | 应验证的问题 | 工程边界 |
|---|---|---|---|
| 长程规划 | Plan-and-Act 将 Planner 与 Executor 分离 | 计划更新、失败恢复与预算固定后是否改善 | 规划输出仍要受动作授权和 Verifier 限制 |
| 反馈与反思 | Reflexion 使用语言反馈与经验 buffer | 反证/噪声会否固化错误 | 不是权重更新，也不是自评即可推广 |
| 长期记忆/技能 | MemGPT、Generative Agents、Voyager | 纠错、遗忘、权限变化与跨任务迁移 | 模拟表现不证明产品长期可靠 |
| 训练与信用分配 | Agent Lightning 将执行与训练解耦 | 轨迹如何分成可用 transition、奖励是否正确 | 数据有接口不等于有高质量训练集 |
| 小模型与边缘 | TinyAgent 的特定函数调用任务 | 同等质量门槛下成本/延迟/隐私暴露如何变化 | 小模型和本地运行不天然保证安全 |
| 行动安全 | 浏览器间接注入研究、风险治理 | 误杀/漏放、攻击迁移与权限控制是否可测 | 防御策略不构成完备安全证明 |
| 因果推断与世界模型 | 本书提出的研究问题 | 干预、反事实与环境变化下，计划是否比相关性推断更稳健 | 观察到的相关性不能直接变成因果行动建议 |
| 多模态与具身迁移 | Gato、SayCan 的限定实验 | 感知、技能可供性与实际动作如何闭环验收 | 语言或 GUI 成绩不能替代物理环境验证 |
| 多 Agent 协作与互操作 | 本书提出的研究问题；协议机制见第21章 | 在相同预算/权限下，分工收益能否覆盖通信与协调成本 | 能交换消息不等于相互授权或可靠交接 |
Plan-and-Act 的论文结果绑定其网页设置；Agent Lightning 研究执行训练解耦及信用分配；TinyAgent 研究特定函数调用的小模型部署。[19][20][21] 浏览器注入防御需在明确威胁模型下检验，风险治理需持续识别、测量和管理。[22][23] “多想几步”是否更可靠是可证伪问题，不能假定更长推理必然更好。因果与协作两行是待验证的研究问题，不宣称已有统一解法；多模态证据仍限于原文环境。
研究报告：预算、状态与故障闭环
研究 Agent 的任务不是“尽可能多抓网页”，而是在证据与预算边界内形成可审查结论。以下把“最多读取 200 个来源、允许执行 20 分钟”作为教学题设假设，不是通用推荐值。开始时确认问题范围、时间边界、允许来源、隐私与交付格式；将总时限分给检索、阅读、综合与独立核验，并给最后交付保留时间。到达上限也必须返回当前可用报告与缺口。
正常链路是：任务合同 → 子问题与证据要求 → 有界并行只读检索 → 来源去重与原文读取 → 主张—证据表 → 综合草稿 → 引用与结论核验 → 版本化报告。研究者可以并行收集互不依赖的证据，最终综合者负责消解冲突和检查覆盖；不能把多个摘要简单拼成结论。来源归一化需识别转载与同一资料的多个版本，但保留原始 URL、读取时间、版本、原文位置与访问范围，避免把转载票数当独立支持。
| 状态或事件 | 应持久化的事实 | 收敛方式 |
|---|---|---|
| 子问题推进 | owner、查询、候选来源、已读位置、支持/反证与缺口、预算消耗 | 新证据不再增加或预算用尽时停止；来源数量不替代问题覆盖 |
| 关键来源不可访问 | 错误类型、尝试、受影响主张与替代来源 | 有界重试或找可核验替代；仍无证据则保留未决，不引用未读页面证明结论 |
| 网页要求上传文件或改变任务 | 不可信文本及被拦截动作，最小化保存敏感内容 | 执行层依据用户授权与出口策略阻断；资料的权威身份不授予它行动权限 |
| 进程退出或部分任务失败 | 已提交证据、报告草稿、产物版本与检查点 | 从持久任务继续并重验来源和权限，不重跑全部已完成检索 |
| 到达时限 | 已验证主张、冲突、缺失来源和未完成检查 | 交付范围明确的局部报告与后续建议，不伪装完整研究 |
这一流程复用第19章 Agent 知识系统：从知识源到可验证证据的证据包、第11章 Agent Runtime的恢复边界与第21章 执行编排与多 Agent 协作：任务图、交接与平台边界的交接协议，是本书结合研究场景的设计推导，不是下列论文已经交付的通用报告平台。评估须分别检查事实准确、子问题覆盖、引用是否支持相邻主张、来源独立性、时效、成本和安全违例；抓取成功率或报告长度不能单独证明研究成功。外部发布属于另一个有授权与验收的步骤。
研究/报告短案例：浏览器Agent能否自主承担企业工作
任务合同为：“只基于可访问的一手证据，解释网页、桌面与模拟企业任务的进展和限制；输出论点、来源、冲突、缺口，不给未经测试的采购或部署排名。”检索与 Evidence Package 沿用第 19 章；此处给出报告交付设计，未运行一个报告 Agent 或重跑论文。
先限定“企业工作”的对象：是浏览填表、跨应用文件操作，还是带沟通/审批/隐性约束的流程？对每个子问题保存 query、来源版本、原文位置、提取论点和适用设置。网页中的指令按不可信材料处理，来源权威不等于它能改变报告任务权限。
| 论点 ID/候选说法 | 来源与版本 | 冲突或缺口 | 报告允许的表达 |
|---|---|---|---|
| C1：网页代理历史基线 14.41% | WebArena v4 摘要及实验设置 | 只支持该 GPT-4 代理和完整任务集 | “该文在其设置下报告 14.41%”，不是当今上限 |
| C2：规划分离后 57.58% | Plan-and-Act v3，WebArena-Lite | 与 C1 任务集/模型/harness 不同，不能直接算增幅 | “论文在 Lite 设置报告 57.58%；与 C1 不可直接比较” |
| C3：电脑操作已接近人类 | OSWorld v2 与其他未核验最新宣传 | v2 仅 12.24%/人类超过 72.36%；不同版本不构成同口径证据 | 只保留 v2 历史对照，最新泛化结论为证据不足 |
| C4：已可替代大部分公司工作 | TheAgentCompany v3 | 模拟环境约 30%基线，真实部署数据/权限/失败成本缺失 | “提供模拟工作流证据，尚不能推导真实企业替代比例” |
| C5：反思就是持续训练模型 | Reflexion v4 | 原文明确以语言反馈与 buffer 改进后续尝试，不更新权重 | 将过程记忆、策略提案与参数训练分开 |
表内论文数字均来自列明的版本。[8][19][9][18][6] 这类“冲突”首先是时间、设置或定义不一致；不能把它们平均成一个分数，也不能只选更高的一项。如果两个同条件来源仍相互矛盾，应并列保留、记录无法裁决原因，补原始日志/评测脚本或请 owner 核对，报告结论保持未决。
交付时先写有证据的结论：“这些工作展示了交互环境和若干方法，但各自任务与预算不同，尚不能据此确认真实企业全流程可自主交付。”再列缺口：“需要固定任务/版本、业务权限、独立终态检查、失败与接管成本，以及安全过程证据。”来源的新发表日期不自动淘汰旧的有效结论；新版本若修改任务或裁判，必须将旧结论标明适用范围，不能无痕覆盖。
报告验收与反证处理
Verifier 逐论点检查原文是否直接支持、数值分母/单位/版本是否一致、转载是否被误作独立来源、冲突是否被隐藏、负面结果是否被遗漏。搜索摘要只用于发现原文，不作为最终事实依据。来源失效、权限不足或只能取得摘要时，把允许论点收窄到可见内容；不凭标题推断实验机制。
研究报告可附复现实验提案，但实现、运行和效果分别标状态。需要代码时另开独立实验项目；没有 GPU/浏览器实测就写“待验证”，不能以完整表格冒充测量。医疗、金融或其他垂直场景可作为迁移选读，不因列入案例就宣称已有合规生产平台。
32.7 主要难点与瓶颈
| 难点 | 为什么难 | 已有尝试及边界 | 应保存的反证 |
|---|---|---|---|
| 长程执行 | 局部错误、状态遗漏与外部变化会传播 | 规划/执行分离、Verifier 与有界恢复；不能假设独立步骤成功率简单相乘 | 超时、取消、晚到结果和不可恢复副作用 |
| 长期记忆 | 记住、记对、该记是不同条件 | 分层记忆、反思与技能库；需纠错/撤回/来源与作用域 | 过时事实、错误摘要及跨身份污染 |
| 安全 | 不可信页面/材料可能影响外部动作 | 输入隔离、最小权限、人审与沙箱；仍须测误杀漏放 | 间接注入、越权但终态正确、缺失过程证据 |
| 评估 | 任务、预算、环境和裁判常不同 | 固定版本、同条件配对、独立评分与置信区间 | 失败样本排除、重试分母改变及数据泄漏 |
| 学习 | 长轨迹、稀疏奖励和动态环境难归因 | 训练/执行接口与分层信用分配；正确奖励仍需验证 | 学会投机评分而非完成任务 |
| 经济性 | 模型、工具、运行环境和人工接管共同计费 | 测 cost per successful task 与延迟分布 | 只报 token、只挑最快样本、隐去失败重跑 |
上述研究分别提供机制与限定实验，不能合并成“整个领域已经解决/完全未解决”的绝对断言。具体安全依据见浏览器注入研究，记忆与反馈依据见 32.3–32.6 各原文；本表是本书提出的工程检查框架。
事件驱动、Webhooks 和消息队列可以减少无效轮询，但需要持久订阅、去重、背压与失联恢复；轮询也可能是缺少事件接口时的合理选择。不能仅凭换成事件总线就宣称成本更低。可靠执行参见第 11 章，工具与网络边界见第 18 章。
32.8 理想智能体与现实差距
以下是本书的目标能力框架，不是由若干不同比例拼成的归一化评分：
| 能力 | 理想要求 | 当前证据需要补什么 |
|---|---|---|
| 目标澄清 | 识别模糊意图，确认硬约束与授权 | 未知字段、冲突约束和错误澄清的任务集 |
| 长程规划 | 可更新、可中断，尊重已发生事实 | 版本变化、恢复与失联实验 |
| 长期记忆 | 有来源、可纠错、可撤回、权限正确 | 长期污染与删除传播回归 |
| 多环境行动 | 工具/网页/桌面/物理环境中保持有效反馈 | 分环境验证；不能由 GUI 分数外推机器人能力 |
| 自我修复 | 能检测并定位失败，采取有限恢复 | 不能用反思文字替代独立修复证据 |
| 可解释审计 | 证据、状态、动作和裁决可回查 | 轨迹完整性、缺 span 与敏感数据控制 |
| 安全可控 | 最小权限、有效授权、失效即停止 | 攻击测试、误杀漏放与人工接管 |
| 效率协作 | 在相同质量下控制预算和交接成本 | 同条件单体/多 Agent 对照与失败成本 |
可以把这些要求组织为运行时、技能动作、记忆协同与风险治理四层。运行时管理循环与状态，工具层裁决动作，记忆层管理来源/作用域/版本，治理层定义允许范围与验收证据。这里提出的是建设目标，不声称某个产品已完整具备这四层保证。公开轨迹有助于解释执行，但不等于解释模型内部机理。
32.9 结论与建议
本书建议从能独立验收的任务出发，逐步研究更长的执行范围。对研究者，优先固定环境与实验合同，报告失败样本、预算与复现材料；对工程团队，先约束执行和权威状态，再引入记忆、技能与跨入口协作；对治理者，围绕实际动作和受影响资源建立审计与接管边界，而非只按模型名判断风险。NIST 框架提供风险管理背景，具体上线门禁仍需结合业务验证。[23]
一个研究结果值得迁移，需要同时回答：原文究竟证明了什么，实验和真实业务差在哪里，哪些假设尚未验证，失败后谁能接管。第 19 章的证据机制、第 22 章的行为评估和本章的来源冲突表共同约束这条迁移链；研究结论、教学设计、代码实现与实测效果始终分别记录。
参考资料
- Russell and Norvig，Artificial Intelligence: A Modern Approach, Intelligent Agents，4th edition chapter 2。
- Rao and Georgeff，BDI Agents: From Theory to Practice，ICMAS 1995。
- Soar project，Soar homepage，2026-10-18 访问。
- Watkins and Dayan，Q-learning，Machine Learning 1992。
- Yao et al.，ReAct: Synergizing Reasoning and Acting in Language Models，arXiv:2210.03629v3；ICLR 2023。
- Shinn et al.，Reflexion: Language Agents with Verbal Reinforcement Learning，arXiv:2303.11366v4；2023。
- Packer et al.，MemGPT: Towards LLMs as Operating Systems，arXiv:2310.08560v2；2024。
- Zhou et al.，WebArena，arXiv:2307.13854v4；2024。
- Xie et al.，OSWorld，arXiv:2404.07972v2；2024。
- Mnih et al.，Human-level control through deep reinforcement learning，Nature 2015。
- Reed et al.，A Generalist Agent，arXiv:2205.06175v3；TMLR 2022。
- Ahn et al.，Do As I Can, Not As I Say，arXiv:2204.01691v2；2022。
- Vaswani et al.，Attention Is All You Need，2017；arXiv:1706.03762。
- Nakano et al.，WebGPT: Browser-assisted question-answering with human feedback，arXiv:2112.09332v3；2022。
- Park et al.，Generative Agents: Interactive Simulacra of Human Behavior，arXiv:2304.03442v2；2023。
- Wang et al.，Voyager: An Open-Ended Embodied Agent with Large Language Models，arXiv:2305.16291v2；2023。
- Mialon et al.，GAIA: a benchmark for General AI Assistants，arXiv:2311.12983v1；2023。
- Xu et al.，TheAgentCompany，arXiv:2412.14161v3；2025。
- Erdogan et al.，Plan-and-Act，arXiv:2503.09572v3；2025。
- Luo et al.，Agent Lightning: Train ANY AI Agents with Reinforcement Learning，arXiv:2508.03680；2025。
- Erdogan et al.，TinyAgent: Function Calling at the Edge，arXiv:2409.00608v3；EMNLP 2024 Demo。
- Anthropic，Mitigating prompt injections in browser use，2026-10-18 页面快照。
- NIST，AI Risk Management Framework，AI RMF 1.0；2023；2026-10-18 访问。