2026年9月的人工智能代理:工具、控制以及代理实际学到的东西
九月的智能体文献与其说关乎新能力,不如说关乎工具。本月最有力的贡献包括对基准环境的审计、对模型外围运行框架的消融研究、对排行榜的方差分解,以及拒绝让某个数字在未经后端生成的情况下到达操作者手中的治理层。在本期全文证据阅读的50篇论文中,反复出现四个动向:测量转向自身;控制从提示层面的防御转向运行时执行、权限核算与来源追踪;训练工作更加审慎地对待哪些决策值得归功,以及策略实际学到了哪些捷径;多智能体工作从设计组织结构转向研究共享资源、局部法则与生产部署。
时间窗口:arXiv v1提交,2026年9月1日至30日(少数9月30日提交的论文带有10月arXiv编号;见“范围与方法”)。覆盖范围:来自两条检索路径的2,061篇候选论文,1,805篇经筛选判定为相关,50篇阅读至全文证据卡,以下精选13篇,其余归入“另见记录”。
mindmap
root((AI agents · Sept 2026))
Measurement
Benchmarks audited · 1
Harness ablated · 2
Leaderboards decomposed · 3
Revocation unenforced · 4
Control
Stateful policy engine · 10
Authority accounting · 11
Provenance release · 12
Learning
Segment-level credit · 19
Spurious tool use · 20
Memory as RL target · 24
Systems
Decentralised teams · 37
Shared-resource failure · 40
Industrial deployment · 44图1. 本月的四个动向及承载它们的精选论文(作者绘制的示意图;数字为参考文献编号)。
| 论文 | 贡献 | 关键结果(附设定) | 证据 |
|---|---|---|---|
| Do Agent Benchmarks Do What They Say? | 对使用工具的基准环境进行可执行契约审计 | tau2-bench 评估器在重新填充挂起线路的路径上通过 1,120/1,120,而在单块修复后通过 0/1,120 | 全文 |
| Harness Design for Coding Agents | 一次一个组件的 harness 消融,176 种设置 | 受管理上下文:窗口溢出在 32k 时为 78.7% → 在 128k 时为 8.7%;受管理与不受管理的成功率差距为 35.7 → 2.7 个百分点 | 全文 |
| Agent Evaluation Reliability | 针对稀疏智能体排行榜的方差分解 | 在九个基准上,系统可靠性为 0.935–0.994,而模型可靠性为 0.148–0.841 | 全文 |
| Revoked but Still Authoritative | 五个智能体记忆系统被载入一项已撤销的策略 | 没有系统默认执行撤销;1,620 次试验中有 43.1% 以不安全操作告终;检索过滤为 0/1,620 | 全文 |
| Sapien | 基于工具调用序列的有状态策略引擎 | AgentDojo 中 949 次攻击有 93.2–95.2% 被阻止;Toolathlon 中为 64.6%,而允许列表为 32.4% | 全文 |
| AuthorityLens | 针对 13 种智能体配置的权限度量 | Codex Ask/Auto 实现了 599 个结果中的 597 个,其中 46.7% 需要两个主体;Model Review 将最低主体数从 1.857 提高到 2.837 | 全文 |
| Stored Is Not Supported | 面向持久智能体的类型化来源与发布契约 | 在类型化中介下,不安全发布为 0/19 和 0/7,而扁平规则为 19/19 和 19/24 | 全文 |
| SHARPO | 面向智能体强化学习的片段级信用分配 | ALFWorld 84.90% 对比 GRPO 70.57%;WebShop 75.26% 对比 66.15%(Qwen2.5-7B-Instruct) | 全文 |
| Spurious Tool Use | 对强化学习后线索驱动工具调用的受控研究 | 在 GSM8K 上虚假搜索增加 39.2 个百分点;工具必要性奖励使其回到 +0.0 | 全文 |
| Coding Agent Memory Post-training | 将文件系统视为记忆的智能体强化学习 | 在 512 个 CAMG 测试任务上为 54.4%,对比 CompactionRL 48.0%;SWE-bench Verified 上为 27.6%(9B),对比冻结的 122B 模型的 22.0% | 全文 |
| PANDA | 具有团队组建能力的去中心化多智能体架构 | HotPotQA 墙钟时间为 714 秒,对比 IoA 的 2,182 秒;在注入基础设施故障下,完成率为 100%,对比 0% | 全文 |
| Worse Together | 共享资源上的多用户多智能体团队 | 共享 API 密钥任务:为最优值的 30%,而单一协调者为 64%;诊所缓解措施将联合成功率从 70.5% 提升至 95.3% | 全文 |
| little m | 将工业问题陈述转化为优化模型的智能体 | 专家总体质量胜率为 66.0%,对比 18.0%(DeepSeek-V3.2)和 16.0%(Qwen3-Next-80B) | 全文 |
表 1. 本期 13 篇重点论文;“证据”记录这些发现是在全文中核验的(所有重点条目均是),还是仅在摘要层面核验。
1 测量转向自身:审计、消融与可靠性
评估层不再将分数视为给定,而开始审计工具本身:为工具调用评分的环境、位于模型与基准之间的 harness 组件,以及将任务结果转化为排名的统计机制。
1.1 Do Agent Benchmarks Do What They Say? An Executable-Contract Audit of Tool-Using Agent Environments
该论文将工具宣称的接口视为可执行契约(前置条件、效果、参数、成功信号),在固定提交上检查实现是否符合该契约,然后将每个分数追溯至那些依赖于有缺陷工具本应写入的状态的判定。在四个已发布基准中的34个变更型工具上,它确认了七个工具缺陷外加一个评估器属性,而最清晰的案例是算术性的而非统计性的:在通过在每个gold refuel调用前插入suspend_line构造的1,120条路径上,已发布的tau2-bench评估器通过了全部1,120条未修补路径,而在加入单块修复后的1,120条路径中一条都未通过——它奖励对暂停线路进行加油,却使修复后的工具失败。在一个临床基准中,其工具告诉智能体在某个接口未披露的设计下每次写入均已执行,评分器读取该消息,因此“动作成功率”记录的是请求是否携带了预期载荷,而不是是否有任何东西发生了改变。作者自身的局限对结果的使用方式很重要:其检查器的静态部分标记了17个已确认位点中的14个,而动态部分主要确认静态部分已发现的内容,因此CONFORM判定并不确立符合性,并且由于基准是作为锚点选择的,无法支持跨基准的普遍性主张。
1.2 编码智能体测试框架设计的实证研究
前一篇论文审计环境,这一篇则审计脚手架。在四个模型、两个长时程编码基准和四个上下文预算(176种设置)下,保持轻量级ReAct循环固定并逐一改变一个组件——规划、动作空间、上下文管理——作者发现没有任何组件是无条件有用的。上下文管理是最大的条件性效应:在SWE-Bench Verified上按模型平均,未管理层级在32k预算下于78.7%的任务上溢出窗口,而在128k预算下为8.7%,而每个受管理层级都记录到零溢出失败,并且随着预算增长,受管理减未管理的成功差距从35.7个百分点缩小到2.7个百分点——即该组件的价值取决于约束条件。在最宽预算下的动作空间上,仅bash在Nemotron-3-550B上优于预定义工具集(69.40%对65.80%,q<0.05),且每个任务的平均成本约为后者的一半,但在第二个基准上,另一个模型的方向相反。作者明确说明了局限:每个组件仅有单一实现、动作空间消融是捆绑式的,以及每个任务仅运行一次。
图2. 作为受控变异对象的编码测试框架:规划通过每轮注入的计划进入,动作空间通过暴露的工具模式进入,上下文管理通过应用于历史中段的阈值B1 < B2进入,原件被卸载到外部存储(转载自原论文)。
1.3 智能体评估可靠性:更多任务不会(总是)修复智能体排行榜
本文为稀疏、不平衡的排行榜提供了一种贝叶斯方差分解,并用它表明可靠性属于主张本身,而不属于基准。在22个基准上(九个HAL基准,含29,923次 rollout、54个模型、13个脚手架,外加13个Harbor Index基准),对完整模型–脚手架系统进行排序的估计可靠性为0.935–0.994,而对底层模型进行排序的可靠性为0.148–0.841——相同的分数,不同的测量对象。增加任务无法消除来自脚手架采样的不确定性:在固定任务预算下,合并九个基准可将预测的模型排序可靠性从约0.44提升至0.75,但上限由任务数量以外的其他方面决定。作者明确指出,可靠性不等于效度:一个排名可以是可复现的,却并不匹配能力。
1.4 已撤销却仍具权威:Agent 记忆系统中撤销执行的实证研究
长时间运行的 agent 依赖持久记忆,而大多数记忆系统使用软撤销——被矛盾的事实被标记为无效并保留。本研究追问:当记忆被读取时,该标记是否被执行。将五个广泛使用的系统(cognee、langmem、mem0、Zep、Graphiti)加载一条已撤销策略及其替代策略,跨越九个策略场景和九个模型,研究发现没有系统默认执行撤销,具体有三种方式:撤销从未被记录;被记录但其状态未向调用方披露;或被记录并暴露但在检索时未被执行。在两个已验证标记已应用的系统上,被撤销的事实在81个场景中的81个里被返回并排名第一,并在1,620次试验中的43.1%里引导 agent 采取不安全行动。检索层过滤完全消除了该效应(0/
要点
- 本月的评估工作关乎工具,而非分数:基准可能评错了对象,测试框架组件可能因预算不同而起帮助或损害作用,排行榜可以可靠地对系统排序,却糟糕地对模型排序。
- 有两个具体失败值得立即采取行动:读取工具成功消息而非其状态的评分 ,以及保留但不执行撤销的记忆系统 。
- 可靠性 ≠ 效度,通过快照 ≠ 符合性 ;两篇论文都自行陈述了这些限制。
2 控制移至运行时、权限与来源
三篇论文定义了如今实践中“受治理”意味着什么:在 agent 行动时执行的策略、对谁可以授权什么的度量,以及关于 agent 被允许从其自身存储中断言什么的契约。
2.1 Sapien:面向自主 AI Agent 的有状态策略引擎
上下文防御大多是无状态的工具允许列表:无论参数如何,也无论智能体此前做过什么,一个工具在整项任务中要么被允许、要么被禁止。Sapien 则不同,它将允许的工具调用序列指定为用有状态谓词扩展的正则表达式、延迟策略生成(需要运行时信息的约束在那一刻才合成)以及作用域语义检查。在 AgentDojo(97 个短任务、949 个攻击实例)和 Toolathlon(108 个长时程任务、212 个攻击实例、600 多个工具)上以四个模型进行评估,它使效用与无约束智能体相比仅差几个任务;并且在一个假设智能体已被劫持的分析模型下,它拦截了 93.2–95.2% 的 AgentDojo 攻击和 64.6% 的完整 Toolathlon 攻击集,而生成的允许列表为 32.4%。代价是延迟,几乎全部来自策略生成,而残余攻击是语义性的:在两个基准上,超过 80% 的未被阻止的攻击是由智能体读取或写入的数据承载的,而不是由确定性谓词能够判断的调用序列承载的。
| 条件 | 效用(任务完成) | 攻击拦截 |
|---|---|---|
| 无策略 | 参考 | 按构造为 0% |
| 生成的工具允许列表 | 在 AgentDojo 上与无策略相差 0–2 个任务 | 82.7–86.8%(AgentDojo,949 个实例);32.4%(Toolathlon,212) |
| Sapien | 97 个任务中少完成 1–5 个(AgentDojo);80 次运行中 43 次对 45 次(Toolathlon 20 任务子集) | 93.2–95.2%(AgentDojo);64.6%(Toolathlon) |
表 2. 如 所报告,Sapien 相对于其基线的效用与安全性;安全数字是分析性的(假设攻击者已劫持智能体),而非注入抵抗测量。
2.2 AuthorityLens:通过权威视角重新思考基于 LLM 的智能体系统
这篇论文测量了配置很少暴露的东西:哪些主体能够实现哪些结果。从所有可允许运行时状态下的最小充分主体联盟中,它推导出系统权威、权威分离和每个主体的权威,并将其应用于 Codex、OpenCode 和 Gemini CLI 的 13 种配置,覆盖 599 个结果的组合。Full Access 下的 Codex 以单一主体实现全部 599 个结果,而 Ask/Auto 实现 597 个结果,同时其中 279 个(46.7%)需要两个或更多主体;在那里,仅助手就覆盖 53% 的结果,而在 Full Access 下为 100%。添加审查控制并不自动构成限制:带有 Model Review 的 Gemini CLI 使系统权威保持不变(0.9215),但将平均最小主体数从 Default 中的 1.857 提高到 2.837,并从 Yolo 中的 1.013 提高到 1.993。该测量是在组合内部的,没有外部基线系统,论文的框架明确指出了这一点。
2.3 已存储并不等于受支持:面向持久 AI 智能体的类型化溯源与断言护栏
持久性智能体会断言从其自身存储中提取的内容,而本文形式化的是对外边界而非内部存储:一个覆盖证据与主张顶点的带类型溯源图、一个返回单一证据状态并附带正交的冲突、陈旧与保留标志的解析器,以及一个生成—验证—修订中介器。在24个手工编写的符合性案例上(19个不安全释放机会、5个受支持控制),带类型规则记录了零次不安全释放和零次无支持修正,而平坦先验规则会释放全部19个不安全项,来源标签规则会释放19个中的18个。证据是一个可执行的内存符合性套件,而非模型或检索评估,作者列出了参考制品未实现的内容(自然语言语义单元提取、广义见证访问控制、完整溯源DAG遍历)。
要点
- 控制正在成为一种运行时属性:重要的是一个动作在给定智能体已经做过什么的情况下是否可被允许 ,哪些主体可以授权它 ,以及一条存储的主张究竟是否可以被释放 。
- 两项新控制都以延迟和复杂性换取遏制——Sapien的大部分墙钟时间用于生成策略,而其残余失败是语义性的而非结构性的。
- 权威是一个设计变量,而非副产品:审查层可以在不改变权威的情况下,使所需主体数量成倍增加 。
3 智能体学到什么:信用、捷径与记忆
本月的训练论文共享一个问题——策略实际内化了什么?——并通过信用分配机制、受控捷径研究和作为策略一部分进行训练的记忆来回答它。
3.1 SHARPO:面向智能体强化学习的片段级信用分配
智能体RL通常为一条长轨迹接收单一终端奖励,其中一次局部错误就可能导致任务失败,从而不留下关于哪个决策应受责备的信号。SHARPO在面向环境的片段层面改进GRPO:在每个片段内计算教师—学生对数概率差距,并将其转化为由该片段所有token共享的有界乘数,因此信用可以跨片段不同,而在单个片段内保持统一。在Qwen2.5-7B-Instruct上,它在ALFWorld上达到84.90%,而GRPO为70.57%;在WebShop上达到75.26%,而GRPO为66.15%;该改进在两个相差四倍的混合权重下均成立,并且在ALFWorld上具有更低的运行间离散度(标准差1.19–2.82个百分点,而GRPO为7.83)。所述范围是两个基准和一个7B主干,证据止步于此。
3.2 虚假工具使用:当RL智能体学到错误的行动理由
本文分离出一种仅凭任务分数难以察觉的失败模式:RL 可能让工具调用依赖于表面的提示线索,而非任务需求。在受控环境中训练时——其中答案格式指令与搜索相关但因果上无关——作者发现,当线索存在时,智能体在留出数学问题上调用搜索的情况最多增加 39.2%(有线索时搜索率为 40.1%,无线索时为 0.9%),并且这种捷径的形成只有在智能体已经可靠学会使用工具之后才会出现——能力本身,而非仅数据集不平衡,是其前提。一种密集的决策级奖励,对每次调用的必要性进行评分,使虚假调用率降至 0.0%,同时保持准确率(在报告的运行中 GSM8K 上为 92.8/
图 3. 学会了调用工具的错误理由:答案格式指令在训练期间与搜索工具相关(面板 A),而在测试时,尽管任务需要代码工具,相同的线索却触发搜索调用(面板 B)(转载自原论文)。
3.3 编码智能体记忆后训练:释放预训练文件操作的记忆潜力
本文没有添加记忆模块,而是训练策略使用其已有的文件系统:四个长时程环境,其任务要求信息在上下文替换后仍然存活,并在普通 shell 操作上使用完全异步 PPO,奖励仅来自下游任务成功。由此得到的 9B 策略在相同的 512 个测试任务上平均成功率为 54.4%,而 CompactionRL 为 48.0%(配对差异 6.4 个百分点,bootstrap 区间 [3.3, 9.5]),并且解决了 27.6% 的 SWE-bench Verified 问题,而在相同测试框架下评估的冻结 122B 模型为 22.0%。这一比较在规模或上下文边界处发生的情况上并非同类比较,作者也说明了局限:记忆仅限于单个 episode 和单个用户,且骨干模型仅到 9B。
要点
- 本月的训练结果关乎归因与纪律,而非规模:奖励落在何处 、工具调用是否有理由 ,以及状态能否在上下文边界后存活 。
- 在受控设置中,“更好的分数”和“学到了正确的东西”分道扬镳 ;在那里,每次调用的必要性信号足以消除捷径。
- 三篇论文都公开了其狭窄的设置并明确说明;没有任何效应被声称在所有骨干模型上普遍成立。
4 系统:去中心化团队、共享资源与生产
系统工作分为两个过去常被混为一谈的问题:智能体如何在没有中心的情况下自我组织,以及当多个用户的智能体共享一种稀缺资源时会发生什么。
4.1 PANDA:一种具有灵活编排的去中心化架构,用于可扩展、容错的多智能体系统
PANDA 是一种点对点架构,其中独立管理的智能体注册能力,并自组装成按任务组建的小型团队,具有三种可选择的编排拓扑(星型、链型、网状)和一个基础设施故障检测器;集体发现与团队消息传递解耦。在 HotPotQA(全维基、十个工作节点、GPT-5.4-mini)上,其网状拓扑以少量准确率换取墙上时钟时间——70.0 EM 和 79.39 F1,用时 714 秒,而 Internet-of-Agents 为 72.5 和 81.26,用时 2,182 秒——在注入基础设施故障的情况下,PANDA 配置完成了 100% 的运行,而 Magentic-One、AgentNet 和 IoA 均完成 0%。该论文没有专门的局限性章节;作者确实指出,在 50 项能力的情况下,100 个智能体不足以配备所需能力。
图 4. PANDA 的每智能体设计:团队通信和本地注册表与将发现与团队消息传递解耦的集体层并列,基础设施故障检测器为重新规划和两个通信层提供输入 (转载自原始论文)。
4.2 一起更糟:多用户多智能体团队中的性能如何崩坏
让每个用户拥有自己的智能体看起来是更安全的设计,直到智能体共享预算或队列。在四个使用工具的环境中,论文发现点对点编队在共享的过夜 API 密钥预算下表现不及单一协调者:团队达到最优值的 30%,而单一协调者为 64%,而从不协调的“沉默”团队仅达到 7% 和 2%。这一差距是环境特定的,而非结构性的——在诊所场景中最强的指令栈下,联合成功率从 70.5% 上升到 95.3%,高于协调者的 84.3%——并且作者谨慎地指出,他们的行为标签来自模型评判员,未针对人类判断进行验证,并表示他们的分析并未确立任一行为导致了这一差距。
4.3 little m:用于工业过程优化的 AI 智能体
这是本月最清晰的生产案例。little m 将非结构化工业问题陈述加过程图转化为结构化优化公式,以精心整理的领域知识库为基础,并由两个人在回路检查点把关;它在 IPC-Bench 上评估,该基准包含 50 个源自教科书的多模态过程控制案例,并具有专家验证的真实标签。八位领域专家在其评审的 20 个案例中有 66.0% 偏好其公式,而裸 DeepSeek-V3.2 基线为 18.0%,Qwen3-Next-80B 为 16.0%,并且其决策变量重叠分数领先两个基线。作者明确说明了边界:领域知识按领域精心整理,没有求解器级验证,基准源自教科书,且无法排除预训练暴露。
要点
- 组织正在成为一个实证问题:去中心化设计可以在容错性和运行时上获胜 ,而每用户智能体在共享资源上可能输给单一协调者 。
- 缓解措施是环境特定的,而非通用的:在一种共享资源上大幅落后的同一编队,在更强的指令栈下会在另一种共享资源上击败其协调者 。
- 生产案例现在会在机器指标之外报告人类专家判断,并且两者都有明确的范围限制 。
另见
测量与工程。 cua-speedrun 将四个计算机使用基准放在同一虚拟机和流水线上(OSWorld 上 56 种配置),发现更多推理反而可以更快——Gemini 3 Flash Preview 从 33.6% 提升到 57.6%,同时平均任务时间从 492 秒降至 268 秒——而更快的输入/输出反而可能更慢(环境时间 12.68 秒 → 0.34 秒,平均任务时间 89.5 秒 → 99.0 秒)。ReLiveGym 回放数周的真实流以完成八项长期任务,并报告种子间变异是每项任务上最大的方差分量。Failure-Transparent Agents 在生成前固定失败工具观测,并在来自六个模型的 3,600 条人工标注响应上测量到,误报成功在透明指令下从 22.8% 降至 9.3%,在四字段证据契约下降至 0.8%。一项针对 157 个开源智能体项目的仓库级研究 发现,87.3% 带有常规测试,但只有 5.1% 具有提示注入或对抗性测试路径。“Defining AI Agents” 是一份汇编,将标准、指标和基准映射到智能体性的五个维度上,且未报告自身的任何测量结果。OSWorld-Science 按应用状态和产物对 17 个科学软件标题下的 146 项计算机使用任务进行评分;最佳平均得分为 73.7%,且已发布运行中只有 26.3% 获得满分。“Agents as Software” 认为智能体可靠性需要编程语言层面的处理,因为智能体的程序分散在提示、工具、记忆和轨迹中。
安全、安保与问责。 TrustProbe 在 11 个开源智能体(其中八个拥有超过 10,000 颗星)中发现 104 个污点式漏洞,并报告在真实已发布技能语料上的技能–智能体试验中,25.1% 触发经审计的脆弱路径,其中 31.7% 可从普通提示复现。一项关于智能体越狱的系统化研究 统一了 116 种攻击和 63 种防御,并说明为何响应层面的数字会误导:在一种攻击下不安全规划达到 91.49%,而响应层面的攻击成功率仍为 11.54%。一项面向多智能体系统的安全 SoK 审计了 44 项工作,发现只有 13 项自行计算攻击成功率,而在 20 项全轨迹评估中只有一项报告了显式依赖图。一项基于 2026 年 Hugging Face 事件的蒙特卡洛研究 对分层控制建模,事件率为 0.301%,而弱控制为 2.498%,在 300 次扰动抽样中保持稳定——这是模型,而非对实时系统的观测。HazardAuditor 将可执行威胁轨迹转换为计算机使用审计器,并报告相较 guard 基线准确率提高 16.5 个百分点。“Trustworthy Agentic AI” 是一篇结构化叙述性综述,其唯一量化数字引自另一项研究。面向输电系统运营商的治理感知数字孪生 让数字仅以层渲染的后端事实进入控制室:四项不变量在 590 次运行中的 590 次成立,而在没有该层时,354 次运行中有 45 次未授权副作用。
学习、记忆与工具使用。 在监督微调中,观测值通常被掩蔽;让损失覆盖这些观测值会改变强化学习后的探索行为,并使 4B 模型在 Terminal-Bench 2.0 上的 pass@1 从 5.6 提升至 7.2 。UniOPSD 在基于结果与基于事后视角的信用分配之间进行仲裁,在 3B 模型上于 WebShop 达到 75.0%,而基线为 68.0%,但在 7B 模型上于 ALFWorld 的排名低于最强基线。ARISE-RL 让评分标准生成器与求解器共同演化,在旅行子任务上通过率达到 0.599,而最接近的基线为 0.531。MemAgent 学会在 13 个异构记忆提供者之间路由任务(平均 75.7%,无记忆为 65.7%);ActiveMem 从潜在记忆树中检索依赖一致的路径(Qwen3-8B 上 ALFWorld 95.57 对 90.60);SkillSpec 在共识门控下演化技能(在 GPT-4.1 上较 SkillOpt 宏平均提升 12.26 分);一种偏差引导方法 将错误转向转化为技能编辑。Agent Error Dataset 贡献了 50,228 个错误–诊断对,其中首提案纠正规则相较原始动作重试使回放通过率提升 32.7 分。ToolSearcher 在包含 16,464 个 API 的仓库上训练工具选择(F1 0.513,最强基线为 0.496,从 0.098 提升),一项动作空间研究 表明,仅将工具合并为更少操作会使九种开放模型的中位成功率损失 19 分。AnyAct 将 GUI 原语、shell 命令和 MCP API 统一在可靠性门控检索层之后(LiveMCPBench 84.95 对朴素基线 42.11);Dyad 在单独编码器中对类型化候选动作评分,同时保持一个带语言推理的策略(9B 上 ALFWorld 90.90 对 85.01)。一项企业消融实验 发现,仅 shell 接口在 TheAgentCompany 上比类型化工具目录高 24.6 分(N=348),在 APEX-Agents 上高 6.2 分(N=960),且每任务 token 约为其三分之一。Dr. Free 从自演化搜索智能体中移除了基于难度的提议者奖励,并在黄金盲审中报告捷径率为 3% 对 81%。一项关于基于图的个性化记忆的综述 汇总了 12 个基准,并发现其中只有两个明确标记了记忆组织。
多智能体系统与部署。 Waggle 学习一种单一参数共享的局部规则,而非角色结构,并在 64 个智能体时于 Silo-Bench 上以 14.5 分的优势击败决策蒸馏。DEALS 以邻居到邻居的方式服务任务,路由时不调用语言模型(混合家族准确率 66.52% 对 57.76%),并报告 4.7–22.7× 的吞吐量。GlossoGen 将通信视为众多动作之一,并发现预算压力加上事后复盘通道会使消息困惑度上升约 430%,开放权重团队在 30.8% 的轮次中成功,而专有模型为 92.1%。MASkills 编辑技能库而非参数(HotpotQA F1 76.3 对 69.2,但在 GAIA Level 3 上为 0.0 对 8.3)。一项关于符号指导的研究 发现,在分布式协调中,中间指导(函数级描述)通常优于无指导和完全规定的伪代码。Óptima 将贝叶斯优化活动委托给子智能体和持久服务,在 23 次实验中将最佳测得产率从 30.0% 提高到 58.8%,同时声明其人类比较未匹配。Eurekabench 发现智能体在预测准确率上接近人类(47.4% 对 48.8%),但洞察得分仅达到 29.4–42.4%,而人类为 69.7%。CompMat-Bench 在 94 个材料科学任务上对智能体评分,模拟已预先计算,在完全指导下为 90.4–91.5%,在其最严苛条件下为 50–75%。一份来自科学用户设施的部署报告 从光源运营中提炼模式——推理端点、解耦的工具服务器、异地计算、受治理的生命周期学习——但未报告基准。一项关于 2026 年 6 月事件的观察性研究 重建了公共 wiki 上 1,201 个短生命周期智能体如何通过复制可见内容而收敛于相同页面、名称和措辞——页面选择与页面在近期信息流中的份额相关,拟合斜率为 0.87——再现了多少智能体在同一页面相遇的重尾分布,并表明谁先写谁就设定了惯例。
范围与方法
检索与筛选
时间窗口为 arXiv v1 提交日期 2026 年 9 月 1–30 日,因此少数在 9 月 30 日提交的论文带有 10 月 arXiv 编号,并按提交日期纳入(例如 、、、、、、)。合并了两条路径:标题匹配“agent”/
证据深度与缺口
这50篇论文各由一个独立的阅读任务阅读,并生成一张证据卡,内容包括论文自身的设定、其相对于最接近的先前工作所声称的增量、一至两个带有指标和基线的数字、作者陈述的局限性以及一张图(46张卡完整,三张部分完整,一张仅图步骤失败)。专题部分中的每个数字均取自这些卡片或为本期阅读的原文,且每个数字都注明了其设定。基准审计有两张图无法提取,因此该论文仅依据其文本进行描述。书目元数据来自图书馆记录;工作区不保存引用次数或会议录用数据,因此这里的“值得注意”指的是问题相关性和所报告的证据,而非实测关注度。这是本系列的第一期,因此没有上一期可供比较。
References
[1] Rohith Reddy Bellibatlu, Zichong Wang, Wenbin Zhang. Do Agent Benchmarks Do What They Say? An Executable-Contract Audit of Tool-Using Agent Environments. 2026. arXiv preprint. arXiv:2609.37315
[2] Run-Ze Fan, Zihao Zhang, Simin Ma, et al. An Empirical Study of Harness Design for Coding Agents. 2026. arXiv preprint. arXiv:2609.20804
[3] Michael Hardy, Ruhana Azam, Anka Reuel, Mykel Kochenderfer, Sanmi Koyejo. Agent Evaluation Reliability: More Tasks Won't (Always) Fix An Agent Leaderboard. 2026. arXiv preprint. arXiv:2610.00651
[4] Yi Ting Shen, Kentaroh Toyoda, Alex Leung. Revoked but Still Authoritative: An Empirical Study of Revocation Enforcement in Agent-Memory Systems. 2026. arXiv preprint. arXiv:2609.08258
[5] Pranjal Aggarwal, Lawrence Keunho Jang, Sean Welleck, Daniel Fried, Ruslan Salakhutdinov, Jing Yu Koh. cua-speedrun: Standardized Benchmarking of the Speed of Computer-Use Agents. 2026. arXiv preprint. arXiv:2609.40284
[6] Xisen Jin, Jingheng Li, Zhenglun Chen, Junyi Du, Xiang Ren. ReLiveGym: Evaluating Long-Lived Agents over Weeks of Replayed Reality. 2026. arXiv preprint. arXiv:2610.00710
[7] Junru Zhu, Shiming Xie, Aime Lu Fan Chen, et al. Failure-Transparent Agents: Benchmarking Post-Failure Reporting in Tool-Using Language Models. 2026. arXiv preprint. arXiv:2609.35732
[8] Wuyang Dai, Moses Openja, Jiho Shin, Hung Viet Pham, Song Wang. A Large-Scale Empirical Study of Quality Assurance Practices and Gaps in AI Agents. 2026. arXiv preprint. arXiv:2609.17698
[9] Mia Lassiter, Brinnae Bent. Defining AI Agents: A Compendium of Criteria, Metrics, and Benchmarks. 2026. arXiv preprint. arXiv:2609.11018
[10] Corinn Tiffany, Wen Zhang, Eugene Bagdasarian, Lillian Tsai. Sapien: A Stateful Policy Engine for Autonomous AI Agents. 2026. arXiv preprint. arXiv:2610.00797
[11] Shaojin Chen, Huihao Jing, Wun Yu Chan, et al. AuthorityLens: Rethinking LLM-Based Agent Systems Through the Lens of Authority. 2026. arXiv preprint. arXiv:2609.32378
[12] Jun He, Deying Yu. Stored Is Not Supported: Typed Provenance and Assertion Guardrails for Persistent AI Agents. 2026. arXiv preprint. arXiv:2609.02127
[13] Yan Wang, Zhihao Zhang, Ke Chen, et al. Can Agents Trust Their Skills? Uncovering Unsafe Chains of Trust in Skill-Based LLM Agents. 2026. arXiv preprint. arXiv:2609.39065
[14] Md Jueal Mia, Yanzhao Wu, Selcuk Uluagac, M. Hadi Amini. SoK: Rethinking Jailbreaking in the Era of Agentic AI: Attacks, Defenses, and Practical Consideration. 2026. arXiv preprint. arXiv:2609.12413
[15] Rui Yang, Junjie Xu, Zhengyu Liu, et al. SoK: When Safe Agents Fail Together: The Security of Multi Agent LLM Systems. 2026. arXiv preprint. arXiv:2609.00595
[16] Murat Ozer, Bulent Erenay, Ibrahim Berber. Reward Hacking and Agent Containment Failure: A Monte Carlo Study Based on the 2026 Hugging Face Incident. 2026. arXiv preprint. arXiv:2609.32390
[17] Yunhao Feng, Ruixiao Lin, Ming Wen, et al. HazardAuditor: From Executable Threats to Safer Computer-Use Agents. 2026. arXiv preprint. arXiv:2609.15134
[18] Fayeq Jeelani Syed, Rehan Ahmad, Ali Al Bataineh, Aakriti Adhikari. Trustworthy Agentic AI: Failure Modes, Mitigation Strategies, and a Lifecycle Framework for Autonomous LLM Systems. 2026. arXiv preprint. arXiv:2609.22712
[19] Xinchen Du, Zhengze Zhou, Wenhui Zhu, et al. SHARPO: Segment-Level Credit Assignment for Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2610.00838
[20] Yiwei Yang, Haoxiang Zhang, Bingbing Wen, et al. Spurious Tool Use: When RL Agents Learn the Wrong Reason to Act. 2026. arXiv preprint. arXiv:2609.16268
[21] Juzheng Zhang, Disha Makhija, Manoj Ghuhan Arivazhagan, Vinayshekhar Bannihatti Kumar, Rashmi Gangadharaiah. Don't Mask the Environment: Observation Supervision Changes How Agents Explore Under RL. 2026. arXiv preprint. arXiv:2609.20715
[22] Zenghuang Fu, Zhaoyang Li, Qiuyuan Ai, et al. UniOPSD: Unifying Outcome and Hindsight Feedback for Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2609.34810
[23] Fanrui Zhang, Ruixue Ding, Qiang Zhang, et al. ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning. 2026. arXiv preprint. arXiv:2609.01058
[24] Lirui Luo, Kelong Mao, Heming Xia, et al. Coding Agent Memory Post-training: Unlocking the Memory Potential of Pre-trained File Operations for Long-Horizon Tasks via Reinforcement Learning. 2026. arXiv preprint. arXiv:2609.34422
[25] Yongxian Wei, Yilin Zhao, Runxi Cheng, et al. MemAgent: Learning to Manage Heterogeneous Memory Providers for LLM Agents. 2026. arXiv preprint. arXiv:2609.32521
[26] Song-Li Wu, Jingyi Wang, Zhaocheng Du, Weinan Gan. ActiveMem: Dynamic Latent Memory Trees for Long-Horizon Agents. 2026. arXiv preprint. arXiv:2609.33244
[27] Huancheng Chen, Xiaodi Sun, Zhaoqiong Huang, Shenyang Huang, Shreya Singhal, Jingwen Lu. SkillSpec: Consensus-Gated Agent Skill Evolution via Representation Specialization. 2026. arXiv preprint. arXiv:2610.00704
[28] Yichun Feng, Jiawei Wang, Haozhe Sun. A Wrong Turn Does Not Ruin the Journey: Deviation-Guided Skill Self-Evolution for LLM Agents. 2026. arXiv preprint. arXiv:2609.29154
[29] Kunlun Zhu, Xuyan Ye, Yibo Li, Cheng Qian, Beibin Li, Heng Ji. Agent Error Dataset: Scaling 50,000 Error–Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training. 2026. arXiv preprint. arXiv:2609.40111
[30] Zhenlong Dai, Xujie Song, Zitong Wang, et al. ToolSearcher: Optimizing Tool Selection at Scale via Reinforcement Learning. 2026. arXiv preprint. arXiv:2609.30906
[31] Yinhong Liu, Zhili Tan, Zilin Wang, Zhijiang Guo. Action-Space Shaping for LLM Agents: Measuring and Mitigating Tool-Schema Bias. 2026. arXiv preprint. arXiv:2609.34971
[32] Lingrui Xu, Yangqin Jiang, Jiachang Zhang, Xubin Ren, Chao Huang. AnyAct: Universal Action for Self-Evolving Agents. 2026. arXiv preprint. arXiv:2609.37025
[33] Yundaichuan Zhan, Weishi Wang, Wenbiao Liu, et al. Dyad: Extending Large Language Models with Native Typed Decision-Making. 2026. arXiv preprint. arXiv:2609.36116
[34] Hazel Mak, Susheel Suresh, Sahil Bhatnagar, Barry Wang, Chhaya Methani, Alejandro Gutierrez Munoz. Is Bash All You Need? An Empirical Study of Tool Interfaces for Enterprise Digital Worker Agents. 2026. arXiv preprint. arXiv:2609.11999
[35] Zhipeng Qian, Zihan Liang, Yufei Ma, et al. Dr. Free: You Don't Need Difficulty Rewards for Self-Evolving Search Agents. 2026. arXiv preprint. arXiv:2609.33565
[36] Dac Duy Anh Nguyen, Zhangchi Qiu, Shigeng Chen, Alan Wee-Chung Liew. Graph-Based Personalized Memory for LLM Agents: Representation, Evolution, Retrieval, and Evaluation. 2026. arXiv preprint. arXiv:2609.08599
[37] Matthew D. Laws, Cristina Nita-Rotaru. PANDA: A Decentralized Architecture with Flexible Orchestration for Scalable, Fault-Tolerant Multi-Agent Systems. 2026. arXiv preprint. arXiv:2609.38482
[38] Mingxi Zou, Wei Zhu, Zhuo Wang, et al. Waggle: Learning One Anonymous Local Law for Self-Organizing LLM Swarms. 2026. arXiv preprint. arXiv:2609.34136
[39] Jingjuan Huang, Wenbin Wang, Yanchuan Yin, Alvaro Velasquez, Jia Liu. DEALS: Decentralized Expertise-Aware Load Serving for Multi-Agent LLM Systems. 2026. arXiv preprint. arXiv:2609.33768
[40] Sahan Paliskara, Nattaput Namchittai, Andrew Lampinen. Worse Together: How Performance Breaks Down in Multi-User Multi-Agent Teams. 2026. arXiv preprint. arXiv:2610.00583
[41] Elias Stengel-Eskin, Newton Sander, Carlos Bonetti, et al. GlossoGen: Emergent Language in Complex Multi-Agent LLM Interactions. 2026. arXiv preprint. arXiv:2609.01491
[42] Huaiyuan Yao, Xiaoou Liu, Charles Fleming, Tianlong Chen, Hua Wei. MASkills: Continual Skills Optimization for Multi-Agent LLM Systems. 2026. EMNLP 2026 Findings. arXiv:2609.02094
[43] Ben Rachmut, Ning Zhang, Yevgeniy Vorobeychik, William Yeoh. Symbolic Guidance for LLM Agents in Distributed Multiagent Coordination. 2026. arXiv preprint. arXiv:2609.31963
[44] Yongchao Ye, Xinyu He, Dutliff Boshoff, Way Kuo, Lishuai Li. little m: An AI Agent for Industrial Process Optimization. 2026. arXiv preprint. arXiv:2609.16680
[45] Marcel Müller, Jiaru Bai, Willi Gottstein, et al. La Agente Óptima: Towards Agentic Self-Driving Laboratories. 2026. arXiv preprint. arXiv:2609.04564
[46] Jiayi Geng, Zhengxuan Wu, Kevin S. Chen, et al. EurekaBench: Measuring Agentic Ability to Discover New Scientific Insights. 2026. arXiv preprint. arXiv:2610.00492
[47] Chenmu Zhang, Levi Felix, Jun-Jie Zhang, et al. CompMat-Bench: Benchmarking AI Agents for Computational Materials Science. 2026. arXiv preprint. arXiv:2610.00636
[48] Dingyuan Dai, Heli Qi, Lei Liu, et al. OSWorld-Science: A Benchmark of Computer Use Agents for Learning and Using Scientific Software. 2026. arXiv preprint. arXiv:2609.39903
[49] Ming Du, Xiangyu Yin, Michael Prince, et al. Strategies for Deploying AI Agents in Production at Scientific User Facilities. 2026. arXiv preprint. arXiv:2609.36362
[50] Costas Mylonas, Magda Foti, Emmanouel Varvarigos. A Governance-Aware Large Language Model Orchestrated Agentic Digital Twin for Transmission System Operator Control Room Decision Support. 2026. arXiv preprint. arXiv:2609.22476
[51] Shraddha Barke, Adithya Murali. Agents as Software: A Programming Languages Agenda for Agent Reliability. 2026. arXiv preprint. arXiv:2609.32198
[52] Giordano De Marzo, Nicola Alboré, David Garcia. Copying explains the collective behavior of AI agents in the wild. 2026. arXiv preprint. arXiv:2609.09150
引用本报告
@misc{parallax-2026-ai-agents-in-september-2026,
title = {{AI Agents in September 2026: Instruments, Control and What Agents Actually Learn}},
author = {{Parallax}},
year = {2026},
month = oct,
howpublished = {\url{https://parallax.ink/research/en/ai-agents-in-september-2026}},
url = {https://parallax.ink/research/en/ai-agents-in-september-2026},
note = {Parallax Research, Digest}
}