Parallax
ダイジェスト

2026年9月のAIエージェント:道具、制御、そしてエージェントが実際に学ぶこと

9月のエージェント文献は、新しい能力よりも計測器についての議論が中心である。今月最も強力な貢献は、ベンチマーク環境の監査、モデルを取り巻くハーネスのアブレーション、リーダーボードの分散分解、そしてバックエンドが生成したのでなければ数値が運用者に届くことを拒むガバナンス層である。本号で全文エビデンスとして読んだ50本の論文を通じて、4つの動きが繰り返し現れる。計測がそれ自体に向けられること、制御がプロンプトレベルの防御からランタイム強制・権限会計・来歴へと移行すること、学習の研究がどの意思決定にクレジットを与えるべきか、そして方策が実際に学習する近道についてより慎重になること、そしてマルチエージェント研究が組織構造の設計から共有リソース、ローカル法、本番展開の研究へと移行することである。

対象期間:arXiv v1 投稿 2026年9月1日〜30日(9月30日投稿の一部論文は10月のarXiv番号を持つ。Scope and method を参照)。カバレッジ:2つの検索経路からの2,061件の候補、関連ありとしてスクリーニングした1,805件、全文エビデンスカードまで読んだ50件、以下で特集する13件、残りは「Also noted」にまとめた。

mermaid
mindmap root((AI agents · Sept 2026)) Measurement Benchmarks audited · 1 Harness ablated · 2 Leaderboards decomposed · 3 Revocation unenforced · 4 Control Stateful policy engine · 10 Authority accounting · 11 Provenance release · 12 Learning Segment-level credit · 19 Spurious tool use · 20 Memory as RL target · 24 Systems Decentralised teams · 37 Shared-resource failure · 40 Industrial deployment · 44

図1. 今月の4つの動きと、それらを担う特集論文(著者による概略図。数字は参考文献番号)。

論文貢献内容主要な結果(設定付き)根拠
Do Agent Benchmarks Do What They Say? ツール使用ベンチマーク環境の実行可能契約監査tau2-bench評価器は、停止された行を再供給する1,120/1,120のパスを通過し、1ハンク修復後は0/1,120全文
Harness Design for Coding Agents 一度に1コンポーネントずつのハーネスアブレーション、176設定管理されたコンテキスト:ウィンドウオーバーフローは32kで78.7% → 128kで8.7%;管理あり−管理なしの成功率差は35.7 → 2.7ポイント全文
Agent Evaluation Reliability 疎なエージェントリーダーボードのための分散分解9つのベンチマーク全体で、システム信頼性0.935–0.994に対しモデル信頼性0.148–0.841全文
Revoked but Still Authoritative 失効したポリシーを読み込んだ5つのエージェントメモリシステムデフォルトで失効を強制するシステムはなく、1,620回の試行のうち43.1%が不安全な行動で終了;検索フィルターは0/1,620全文
Sapien ツール呼び出しシーケンス上のステートフルポリシーエンジンAgentDojoでは949攻撃のうち93.2–95.2%をブロック;Toolathlonでは64.6%に対し許可リスト32.4%全文
AuthorityLens 13のエージェント構成に対する権限指標Codex Ask/Autoは599の結果のうち597を実現し、その46.7%が2つのプリンシパルを必要とした;Model Reviewは最小プリンシパル数を1.857 → 2.837に引き上げ全文
Stored Is Not Supported 永続エージェントのための型付き来歴とリリース契約型付き媒介では不安全なリリースが0/19および0/7であるのに対し、フラットなルールでは19/19および19/24全文
SHARPO エージェント型RLのためのセグメントレベルのクレジット割り当てALFWorld 84.90% 対 GRPO 70.57%;WebShop 75.26% 対 66.15%(Qwen2.5-7B-Instruct)全文
Spurious Tool Use RL後の手がかり駆動型ツール呼び出しに関する統制研究GSM8Kで偽の検索が+39.2ポイント;ツール必要性報酬により+0.0に戻る全文
Coding Agent Memory Post-training ファイルシステムをメモリとして扱うエージェント型RL512のCAMGテストタスクで54.4% 対 CompactionRL 48.0%;SWE-bench Verifiedでは27.6%(9B)対 凍結した122Bモデルの22.0%全文
PANDA チーム編成を伴う分散型マルチエージェントアーキテクチャHotPotQAの実時間714秒 対 IoAの2,182秒;注入されたインフラ障害下で100%完了 対 0%全文
Worse Together 共有リソース上のマルチユーザー・マルチエージェントチーム共有APIキータスク:最適値の30% 対 単一コーディネーターの64%;クリニック緩和により共同成功率が70.5% → 95.3%に上昇全文
little m 産業界の問題記述を最適化モデルに変換するエージェント専門家による総合品質の勝率66.0% 対 18.0%(DeepSeek-V3.2)および16.0%(Qwen3-Next-80B)全文

表1. 本号の注目論文13本;「根拠」は知見が全文で確認されたか(注目項目はすべて確認済み)、それとも抄録レベルでのみ確認されたかを記録する。

1 測定がそれ自体に向き合う:監査、アブレーション、信頼性

評価層はスコアを与えられたものとして扱うことをやめ、測定器そのものの監査を始めた。すなわち、ツール呼び出しを採点する環境、モデルとベンチマークの間に位置するハーネス構成要素、そしてタスク結果をランキングに変換する統計的仕組みである。

1.1 Do Agent Benchmarks Do What They Say? An Executable-Contract Audit of Tool-Using Agent Environments

本論文は、ツールが公表するインターフェースを実行可能な契約(事前条件、効果、引数、成功シグナル)として扱い、固定されたコミットにおいて実装がそれに適合しているかを検査し、続いて各スコアを、欠陥のあるツールが書き込むべきであった状態に依存する判定へと遡って追跡する。4つの出荷済みベンチマークにおける34の状態変更ツールを通じて、7つのツール欠陥と1つの評価器特性を確認しており、最も明瞭な事例は統計的というよりも算術的である。すなわち、各ゴールドの給油呼び出しの前にsuspend_lineを挿入して構築した1,120本の経路において、出荷済みのtau2-bench評価器は、未パッチの1,120本すべてを合格させ、1ハンクの修復を施した1,120本のうち1本も合格させない——停止中の回線への給油を報酬し、修復されたツールを不合格にするのである。ツールがエージェントに対し、インターフェースが開示しない設計の下で実行されたあらゆる書き込みを通知する臨床ベンチマークでは、グレーダーがそのメッセージを読み取るため、「行動成功率」は、何かが変化したかどうかではなく、要求が期待されるペイロードを運んだかどうかを記録する。著者自身の限界は、この結果がどのように用いられるかにとって重要である。彼らのチェッカーの静的半分は確認済み17箇所のうち14箇所を検出する一方、動的半分は主に静的半分が見つけたものを確認するにとどまるため、CONFORMという判定は適合を確立しない。また、ベンチマークはアンカーとして選ばれたため、ベンチマーク間の有病率についての主張は支持できない。

1.2 コーディングエージェントのためのハーネス設計に関する実証研究

前の論文が環境を監査するのに対し、本論文は足場(スキャフォールディング)を監査する。軽量なReActループを固定し、計画、行動空間、コンテキスト管理という各構成要素を一度に1つずつ変化させ、4つのモデル、2つの長期的コーディングベンチマーク、4つのコンテキスト予算にわたって(176設定)検証した結果、著者らは無条件に有用な構成要素を1つも見出さない。コンテキスト管理は最大の条件付き効果である。SWE-Bench Verifiedにおけるモデル平均では、未管理の層は32kでタスクの78.7%がウィンドウをオーバーフローするのに対し、128kでは8.7%であり、管理されたすべての層はオーバーフロー失敗をゼロと記録し、予算が増えるにつれて管理層と未管理層の成功率の差は35.7ポイントから2.7ポイントへと縮小する——すなわち、この構成要素の価値は制約に依存する。最大予算での行動空間については、bashのみがNemotron-3-550Bにおいて事前定義されたツールセットを上回り(69.40%対65.80%、q<0.05)、タスクあたりの平均コストはおよそ半分であるが、第2のベンチマークにおける別のモデルでは方向が逆転する。著者らは限界を率直に述べている。すなわち、構成要素ごとに単一の実装、バンドルされた行動空間アブレーション、タスクごとに1回の実行である。

図2. 制御された変化の対象としてのコーディングハーネス:計画はターンごとに注入される計画を通じて、行動空間は公開されるツールスキーマを通じて、コンテキスト管理は履歴の中央に適用される閾値B1 < B2を通じて入り、元の内容は外部ストアへオフロードされる(原論文より複製)。

1.3 エージェント評価の信頼性:より多くのタスクは(常に)エージェントリーダーボードを修正しない

本論文は、疎で不均衡なリーダーボードに対するベイズ分散分解を提供し、それによって信頼性がベンチマークではなく主張に帰属することを示す。22のベンチマーク(29,923ロールアウト、54モデル、13スキャフォールドを含む9つのHALベンチマーク、および13のHarbor Indexベンチマーク)において、完全なモデル–スキャフォールドシステムをランキングする際の推定信頼性は0.935–0.994である一方、その基盤となるモデルをランキングする際の信頼性は0.148–0.841である——同じスコアでも、測定対象が異なる。タスクを追加しても、スキャフォールドのサンプリングに由来する不確実性を取り除くことはできない。固定されたタスク予算のもとでは、9つのベンチマークをプールすることでモデルランキングの予測信頼性は約0.44から0.75に上昇するが、上限はタスク数以外の側面によって設定される。著者らは、信頼性は妥当性ではないと明言している。ランキングは能力と一致しなくても再現可能でありうる。

1.4 取り消されたが依然として権威を持つ:エージェントメモリシステムにおける取り消し施行の実証研究

長時間稼働するエージェントは永続メモリに依存しており、ほとんどのメモリシステムはソフト取り消しを用いる——矛盾する事実は無効と印付けされ、保持される。本研究は、メモリが読み出される際にその印が施行されるかどうかを問う。広く使われている5つのシステム(cognee、langmem、mem0、Zep、Graphiti)に、取り消されたポリシーとその置換を、9つのポリシーシナリオと9つのモデルにわたって読み込ませたところ、どのシステムもデフォルトでは取り消しを施行しておらず、その様式は3つある:取り消しが記録されない、記録されるがそのステータスが呼び出し元に開示されない、または記録され開示されるが検索時に施行されない。印が適用されたことが検証された2つのシステムでは、取り消された事実は81のシナリオすべてで返され、かつ第一位にランクされ、1,620試行のうち43.1%でエージェントを安全でない行動へと導いた。検索層のフィルタは効果を完全に除去し(0/1,620)、プロンプトの強化のみでは43.1%から37.2%へとわずかに動かしただけだった——コンテキストはどちらのポリシーが現行であるかを決して述べない。著者らの注意事項:ルールあり群とルールなし群のシナリオグループは対照比較ではなく、条件ごとの区間は報告されていない。

要点

  • 今月の評価作業はスコアではなく計測器についてである:ベンチマークは誤ったものを採点しうるし、ハーネスの構成要素は予算に応じて助けにも害にもなりうるし、リーダーボードはシステムを信頼性高くランキングしつつモデルをひどくランキングしうる。
  • 今すぐ対応する価値のある2つの具体的な失敗:ツールの状態ではなく成功メッセージを読む採点と、取り消しを保持するが施行しないメモリシステムである。
  • 信頼性 ≠ 妥当性であり、合格したスナップショット ≠ 適合性である。両論文ともこれらの限界を自ら述べている。

2 制御はランタイム、権限、来歴へ移った

3つの論文が、現在「統治されている」ことが実際に何を意味するかを定義する:エージェントが行動する間に施行されるポリシー、誰が何を認可できるかの尺度、そしてエージェントが自身のストアから主張することが許される内容に関する契約である。

2.1 Sapien:自律型AIエージェントのためのステートフルポリシーエンジン

文脈依存の防御は、これまで主にステートレスなツールの許可リストであった。つまり、引数やエージェントがすでに行ったことに関係なく、タスク全体を通じてツールが許可されるか禁止されるかが決まる。これに対しSapienは、許可されるツール呼び出しの系列を、ステートフルな述語で拡張した正規表現、遅延ポリシー生成(実行時の情報を必要とする制約をその時点で合成する)、およびスコープ付き意味論的チェックとして規定する。AgentDojo(97の短いタスク、949の攻撃インスタンス)とToolathlon(108の長期的タスク、212の攻撃インスタンス、600以上のツール)で4つのモデルを用いて評価したところ、ユーティリティは制約のないエージェントと比べて数タスク以内に収まり、エージェントがすでにハイジャックされていると仮定する分析モデルの下で、AgentDojoの攻撃の93.2–95.2%、Toolathlonの全セットの64.6%を阻止した(生成された許可リストでは32.4%)。コストはレイテンシであり、そのほとんどはポリシー生成に由来する。また残存する攻撃は意味論的なものである。両ベンチマークにおいて、阻止されなかった攻撃の80%以上は、決定論的述語が判断できる呼び出し系列ではなく、エージェントが読み書きするデータによって運ばれている。

条件ユーティリティ(タスク完了)攻撃阻止率
ポリシーなし 基準構造上0%
生成されたツール許可リスト AgentDojoでポリシーなしから0–2タスク以内82.7–86.8%(AgentDojo、949インスタンス)、32.4%(Toolathlon、212)
Sapien 97タスクのうち1–5タスク少ない(AgentDojo)、80回の実行中43回対45回(Toolathlon 20タスクのサブセット)93.2–95.2%(AgentDojo)、64.6%(Toolathlon)

表2. で報告されている、ベースラインに対するSapienのユーティリティとセキュリティ。セキュリティの数値は分析的(攻撃者がエージェントをすでにハイジャックしたと仮定)なものであり、インジェクション耐性の測定値ではない。

2.2 AuthorityLens: 権限のレンズを通してLLMベースのエージェントシステムを再考する

本論文は、設定がめったに明示しないもの、すなわちどのプリンシパルがどの結果を実現できるかを測定する。すべての許容可能な実行時状態にわたるプリンシパルの最小十分な連合から、システム権限、権限の分離、プリンシパルごとの権限を導出し、599の結果ポートフォリオにわたるCodex、OpenCode、Gemini CLIの13の設定に適用する。Full AccessのCodexは単一のプリンシパルで全599の結果を実現するのに対し、Ask/Autoは597を実現しつつ、そのうち279(46.7%)については2つ以上のプリンシパルを必要とする。そこではアシスタント単独で結果の53%をカバーするのに対し、Full Accessの下では100%である。レビュー制御を追加することは自動的に制限になるわけではない。Model Reviewを備えたGemini CLIはシステム権限を変えない(0.9215)が、プリンシパルの平均最小数をDefaultでは1.857から2.837へ、Yoloでは1.013から1.993へと引き上げる。この測定はポートフォリオ内のものであり、外部のベースラインシステムは存在しない。この点は論文の枠組みが明示している。

2.3 保存されていることは支持されていることではない:永続的AIエージェントのための型付き来歴とアサーションガードレール

永続エージェントは自身のストアから引き出した事柄を主張する。本論文は内部ストレージではなく外向きの境界を形式化する。すなわち、証拠頂点と主張頂点に対する型付き来歴グラフ、単一の証拠ステータスと直交する競合・陳腐化・保留のフラグを返すリゾルバ、そして生成–検証–修正のメディエータである。手作業で作成した24件の適合性ケース(不安全なリリース機会19件、支持される対照5件)において、型付きルールは不安全なリリースゼロ件、不支持の修正ゼロ件を記録した。一方、フラットな事前ルールは不安全項目19件すべてをリリースし、ソースタグ規則は19件中18件をリリースした。証拠は実行可能なインメモリ適合性スイートであり、モデル評価や検索評価ではなく、著者らは参照実装が実装していないもの(自然言語の意味単位抽出、一般化された証人アクセス制御、完全な来歴DAG走査)を列挙している。

要点

  • 制御はランタイムの性質になりつつある。重要なのは、ある行為がエージェントがすでに行ったことに照らして許容可能かどうか、どのプリンシパルがそれを認可できるか、そして保存された主張をそもそもリリースしてよいかどうかである。
  • 両方の新しい制御は、レイテンシと複雑さと引き換えに封じ込めを買う。Sapienは実行時間の大半をポリシー生成に費やし、その残存する失敗は構造的ではなく意味的である。
  • 権限は副産物ではなく設計変数である。レビュー層は権限を変えないまま、必要とするプリンシパルの数を増やしうる。

3 エージェントが学ぶもの:クレジット、ショートカット、記憶

今月の学習論文は、「ポリシーは実際に何を内部化したのか」という共通の問いを共有し、クレジット割り当てのメカニズム、統制されたショートカット研究、ポリシーの一部として訓練される記憶によってそれに答える。

3.1 SHARPO:エージェント型強化学習のためのセグメントレベルのクレジット割り当て

エージェント型RLは通常、長い軌跡に対して単一の終端報酬を受け取る。そこでは一つの局所的な誤りがタスクを失敗させうるが、どの意思決定が責められるべきかの信号は残らない。SHARPOはGRPOを環境と向き合うセグメントのレベルで洗練する。各セグメント内で教師–生徒の対数確率ギャップを計算し、それをそのセグメントの全トークンが共有する有界の乗数に変えることで、クレジットはセグメント間で異なりつつ、一つのセグメント内では均一に保たれる。Qwen2.5-7B-Instructでは、ALFWorldで84.90%(GRPOは70.57%)、WebShopで75.26%(同66.15%)に達し、この改善は4倍異なる2つの混合重みの間で維持され、ALFWorldでは実行間のばらつきも小さい(標準偏差1.19–2.82ポイント対7.83)。示された範囲は2つのベンチマークと1つの7Bバックボーンであり、証拠はそこで止まる。

3.2 偽りのツール使用:RLエージェントが行為すべき誤った理由を学ぶとき

本論文は、タスクスコアのみが報告される場合に見落とされやすい失敗モードを切り分ける。すなわち、RLによってツール呼び出しがタスク要件ではなく表層的なプロンプトの手がかりに依存するようになりうる、というものである。回答形式の指示が検索と相関しているが因果的には無関係である統制環境で訓練すると、著者らは、その手がかりが存在する場合にエージェントが保持された数学問題で検索を呼び出すケースが最大39.2%増えることを見出し(検索率は手がかりありで40.1%、手がかりなしで0.9%)、またショートカットの形成はエージェントがすでにツールを確実に学習した後にのみ現れることを見出した。つまり、データセットの不均衡だけではなく、 competence(能力獲得)がその前提となっている。各呼び出しの必要性を評価する密な意思決定レベルの報酬は、報告された実行において精度を維持しつつ(GSM8Kで92.8/88.8)、偽の呼び出し率を0.0%に戻す。すべての条件は個別の単一シード訓練実行であり、著者らはこの緩和策を解決済みの問題ではなく実用的な対処法として提示している。

図3. ツールを呼び出す誤った理由の学習:回答形式の指示が訓練中に検索ツールと相関するようになり(パネルA)、テスト時にはタスクがコードツールを必要としているにもかかわらず、同じ手がかりが検索呼び出しを引き起こす(パネルB)(原論文から再掲)。

3.3 コーディングエージェントの記憶のポストトレーニング:事前学習済みファイル操作の記憶ポテンシャルを解き放つ

記憶モジュールを追加する代わりに、本論文はポリシーがすでに持っているファイルシステムを使うように訓練する。すなわち、タスクが情報のコンテキスト置換後の存続を要求する4つの長地平線環境と、通常のシェルアクションに対する完全非同期PPOであり、報酬は下流のタスク成功のみから得られる。その結果得られた9Bポリシーは、同じ512のテストタスクでCompactionRLの48.0%に対して平均54.4%の成功率を示し(対応差6.4ポイント、ブートストラップ区間[3.3, 9.5])、また同一のハーネスで評価した凍結122Bモデルの22.0%に対してSWE-bench Verifiedの問題の27.6%を解決する。この比較はサイズにおいてもコンテキスト境界で起こることにおいても同条件比較ではなく、著者らは限界を明示している。すなわち、記憶は1エピソード・1ユーザーに限定され、バックボーンは9Bまでである。

要点

  • 今月の訓練結果はスケールではなく帰属と規律に関するものである。すなわち、報酬がどこに落ちるか、ツール呼び出しに理由があるか、状態がコンテキスト境界を越えて存続するかである。
  • 「より良いスコア」と「正しいことを学んだ」は統制された設定で乖離した。呼び出しごとの必要性シグナルはそこでショートカットを取り除くのに十分であった。
  • 3論文はいずれも狭い設定を公開し、そのことを明言している。いずれの効果もバックボーン全体で普遍であるとは主張されていない。

4 システム:分散チーム、共有リソース、本番環境

システムに関する研究は、かつて混同されていた2つの問いに分かれた。すなわち、エージェントが中心なしでいかに自己組織化するか、そして複数ユーザーのエージェントが1つの希少リソースを共有するときに何が起こるかである。

4.1 PANDA:スケーラブルでフォールトトレラントなマルチエージェントシステムのための柔軟なオーケストレーションを備えた分散アーキテクチャ

PANDAは、独立に管理されたエージェントが能力を登録し、タスクごとの小規模チームへ自己組織化するピアツーピアアーキテクチャであり、3つの選択可能なオーケストレーション・トポロジー(スター、チェーン、メッシュ)とインフラ障害検出器を備え、集合的発見はチーム・メッセージングから分離されている。HotPotQA(full-wiki、ワーカー10体、GPT-5.4-mini)において、そのメッシュ・トポロジーはわずかな精度をウォールクロック時間と引き換えにする——714秒で70.0 EMおよび79.39 F1に対し、Internet-of-Agentsは2,182秒で72.5および81.26——そして注入されたインフラ障害下では、PANDAの構成は全実行の100%を完了するのに対し、Magentic-One、AgentNet、IoAはいずれも0%しか完了しない。本論文には専用の限界セクションはないが、著者らは50の能力がある場合、必要な能力を満たすには100体のエージェントでは足りないと指摘している。

図4. PANDAのエージェントごとの設計:チーム通信とローカル・レジストリが、発見をチーム・メッセージングから分離する集合層の傍らに位置し、インフラ障害検出器が再計画と両方の通信層に供給する(原論文から転載)。

4.2 共に悪化する:マルチユーザー・マルチエージェント・チームで性能がどのように破綻するか

すべてのユーザーにそれぞれ専用のエージェントを与えることは、エージェントが予算やキューを共有するまではより安全な設計に見える。4つのツール利用環境を通じて、本論文はピアツーピア形成が単一コーディネーターを下回ることを見出す:共有の夜間APIキー予算では、チームは最適値の30%に達するのに対し、単一コーディネーターは64%であり、決して協調しない「サイレント」なチームは7%および2%に達する。この差は構造的なものではなく環境固有である——診療シナリオにおける最強の指示スタック下では、共同成功率は70.5%から95.3%へ上昇し、コーディネーターの84.3%を上回る——そして著者らは、彼らの行動ラベルが人間の判断に対して検証されていないモデル審査員に由来することに注意を払い、彼らの分析はいずれの行動がこの差を引き起こすことを確立するものではないと述べている。

4.3 little m:産業プロセス最適化のためのAIエージェント

これは今月最も明確な実運用事例である。little mは、非構造化された産業上の問題記述とプロセス図を、厳選されたドメイン知識リポジトリに基づき、2つのヒューマン・イン・ザ・ループ・チェックポイントでゲートされた構造化最適化定式化へと変換する;これはIPC-Bench、すなわち専門家が検証した正解を持つ教科書由来のマルチモーダル・プロセス制御事例50件で評価される。8名のドメイン専門家は、彼らがレビューした20事例のうち66.0%でその定式化を好み、素のDeepSeek-V3.2ベースラインの18.0%およびQwen3-Next-80Bの16.0%と対照的であり、その決定変数重複スコアは両ベースラインを上回る。著者らはその境界について明確である:ドメイン知識はドメインごとに厳選され、ソルバーレベルの検証はなく、ベンチマークは教科書由来であり、事前学習による露出は排除できない。

要点

  • 組織化は実証的な問いになりつつある:分散型設計は故障耐性と実行時間で勝つことができる一方、ユーザーごとのエージェントは共有リソース上で単一コーディネーターに敗れることがある。
  • 緩和策は普遍的ではなく環境固有である:ある共有リソース上で大きく後れを取る同じ形成が、より強力な指示スタック下では別のリソース上でそのコーディネーターを上回る。
  • 実運用事例は今や、機械的指標と並んで人間の専門家の判断を報告し、そのいずれにも明示的な適用範囲の限界が付される。

その他特記事項

測定とエンジニアリング。 cua-speedrun は、4つのコンピュータ操作ベンチマークを単一の仮想マシンとパイプライン上に載せ(OSWorld上で56構成)、より多くの推論がより高速になり得ることを示す——Gemini 3 Flash Preview は33.6%から57.6%へ改善し、一方で平均タスク時間は492秒から268秒へ短縮される——また、より高速な入出力がより低速になり得ること(環境時間12.68秒→0.34秒、平均タスク時間89.5秒→99.0秒)も示す。ReLiveGym は8つの長期タスクに対して数週間分の実ストリームを再生し、シード間変動がすべてのタスクで最大の分散成分であると報告する。Failure-Transparent Agents は生成前に失敗ツール観測を修正し、6モデルからの3,600件超の人手注釈付き応答にわたり、偽成功が透明性指示で22.8%から9.3%へ、4フィールドの証拠契約で0.8%へ低下することを測定する。157のオープンソースエージェントプロジェクトに関するリポジトリレベル調査 は、87.3%が従来型テストを備える一方で、プロンプトインジェクションや敵対的テスト経路を持つのはわずか5.1%であることを見出す。「Defining AI Agents」 は、エージェント性の5次元に基準・指標・ベンチマークを対応付ける概説であり、独自の測定値は報告しない。OSWorld-Science は17の科学ソフトウェアタイトルにまたがる146のコンピュータ操作タスクをアプリケーション状態と成果物によって採点する。最高平均スコアは73.7%であり、公開された実行のうち満点を得るのはわずか26.3%である。「Agents as Software」 は、エージェントのプログラムがプロンプト、ツール、メモリ、トレースに分散しているため、エージェントの信頼性にはプログラミング言語による扱いが必要だと論じる。

安全性、セキュリティ、説明責任。 TrustProbe は11のオープンソースエージェント(うち8つは10,000スター超)にわたり104件のテイント型脆弱性を見出し、実際に公開されたスキルのコーパス上でのスキル–エージェント試行の25.1%が監査済みの脆弱な経路を誘発し、そのうち31.7%が平文プロンプトから再現すると報告する。エージェント型ジェイルブレイキングの体系化 は116の攻撃と63の防御を統合し、応答レベルの数値がなぜ誤解を招くかを示す——ある攻撃下で不安全な計画が91.49%に達する一方、応答レベルでの攻撃成功率は11.54%にとどまる。マルチエージェントシステムに関するセキュリティSoK は44件の研究を監査し、攻撃成功率そのものを計算しているのはわずか13件であり、20件の完全トレース評価のうち明示的な依存グラフを報告するのは1件のみであることを見出す。2026年のHugging Faceインシデントに基づくモンテカルロ研究 は、インシデント率0.301%で階層化された制御を、弱い制御の2.498%に対してモデル化し、300回の摂動抽出にわたり安定している——これはモデルであり、稼働中システムの観測ではない。HazardAuditor は実行可能な脅威トレースをコンピュータ操作監査器へ変換し、ガードベースラインに対して精度+16.5ポイントを報告する。「Trustworthy Agentic AI」 は構造化されたナラティブレビューであり、その唯一の定量的数値は別の研究から引用されたものである。送電系統運用者向けのガバナンス対応デジタルツイン は、数値が制御室に届くのを層で描画されたバックエンド事実としてのみ許可する。4つの不変条件が590回の実行のうち590回で成立するのに対し、層なしの354回の実行では45件の未承認の副作用が生じる。

学習、記憶、ツール使用。 観測は通常、教師ありファインチューニングからマスクされるが、損失をそれらに及ぼすとRL後の探索が変化し、4BにおけるTerminal-Bench 2.0のpass@1が5.6から7.2に上昇する。UniOPSD は結果ベースと後知恵ベースのクレジットの間を仲裁し、3BのWebShopでベースラインの68.0%に対して75.0%に達する一方、7BのALFWorldでは最強のベースラインを下回る。ARISE-RL はルーブリック生成器とソルバーを共進化させ、旅行サブタスクの0.599を通過し、最も近いベースラインの0.531を上回る。MemAgent は13の異種メモリプロバイダ間でタスクをルーティングすることを学習し(平均75.7% 対 メモリなしの65.7%)、ActiveMem は潜在メモリツリーから依存関係整合的なパスを検索し(Qwen3-8BにおけるALFWorld 95.57 対 90.60)、SkillSpec はコンセンサスゲートの下でスキルを進化させ(GPT-4.1上のSkillOptに対してマクロ平均で+12.26ポイント)、偏差誘導手法 は誤ったターンをスキル編集に変換する。Agent Error Dataset は50,228のエラー–診断ペアを提供し、最初の提案による修正ルールがリプレイ通過率を元のアクション再試行に対して32.7ポイント引き上げる。ToolSearcher は16,464 APIのリポジトリ上でツール選択を訓練し(F1 0.513 対 最強ベースラインの0.496、0.098から)、アクション空間の研究 はツールをより少ない操作に統合するだけで9つのオープンモデル全体で成功率の中央値19ポイントを失うことを示す。AnyAct はGUIプリミティブ、シェルコマンド、MCP APIを信頼性ゲート付き検索層の背後で統一し(LiveMCPBench 84.95 対 ナイーブベースラインの42.11)、Dyad は別個のエンコーダで型付き候補アクションをスコアリングしつつ、言語推論を備えた単一ポリシーを維持する(9BにおけるALFWorld 90.90 対 85.01)。企業アブレーション は、シェルのみのインターフェースが型付きツールカタログをTheAgentCompany(N=348)で24.6ポイント、APEX-Agents(N=960)で6.2ポイント上回り、タスクあたりのトークンは約3分の1であることを見出した。Dr. Free は自己進化型検索エージェントから難易度ベースの提案者報酬を除去し、金標準盲検監査において3%対81%のショートカット率を報告する。グラフベースのパーソナライズドメモリに関するサーベイ は12のベンチマークを表にまとめ、そのうち2つだけがメモリ組織を明示的にマークしていることを見出した。

マルチエージェントシステムとデプロイメント。 Waggle は、役割構造ではなく単一のパラメータ共有されたローカル法則を学習し、64エージェントのSilo-Benchで決定蒸留を14.5ポイント上回る。DEALS は、ルーティングに言語モデルの呼び出しを一切使わずにタスクを隣接ノード間で処理し(混合ファミリー精度66.52%対57.76%)、4.7~22.7倍のスループットを報告している。GlossoGen は、コミュニケーションを多数ある行動の一つとして扱い、予算圧力とポストモーテムチャネルによってメッセージのパープレキシティが約430%上昇すること、またオープンウェイトのチームがラウンドの30.8%で成功するのに対しプロプライエタリモデルは92.1%であることを見出した。MASkills は、パラメータではなくスキルライブラリを編集する(HotpotQA F1は76.3対69.2だが、GAIA Level 3では0.0対8.3)。記号的ガイダンスに関する研究 は、分散コーディネーションにおいて、中間レベルのガイダンス(関数レベルの記述)がガイダンスなしと完全に規定された擬似コードの両方を通常上回ることを見出した。Óptima は、ベイズ最適化キャンペーンをサブエージェントと永続サービスに委任し、23回の実験で最高測定収率を30.0%から58.8%へ引き上げた一方、その人間との比較は対応が取れていないと明言している。Eurekabench は、エージェントが人間の予測精度には匹敵する(47.4%対48.8%)ものの、インサイトスコアは29.4~42.4%にとどまり、人間の69.7%には及ばないことを見出した。CompMat-Bench は、シミュレーションを事前計算した94の材料科学タスクでエージェントを評価し、完全なガイダンス下で90.4~91.5%、最も困難な条件では50~75%であった。科学ユーザー施設からのデプロイメント報告 は、光源運用から得られたパターン——推論エンドポイント、分離されたツールサーバー、オフサイト計算、統制されたライフサイクル学習——を抽出しているが、ベンチマークは報告していない。2026年6月のインシデントに関する観察研究 は、公開ウィキ上の1,201の短命エージェントが、目に見えるものをコピーすることで同じページ、名前、言い回しに収束していった過程を再構成している——ページ選択は、そのページが直近のフィードに占める割合に追従し、フィットされた傾きは0.87であった——そして、何体のエージェントが同じページで出会ったかの裾の重い分布を再現し、最初に書いた者が慣習を定めることを示唆している。

範囲と方法

検索とスクリーニング

対象ウィンドウはarXivのv1投稿日が2026年9月1~30日であるため、9月30日に投稿された一部の論文は10月のarXiv番号を持ちながら投稿日基準で含まれている(例えば、、、、、、)。二つの経路を組み合わせた。「agent」/「agents」に対するタイトル一致(2,016論文)と、トピック定義として表現したセマンティックリコール(20,638件をスキャンしたうち最も近い500件)であり、これにより2,061件の一意な候補が得られた。スクリーニングでは、論文の主要な貢献がAI/LLMエージェント自体に関わることを要件とし、AIエージェントとは無関係な古典的マルチエージェントRLや制御理論的な「エージェント」、AIエージェントとは無関係な「agent」の語義、エージェントに言及するだけで主要主題としない論文を除外した。結果として1,805件を含め、256件を除外した。含めた集合はその後、七つの系統(測定、安全性とガバナンス、学習、記憶とスキル、ツール使用、マルチエージェントシステム、ドメインデプロイメント)に対してラベル付けされた。ラベルは重複し、346件の論文は未解決のまま残った。これらの数値はスクリーニングされたコーパスを記述するものであり、分野全体を記述するものではない。全文を読んだ50件の論文は、七つの系統すべてを代表するように(9/9/7/7/6/6/6)選ばれ、検証可能な結果を示し、実務者が行動に移せる研究を優先するように選ばれた。1,805件中の50件は代表性のために選ばれた読解サンプルであり、ランキングではない。

エビデンスの深さとギャップ

50本の論文はそれぞれ別個の読解タスクによって読まれ、論文自身の設定、最も近い先行研究に対する著者らが述べた差分、指標とベースラインを伴う1つまたは2つの数値、著者らが述べた限界、そして図1点を含むエビデンスカードが作成された(カードは46件が完成、3件が部分的なもの、1件は図のステップのみが失敗したもの)。特集セクションのすべての数値は、それらのカードまたは本号のために読まれた原文から取られており、それぞれがその設定とともに述べられている。ベンチマーク監査では2つの図を抽出できなかったため、その論文は本文のみから記述している。書誌メタデータは図書館のレコードから取得している。ワークスペースには被引用数や会議採択に関するデータはないため、ここでの「注目すべき」とは測定された注目度ではなく、問題の関連性と報告されたエビデンスを意味する。これは本シリーズの第1号であるため、比較対象となる前号は存在しない。

References

[1] Rohith Reddy Bellibatlu, Zichong Wang, Wenbin Zhang. Do Agent Benchmarks Do What They Say? An Executable-Contract Audit of Tool-Using Agent Environments. 2026. arXiv preprint. arXiv:2609.37315

[2] Run-Ze Fan, Zihao Zhang, Simin Ma, et al. An Empirical Study of Harness Design for Coding Agents. 2026. arXiv preprint. arXiv:2609.20804

[3] Michael Hardy, Ruhana Azam, Anka Reuel, Mykel Kochenderfer, Sanmi Koyejo. Agent Evaluation Reliability: More Tasks Won't (Always) Fix An Agent Leaderboard. 2026. arXiv preprint. arXiv:2610.00651

[4] Yi Ting Shen, Kentaroh Toyoda, Alex Leung. Revoked but Still Authoritative: An Empirical Study of Revocation Enforcement in Agent-Memory Systems. 2026. arXiv preprint. arXiv:2609.08258

[5] Pranjal Aggarwal, Lawrence Keunho Jang, Sean Welleck, Daniel Fried, Ruslan Salakhutdinov, Jing Yu Koh. cua-speedrun: Standardized Benchmarking of the Speed of Computer-Use Agents. 2026. arXiv preprint. arXiv:2609.40284

[6] Xisen Jin, Jingheng Li, Zhenglun Chen, Junyi Du, Xiang Ren. ReLiveGym: Evaluating Long-Lived Agents over Weeks of Replayed Reality. 2026. arXiv preprint. arXiv:2610.00710

[7] Junru Zhu, Shiming Xie, Aime Lu Fan Chen, et al. Failure-Transparent Agents: Benchmarking Post-Failure Reporting in Tool-Using Language Models. 2026. arXiv preprint. arXiv:2609.35732

[8] Wuyang Dai, Moses Openja, Jiho Shin, Hung Viet Pham, Song Wang. A Large-Scale Empirical Study of Quality Assurance Practices and Gaps in AI Agents. 2026. arXiv preprint. arXiv:2609.17698

[9] Mia Lassiter, Brinnae Bent. Defining AI Agents: A Compendium of Criteria, Metrics, and Benchmarks. 2026. arXiv preprint. arXiv:2609.11018

[10] Corinn Tiffany, Wen Zhang, Eugene Bagdasarian, Lillian Tsai. Sapien: A Stateful Policy Engine for Autonomous AI Agents. 2026. arXiv preprint. arXiv:2610.00797

[11] Shaojin Chen, Huihao Jing, Wun Yu Chan, et al. AuthorityLens: Rethinking LLM-Based Agent Systems Through the Lens of Authority. 2026. arXiv preprint. arXiv:2609.32378

[12] Jun He, Deying Yu. Stored Is Not Supported: Typed Provenance and Assertion Guardrails for Persistent AI Agents. 2026. arXiv preprint. arXiv:2609.02127

[13] Yan Wang, Zhihao Zhang, Ke Chen, et al. Can Agents Trust Their Skills? Uncovering Unsafe Chains of Trust in Skill-Based LLM Agents. 2026. arXiv preprint. arXiv:2609.39065

[14] Md Jueal Mia, Yanzhao Wu, Selcuk Uluagac, M. Hadi Amini. SoK: Rethinking Jailbreaking in the Era of Agentic AI: Attacks, Defenses, and Practical Consideration. 2026. arXiv preprint. arXiv:2609.12413

[15] Rui Yang, Junjie Xu, Zhengyu Liu, et al. SoK: When Safe Agents Fail Together: The Security of Multi Agent LLM Systems. 2026. arXiv preprint. arXiv:2609.00595

[16] Murat Ozer, Bulent Erenay, Ibrahim Berber. Reward Hacking and Agent Containment Failure: A Monte Carlo Study Based on the 2026 Hugging Face Incident. 2026. arXiv preprint. arXiv:2609.32390

[17] Yunhao Feng, Ruixiao Lin, Ming Wen, et al. HazardAuditor: From Executable Threats to Safer Computer-Use Agents. 2026. arXiv preprint. arXiv:2609.15134

[18] Fayeq Jeelani Syed, Rehan Ahmad, Ali Al Bataineh, Aakriti Adhikari. Trustworthy Agentic AI: Failure Modes, Mitigation Strategies, and a Lifecycle Framework for Autonomous LLM Systems. 2026. arXiv preprint. arXiv:2609.22712

[19] Xinchen Du, Zhengze Zhou, Wenhui Zhu, et al. SHARPO: Segment-Level Credit Assignment for Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2610.00838

[20] Yiwei Yang, Haoxiang Zhang, Bingbing Wen, et al. Spurious Tool Use: When RL Agents Learn the Wrong Reason to Act. 2026. arXiv preprint. arXiv:2609.16268

[21] Juzheng Zhang, Disha Makhija, Manoj Ghuhan Arivazhagan, Vinayshekhar Bannihatti Kumar, Rashmi Gangadharaiah. Don't Mask the Environment: Observation Supervision Changes How Agents Explore Under RL. 2026. arXiv preprint. arXiv:2609.20715

[22] Zenghuang Fu, Zhaoyang Li, Qiuyuan Ai, et al. UniOPSD: Unifying Outcome and Hindsight Feedback for Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2609.34810

[23] Fanrui Zhang, Ruixue Ding, Qiang Zhang, et al. ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning. 2026. arXiv preprint. arXiv:2609.01058

[24] Lirui Luo, Kelong Mao, Heming Xia, et al. Coding Agent Memory Post-training: Unlocking the Memory Potential of Pre-trained File Operations for Long-Horizon Tasks via Reinforcement Learning. 2026. arXiv preprint. arXiv:2609.34422

[25] Yongxian Wei, Yilin Zhao, Runxi Cheng, et al. MemAgent: Learning to Manage Heterogeneous Memory Providers for LLM Agents. 2026. arXiv preprint. arXiv:2609.32521

[26] Song-Li Wu, Jingyi Wang, Zhaocheng Du, Weinan Gan. ActiveMem: Dynamic Latent Memory Trees for Long-Horizon Agents. 2026. arXiv preprint. arXiv:2609.33244

[27] Huancheng Chen, Xiaodi Sun, Zhaoqiong Huang, Shenyang Huang, Shreya Singhal, Jingwen Lu. SkillSpec: Consensus-Gated Agent Skill Evolution via Representation Specialization. 2026. arXiv preprint. arXiv:2610.00704

[28] Yichun Feng, Jiawei Wang, Haozhe Sun. A Wrong Turn Does Not Ruin the Journey: Deviation-Guided Skill Self-Evolution for LLM Agents. 2026. arXiv preprint. arXiv:2609.29154

[29] Kunlun Zhu, Xuyan Ye, Yibo Li, Cheng Qian, Beibin Li, Heng Ji. Agent Error Dataset: Scaling 50,000 Error–Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training. 2026. arXiv preprint. arXiv:2609.40111

[30] Zhenlong Dai, Xujie Song, Zitong Wang, et al. ToolSearcher: Optimizing Tool Selection at Scale via Reinforcement Learning. 2026. arXiv preprint. arXiv:2609.30906

[31] Yinhong Liu, Zhili Tan, Zilin Wang, Zhijiang Guo. Action-Space Shaping for LLM Agents: Measuring and Mitigating Tool-Schema Bias. 2026. arXiv preprint. arXiv:2609.34971

[32] Lingrui Xu, Yangqin Jiang, Jiachang Zhang, Xubin Ren, Chao Huang. AnyAct: Universal Action for Self-Evolving Agents. 2026. arXiv preprint. arXiv:2609.37025

[33] Yundaichuan Zhan, Weishi Wang, Wenbiao Liu, et al. Dyad: Extending Large Language Models with Native Typed Decision-Making. 2026. arXiv preprint. arXiv:2609.36116

[34] Hazel Mak, Susheel Suresh, Sahil Bhatnagar, Barry Wang, Chhaya Methani, Alejandro Gutierrez Munoz. Is Bash All You Need? An Empirical Study of Tool Interfaces for Enterprise Digital Worker Agents. 2026. arXiv preprint. arXiv:2609.11999

[35] Zhipeng Qian, Zihan Liang, Yufei Ma, et al. Dr. Free: You Don't Need Difficulty Rewards for Self-Evolving Search Agents. 2026. arXiv preprint. arXiv:2609.33565

[36] Dac Duy Anh Nguyen, Zhangchi Qiu, Shigeng Chen, Alan Wee-Chung Liew. Graph-Based Personalized Memory for LLM Agents: Representation, Evolution, Retrieval, and Evaluation. 2026. arXiv preprint. arXiv:2609.08599

[37] Matthew D. Laws, Cristina Nita-Rotaru. PANDA: A Decentralized Architecture with Flexible Orchestration for Scalable, Fault-Tolerant Multi-Agent Systems. 2026. arXiv preprint. arXiv:2609.38482

[38] Mingxi Zou, Wei Zhu, Zhuo Wang, et al. Waggle: Learning One Anonymous Local Law for Self-Organizing LLM Swarms. 2026. arXiv preprint. arXiv:2609.34136

[39] Jingjuan Huang, Wenbin Wang, Yanchuan Yin, Alvaro Velasquez, Jia Liu. DEALS: Decentralized Expertise-Aware Load Serving for Multi-Agent LLM Systems. 2026. arXiv preprint. arXiv:2609.33768

[40] Sahan Paliskara, Nattaput Namchittai, Andrew Lampinen. Worse Together: How Performance Breaks Down in Multi-User Multi-Agent Teams. 2026. arXiv preprint. arXiv:2610.00583

[41] Elias Stengel-Eskin, Newton Sander, Carlos Bonetti, et al. GlossoGen: Emergent Language in Complex Multi-Agent LLM Interactions. 2026. arXiv preprint. arXiv:2609.01491

[42] Huaiyuan Yao, Xiaoou Liu, Charles Fleming, Tianlong Chen, Hua Wei. MASkills: Continual Skills Optimization for Multi-Agent LLM Systems. 2026. EMNLP 2026 Findings. arXiv:2609.02094

[43] Ben Rachmut, Ning Zhang, Yevgeniy Vorobeychik, William Yeoh. Symbolic Guidance for LLM Agents in Distributed Multiagent Coordination. 2026. arXiv preprint. arXiv:2609.31963

[44] Yongchao Ye, Xinyu He, Dutliff Boshoff, Way Kuo, Lishuai Li. little m: An AI Agent for Industrial Process Optimization. 2026. arXiv preprint. arXiv:2609.16680

[45] Marcel Müller, Jiaru Bai, Willi Gottstein, et al. La Agente Óptima: Towards Agentic Self-Driving Laboratories. 2026. arXiv preprint. arXiv:2609.04564

[46] Jiayi Geng, Zhengxuan Wu, Kevin S. Chen, et al. EurekaBench: Measuring Agentic Ability to Discover New Scientific Insights. 2026. arXiv preprint. arXiv:2610.00492

[47] Chenmu Zhang, Levi Felix, Jun-Jie Zhang, et al. CompMat-Bench: Benchmarking AI Agents for Computational Materials Science. 2026. arXiv preprint. arXiv:2610.00636

[48] Dingyuan Dai, Heli Qi, Lei Liu, et al. OSWorld-Science: A Benchmark of Computer Use Agents for Learning and Using Scientific Software. 2026. arXiv preprint. arXiv:2609.39903

[49] Ming Du, Xiangyu Yin, Michael Prince, et al. Strategies for Deploying AI Agents in Production at Scientific User Facilities. 2026. arXiv preprint. arXiv:2609.36362

[50] Costas Mylonas, Magda Foti, Emmanouel Varvarigos. A Governance-Aware Large Language Model Orchestrated Agentic Digital Twin for Transmission System Operator Control Room Decision Support. 2026. arXiv preprint. arXiv:2609.22476

[51] Shraddha Barke, Adithya Murali. Agents as Software: A Programming Languages Agenda for Agent Reliability. 2026. arXiv preprint. arXiv:2609.32198

[52] Giordano De Marzo, Nicola Alboré, David Garcia. Copying explains the collective behavior of AI agents in the wild. 2026. arXiv preprint. arXiv:2609.09150

このレポートを引用

bibtex
@misc{parallax-2026-ai-agents-in-september-2026, title = {{AI Agents in September 2026: Instruments, Control and What Agents Actually Learn}}, author = {{Parallax}}, year = {2026}, month = oct, howpublished = {\url{https://parallax.ink/research/en/ai-agents-in-september-2026}}, url = {https://parallax.ink/research/en/ai-agents-in-september-2026}, note = {Parallax Research, Digest} }

続きを読む