サーベイ
ループ型および再帰深層トランスフォーマー:アーキテクチャ、学習、適応推論、理論、システム
ループ型(または再帰深さ型)トランスフォーマーは、同じ重み共有ブロックをトークンの隠れ状態に対して繰り返し適用することで、「深さ」をパラメータ数の固定された性質から、推論時に消費できる変数へと変える。
サーベイ
ループ型(または再帰深さ型)トランスフォーマーは、同じ重み共有ブロックをトークンの隠れ状態に対して繰り返し適用することで、「深さ」をパラメータ数の固定された性質から、推論時に消費できる変数へと変える。
サーベイ
エージェントの能力は、ますますその基盤モデルではなく、その周囲に構築されたハーネスに依存するようになっている。すなわち、指示、コンテキスト管理、メモリ、ツールとスキル、制御フローとオーケストレーション、そしてエージェント自身のコードである。
サーベイ
コンピュータ使用エージェント——スクリーンショット、アクセシビリティツリー、キーボードとマウスの操作を通じてグラフィカルインターフェースを操作するシステム——は、約3年の間に、スクリプト化された概念実証から、単一アプリケーションのタスクの過半数を完了する学習済みモデルへと進化した…
サーベイ
ゲーム制作は再編されつつある。「人間がコードを書き、人間がアセットを作り、人間がプレイテストする」という体制から、「エージェントがエンジニアリング構造を提案し、エンジンツールを呼び出し、何らかの検証器がその結果が合格するかどうかを判断する」という体制へと。