Model Architecture

サーベイ·2026年10月14日

ループ型および再帰深層トランスフォーマー：アーキテクチャ、学習、適応推論、理論、システム

ループ型（または再帰深さ型）トランスフォーマーは、同じ重み共有ブロックをトークンの隠れ状態に対して繰り返し適用することで、「深さ」をパラメータ数の固定された性質から、推論時に消費できる変数へと変える。