要旨

ループ型（または再帰深度型）トランスフォーマーは、重みを共有する同一のブロックをトークンの隠れ状態に対して繰り返し適用する。これにより「深さ」はパラメータ数に固定された性質から、推論時に費やすことのできる変数へと変わる。2024年以降、このアイデアは理論的構成や小規模な系列モデル実験から、数十億パラメータの事前学習済み言語モデルへ、さらには視覚、拡散、フローマッチング、強化学習のバックボーンへと移行してきた。本サーベイは、その文献を、主として互いに独立であることが判明した4つの問いに沿って整理する。すなわち、ループがネットワークのどこに位置するか、連続する反復をどのように互いに区別するか、反復間に何の状態が引き継がれるか、そしてトークンが受け取る反復回数を誰が決めるか、である。本稿は、この分野の中心的な設計上の選択が、これら4つの軸における少数の離散的な選択肢として最もよく記述できること、拘束条件となってきたのは表現力ではなく訓練の安定性であること、そしてループを導入することを支持する実証的根拠は今なお主としてパラメータを揃えたベースラインに対して示されており、計算量を揃えたベースラインに対してではないことを示す。本稿は、ループが今や固定された予算ではなくスケジューリングされるべき資源としてますます用いられている適応深度推論、ループが何を模倣でき深度においてどこまで汎化するかを確立する理論、個々の反復が何を計算するかに関する機構的証拠、そしてこのアーキテクチャが提起するシステム、安全性、評価の諸問題を概観する。最後に、本稿が最も重要と考える未解決問題を挙げる。これには、計算量を揃えた対照群の不足や、ループ型モデルに対する合意された推論時スケーリング則が存在しないことが含まれる。

---

範囲と証拠の境界

本サーベイはある単一のアーキテクチャ系統に関するナラティブレビューであり、潜在推論全体に関する系統的レビューではない。その証拠基盤は、Parallaxライブラリから6つの検索経路の結合（意味的想起に加え、ループ、再帰、重み共有、ユニバーサルトランスフォーマー、再帰深度トランスフォーマーといった語彙にわたるキーワード変種）によって取得された358本の論文からなる候補プールであり、この文献が存在する期間に合わせて日付およびカテゴリでフィルタリングされている。そのプールから102本の論文が全文精読され（セクション単位の出典情報を伴う論文ごとの構造化読書ノート）、残りはタイトル／要旨のレベルでスクリーニングされた。

以下の3つの帰結を終始念頭に置くべきである。

• 網羅範囲はライブラリによって制約される。 この分野の基礎的著作のうち3つ——Universal Transformers [127]、Adaptive Computation Time [128]、Deep Equilibrium Models [129]——はライブラリに存在せず、したがって公開されているarXiv／出版社のメタデータから引用されている。これらは参考文献において外部文献として印が付けられている。
• 読解の深さは不均一である。 割り当てられた102本の論文のうち28本は全文読解の対象面を持たず、要旨と読書ノートから処理された。これらが単独で重要な主張を支えることは決してない。
• この分野は動きが速く、プレプリントが支配的である。 ここで引用されるものの大部分は査読を受けておらず、2026年の日付を持つ。主張が単一の小規模なプレプリントに依拠する場合はその旨を述べる。複数の独立した研究が一致する場合もその旨を述べ、それをコンセンサスとは区別する。

証拠基盤の構築には、付随する読書プールの成果物（スクリーニングされた358本の候補からなるコーパスと、それを生み出したAIスクリーニングの判断）が用いられた。これは実用作業セットであり、これらの論文が関連するすべてであるという主張ではない。

要点。 本サーベイは一つのアーキテクチャファミリーを対象とし、そのことを明示している。スクリーニングした候補は358件、全文精読は102件、うち28件は抄録のみ、そして外部メタデータから引用した基礎的著作が3件である。論の根幹を成す主張は、実際に該当箇所を読んだ著作に依拠している。抄録のみおよびメタデータのみの著作は、それらの文献が掲げる目的によって支えられるグループ化された文が置かれている箇所にのみ現れる。

---

第I部 — 基礎

1. なぜ深さ軸をループさせるのか

1.1 このファミリーが扱う問題

従来のトランスフォーマーは、能力を二つの軸に沿って同時に買い求める。すなわち、パラメータ数とトークンあたりの計算量の両方が、積み重ねるブロックの数とともに増大する。ループ化はこの二つを分離する。ループ化モデルは少数の物理的層$L$と、同一の重みに適用される反復回数$T$を持つ：

$$h^{(t+1)} = B_{\theta}\big(h^{(t)}, x, t\big), \qquad t = 0, \dots, T-1 ,$$

ここで$x$はループが条件付けられるトークン／コンテキストであり、$B_\theta$は一つの共有ブロックである。$T$を増やせば、パラメータ数を増やすことなく実効的な深さが増す。そうすれば同じ重みを、入力ごと、トークンごと、あるいは生成ステップごとに、より多くの回数またはより少ない回数だけ実行できる。

この考えは新しいものではない。Universal Transformers [127]は2018年に重み結合・適応深さのトランスフォーマーを提案し、Adaptive Computation Time [128]が停止機構を提供した。多段の再帰的推論という見方は、熟考を伴う再帰ネットワークに関する研究にすでに存在していた。変わったのは規模と意図である。2024年から2026年の間に、このファミリーは次を獲得した：数十億パラメータの事前学習済みインスタンス（Huginn、Ouro）[1, 2]、ループ化をパラメータ増大よりも安価にする混合エキスパート形態[7, 8]、大規模でも実際に収束する一連の学習レシピ[42, 50, 103]、そしてループ回数が制御可能な計算量のつまみとなる推論時の筋書き[64, 74]である。

1.2 ループ化が用いられる二つの目的

しばしば混同される二つの目的を区別しておく価値がある。

能力。 ループ化はパラメータあたりの表現力を高めうる。§8.1の理論的結果は、一定の深さのループ化トランスフォーマーが小さなプログラム可能計算機を模倣できる[76]こと、あるいはグラフアルゴリズムを実行できる[87]ことを示す——同サイズの固定深さのフィードフォワード型トランスフォーマーにはできないことである。実証的には、ループ化した1層モデルが、パラメータ数12分の1で、文脈内学習タスクにおいて12層モデルに匹敵しうる[78]。また、短い系列で学習したループ化モデルは、同一のプロトコルの下で学習した標準的なトランスフォーマーが失敗する、学習長をはるかに超える入力へ外挿できる[77]。

制御可能性。 ループ化はまた、トークンレベルの計算量を明示的な変数にする。反復には索引が付くため、モデルは難しいトークンに対してより多くの反復を実行する[64]こと、より安価な答えで足りる場合にはより短い軌跡を実行する[63, 66]こと、あるいは初期の反復を投機的デコーディングのドラフトとして再利用する[74]ことを決められる——固定深さの積み重ねには対応する仕組みがない機構である。

この二つの目的は、証拠も失敗様式も異なり、§11では、文献における見かけ上の不一致の多くが両者を区別しないことから生じていると論じる。

1.3 本サーベイが主張する内容

以下の四つの主張が、続く内容を組織する。

1. 設計空間は小さく離散的である。 近年の研究の量にもかかわらず、ほぼすべてのループ型アーキテクチャは4つの事柄の選択である。すなわち、共有ブロックのスコープ（ネットワークのどの部分が繰り返されるか）、ステップ条件付け（反復$t$がどのように信号化されるか）、反復間インターフェース（どの状態が受け渡され、置き換えられ、または蓄積されるか）、そして深さポリシー（$T$が固定か、学習されるか、推論時に決定されるか）である。§3–§4では文献をこのように整理する。
2. 結合制約となるのは安定性であり、表現力ではない。 理論的に魅力的な領域、すなわち縮小的不動点は、大規模モデルが収束する先ではない。そして最大の利得を報告する論文は、主に安定化の工夫を報告する論文である[42, 43, 44, 45, 46, 47]。§5.2は、本サーベイにおける訓練に関する議論の中核である。
3. 証拠は主にパラメータ一致であり、計算量一致ではない。 ループの代表的な比較は、同程度のパラメータ数を持つ密なモデルに対して、あるいは$T=1$における同一モデルに対して行われており、同じ推論FLOPsを持つ密なモデルに対してではない。推論FLOPsを一致させている少数の研究は、異なり、より混在した結論を報告する傾向がある[50, 63, 64, 101, 102]。§11では、我々が持つものを表にまとめる。
4. 推論時の適応的深さは、この分野が最も活発で最も検証が進んでいない領域である。 §6の証拠のほとんどすべては、少数のモデル、短い単一シードの実行、および合成または狭いベンチマークから得られている。報告されている適応性の利得は実在するが脆く、一部のコスト一致比較では消失する。

1.4 読解マップ

図1は、本サーベイの構成要素がどのように関係するかを示す。第I部では語彙と分類法を定める。第II部はアーキテクチャと訓練の設計空間であり、この分野の工学の大部分がここに位置する。第III部は推論時の計算と、それが生み出すシステム／安全性の制約を扱う。第IV部は理論と機械論的解釈可能性を扱う。第V部は計算量一致の証拠、テキスト以外への応用、および未解決問題を集める。

図1：本サーベイのマップ。実線の矢印は第II部で扱う設計軸である。「深さポリシー」と「訓練の安定性」の下の分岐は、この分野の実践的困難が集中する2つの箇所である。

要点。 ループはパラメータ数を反復可能な計算と引き換えにする。それはパラメータあたりの能力を得るためにも、トークンあたりの計算を制御可能なつまみとして露出させるためにも用いられ、この2つの用途は異なる証拠を持つ。本サーベイは4つの設計軸、すなわちスコープ、ステップ条件付け、インターフェース、深さポリシーを組織構造として扱い、単一の証拠上の弱点に繰り返し立ち返る。すなわち、ループは通常、計算量一致のベースラインではなくパラメータ一致のベースラインに対して評価される。

2. ループのための一つの形式化

2.1 定義

本稿を通じて、ループ型トランスフォーマーとは、パラメータを共有するサブネットワーク$B_\theta$が、反復インデックスに沿って同一トークン位置の表現に対して複数回適用され、その適用回数が第一級の量（固定、学習、またはスケジュール済み）である系列モデルを指す。我々は以下の語彙を一貫して用いる。

表1：本サーベイ全体で用いる記法。実効深さとトークンあたりのFLOPsは、単一のアーキテクチャ内では比例するが、アーキテクチャ間では比例しない。

さらに3つの区別が重要であり、以下で一貫して用いる。

• 実効深さと計算量。 $b$ブロックのループの1回の反復は$b$ブロックの順伝播1回分のコストを要するため、実効深さとトークンあたりのFLOPsは単一のアーキテクチャ内では比例するが、アーキテクチャ間では比例しない。中間の12層が繰り返される24層のスタックと、24回反復する単一ブロックのループは、同じFLOPsを持ちながら実効深さは大きく異なりうる。したがって、「深さ」についての記述と「計算量」についての記述は、ラベルからではなくアーキテクチャから読み取らなければならない。
• ループの範囲。 共有領域は、ネットワーク全体（[3, 12, 14]）、共有されないプレリュードとコーダの間の中間区間（[1, 2]）、または単一の層もしくは狭い層集合（[26, 28]）を対象としうる。これらをそれぞれ全体、二段階、局所化スコープと呼ぶ。
• 意味的な深さと反復インデックス。 最後の反復が追加の推論ステップに対応しないと報告する著者もいる。$t$から「推論の量」への写像は§9.2で検討する実証的問題であり、前提ではない。

2.2 このファミリーの境界

4つの隣接する研究領域は、ループ型トランスフォーマーとしばしば混同されるほど近い。本サーベイではこれら4つすべてを関連する方向性として扱い、並列の主題とはしない。それぞれは、ループに関する主張に直接関係する場合にのみ含める。

表2：隣接する系統と、それが本サーベイの対象でない理由。それぞれ、ループに関する主張に直接関係する場合にのみ含めている。

最後の行は強調に値する。というのも、コーパス中で最も引用される「再帰的（recurrent）」結果のうち2つは、深さに関するものではまったくないからだ。この区別は用語の上では失われやすい。なぜなら「recurrent」と「recursive」はどちらの側にも現れるからである。

2.3 既存サーベイとの位置づけ

ライブラリには、ループ型／再帰的深さのトランスフォーマーに特化したサーベイは存在しない。最近の潜在推論に関する2本のサーベイが最も近い隣人であり、その関係は重複ではなく分割である。

表3：ライブラリ内で最も近い2本のサーベイと、本サーベイがどう異なるか。どちらもアーキテクチャではなく潜在推論手法によって整理されている。

したがって本サーベイが主張する差別化は、アーキテクチャ、訓練の安定性、推論時のスケジューリング、効率／システム、そしてループ軸のクロスモーダル利用にあり、潜在推論手法の分類は背景として扱う。我々はレビュープロトコルの意味での体系的・網羅的であることは主張しない。「スコープと証拠の境界」におけるカバレッジの記述が、実務上の説明である。

2.4 この系統がどのようにしてここに至ったか

図2は、本サーベイが依拠する研究を時間軸上に配置したものである。詳細の前に注目すべきパターンがある。理論的・構成的な結果が初期を支配し、最初の10億パラメータ級の言語モデルが2025年に現れ、2026年の文献は安定性のレシピ、推論時のスケジューリング、体系的なスケーリング則、クロスモーダル転移へと分化する。直近の期間の密度は検索ウィンドウの性質であり、特定の月に研究フロンティアが形成されつつある証拠ではない。

図2：選択的タイムライン。本サーベイで用いた研究のみを示す。2026年のクラスタは検索経路を実行した時期を反映するものであり、測定された成長率ではない。

要点。 この系統は「recurrent」という語ではなく、反復軸に沿った重み共有による再利用によって定義される。系列軸の再帰、固定深さの早期終了、陰的平衡の求解は、それぞれ別の対象である。有効深さとトークンあたりのFLOPsは一つのアーキテクチャ内では比例するが、アーキテクチャ間では比例せず、これが文献に見られる見かけの不一致の多くを生んでいる。この系統に特化したサーベイはライブラリに存在しない。最も近い2本のサーベイは、空間をアーキテクチャではなく潜在推論の手法によって分割している。

3. 分類体系

3.1 四つの軸

第II部の内容はすべて、四つの軸上の選択である。図3は、葉に代表的な研究を配置した分類体系を示す。

図3：第II部全体で用いる4つの軸に沿ったループ型アーキテクチャの分類。葉は設計選択肢を表し、代表的な研究は、その論文が最も明確な事例である場合にのみ示す。

3.2 なぜ他の軸ではなく、この4軸なのか

これらの軸は恣意的なものではない。これらは、実務者がループ型モデルを実装するために答えなければならない4つの問いに対応しており、決定的なことに、文献においてほぼ直交している：同じスコープが固定深さでも適応深さでも現れ、同じインターフェースがステップ条件付けの有無にかかわらず現れる。

本サーベイのために読んだ研究を粗く数えると、この点がよくわかる。スコープの革新（ループがどこに位置するか）を導入する論文は、深さポリシーの革新を同時に導入することはほとんどなく、安定性に関する論文は、スコープと深さポリシーをほぼ常に固定したままにしている。2つの例外は、MoE層とループ回数を組み合わせる混合アーキテクチャである（2回を超えるループ [33]、MoRE [32]、MoR [30]）——そこでは、スコープとルーティングが真に相互作用する。なぜなら、ルーティングの決定が深さの決定であるからだ。

3.3 第5の横断的軸：反復は何のためにあるのか

4つの軸を横断する、さらに別の区別があり、それはアーキテクチャとはまったく関係がない：追加の反復の意図された役割が、反復的洗練（不動点への接近）、逐次計算（各反復がアルゴリズムの1ステップを実行する）、サンプリング（各反復が生成分布を改善する）のいずれであるか、という区別である。これらは3つの異なる理論的物語と、より多くのループが何をもたらすべきかについての3つの異なる予測集合に対応する。§8.3と§11.2でこの点に戻る。というのも、本サーベイ自身のいくつかの不一致は、意図された役割を明示すれば解消するからである。

要点。 設計空間は、スコープ、ステップ条件付け、インターフェース、深さポリシーという、ほぼ独立した4つの選択に還元される。ほとんどの論文はちょうど1つだけを変化させている。第5の非アーキテクチャ的軸——反復が洗練、逐次計算、サンプリングのいずれを意図しているか——は、追加ループ下での異なる振る舞いを予測し、新しいループ型アーキテクチャに対して尋ねるべき最も有用な単一の問いである。

第II部 — 設計空間

4. アーキテクチャ：ループがどこに位置し、反復がどのように異なるか

4.1 スコープ：2段階、全体、および局所化されたループ

最も影響が大きく、最も議論されていない設計選択は、ネットワークのどの部分が繰り返されるかである。

2段階スコープ。 大規模言語モデルにおける支配的なパターンは、ネットワークを共有されないプレリュード、繰り返されるコア、共有されないコーダに分離する。Huginn [1]が最も明確な事例である：1つのプレリュードブロック、4つの共有コアブロック、1つのコーダブロックがあり、各反復で完全な状態がコアに再入力される。その動機は、プレリュードが繰り返されるべきでない埋め込み／初期混合の仕事を償却する一方、コーダが収束した潜在状態をロジットに変換するというものである。Ouro [2]とLatent Recurrent Transformer [51]も同じ分割に従っている。この選択は無害ではない：状態が境界で丸ごと置き換えられるため、プレリュード／コーダの分割は、ループの不動点挙動を解析可能にするものでもあり、そのコストは、すべての反復が入力の単一の埋め込みを共有することである。

図4：Huginn [1]によって導入された2段階（プレリュード–コア–コーダ）パターン。完全な状態が各反復でコアに再入力され、反復ごとのノイズや停止信号は使用されない。図は[1]から転載。

全ネットワークスコープ。 もう一方の極では、すべての層がループに参加し、特権的な非共有領域は存在しない。これはループ深度に関する理論的研究[3, 77, 78]や、前奏/後奏の分割それ自体が不安定性の原因であると主張する最近のシステム論文のいくつか[14, 43, 12]の設定である。Fully Looped Transformer[43]はこの主張を明示的に行っている。すなわち、層の一部のみを繰り返させることは残差統計を無制限に増大させることになり、スタック全体をループに折り畳むことがそれを安定化させるのである。§5.2でこれを取り上げる。

局所化スコープ。 第三の選択肢は、深いスタックの中間にある少数の層のみを繰り返すものである。Depth-Attention[26]はその最も鋭い例である。従来型の$L$層トランスフォーマーを保ちつつ、各層の値行列を、現在の層のクエリを用いてより浅い層の疎な集合から形成される深度混合値に置き換える。計算量に関する議論は論文内で$O(TL/s) \ll O(T^2)$として述べられている。すなわち、混合は深度方向に疎であり、トークン軸方向のアテンションに比べて安価である。

図5: 局所化された疎な形の反復間混合としてのDepth-Attention[26]。混合は系列位置ではなく深度方向で行われる。図は[26]から再掲。

局所化ループは特定の理由で魅力的である。すなわち、既存の事前学習済みスタックに後付けでき、状態の全面的な置き換えという問題を完全に回避できる。T²MLR[27]も同じ「中間層再帰」の道を取っており、Penelope[28]はそのコストを抑えるために再帰を局所化している。このカテゴリはまた、このファミリーが通常のアーキテクチャ研究と混ざり合う境界でもある。「1つの層を2回再利用する」のはいつループ型トランスフォーマーでなくなるのか。我々は§2.1の操作的境界を採用する。すなわち、反復回数が単なる繰り返される部分式ではなく制御可能な量であるとき、再利用はループである。

4.2 ステップ条件付け: 反復$t$と反復$t-1$の区別

繰り返し適用される共有ブロックは同変写像である。すなわち、追加の信号がなければ、反復$t$と反復$t'$は$B_\theta$にとって区別できない。したがって、すべての非自明なループ型アーキテクチャは条件付けを追加する。4つのメカニズムが繰り返し現れる。

深度軸上のタイムステップまたは位置エンコーディング。 [17]の理論的研究は、タイムステップエンコーディングのないループ型トランスフォーマーは正確な意味で表現力が限られており、それを追加すると厳密に表現力が増すことを示している。LayerRoPE[19]は深度方向の位置エンコーディングを大きさと角度の重ね合わせに一般化し、LayerNormは残差経路に対して同様の役割を果たす暗黙のゲイン制御として働くと[18]で論じられている。これは最も安価で最も一般的な選択肢であり、また誤って省略されることが最も多いものでもある。Huginn[1]はいずれも使用していないが、これは見落としではなく設計上の立場である。

ループごとの低ランクアダプタ。 Relaxed Recursive Transformers[9]は深いネットワークを$K=L/B$個の共有ブロックに加えて層ごと・ループごとのLoRAデルタ(元の層の打ち切りSVDによって初期化される)へと折り畳み、その後アップトレインする。その結果は連続体となる。一端では完全な重み共有、他端では異なる層である。Mixture-of-LoRAs[11]はループごとのアダプタをルーティングされた集合に変える。利点はパラメータ効率である。数百万の追加パラメータがタイイングによる損失の大部分を回復する。コストは、「どの程度共有するか」が新たに調整を要するハイパーパラメータになることである。

深さ構造化アテンション。 ブロックのパラメータを条件付けるのではなく、反復間アテンションはその情報の流れを条件付ける。ReFlux [25] は更新を反復をまたいで同じトークンに書き戻す。Loop-Native Attention Residuals [24] は残差の読み出し自体をループ対応にすることで、これを数万回のテスト時反復にまで押し広げる。Depth-Attention [26]（図5）はその局所化版である。

図6: [26] の3Bモデルが学習した深さアテンションのソース重み。トークン、ヘッド、評価例にわたって平均化している。対角線は各層が自身の値状態を読んでいることを示す。ソース層24の強い水平線とソース層0の薄い行が、学習済みモデルが用いる唯一の非対角ソースである。図は [26] から再掲。

ループごとのエキスパート。 MoRE [32] は「どの反復か」をルーティング次元として扱い、エキスパートプールを反復間で再利用する。§4.5のループ型MoEの研究もブロックレベルで同様のことを行う。これは条件付けとルーティングを最も緊密に結合する選択肢である。

4.3 インターフェース：反復境界を越えるもの

第二の構造上の問いは、次の反復が何を読むかである。

状態全体の置き換え。 最も単純なインターフェースは、更新された完全な状態のみを渡し、それ以外は何も渡さない — Huginn [1] と Ouro [2]。これはクリーンな不動点解釈（§5.1）を許容し、[77] の深さ一般化理論と両立する。

残差または注入される更新。 注入 — 各反復で入力埋め込みを再び加えること — は長さ一般化の文献 [77] で標準的であり、ループが隠れ状態ではなくKVキャッシュ上の不動点反復として書かれる「反復KV」定式化で用いられている。

状態としてのメモリ。 区別され、ますます人気になりつつある選択肢は、反復をまたいで明示的なメモリを運ぶ。MeSH [10] は共有ブロックの状態をメモリハイウェイ経由でルーティングする。LSTM-UT [21] は素朴な持ち越しを有界なゲート付きメモリに置き換え、状態を保存することはそれを記憶することとは同じではないと論じる。Associative-State Universal Transformers [22] は再帰をスパース検索と組み合わせる。Maglev [118] はスライディング再帰メモリを用いる。このグループで最も強い証拠は [95] であり、すべての再帰が読む共有KVメモリが精度/メモリのトレードオフを改善することを示す（図7）— 著者自身の解釈では、アテンションの質量が共有メモリに落ちるループは、単純なループが深さで失う勾配信号の大部分を取り戻す。

図7: 共有メモリあり（lpt）となし（h-lpt）のループ型予測トランスフォーマーにおける精度対メモリ [95]。比較はパラメータ一致であり、論文はデコードFLOP一致の対照を報告していない。図は [95] から再掲。

図8: [95] の共有メモリ型ループトランスフォーマーにおいて共有メモリに落ちるアテンション質量を、2つのモデルサイズ（SおよびM）について層と再帰ごとに示し、クエリとヘッドにわたって平均化している。各パネルの最下行は全層平均である。図は [95] から再掲。

ループローカル状態と永続状態。 繰り返し現れる知見であり、実用的な帰結を伴うものは、状態のスコープがそのサイズよりも重要であるというものである。LSTM-UT [21] と Source-Centered State Evolution [23] はどちらも、無制限の状態蓄積が性能を劣化させると報告している。Universal Transformers Need Memory [20] はこの問題全体を深さと状態のトレードオフとして枠づけている。我々はこのクラスタを、ある一点を超えると、追加の反復は結果の行き先がある場合にのみ役立つという単一の実証的主張に収束するものと読んでいる。この読みは我々の推論であり、いずれか一つの論文が明示した結果ではない。

4.4 深さポリシー：固定、学習、弾力的、スケジュール

固定。 $T$ はハイパーパラメータである。これには $T$ を小さく選ぶという微妙に重要なケースも含まれる。Looping-Beyond-Twice レシピ [33] は、分野が $b=2$（深さ2の1ブロックループ）に過度に焦点を当ててきたと主張し、より大きな $b$ とより大きな $T$ の方がより良くスケールすると論じている。

学習。 ゲートが停止を予測する。ACT [128] の伝統である。Dynamic Halt [54] は停止ヘッドを備えたリカレントトランスフォーマーの徹底した初期研究であり、Sparse UT [8] は疎な mixture-of-experts ブロックと停止モジュールを組み合わせ、それをエンドツーエンドで訓練する。学習された停止は魅力的だが、コーパスの診断は芳しくない：§6.2 は、学習されたゲートが系統的に誤較正であること [55]、および適応的深さが実際には主に実行時スケジューラとしてではなく仕上げ段階として機能すること [53] を報告している。

弾力的。 一度训练し、任意の深さで実行する。LoopFormer [63] は、各ステップを正規化された時間 $t$ とステップサイズ $\Delta t$ で条件づけ、ショートカット整合性損失を用いることで、族の軌跡にわたって訓練する。One Model to Loop Them All [66] は弾力的なループ回数を主要な目標としている。魅力的な性質は、単一のチェックポイントが計算量と品質のフロンティアに資するという点である。

推論時にスケジュール。 ループ回数は、ルーター、決定器、または外部スケジュールによって、トークンごとまたはリクエストごとに実行時に決定される — Think-at-Hard [64]、Program-of-Layers [65]、連続深さバッチ処理 [57]、および §7.3 の自己投機的デコーダである。ここが2026年の活動の大半が位置する場所であり、§6 で別途扱う。

図9：[30] の混合再帰ステップ：各再帰は固定された共有層スタックを適用し、ルーターがトークンごとにスカラーを出力して、そのトークンが次の再帰に進むか終了するかを決定する。図は [30] から転載。

4.5 ループ化された mixture-of-experts とセグメントループ

設計空間において最も経済的なアイデアは、繰り返されるブロックを専門家の混合にすることであり、それによりループが重みの容量と計算の容量を別々に獲得できるようにする。

MoEUT [7] は基礎的な事例であり、最も clean な実験である。それは共有ブロックの attention と MLP を疎な混合に置き換え、決定的に重要なことに、層正規化が残差加算の前と後の両方に適用される peri-layernorm 配置を導入する — 著者らはこれが深い重み共有混合を訓練可能にするものであると報告している。彼ら自身のアブレーションが有益な部分である：非共有の σ-MoE は「著しく悪い」と報告されており、すなわち利得は疎性単独からではなく、疎性と共有の相互作用から生じる。

図10：MoEUT [7] の著者らが安定した深い重み共有混合に必要であると特定した peri-layernorm 配置。図は [7] から転載。

2026年の文献は、これをさらに細かい選択肢へと分割している。Mixture-of-Recursions [30] は、各トークンが異なるイテレーションで再帰を終了できるようにし、これを共有KVキャッシュと組み合わせている。Looping Beyond Twice [33] は$(b,T)$のトレードオフを直接研究している。MoRE [32] はイテレーション間でエキスパートプールを再利用する。LoopMoE [31] は反復計算とMoEを単一の定式化に統合している。スケーリングの面では、SMELT [101] がMoEループ型トランスフォーマーに対する計算量整合型のスケーリング則を提供している——これは、代替案（より多くのパラメータ、より少ないループ）がパラメータ数ではなくFLOPsで整合される稀なケースである。

4.6 ループ型生成：拡散、フロー、視覚トークン化

別個の分枝は、ループを生成的なデノイジング過程に適用するものであり、そこではイテレーションインデックスが拡散タイムステップを置き換えるか、あるいは補強する。Looped Diffusion Transformer [35] と LiFT [36] は、ループ型拡散およびフローマッチングの標準的な事例である。Looped Diffusion Language Models [37] と Recursive Scaling in Masked Diffusion Models [38] は同じアイデアをトークン位置上の離散拡散に適用している。Fixed-Point Masked Generative Modeling (CoFRe) [40] はマスク付き生成を明示的に不動点反復として定式化し、整合性正則化を追加している。ALoDLM [39] はイテレーション回数を適応的にする。LoopREG [126] は表現の監督を追加し、再帰的な深さがテスト時に転移するようにしている。

この分枝がアーキテクチャ上興味深いのは、まさにそれが通常の説明を反転させるからである。デノイジングモデルでは、「より多くのイテレーション」には目標分布に結びついた曖昧さのない意味があるため、ループ回数は自己回帰言語モデルにおけるのとは異なり解釈可能である。またこの分枝は、イテレーション間インターフェースの文献（出版なしの再利用、整合性損失、再利用のアブレーション）が最も発達している分枝でもある。

4.7 アーキテクチャの比較要約

表4は、本調査が構成要素を全文読解したアーキテクチャを、§3.1の4つの軸で比較している。行はスコープ順に並んでいる。「証拠の規模」列は、論文が報告する最大の設定を記録しており、これは主張が述べられている設定よりもはるかに小さいことが多い。

表4: 4つの分類軸におけるアーキテクチャ比較。「証拠規模」は報告された最大の設定であり、その規模で主張が成立することを保証するものではない。

要点。 スコープは最初の決定であり、下流への影響が最も大きい。二段階スコープは分析可能な不動点を与えるが、1つの入力埋め込みを反復間で共有する。全体ネットワークスコープは残差統計の増大を避けるが、プレリュード/コーダの分離を放棄する。局所化スコープは既存のスタックに後付けでき、通常のアーキテクチャ作業に溶け込む。ステップ条件付けは設計上しばしば省略され（Huginn、Ouro）、他方では意図的に追加される。タイムステップ符号化は理論的に正当化されている[17]が、大規模での実証的検証は不十分である。インターフェースの問い——置換、注入、メモリのいずれか——に最も一貫した実証的知見が現れる。すなわち、追加の反復はその結果の行き先がある場合に主に役立つ[20, 21, 95]。ループ型MoEは、重みと計算を別々に成長させることで通常のトレードオフを反転させ、その中心的なアブレーションは、利得が疎性と結び付けの相互作用から生じるのであり、疎性単独からではないことを示している[7]。

5. 訓練: 安定性が支配的制約である

5.1 安定性問題の率直な定式化

重み共有ブロックを$T$回アンロールすることは、共有ヤコビアンを持つ深い計算である。そこからは3つの病理が生じるが、これらは通常の深いネットワークが直面するものとは異なる。

1. 残差の増大または崩壊。 ループに状態のスケールを調整する仕組みがなければ、そのノルムは$t$とともに単調にドリフトする。$T$が大きい場合、状態は爆発するか、飽和して情報を伝達しなくなる。
2. 深さにおける勾配の枯渇。 損失の初期反復に対する勾配は、介在する適用回数とともに減衰する。減衰が速ければ、ある地点を超えた反復は学習信号を受け取らず、不活性になる。
3. 望まない不動点。 ループが実際に収束する場合、それは何らかのアトラクタに収束する。目的関数には、そのアトラクタが有用な答えであるべきだという記述はなく、 basin 構造は敵対的になりうる。

図11: アンロールされた共有ブロックの3つの失敗モードと、それらに対処する介入群。本章でレビューした訓練文献全体で報告されているとおりに描かれている。著者が[41, 42, 43, 44, 45, 47, 61]に記述されたメカニズムから作成したものであり、単一の論文の図ではない。

理論的に魅力的な解決策は、ループを縮小的にし、深い平衡の伝統[129]に従って陰的微分を用いて不動点で訓練することである。コーパスの証拠が示すのは、これが大規模なループ言語モデルが行っていることではないということだ。[15]は層の積み重ねを意図的に縮小的な再帰的深さに置き換え、小規模領域での利得を報告している。[47]は言語と推論のループをアトラクタモデルとして枠付け、不動点定式化こそが安定性を修復するものであると報告している。[48]は明示的な安定性制約を持つ「不動点推論器」を構築している。[49]は不動点で何をすべきか（特に、軌道のどちらの端点を不動点の代わりとすべきか）を再検討している。しかし、数億から数十億のパラメータで結果を報告している研究のうち、大半はアンロール目的関数を維持し、代わりにアーキテクチャを安定化させている。

5.2 安定化介入の実際

介入をそれが作用する場所でグループ化すると、文献はずっと読みやすくなる。

残差経路のスケーリング。 [42]はループ付きトランスフォーマーの残差スケーリング指数を直接研究し、安定性と転移性の両方の利点を報告している。DeepLoop[41]はGPT-2 small/mediumバックボーン上で残差スケーリング指数をスイープし、スケーリングされたベースラインに一致させることがループの「深さスケーリング」に必要であると報告している。これは最も一般的な単一の介入である。

正規化の配置。 MoEUTのperi-layernorm[7]がその原型である。残差加算の両側で正規化する。[18]は補完的な分析を与え、LayerNormがまさにループ設定において暗黙のゲイン制御として機能すると論じている。回転ベースの正規化[43]とブロックワイズな共形性[44]はより積極的な変種である。スケールを制御する代わりに、それらは遷移の幾何を制約し、[44]は遷移作用素の自由対角成分こそが崩壊するものであり、ブロックワイズな共形制約がそれを回復すると報告している。

図12: 本節の安定化介入がアンロールされたループ上のどこで作用するか。計算のどの部分を変更するかによってグループ化されている。著者が[7, 18, 41, 42, 43, 44, 45, 61]に記述された介入から作成したもの。

有界でゲートされた状態更新。 [61]は、再帰的推論モデルに対して制御されたアブレーション研究を行い、単一の統合パイプライン内で一度に1つの要因だけを変化させ、明示的な階層は不要であると結論づけている。安定性は、有界でゲートされ正規化された再帰的状態更新に、中間的な勾配ホライズンと大きな物理バッチを組み合わせることで得られるという。この結果は、著者らの言葉で述べておく価値がある。なぜならそれは、普及している設計に対する否定的な主張だからである。HRM型モデルの階層的（2レベル）構造は、彼らの実験では、性能向上の源泉ではない。

確率性。 [45]は、テスト時の外挿挙動が安定するように確率的な停止分布を学習する。[59]は、再帰的推論器の遅い振動モードを分析し、それらをレート制限することが、ループが予想より早く終了する理由であると論じている。

このクラスタ全体には2つの注意点がある。第一に、これらの論文のほとんどは、小規模または中規模のバックボーン上で、一般に単一シードで、診断と修正を報告している。特定の介入がスケールするという再現された証拠は乏しい。第二に、介入は独立ではない。残差スケーリングの指数は、正規化の配置を知らなければ意味をなさない。したがって、「どのトリックが効くか」という問いは、アーキテクチャをまたいで適切に定式化された答えを持たないかもしれない。

5.3 失敗を見る：実践的な診断例

訓練文献における最も明確な単一の証拠は、[43]の診断であり、図13に再掲されている。完全ループ型トランスフォーマーと、1ループあたりの深さが同等およびより大きい従来のループ型トランスフォーマーを、最初の2,000最適化ステップにわたって比較すると、論文は3つの同時発生的な差異を報告している。従来のループの残差ノルムは単調に数万まで増大する一方、完全ループ型モデルのそれは千付近にとどまる。従来のループの訓練損失は約7.9で頭打ちになる一方、完全ループ型のそれは≈3.6まで下降する。そして従来のループの勾配ノルムはほぼゼロまで崩壊する一方、完全ループ型のそれは非自明な勾配を保持する。

図13：[43]による訓練診断。完全ループ型トランスフォーマー（FLT）と、1ループあたりの深さが同等およびより大きい従来のループ型トランスフォーマー（LT）を対比している。残差ノルム（左）、訓練損失（中央）、勾配ノルム（右）。図は[43]から再掲。

我々はこの図を、§5.1の3つの病理が1回の実行で同時に生じていることを示すものと読む。制御されない残差の増大、損失の下限、そして勾配の枯渇である。論文自身の結論は、スタック全体をループに折り畳むことが remedy であるというものだ。我々の推論は著者らのものより狭い。反復される領域がネットワークの真部分集合であるようなアーキテクチャは、プレリュード/コーダ境界において何らかの残差統計の不連続を示さざるを得ない。したがって「完全ループ型」という主張は、ループ化それ自体についてではなく、境界効果についての陈述である可能性が十分にある。Huginn [1]は、初期の損失/勾配挙動から診断された2つの失敗した訓練試行を報告しており、これは同じ現象を反対側から見たものである。

5.4 目的関数：何が監督され、何ステップにわたるか

この文献における訓練目的関数を区別する3つの問いがある。

すべてのイテレーションが教師あり学習されるのか、それとも1つだけか。 標準的な次トークン予測は、すべてのイテレーションで読み出しを教師あり学習する。[77]のステップ依存の教師あり学習は逆のことを行う。サンプル$i$が教師あり学習されるのはイテレーション$t = T_i$においてのみであり、ここで$T_i$はそのタスクが実際に必要とするステップ数である。完全出力予測と入力注入と組み合わせることで、これが論文の主要な長さ一般化の結果を生み出す。[82]と[80]は、深さ外挿の分析とその限界を拡張する。

勾配はいくつのイテレーションにわたって流れるのか。 $T$イテレーションを通した完全な逆伝播は計算コストが高く、不安定になりうる。打ち切りは安価だが、初期のイテレーションが運ぶ信号を失う。[61]は、中間的な勾配ホライズンを安定性の3つの要素の1つとして特定する。すなわち、完全なBPTTでも攻撃的な打ち切りでもない。これはこの分野における数少ない定量的な知見の1つであり、§5.1の勾配飢餓の描像と整合する。

補助的な一貫性または再利用の目的関数はあるか。 CoFRe [40]は、単一のノイズ除去ステップが多ステップの軌道を近似するように、再利用と一貫性の正則化項を追加する。LoopFormer [63]は、短い軌道を最長の軌道へと引き寄せるショートカット一貫性損失を追加する。[53]は、適応的深さの振る舞いが軌道と読み出しに分解でき、読み出しは事後的に教師あり学習できる（PLN）と論じる。一貫性の目的関数は、単一のチェックポイントが複数のループ回数に対応できるようにするものであり、それゆえ訓練時の設計選択であると同時に推論時の設計選択でもある。

5.5 ハイパーパラメータとしてのループ回数とループあたりの深さ

この分野で最も実用的に有用な結果は、$(b, T)$をどのように選ぶかに関するものである。

2つより多くのループ。 [33]のレシピは、この分野が流れ込んだ領域、すなわち$T=2$で訓練される1ブロックのループを明示的に対象とし、ループによって得られるより大きな実効的深さが代替案よりも良好にスケールすることを報告する。彼らの等FLOP比較では最適点が約5ループにあるのに対し、等FLOPでない固定予算の下では性能は9ループまで改善し続ける。これら2つの曲線の違いは、まさに本サーベイが繰り返し立ち返る違いである。すなわち、損失がいくつのループで改善するかは、いくつのループがそのFLOPに見合うかとは別の問いである。

均一ではなく適応的。 Mixture-of-Recursions [30]はトークンを異なる再帰深さにルーティングし、その設定に対する計算最適なスケーリング曲線を報告する。またDeepLoop [41]は、残差スケーリングの掃引の下で、ループ回数をバックボーンサイズに対して掃引する。

大規模における訓練レシピ。 2026年の3つの研究は、実務者にとって最も有用な参考文献である。Closing the Loop [50]は実用的なレシピを報告し、重要なことに、高密度モデルに対する推論FLOPを一致させた比較を行う（§11で論じる）。Parcae [103]は、再帰が直交する計算軸であるようなスケーリング則を導出し、FLOP予算に対する最適な再帰回数のべき乗則を報告する。等深さスケーリング則 [102]は、深さを固定し、追加の幅やトークンに対して1回の再帰が何をもたらすかを問うことで、「1回の再帰はどれだけの価値があるか」という形に問いを再構成する。

図14：[102]の等深さ分析における、アーキテクチャごとの計算最適な検証損失と、フィッティングされた同時スケーリング則。その問いは、追加の幅やトークンに対して1回の再帰がどれだけの価値があるかである。図は[102]から再掲。

5.6 訓練について確立されていないこと

Three gaps are worth naming explicitly, because each is routinely glossed.

• シード分散。 学習安定性に関する論文のほとんどは、設定ごとに1回の実行しか報告していない。§5.2の介入は再現済みの結果であるかのような自信をもって記述されているが、コーパスはその自信を裏付けていない。これはコーパスに対する我々の評価であり、いずれかの論文が述べた主張ではない。
• スケール転移。 安定性の診断はほぼすべて小規模または中規模で行われ、その後外挿される。Parcae [103]はその例外であり、規則を証明する存在であり、その貢献の全体は安定性が法則的に振る舞うことにある。
• データとの相互作用。 安定化の介入が、モデルが学習できる内容を変えるのか、それとも単に学習できるかどうかだけを変えるのかは、ほとんど検証されていない。階層性に関する[61]の否定的結果は、これを切り分けた数少ないものの一つである。

要点。 ループ処理は共有ヤコビアンを持つ深い計算であり、その3つの故障モード——残差ドリフト、勾配飢餓、望ましくないアトラクタ——こそが、学習文献が実際に解決している問題である。大規模なループ型言語モデルは圧倒的に、展開された目的関数を維持し、アーキテクチャを安定化させる。すなわち、残差スケーリング、正規化の配置、有界なゲート付き更新、確率性である。最も明快な単一の診断は、3つの故障モードすべてが1回の実行で同時に発生することを示しており[43]、コーパスの中で最も体系的なアブレーションは、有界なゲート付き正規化更新に中間的な勾配ホライズンと大きなバッチを組み合わせることが、階層構造よりも重要であると論じている[61]。$(b,T)$の選択は、2つの異なる問い——損失がどこで改善するか、FLOPsがどこで報われるか——によって支配されており、これらの答えは異なる。

第III部 — 推論時の計算

6. 適応的推論：重要な場所にループを費やす

6.1 前提と、それが自動的に真ではない理由

ループ回数$T$を入力ごとに変えられるなら、ループ型モデルは原理的に、平均計算量の何分の一かで密なモデルの品質に匹敵しうる——難しいトークンには多くの反復を費やし、易しいトークンには少なくて済む。これが機能するかどうかは、必要な深さの分布が実行時にモデルが見られる何かから予測可能かどうか、そしてそれを予測するメカニズムが較正されているかどうかに完全に依存する。どちらも検証可能であり、証拠は混在している。

6.2 いつ止めるか：停止は見かけより難しい

最も単純な適応的スキームは、ACT [128]の伝統における、反復に対する学習された停止ゲートである。コーパスには、これに対する楽観を和らげるべき詳細な評価が含まれている。[55]は適応的深さを軌道と読み出しの同時選択として再定式化し、合成のparity/MANOタスクにおいて、$T=6$上の$d=512$ループを4層で用い、3シードで、幾何事前分布の軌道とロジットマージン読み出しを組み合わせると平均1.38–1.55ループで95–99%の精度に達するのに対し、学習された線形ゲートは95%に達するのに2.80 ± 0.30ループ、MLPゲートは3.58 ± 0.36ループを要すると報告している。凍結されたOuro-1.4B/2.6Bチェックポイント上では、事後読み出しは12のモデル–ベンチマーク対のうち5つでモデル自身の読み出しを上回り、12のうち7つでより安価である。著者の主張は読み出しの設計に関するものであり、我々の読み取りはより弱く安全なもの——この設定では学習されたゲートは体系的に較正を誤っており、学習されないスケジュールと良好な読み出しがそれらを凌駕しうる。

第2の診断も同じ方向を指し示している。[53]は、通常実装される適応的深さは、トークンがより多くの計算を必要とすると発見するスケジューラとしてではなく、一様な深さの軌跡がすでに決定した答えを余分なループが鋭くする「仕上げ段階」として振る舞うと論じている。この読み方が正しければ、適応的深さの恩恵は、基礎となる固定スケジュールの品質によって上限が定まることになる。

さらに二つの結果が、停止によって何が達成され得るかを制約している。[60]は、542.8Mモデルにおいて、素朴な深さ打ち切りによる品質損失を解釈可能な成分に分解し、1.4251ナットのギャップのうち、およそ47.9% [46.6, 49.3]がブロック適用に、≈ −2.8% [−3.2, −2.4]が異なる深さに、54.8% [53.3, 56.3]がブロック間の合成に、25.6% [24.5, 26.6]が校正に帰属すると報告している。Huginn-0125では、32倍の深さ変化に対して温度ドリフトはわずか0.045であり、きれいな1.83ナットの深さ効果が併せて報告されている。実用的な含意は、深さがもたらすものの大部分は合成であり、反復ごとの精緻化ではないということである——そしてこれはまさに、停止ゲートが推定するのに最も適さない量である。そして[56]と[59]は、スカラーの信頼度ゲートとは対照的に、トークンごとの不動点収束と遅い振動モードの律速が停止のための適切な抽象化であると報告している。

第三の変種は事後に診断されるのではなく、エンドツーエンドで訓練される。Sparse UT [8]は、停止モジュールをスパース混合ブロックの内部に置き、モデルの残りの部分とともに同時に訓練し、消費される深さの量が単一の系列内でトークンごとに変化することを報告している（図15）——これは、ゲートが予測しなければならないものがそれ自体位置依存的であることの証拠である。

図15: 論理推論の例における[8]のSparse Universal Transformer停止モジュールのトークン別・層別活動パターン。同じ系列の位置が、目に見えて異なる深さまで活性を保っている。図は[8]から再掲。

6.3 余分なループがもたらすもの：統制された描像

ループ要件が問題の難しさに応じてスケールするという最も明確な証拠は、[55]の強制終了実験から得られ、図16に再掲されている。難しさが必要な操作の数によって統制された合成タスクにおいて、精度対ループ数の曲線は、操作数が増えるにつれて右方へ移動し平坦化し、10操作では最強の構成であっても6ループまでに飽和していない。

図16: 問題の深さの関数としての、ループ数に対する強制終了精度[55]。必要なループ数は操作数の増加とともに増える。図は[55]から再掲。

これは合成の設定であり、言語ベンチマークが何を必要とするかの推定としてではなく、機構の実証として読まれるべきである。これが明確に確立するのは、適応的深さの利得の天井が、最も難しい入力が予算の許す以上に反復を必要とするかどうかによって定まるということ——そしてこの設定では、それが必要とするということである。

6.4 トークンごと、プログラムごと、バッチごとの決定

このスペクトル上の四つの立場が代表されており、それらは意思決定者がどれだけの情報を見るかにおいて異なっている。

トークンごと、初期状態から。 T-LoopFormer [62] は、各トークンのループ回数を初期隠れ状態$h^{(0)}$から予測する2層MLPルーターを訓練し、gather–scatter実行と再帰ごとのKVキャッシュを備える。FineWeb-Edu 25Bトークン、$d=2048$において、著者らは24×-FLOPsでのパープレキシティ20.13/19.14、平均精度44.20を報告しており、これはLoopFormerの21.96/20.09/43.48、および非再帰の24層モデルの20.17/19.22/43.8と対比される。トークンあたり0.197 msに対し、LoopFormerは0.441 msである。正直な読み方はこうだ。弾力的深さの訓練は、同等のFLOPsを持つ密なモデルとほぼ同じ品質で、大きな速度上の利点を得る——品質を得るのではない。この設計自体の限界は論文でも認められているとおり、決定は$h^{(0)}$から一度だけ行われ、文脈が読まれた後に修正できないことである。

トークンごと、誤り検出の後で。 Think-at-Hard [64] は通常の順序を逆転させる。まず第一パスを実行し、どのトークンが誤っている可能性が高いかを予測し、それらのみを再訪する。(トークン, 深さ)に対する duo-causal attention と、$d>1$でのみ有効な深さ認識LoRAを用いる。Qwen3-Base 0.6B/1.7B/4B、$d_{\max}=2$において、1.7B構成は平均51.3を記録し、標準ベースラインの47.5、「常に考える」の39.9、Ouroの46.9と対比される。2回目のラウンドを受けるのはトークンの約7%のみ（AIME25では6%）で、トークンあたり計算量は約1.04–1.05×、実測301.4秒に対し「常に考える」は747.2秒である。論文自身の限界は重要である。HumanEval++におけるオラクル上限は72.9に対し40.9であり、すなわち（83%正確と報告される）決定器がボトルネックである。また本手法は考えすぎの誤りに敏感である。

プログラムごと、実行前に。 Program-of-Layers [65] はskip/repeatセグメントのスケジュール全体を事前に予測し、バックボーンを凍結して2.1Mパラメータのスケジューラのみを訓練する。DART-Math、LLaMA-3.2-3Bにおいて、著者らはDM-1でのpass@5が74.5、ベースラインが65.2であると報告する。論文のMCTS診断——skip-and-loopスケジュールが全4モデル×5難易度レベルで最適であること——は、スケジュール空間が実在することの証拠として提示されている。我々はこれを、スケジュールに対する探索が何かを見つける証拠と読むが、それは訓練されたスケジューラがそれを見つける証拠より弱い。

弾力的、決定なしで。 LoopFormer [66] と One Model to Loop Them All [66] は、ループ回数の連続体にわたって単一モデルを訓練することでルーターを回避する。連続深さバッチング [57] はシステム側の対応物である。異なる深さに到達したトークンをバッチ化する。[58] は生成途中でループ回数を変更すること（「思考の変更」）を提案し、[72, 73, 74] は初期反復を投機的デコーディングのドラフトに変える——次の小節である。

6.5 コストの回収：ループをドラフトおよびアンサンブルとして

ループモデルの中間状態は無償の副産物であり、それらを利用する小規模な文献が形成されてきた。

図17：深さ非同期の自己投機。検証済みプレフィックスの読み取り深さとドラフト深さが分離されている[74]。著者が同論文に記述された機構から描いた。本章の他のループベースデコーダは、主にこれらのステップをいかにパイプライン化するかが異なる。

自己投機的デコーディング。 ループの初期イテレーションは安価な予測を生成し、それをフル深さのパスが検証する。LoopSpec [72] はパイプライン化された定式化である（最良ケースで最大6.83倍の高速化、学習不要）。WaveFront Decoding [73] は同じアイデアを並列化する。最も強い証拠は [74] であり、検証済みプレフィックスのドラフト深さを読み出し深さから分離し、そのDAS-Wave変種が16のモデル–タスク設定すべてで最速であり、対になるフル深さの自己回帰デコーディングに対して平均4.00倍–6.96倍の高速化、GSM8Kで15.6–18.1のアクセプタンス長（調整済み逐次自己投機の5.2–12.2に対して）、同一スタックでの内部対照で1.70–3.72倍を報告している。本論文は10,000回のリサンプリングによる対のブートストラップ信頼区間を報告しており、この文献としては異例なほど慎重である。明示された限界は、本手法が深さでインデックス付けされたプレフィックスのK/Vを必要とし、状態の持ち越しがなければ「成熟した」読み出しが1倍を下回りうること、すなわち高速化はループの状態構造の性質であり、アイデア単独の性質ではないということである。

イテレーション間の対照的デコーディング。 [75] はループモデルの出力分布をそれ自身の以前のループ分布と対照させ、学習不要で、Ouro-2.6B-ThinkingのAIME 2024 pass@1が61.88から73.33へ、HuginnのHumanEvalが22.56から31.71へ改善し、同時にループ回数を半減させてフォワードFLOPsを22.5–48.2%削減すると報告している。これは単一論文からの大きな主張であり、本コーパス内では独立に再現されていない。

並列サンプラー。 [69, 70, 71] は逐次イテレーションを軌跡のブロックの並列デコーディングに置き換える。[70] はリカレント深さモデルの並列サンプリングを拡散言語モデルに明示的に関連付けており、理論上この3つの中で最も興味深い。なぜならループ回数とデノイジングステップ数を同一の対象とするからである。

6.6 適応的推論に関する証拠の現状

§6を正直に要約するには、肯定的な結果のほとんどが「適応的深さはより低い平均コストで同等の品質に到達する」という形であり、「適応的深さが同等のコストでより良い品質に到達する」という形ではないと言わざるを得ない。第二の種類の結果、すなわちループを不均一に配分することによる真の品質向上は、主に [64]（1.7Bモデルで平均+3.8ポイント）と [68]（精度–計算量の傾きが53%改善、2.74対1.79、最大深さとともに利得が増大）に現れる。両者とも同じ研究系列によるものであり、これは却下の理由ではなく慎重さの理由である。そして本サーベイが見出した、適応的弾性深さモデルと等しいFLOPsの稠密モデルとの間の唯一のクリーンな等計算量比較では、適応的モデルの優位性は品質ではなく速度である [62]。

要点。 適応的深さは、必要な深さが予測可能であり、十分な情報に基づいて決定がなされるときに機能する。最初のパスを観察した後でトークンごとに決定すること [64] とプログラム全体を事前に決定すること [65] はどちらも利得を報告する一方、初期状態から一度だけ決定すること [62] と学習済みゲートに依拠すること [55] はそうではない。深さがもたらすものの大半はイテレーションごとの洗練ではなくブロック間の合成であり [60]、それはまさにスカラーの信頼度ゲートが最も苦手とする推定である。適応的深さの上限に関する最も明確な証拠は合成的なものである。ループ要件は必要な演算の数とともに増大する [55]。そしてループの中間状態は真に有用な副産物である。自己投機的デコーディングは、本コーパスにおいて最も徹底的に証拠付けられた推論時の利得である [74]。

7. 効率、システム、安全性

7.1 FLOPsとバイト数はどこへ行くか

ループ型モデルのコストを変える3つの会計上の事実があり、これらはしばしば混同されやすい。

• 訓練。 逆伝播される各イテレーションは順伝播と逆伝播のパスを要し、総訓練FLOPsは固定された$b$に対して$T$でほぼ線形にスケールする。LoopFormer [63]は、軌跡族目的に対して、ベースラインと比較して約1.5倍のFLOPsと1.3倍の実時間オーバーヘッドを報告している。
• プリフィル。 プロンプトに対する$T$回のイテレーションループは、共有ブロックに対する$T$回のパスである。プレリュードとコーダは一度だけ支払われる。MoEUT [7]は、同等の密モデルよりも訓練が約1.7倍遅いと報告している。
• デコーディング — 最も重要なケース。 系列再帰モデルでは、状態は固定サイズのオブジェクトであり、デコーディングはトークンあたり$O(1)$である。深さ再帰モデルでは、共有ブロックが$T$回のイテレーションのそれぞれで完全なKVキャッシュに注意を向けるため、トークンあたりのデコードコストは$T$倍になり、KVワーキングセットは$T$回読み出される。これが、最近のシステム文献の多くがイテレーション軸のKVについてである理由である。共有メモリアーキテクチャ [95]、ループ間KV圧縮 [116]、深さ隠れ状態キャリー [24]、ハイブリッド潜在注意 [117]、メモリ効率の良いループ型トランスフォーマー [96]、遅延更新実装 [97]。

図18: 深さループのコストがどこに蓄積するか、そして3つの対処法の系統。著者が[95, 96, 97, 116, 117]で説明される会計と[72, 73, 74]のデコーディング方式から描いた。

この区別は、結果をどのように引用すべきかに影響する。$T$を削減することによる報告された高速化は、アーキテクチャが読み出す内容も変更しない限り、デコードFLOPsに適用され、メモリトラフィックには適用されない。

7.2 引き継ぐ価値のあるシステム結果

共有メモリ [95]は最も明快なアーキテクチャ効率の結果である。再帰全体で1つのKVメモリを再利用することで、パラメータを揃えた条件下で精度/メモリのフロンティアが改善し、より大きなモデルサイズとより深い再帰で最も鋭い利得が得られる。

遅延実行とパイプライン実行 [97, 96]は、各イテレーションの状態を実体化しないことでメモリトラフィックを削減する。量子化 [98]は訓練後量子化をループ次元へ拡張する。そこでは誤差がイテレーション全体で累積するため、単一パスの問題として扱うことはできない。

深さ適応バッチング [57]は弾力的な深さに対するシステム上の修正である。トークンをイテレーション数でグループ化し、混合深さの作業のバッチが依然として密なカーネルで実行されるようにする。

並列性 [69]と並列サンプラー [70, 71]は、逐次イテレーションを並列デコーディングと引き換えにする。これはレイテンシプロファイルを変えるが、総FLOPsは変えない。

7.3 安全性: ループはモデル自身の制御可能性の表面を変える

図19: サービング時のループ回数が安全性に関わる振る舞いにどのように到達するか。3つの辺は本節で挙げられた3つの主張である。3つとも本サーベイのコーパス内では抽象レベルのものであり、いずれも確立したものとして扱われていない。著者が描いた。

3つの知見は、いずれも薄いが、いずれも同じ方向を指している。

• 拒否はループ回数に依存する。 再帰的深さモデルの拒否挙動は、推論時に実行されるループ回数によって変化することが報告されている。すなわち、安全性に関わる挙動が、提供システムが動的に変化させうる計算量の調整ノブに結合しているのである。本コーパスにはこの主張がアブストラクトレベルでのみ含まれており、本サーベイの読解範囲では未検証であるとフラグを立てる。
• 単一のループ型モデルは多くの読み出しを露出する。 深さにわたるアラインメントに関する研究は、1つのループ型モデルが固定深さモデルよりも広い読み出し空間を提示すると論じている。なぜなら、各反復が読み出しの候補となるからである。前項目と同様、これは本コーパス内ではアブストラクトレベルである。
• モニタリング可能性。 [109]はループ型言語モデルの連鎖的思考のモニタリング可能性をアブストラクトレベルで分析している。これは、中間計算がトークンに現れないモデルは検査が難しいという、より広範な潜在推論の懸念と結びつく。本コーパス内ではループ型アーキテクチャ固有の証拠は乏しく、正直に述べるなら、ループ型モデルの安全性と解釈可能性は特定された問題であり、直接的な証拠はごくわずかである。

§9のメカニズム的研究はこれを部分的に緩和する。深さ軸の読み出し（反復にわたるロジットレンズとコーダレンズ [93]）は、ループが何をしているかへの部分的な視界を与える。しかし「部分的に検査可能」は「モニタリング可能」ではない。我々はメカニズム的研究の結果を安全性の問いへの答えとは見なさない。

要点。 深さループのコストはデコードによって支配される。各反復がコンテキストを再読するため、ループ回数を減らすとデコードFLOPsが$T$倍になる一方、メモリトラフィックは読む対象を変えることによってのみ緩和される。これが、システム文献が反復軸のKVに集中する理由である。最も証拠の強い効率性の結果は反復間で共有されるメモリ [95] であり、最も証拠の強いレイテンシの結果は深さ非同期の自己投機 [74] である。安全性は本サーベイで最も薄い章である。ループ回数は拒否挙動を変える可能性が高く、読み出し空間は構造上広がるが、本コーパス内では証拠はアブストラクトレベルであり、確立したものとして扱うべきではない。

第IV部 — ループを理解する

8. 理論：ループが計算できるもの、そして何に一般化するか

図20：本章で概観する4つの理論的系譜と、それぞれが確立するもの。著者が[3, 17, 76, 77, 78, 81, 86, 87, 88, 105, 106, 107, 115]から作成。

8.1 シミュレーション：ループは計算万能性をもたらす

ループに関する最も強い理論的根拠は構成的である。[76]は、固定深さのループ型トランスフォーマーが小型のプログラマブルコンピュータをシミュレートできることを示す。入力系列は命令・メモリ・スクラッチパッドを保持するパンチカードとして読まれ、ハードコードされた重みが単一命令セットコンピュータ（SUBLEQ、FLEQへ一般化され、各命令が事前構築された線形代数や非線形性のブロックを呼び出してもよい）を実装し、反復インデックスがプログラムカウンタとして機能し、パラメータはステップ数に依存しない$T$。停止条件は自己参照的な入力終端マーカーを通じて実装される。論文の表1は具体的な構成を示す。9層・2ヘッドのループ型トランスフォーマーはSUBLEQを実行し、13層・1ヘッドのループ型トランスフォーマーはニュートン行列反転、べき乗法、2層ネットワークのSGDを$\epsilon$以内で実行する。誤差解析は、Tステップの累積が$\epsilon$以内に収まるために、読み出しスケールが$\lambda > \log(Gdn^3/\epsilon)$を満たし、各ステップの誤差が最大で$\epsilon/T$であることを必要とする点を明示している。

これが確立しないことを述べることは不可欠であり、著者ら自身もそう述べている。訓練実験は一切なく、その構成は実際の言語モデルの訓練方法と「類似性を一切持たない」。この結果は厳密な重みの下での表現能力に関する主張であり、学習可能性についての主張ではない。[87]は同種の構成をグラフアルゴリズムへ拡張している——BFS、DFS、最短経路を、有界メモリ内でグラフ固有の注意ヘッドを持つループ型トランスフォーマーによってシミュレートする。

8.2 深さの汎化：最も実用的に関連する理論

最も明確な実証的帰結を持つ理論的結果は、訓練時に見たものより長い入力への汎化に関するものである。[77]は次の形式の再帰を定義し、

$$P = P_{\text{pre}} \circ (P')^{T(n)} \circ P_{\text{post}},$$

次トークン予測を完全出力予測に置き換え、位置エンコーディングを持たず入力注入を用いるデコーダのみのアーキテクチャを使用し、ステップ依存の教師信号（トークン$i$は反復$t = T_i$でのみ教師信号が与えられる）を追加する。訓練長が最大20（乗算では12）の6つの合成タスクと5つのシードにおいて、彼らは20ビットまで学習したパリティが40を超えて汎化すること、および加算とコピーが「最大訓練長＋10」で標準的な次トークン予測が失敗する一方でほぼ完全な性能を維持することを報告している。推論にはオラクル$T(n)$または最大信頼度基準のいずれかを用いる。限界は論文内で明言されており、かつ深刻である。この構成は単一のループセグメントのみを支え、訓練時に真のステップ数を必要とし、その訓練計算量はステップ数とともに増大する。コードは公開されている。

この結果は3つの後続研究と併せて読むべきである。[79]はループ型トランスフォーマーにおける訓練ホライズンを超えた長さ汎化のメカニズムと限界を分析し、[80]は深さの外挿を直接研究し、計算予算が与えられたときにどの訓練深さが最良かを問い、テスト深さの窓に対する母集団最適を報告し、[82]は再帰深さモデルにおける暗黙的推論を深さ汎化と結びつける。これらは together で、このコーパスで最も一貫した理論的系譜を形成する——そして最も明確な注意点を持つものであり、それはそのすべてが制御可能な真のステップ数を持つ合成タスクで測定されているという点である。

関連する否定的な趣の結果を記録しておく価値がある。[88]は、トランスフォーマーが系列長を必要とするよりも少ない層で部分計算を合成することにより、オートマトンの計算をショートカットできることを示しており、これは「実効的な深さ」が計算作業量の単調な尺度ではないことを示している。追加の反復が追加の逐次計算をもたらすという主張は、モデルがそれらを逐次的に使う義務を負わないという事実と対峙しなければならない。

8.3 計算資源の代替配分としてのループ、深さ、連鎖的思考

第二の理論的系譜は、ループ計算がそれが競合する代替手段——より多くの層、あるいはより多くの連鎖的思考のトークン——とどのように比較されるかを問う。

「ループを潜在CoTとして見る」というテーゼを最も直接的に述べている論文は[3]であり、これはループ型トランスフォーマーの能力を潜在思考という観点から研究している——与えられた問題に対して何個の暗黙の推論ステップが必要かという点や、実効的な深さと問題クラスの間のスケーリング関係を定量化している。これは「ループを潜在CoTとして見る」というテーゼを最も直接的に述べている論文である。[86]は連鎖的思考とループを形式的に比較し、どちらがどちらを表現できるかを問うている。[83, 84, 85]はループ型トランスフォーマーが文脈内で何を学習できるかを分析し、ループ型トランスフォーマーが文脈内の例に対して多段階の勾配降下を実装できること、そしてループ化によって固定深さのモデルが持つ指数的なサンプル複雑度依存性が取り除かれることを示しており、[85]はこれをタスクの多様性と関連付けている。

実証的な対応物は[78]である。1ブロック、30バッチステップ、15イテレーションのループ型モデルは、文脈内線形回帰において12層の標準トランスフォーマーと同等の性能を12分の1のパラメータで達成し、より複雑な関数クラスでも同等であり、疎な線形回帰ではそれを上回る——10個のOpenMLデータセットのうち9個でLassoさえも上回る。この論文の限界は率直に述べられている。厳密な不動点反復と比べて誤差の下限が存在すること、$T > 20$が不安定になること、推論計算量を揃えた比較が行われていないこと、そして8層に匹敵するには約20回のループが必要であったことである。我々の推論は、この論文は反復的精緻化が反復アルゴリズムを実装する効率的な方法であるという証拠として読むのが最善であり、計算量を揃えた場合にループ化が深さを凌駕するという証拠として読むべきではない、というものである。

図21：[3]で比較された4つのループ構成：k層の等パラメータベースライン、k層をL回のイテレーションで再利用するループ型モデル、kL個の異なる層からなる等FLOPベースライン、および中間ループ。図は[3]から再掲。

8.4 力学系分析

最後のクラスタはループを力学系として扱い、その定性的な振る舞いを問うものである。[105]は再帰がいつ「アルゴリズムになる」かを問い、これを重み共有されたループ型トランスフォーマーにおける収束選択として枠付けている。[106]はヤコビアン分析を適用し、解釈可能なグローバルワークスペース構造が再帰を通じて存続するかどうかを問うている。[107]は力学系の相選択がループ型トランスフォーマーにおける計算スケーリングを制御していることを特定している。[115]は、有限回のステップが正しい方向に進みながらなお誤った場所に到達しうる理由について幾何学的な分析を与えている。これらは最近の、そして主に単一論文の結果であるが、実務家が関心を持つ問い——なぜ最後のイテレーションは助けにならなくなるのか——に最も直接的に向けられた理論的研究であり、§9のメカニズム的知見にとって適切な枠組みである。

8.5 理論が確立していないこと

3つのギャップを率直に述べるべきである。なぜなら、構成的な結果はしばしばこれらのギャップを埋めたかのように引用されるからである。

• 学習可能性。 シミュレーション結果[76, 87]は、手動で設定した重みによる存在証明である。このコーパスには、実際の目的関数に対する勾配降下がシミュレーション構成を見つけ出すことを示す結果は存在しない。
• 厳密性。 連鎖的思考とループの比較[3, 86]は表現力の関係を確立するものであり、現実的な規模での効率の等価性ではない。実証的な橋渡し[78]は小規模であり、計算量が一致していない。
• 合成と読み出し。 [81]は、ユニバーサルトランスフォーマーが回路計算において極めて小さな設定で完全な長さ汎化を達成することを示し、[60]は、訓練済みモデルにおける深さ効果の大部分がブロック間の合成であることを示している。このコーパスには、訓練済み大規模モデルの深さ効果のうちどれだけが合成、精緻化、またはノイズによるものかを予測する理論は存在しない。

要点。 ループの最も強力な理論的主張は、一定の深さにおける構成的万能性[76, 87]である——しかしそれは手動で設定した重みによるものであり、その背後に学習可能性の結果はない。最も実用的に重要な理論は、ステップ依存の監督下での深さ／長さ汎化[77]であり、これは合成タスクにおいて十分に実証されているが、正解のステップ数を必要とする単一のループセグメントに限定されている。ループを連鎖的思考と比較し、また追加の層と比較することは、表現力の関係[3, 86]と、計算量が一致していない小規模な実証的橋渡し[78]をもたらす。トランスフォーマーは直列計算をショートカットできる[88]ため、実効的な深さは仕事量の単調な尺度ではない——この事実は、「ループが増えれば推論が増える」というあらゆる主張が吸収しなければならないものである。

9. ループのメカニズム的解釈

図22：ループに関するメカニズム的証拠の3つの系統と、それらすべてを制約する注意点。著者が[89, 90, 92, 93, 94, 108, 110, 112, 114]から作成。

9.1 異なる反復は異なることを行うのか？

最も基本的なメカニズム的問いは、訓練済みループの各反復が機能的に分化しているのか、それともほぼ同一の精緻化なのかということである。証拠は前者を示しているが、重要な但し書きがある。

ある研究[89]は、各ループがどの計算を実行するのかを検討し、共有重みが異なる反復で異なるサブ計算を選択するかどうかを問うている。その手法は異例なほど直接的である。学習された線形層を用いて次の反復に入る状態を書き換えられること、および制御された実行のアテンションパターンを制御されていない実行にパッチするとモデルの予測対象が切り替わることを示しており、これは特定の反復が一般的な精緻化ではなく特定の計算を担っていることの証拠である。

補完的な問い——何が再帰を効果的にするのか——は[91]によって問われており、条件付けが2つのレベルで重要であることを見出している。すなわち、条件付けされていない基底ループに加え、その条件付け（ステップ／パラメータ信号の組み合わせ）が反復固有の情報を供給するコアループである。これは§4.2のステップ条件付け軸のメカニズム的対応物であり、メカニズム的知見とアーキテクチャ設計の助言が一致する数少ない箇所の一つである。

さらに二つの結果が全体像を精密化する。[34]は適応ループとメモリを組み合わせることで「より深く考える」ことと「より多くを知る」ことを切り分け、この二つの経路は代替物ではないと報告しており、これは余分な反復にはその結果を置く場所が必要だという§4.3の読みを支持する。[104]は階層的推論モデルを機械論的に解剖し、[111]はTRMにおける潜在推論は政策改善演算子として理解するのが最善だと論じる——この主張はループを推論ステップの連続ではなく最適化手続きとして捉え直すものである。

図23：第二層の注意パターンにパッチを当てると、予測ターゲットが両方向に切り替わる：二ホップ行動から一ホップの答えへ（a）、そしてまた戻る（b）。一ホップおよび二ホップ応答に対する回答率として測定。図は[89]から転載。

9.2 軌跡を読む：レンズ手法

第二の系統は反復インデックスを読み取り可能な軸として扱い、情報がいつ、どのような順序で利用可能になるかを問う。

デコーディング研究[93]は各反復のブロック出力にlogit lensとcoda lensを適用し、トップ1予測の順位が反復を通じて単調に収束するのではなく振動することを報告する——これは「各ループが一つの推論ステップである」という読みに対する直接的な証拠である。[90]はステップ分解型データ帰属を導入し、どの訓練例が計算のどの反復に影響するかを問い、パリティ課題では答えトークンの隠れ状態がPCA空間において四状態の極限周期を描くこと、数独では難易度で層別したループ回数に対するテスト時精度、GSM8Kでは反復の関数としてのステップ単位影響の累積割合を、複数の分析ホライズンで完全な逆伝播を用いて再計算したことを報告する$\tau$。幾何学的影響の成長曲線は、「どの反復が重要か」という問いに対するこの文献で最も鋭い計測器である。

図24：ブロック番号の関数としての最終予測トークンの平均順位を、[93]においてlogit lens（左）とcoda lens（右）で読み出したもの。順位は単調に下降するのではなく振動しており、著者らはこれを各ブロックを一つの推論ステップとして扱うことへの反証として読んでいる。図は[93]から転載。

メカニズムの主張ではなくモニタリングツールキットを提供するのが[94]であり、ループ型LMにおける潜在推論を監視するための五つのレンズ——隠れ状態の軌跡と注意の焦点、答えトークンが確定される時点、そして入口状態にノイズを注入したときに答えがどう変化するか——を提案しており、これはメカニズムの主張というよりも実用的なモニタリングツールキットに近い。[92]は深さ方向にわたる注意行列のノルムを測定し、各再帰内の「推論の段階」を抽出し、列和の集中度が128回の再帰まで安定であることを報告する。[110]は潜在推論が深さ方向の汎化を支える再帰的な探索アルゴリズムを発見すると論じ、機械論的な説明を§8.2へと結びつける。

9.3 力学的な読み：周期、盆地、スケール

最も最近の機構論的研究は、このループを力学系として読み解いている。[112]は、潜在推論がフラクタルな盆地に閉じ込められ得ること、すなわち反復写像の盆地構造が、結果が極めて敏感に左右される細粒度の境界を含むことを報告している。これは実質的な主張であり、実用的な系としての帰結を伴う。もし盆地の境界がフラクタルであるなら、「何回ループするか」は境界付近では滑らかな調整つまみにはならない。[113]は安定化の代替手段として不変測度表現を提案しており、[114]と[52]は二時間スケールおよび速い–遅い潜在ダイナミクスを研究している。これは、一部の情報は反復をまたいで持続すべきであり、別の情報は更新されるべきであるというアーキテクチャ上の観察の、機構論的な版である。

9.4 機構論的証拠では決着できないこと

この学問上の要点は[108]で直接述べられている。潜在推論モデルにおける観測可能なパターンは説明ではなく、パターンを解釈するには因果幾何学的分析が必要である。この章を終えるのにふさわしいのはこの指摘である。なぜなら、ループ付きトランスフォーマーの機構論的文献には構造的な誘惑があるからだ。すなわち、反復軸は一見ステップカウンターのように見えるため、反復とともに上昇する曲線は「モデルはもう1ステップ実行している」という読み方を誘う。上記の結果は、反復とともに何が変化するかについて確かに有益な情報を与えているが、モデルが何を計算しているかについての証拠としてははるかに弱く、最も強力な単一の反例は、予測ランクが収束するのではなく振動するという[93]の発見である。

このコーパス内では、数十億パラメータ規模のループ付き言語モデルについて、その中心的結果を再現した機構論的研究は見つからなかった。機構論的文献は現在、小規模かつ単一研究室の分野であり、その結論はそれに応じて重み付けされるべきである。

要点。 学習済みループの反復は機能的に分化しており、[89]は状態および注意のパッチングを通じて挙動を切り替えることで、相関ではなく因果の証拠を提供している。それにもかかわらず、反復から「推論ステップ」への写像は破綻している。予測ランクは反復をまたいで収束するのではなく振動し[93]、「どの反復が重要か」という問いにとって最も有用な道具は、単調な収束曲線ではなく、ステップ分解された帰属と幾何学的影響の増大[90]である。力学系的読み解き——リミットサイクル、フラクタル盆地、二時間スケール構造[52, 112, 114]——は現在最も有望な枠組みであり、観測可能なパターンは説明ではないという[108]の警告は、このサブフィールドにこそ完全な形で当てはまる。

第V部 — テキストを超えて、証拠、そして展望

10. 言語モデリングの外にあるループ

深さ軸は言語に固有のものではなく、ループに関する最も明快な証拠のいくつかは、「より多くの反復」が一義的な意味を持つ領域から得られている。この章は意図的に短い。応用はほとんどが初期段階かつ小規模であり、その目的は、第II部の設計上の選択肢のうちどれが転用を経ても生き残るかを示すことにある。

10.1 視覚

視覚は最大の非テキストクラスタであり、スコープ軸に沿って明確に分かれる。

完全ループと局所化ループ。 LoopViT [119] はループ化トランスフォーマーを視覚的なARCスタイル推論に適用する。LoopVL [120] は大規模における再帰的視覚知能を枠づける。reViT [99] は深さプログラム型エキスパートを備えた単一の再帰ブロックを用いる——これは§4.2のループごとのアダプターおよびループごとのエキスパートの自然な視覚版である——そして単一ブロックから複数の深さにわたる結果を報告する。RD-ViT [121] は二段階再帰深さパターンを意味的セグメンテーションに拡張し、データ依存性の低減を報告する。これは§1.2のアーキテクチャ上の主張を密予測設定に翻訳したものである。

効率志向のループ。 [122] は視覚トランスフォーマーにおける単一ブロック再帰を認識タスクについて調査する。MergeOver [123] は訓練後にトークンをマージし、後の再帰がより少ないトークンを処理するようにする——これは推論時の節約であり、画像にはトークンにはない空間的冗長構造があるため、テキストの対応物を持たない。GramLoop [125] は訓練不要のグラムゲート付きリプレイを用いて堅牢な密予測を実現する。LoopVAE [124] は視覚トークナイザーにおいて再帰深さを複数スケールにわたって配置する。

視覚の結果が重要なのは一つの方法論的理由による。すなわち、入力が固定されておりループが空間軸から深さ軸にわたるため、トークン数を変えることなくテスト時に反復回数を変化させることができ、より深いViTとの等計算量比較が異例なほど容易になる。このクラスターの論文は言語論文よりもそのような比較を頻繁に報告しており、その結論は対応してパラメータマッチングへの依存度が低い。

10.2 生成モデリング：拡散、フロー、離散ノイズ除去

拡散モデルとフローモデルは、ループ回数が本質的に意味を持つ領域である。なぜなら、ノイズ除去器を反復することがまさにモデルの目的だからである。[35] はループ化トランスフォーマーを拡散バックボーンとして適用する。LiFT [36] はフローマッチングに対して同様に行う。[37] と [38] は同じアイデアをトークン位置上の離散／マスク拡散に持ち込み、[39] は反復回数を適応的にする。CoFRe [40] は最も理論的に明示的である。マスク生成は不動点反復として定式化され、再利用・一貫性正則化器が単一ステップを全軌跡に結びつける。

このクラスターの本サーベイ全体への価値は、深さ軸に対する* ground truth *に最も近いものを提供することにある。ノイズ除去モデルでは、反復回数と出力分布の関係は生成過程によって定義されるが、言語ループではそうではない。したがって「最後の反復は助けにならなくなる」といった主張は、§6とは異なり、ここでは検証可能である。

10.3 強化学習と制御

FlexLoop [100] は深層RLにおける適応的テスト時計算のための深さ弾力的なループ方策を導入する。これは§6.4の推論時深さ方策がトークン列ではなくエージェントに適用された最も明快な例である。興味深い構造的要点は、RLでは追加反復のコストがサービング予算の妥協ではなく目的関数の一部であるため、深さ方策が後付けではなく訓練されることである。

10.4 転移が機能する理由——そして機能しない場所

二つの設計選択が四つの領域すべてにわたってきれいに転移する。反復ごとの条件付けを伴う共有重み（§4.2）と弾力的なループ回数（§4.4）である。一つは転移がうまくいかない。学習された停止（§6.2）であり、これは視覚および生成クラスターでは主に実行時コントローラーとしてではなく訓練時の正則化器として現れる。

我々の読み方——推論として述べる——は、成功した転移とは、ループの反復が外部から定義された意味（ノイズ除去ステップ、精緻化スケール、空間解像度）を持つ場合にまさに該当し、失敗した転移とは、モデルが反復の意味を発明しなければならない場合に該当する、というものである。これは§8.3と§9.2の両方と整合する。両節とも、訓練されたループは反復を推論ステップと自然には整合させないことを見出している。

要点。 ループは視覚、拡散／フロー、離散ノイズ除去、RLへ転移し、機能する転移とは反復が外部から定義された意味を持つ場合である。視覚は、本サーベイの中心的関心に関して言語モデリングより方法論的に進んでいる。なぜなら固定入力サイズにより、より深いViTに対する等計算量比較が容易になり、それらがより頻繁に報告されているからである。学習された停止は、転移がうまくいかない唯一の設計選択である。

11. 証拠が実際に支持するもの

図25：「ループ対密」の主張を読むための手順：まず一致させた量を特定する。答えはそれによって変わるからである。Table 5に表化され、本章で議論された比較から著者が描いた。

11.1 比較の問題

この文献を読む上での単一最大の障害は、「ループ対密」の比較が五種類の異なる一致のもとで行われ、それらが異なる答えを与えることである。

表5：「ループ対密」の比較で使われる五種類の一致と、それぞれが生み出しがちな知見。包含規則：本表は本章で議論された比較を等しく保たれる量によって分類するものであり、自らの測定値は報告しない。

第五行は名指しする価値がある。なぜならそれは見かけ上の不一致の多くを説明するからである。実効深さ24のループモデルを密な12層モデルと比較する比較は深さ一致の比較ではなく、その結果はループが深さの良い使い方であるかについて何も語らない。「ループが密に勝つ」と報告する研究はしばしばこれを意味し、「ループが劣る」と報告する研究はしばしば等FLOPを意味する。

11.2 具体的な数値を注意深く読む

この文献の議論で繰り返し現れる四つの論文横断比較がある。それぞれを以下に論文が報告する形式で述べ、続いて我々がそれが何を確立し、何を確立しないと考えるかを述べる。

Huginnの双子対照 [1]。 本論文は、再帰モデルと非再帰モデルを他の条件を同一にして訓練し、0.18Tトークン時点で再帰深度モデルが連鎖的思考を用いてGSM8Kで9.02に達するのに対し、非再帰対照は1.82であったと報告している。これはパレート最適性の論証である。すなわち、同じデータと同じトークンあたりの順伝播FLOPsを持つ非再帰モデルが、より多くの訓練で同じ品質に達するならば、再帰はオーバーヘッドである。本論文の証拠は、その予算内では達しないというものである。本論文が確立していないのは、再帰モデルがより大きな予算で効率的であるということであり、また対照は単一の一対の実行にすぎない。

Closing the Loopのiso-FLOP比較 [50]。 1.4Bのループモデルを、推論FLOPsを一致させた3.9Bの密モデルと比較し、数学では同等である一方、知識および常識タスクでは2〜9ポイント劣ると報告している。これは、ある種のタスクで不利であるというまさにその理由により、またメカニズムを示唆するという理由により、コーパス全体で最も情報量の多い単一比較である。すなわち、ループはタスクが手続き的である場合に助けとなり、答えをパラメータから検索しなければならない場合に害となる。この読みは我々のものであり、論文はタスク別の差を報告している。

Looping Beyond Twiceの二つの曲線 [33]。 iso-FLOP予算の下では最適点は約5ループであり、固定（非iso）予算の下では性能は9まで改善し続ける。これは、「損失が何ループで改善するか」と「何ループがそのFLOPsに見合うか」が異なる問いであることを示す、利用可能な中最も明快な実証である。

Shared Memoryの一致 [95]。 比較は他のループ設計に対するパラメータ一致であり、デコードFLOPsを一致させた密モデルに対するものではなく、論文自身の効率性の主張はループアーキテクチャ内での精度/メモリのフロンティアに関するものである。これはループ一般の効率性に関する証拠として日常的に引用されているが、それは設計が支持するよりも強い主張である。

等FLOPsにおける弾性深度対密モデル [62]。 24倍のFLOPsにおいて、T-LoopFormerのパープレキシティと精度は非再帰の24層モデルと統計的に区別できず、デコード速度は2.24倍の優位性がある。[63]の、FLOP一致の訓練の下では弾性訓練の優位性が消失するという発見と合わせて読むと、これは狭いが重要な結果である。弾性深度の現在の価値はスループットであり、品質ではない。

11.3 論文間で数値を比較するのが難しい理由

一致の選択に加えて、さらに四つの問題が論文間の算術を危険なものにする。

• 実効深度は計算量ではない。 [88]のショートカット結果が意味するのは、同じ公称深度を持つ2つのアーキテクチャが異なる量の逐次処理を行う可能性があるということである。
• デコードコストはループ回数ではなくKVスキームに依存する。 共有KVメモリを用いる16反復のループ[95]と、各反復で完全なキャッシュを再読み込みする16反復のループは、素朴な計数では同じ公称FLOPsを持つが、ウォールクロック、メモリ、アクセプタンスの挙動は大きく異なる。
• アーキテクチャ上の変種は共通のプロトコルの下で測定されていない。 [13]は層が位置をまたいで何を読むかを変え、[16]は固定パラメータで階層的反復とフラット反復を比較し、[67]のようなトークンごとの深度ポリシーはトークンのコストの意味すら変える。これらを commensurable にするベンチマークは存在しない。
• スケールは一貫していない。 安定性に関する知見は小規模モデルから（§5.6）、品質に関する知見は中規模モデルから、サービングに関する知見は著者が持っていた任意のチェックポイントから得られている。この3つが同じモデルであることはほとんどない。

11.4 我々が確立したと見なすもの、見なさないもの

我々は結論を3つのグレードに分ける。

このコーパス内で確立されているもの（複数の独立した研究、一貫した結果）。 重み結合された再帰はスケールで訓練可能であるが、明示的な安定化介入を伴う場合に限る[7, 41, 42, 43, 44, 61]。少数を超える追加反復は、その結果を受け取る明示的な反復間状態またはメモリがある場合に主に役立つ[20, 21, 95]。ループはトークンごとの計算量ノブに変えることができ、実質的だが控えめな品質向上とより大きなスループット向上をもたらす[62, 63, 64, 66]。ループの中間状態は投機的ドラフトとして使用可能であり、深度非同期の自己投機はコーパス内で最も証拠の強い推論時の利得である[74]。

支持されているが薄いもの（1〜2本の論文、または1つの研究ライン）。 適応的深度がコスト削減だけでなく、同等コストで真の品質向上を生むということ[64, 68]。反復をまたぐ対照的デコーディングが大きく無償の改善であるということ[75]。深度効果の大部分が洗練ではなくブロック間の合成であるということ[60]。階層構造が再帰的推論器には不要であるということ[61]。これら4つはすべて興味深いが、すべて独立した再現が必要である。

確立されていないもの。 [102, 103]が訓練について提供するものに匹敵する、ループモデルの推論時スケーリング則。§11.2のパラメータ一致の優位性がデコードコストを一致させた場合に生き残るかどうか。ループが手続きではなく検索を必要とするタスクに役立つかどうか[50]。そして小規模な合成研究で観察された適応性の挙動が、実務者が実際にサービングするモデルでも持続するかどうか。

要点。 「ループは密モデルに勝る」は不十分な指定である。結果はパラメータ、訓練FLOPs、推論FLOPs、デコードコスト、実効深度のどれを等しく保つかに依存し、論文はどれかを明示することはほとんどない。最も情報量の多い比較は、特定の仕方で不利なものである——知識不足を伴う数学における等FLOPの同等性[50]、およびスループット優位を伴う品質における弾性深度の同等性[62]。実効深度は計算量ではなく、デコードコストはKVスキームに依存し、各ファミリーは独自のプロトコルで測定されるため、論文間の算術は安全ではない。

12. 未解決問題

上記でレビューした研究は、明確に定式化され、重要で、現在未回答である問題のリストを示唆する。それらは我々が判断するレバレッジの順に並べられている。

12.1 ループのための計算量一致ベンチマーク

本サーベイで最も繰り返し現れる不満は、この分野が両立しない設定間で比較を行っているというものである（§11.1）。不足しているのはさらなる比較ではなく、プロトコル、すなわち固定されたベンチマーク、固定されたデータ予算、そして「等しい」とは何を意味するかに関する規則であり、これをループ型の論文すべてについて報告することである。ビジョン分野のクラスタは、入力サイズが固定されている場合にはこれが実行可能であることを示している（§10.1）。言語の場合、デコードコストがKV方式に依存するためより困難であるが、それはKV方式を報告する理由であって、比較を放棄する理由ではない。

12.2 推論時のスケーリング則

ループに関する訓練側のスケーリング則は現在存在し[102, 103]、この分野で最も直接的に有用なスケーリング結果である。これらは、1回の再帰がどれほどの価値を持つか、また最適な再帰回数がFLOP予算とともにどのように変化するかを示している。推論時に対応するものは存在しない。本コーパスには、訓練済みのループ型モデルについて、反復のスケジューリング（トークンごと、バッチごと、生成ステップごと）に応じて品質やコストがどのように変化するかを予測する結果はない。§6がこの分野で最も活発な領域であることを踏まえると、これは最大の理論的空白である。

12.3 ループは検索に役立つのか、それとも手続きにのみ役立つのか

本コーパスで最も具体的な実証的知見は、Closing the Loopのタスク別ギャップ[50]である。すなわち、数学ではiso-FLOPで同等である一方、知識および常識では2〜9ポイントの不足がある。このパターンが再現されるならば、ループ型モデルの正しい使い方は「密なモデルの代わりに」ではなく、「推論のうち手続き的な部分集合に対して」ということになり、これはアーキテクチャの展開方法を変えることになる。我々はこれを、本サーベイにおける単一の最も価値の高い再現対象と見なしている。

このメカニズムについての我々の解釈は――推論であって結果ではないが――ループは直列計算を追加するものであり、それは手続き的タスクが必要とするものであり、検索可能なパラメータを追加するものではなく、それは知識タスクが必要とするものである、というものである。この解釈が正しければ、ループ型のmixture-of-experts（§4.5）はこのギャップを埋めるはずであり、ループ型MoEと密なモデルのiso-FLOP比較は、[50]が示すよりも小さい知識の不足を示すはずである。[101]が既存の最も近い検証である。

12.4 反復を意味あるものにするのは何か

メカニズムに関する証拠は、訓練済みのループの反復が機能的に分化していること[89]を示すが、それらが推論ステップに対応するというのは信頼できない[93]。理論は、余分な反復が必ずしも直列に用いられるわけではないこと[88]、および深さの効果の大部分は合成であること[60]を示している。反復$t$が設計者の意図する意味を持つようにループを訓練する方法を示した者は誰もいない。これは、ステップ依存の教師信号[77]および深さを考慮したスケジュール[65]の背後にある直観の自然な形式化であり、現在、§8の理論と§7のシステムをつなぐ最も有望な橋である。

12.5 計算ノブの安全性と監視可能性

推論時のループ回数がサービング時のノブであり、安全に関わる振る舞いがそれに依存するならば、一部の安全特性はモデルの特性ではなく展開構成の特性である。本コーパス内では証拠は薄い（§7.3）。すなわち、拒否行動がループ回数によって変化すること、およびループ型モデルがより広い読み出し空間を晒すことという、アブストラクト水準の報告が2件ある。いずれかが成り立つかどうか、またそれゆえにサービングシステムが何を固定すべきかを確立することは、拒否行動が重要となる場面でループ型モデルを展開するための前提条件である。

12.6 スケールでの安定性、シード付きで

§5.2の安定性に関する知見はすべて、小規模で、通常は単一シードによる診断であり、誰も測定したことのない領域へ外挿されたものである。Parcae [103] は、この問いが大規模でも答えられることを示している。いくつかの介入が、共通プロトコルの下で複数シードを用いて1B以上のパラメータで検証されるまでは、「ループモデルには残差スケーリングとperi-layernormが必要である」は、結果ではなくもっともらしいエンジニアリング上のヒューリスティックにとどまる。

要点。 上記の問題はレバレッジの高い順に並べてあり、最初の三つは単一の原因を共有している。すなわち、この分野はループモデルと密モデルを、どれに該当するかを明示しないまま五種類の異なるマッチングで比較している。計算量マッチングのプロトコル、推論時のスケーリング則、そしてiso-FLOPでの知識不足 [50] の再現は、これらを合わせれば、どんな新アーキテクチャよりも多くの不一致を解消するだろう。残りの三つ――反復を意味のあるものにすること、ループ回数を安全性に関わる展開パラメータとして扱うこと、安定性介入を大規模かつシード付きで検証すること――は、ループを場当たり的にではなく意図的に用いるための前提条件である。

---

13. 結論

振り返ってみれば、深さ軸をループさせることは明らかなアイデアであり、その難しさは完全にエンジニアリングの側にあることが判明した。表現力に関する論拠は2023年に、定数深さの重み共有トランスフォーマが小さな計算機やグラフアルゴリズムをシミュレートできることを示す構成によって提示された [76, 87]。能力に関する論拠は、合成的な長さ汎化 [77] と文脈内学習 [78] によって提示された。2024–2026年の文献が付け加えたのは、理論が扱わない部分である。すなわち、展開された共有ブロックを、残差統計が発散したり初期の反復が勾配を失ったりすることなく、数十億パラメータ規模で訓練する方法、ネットワーク全体・二段階・局所化されたループの中からどう選ぶか、そしてトークンあたりの計算量がもはや変数となったモデルを推論時にどう扱うか、である。

我々には、十分に裏付けられていると思われる三つの結論がある。第一に、設計空間は小さく、その軸はほぼ独立している。すなわちスコープ、ステップ条件付け、反復間インターフェース、深さポリシー（§3–§4）であり、ほとんどすべての論文はそのうちの一つを変化させている。第二に、真の制約となってきたのは表現力ではなく訓練の安定性であり、有効な介入――残差スケーリング、正規化の配置、有界なゲート付き更新、中間的な勾配ホライズン [41, 42, 43, 44, 61]――はすべて、展開された共有ヤコビアンが退化するのを防ぐ方法である。第三に、推論時の話は現実のものだが、現時点では品質よりもむしろスループットに関するものである。最も証拠が揃っている利点は、ループの中間状態を投機的ドラフトとして再利用することから得られており [74]、最も明確なiso-FLOP比較では、速度上の優位を保ちつつ品質では同等であることが示されている [62, 63]。

読者に最も持ち帰ってほしい結論は、「深さ」という語についての注意喚起である。ループ化は実効的な深さを増大させるが、実効的な深さは計算量と同じではなく、FLOPsと同じでもなく、推論ステップとも同じではない。理論によれば、ループ化されたトランスフォーマーはその反復をショートカットする自由を持つ[88]。メカニズムに関する文献によれば、予測ランクは反復を経て収束するのではなく振動する[93]。深さ分解の結果によれば、効果の大半は反復ごとの精緻化ではなくブロック間の合成によるものである[60]。そして、この問いに最も直接的に取り組んだメカニズム的研究は、反復軸に沿った観察可能なパターンは説明ではないと結論づけている[108]。ループ回数はトランスフォーマーの挙動に対する現実的で有用な制御変数である。それが何を制御しているのかは、大部分において依然として未解決の問いである。

---

付録 — 図、表、参照文献数

本レビューは25点の番号付き図と5点の番号付き表を含む。参考文献目録は129点の番号付き参照文献を含む。すなわち、スクリーニング済み候補プールからの126点の著作と、外部の公開メタデータから検証した3点の基礎的著作である。

図（閲読順） 図1、サーベイマップ（§1.4）。図2、タイムライン（§2.4）。図3、分類体系（§3.1）。図4、二段階再帰深さアーキテクチャ、[1]より（§4.1）。図5、深さアテンション、[26]より（§4.1）。図6、3Bモデルが学習した深さアテンションのソース重み、[26]より（§4.2）。図7、共有メモリループにおける精度対メモリ、[95]より（§4.3）。図8、共有メモリ上のアテンション質量、[95]より（§4.3）。図9、混合再帰のステップ、[30]より（§4.4）。図10、MoEUTのperi-layernormブロック、[7]より（§4.5）。図11、アンロールされたループの故障モードとそれに対処する介入（§5.1）。図12、安定化介入が作用する箇所（§5.2）。図13、完全にループ化されたトランスフォーマーの学習診断、[43]より（§5.3）。図14、等深さの同時スケーリング則、[102]より（§5.5）。図15、Sparse UTのトークン対層ごとの停止パターン、[8]より（§6.2）。図16、強制終了時の精度対ループ回数、[55]より（§6.3）。図17、深さ非同期の自己投機（§6.5）。図18、深さループのコストが蓄積する箇所（§7.1）。図19、提供時のループ回数が安全性に関わる挙動に到達する仕組み（§7.3）。図20、4つの理論的糸口（§8）。図21、4つのループ構成、[3]より（§8.3）。図22、メカニズム的証拠の3つの系統（§9.1）。図23、アテンションパターンのパッチ適用とターゲット切り替え、[89]より（§9.1）。図24、ブロック間のランク振動、[93]より（§9.2）。図25、コスト整合した主張のための読解手順（§11.1）。

表（閲読順） 表1、記法（§2.1）。表2、隣接する系統とそれが本サーベイの対象でない理由（§2.2）。表3、最も近いサーベイ（§2.3）。表4、4つの分類軸におけるアーキテクチャ比較（§4.7）。表5、「ループ対密」比較における5種類のマッチング（§11.1）。

論文自体から再掲した図： 図4、5、6、7、8、9、10、13、14、15、16、21、23、24 — 計14点。残りの11点の図は著者が描いた図である。

References

[1] Jonas Geiping, Sean McLeish, Neel Jain, et al.. Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach. 2025. arXiv preprint. arXiv:2502.05171

[2] Rui-Jie Zhu, Zixuan Wang, Kai Hua, et al.. Scaling Latent Reasoning via Looped Language Models. 2025. arXiv preprint. arXiv:2510.25741

[3] Nikunj Saunshi, Nishanth Dikkala, Zhiyuan Li, Sanjiv Kumar, Sashank J. Reddi. Reasoning with Latent Thoughts: On the Power of Looped Transformers. 2025. arXiv preprint. arXiv:2502.17416

[4] Rui-Jie Zhu, Tianhao Peng, Tianhao Cheng, et al.. A Survey on Latent Reasoning. 2025. arXiv preprint. arXiv:2507.06203

[5] Xinghao Chen, Anhao Zhao, Heming Xia, et al.. Reasoning Beyond Language: A Comprehensive Survey on Latent Chain-of-Thought Reasoning. 2025. arXiv preprint. arXiv:2505.16782

[6] Shibo Hao, Sainbayar Sukhbaatar, DiJia Su, et al.. Training Large Language Models to Reason in a Continuous Latent Space. 2024. arXiv preprint. arXiv:2412.06769

[7] Róbert Csordás, Kazuki Irie, Jürgen Schmidhuber, Christopher Potts, Christopher D. Manning. MoEUT: Mixture-of-Experts Universal Transformers. 2024. arXiv preprint. arXiv:2405.16039

[8] Shawn Tan, Yikang Shen, Zhenfang Chen, Aaron Courville, Chuang Gan. Sparse Universal Transformer. 2023. arXiv preprint. arXiv:2310.07096

[9] Sangmin Bae, Adam Fisch, Hrayr Harutyunyan, Ziwei Ji, Seungyeon Kim, Tal Schuster. Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA. 2024. arXiv preprint. arXiv:2410.20672

[10] Chengting Yu, Xiaobo Shu, Yadao Wang, et al.. MeSH: Memory-as-State-Highways for Recursive Transformers. 2025. arXiv preprint. arXiv:2510.07739

[11] Mohammadmahdi Nouriborji, Morteza Rohanian, Omid Rohanian. Improving Recursive Transformers with Mixture of LoRAs. 2025. arXiv preprint. arXiv:2512.12880

[12] Abbas Zeitoun, Lucas Torroba-Hennigen, Yoon Kim. Hyperloop Transformers. 2026. arXiv preprint. arXiv:2604.21254

[13] Costin-Andrei Oncescu, Depen Morwani, Samy Jelassi, Alexandru Meterez, Mujin Kwun, Sham Kakade. The Recurrent Transformer: Greater Effective Depth and Efficient Decoding. 2026. arXiv preprint. arXiv:2604.21215

[14] Zanmin Wang. A Single-Layer Model Can Do Language Modeling. 2026. arXiv preprint. arXiv:2605.10643

[15] Guillaume Godin. SCORE: Replacing Layer Stacking with Contractive Recurrent Depth. 2026. arXiv preprint. arXiv:2603.10544

[16] Sang-Il Han. Hierarchical vs. Flat Iteration in Shared-Weight Transformers. 2026. arXiv preprint. arXiv:2604.14442

[17] Kevin Xu and Issei Sato. On Expressive Power of Looped Transformers: Theoretical Analysis and Enhancement via Timestep Encoding. 2024. arXiv preprint. arXiv:2410.01405

[18] Matthias M. M. Buehlmaier. LayerNorm as Implicit Gain Control in Looped Transformers. 2026. arXiv preprint. arXiv:2607.10681

[19] Shikhar Srivastava, Christopher Kanan. LayerRoPE: Dynamic Depth-wise Magnitude & Angular Superposition. 2026. arXiv preprint. arXiv:2610.09179

[20] Grigory Sapunov. Universal Transformers Need Memory: Depth-State Trade-offs in Adaptive Recursive Reasoning. 2026. arXiv preprint. arXiv:2604.21999

[21] Aras Kavuncu, Muhammad Burhan Hafez. Storing Is Not Remembering: LSTM-UT and Bounded Gated Memory for Looped Transformers. 2026. arXiv preprint. arXiv:2609.19521

[22] Liu Xiao. Associative-State Universal Transformers: Sparse Retrieval Meets Structured Recurrence. 2026. arXiv preprint. arXiv:2604.25930

[23] Bum Jun Kim, Kohei Hayashi, Shunsuke Kamiya, Masanori Koyama, Yusuke Iwasawa, Yutaka Matsuo. Looped Transformers with Source-Centered State Evolution. 2026. arXiv preprint. arXiv:2607.27656

[24] Pengxiang Li, Dilxat Muhtar, Di He, Guinan Su, Lu Yin, Shiwei Liu. Scaling to Tens of Thousands of Test-Time Iterations with Loop-Native Attention Residuals. 2026. arXiv preprint. arXiv:2610.11570

[25] Wencheng Ye, Anning Hu, Xiangdong Zhang, et al.. Write Back the Δ: Revisiting the Same Tokens with Fresh Representations. 2026. arXiv preprint. arXiv:2609.32457

[26] Boyi Zeng, Yiqin Hao, Zitong Wang, et al.. Depth-Attention: Cross-Layer Value Mixing for Language Models. 2026. arXiv preprint. arXiv:2606.05014

[27] Ziyang Cai, Xingyu Zhu, Yihe Dong, Yinghui He, Sanjeev Arora. T^2MLR: Transformer with Temporal Middle-Layer Recurrence. 2026. arXiv preprint. arXiv:2607.15178

[28] Yutong Chen, Shouqian Shi, Xinran Liu, et al.. Penelope: Localized Latent Recurrence for Efficient Structured Reasoning. 2026. arXiv preprint. arXiv:2607.25915

[29] Chengting Yu, Xiaobo Shu, Yadao Wang, et al.. SpiralFormer: Looped Transformers Can Learn Hierarchical Dependencies via Multi-Resolution Recursion. 2026. arXiv preprint. arXiv:2602.11698

[30] Sangmin Bae, Yujin Kim, Reza Bayat, et al.. Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation. 2025. arXiv preprint. arXiv:2507.10524

[31] Wenkai Chen, Tianshu Li, Wenyong Huang, Yichun Yin, Lifeng Shang, Chengwei Qin. LoopMoE: Unifying Iterative Computation with Mixture-of-Experts for Language Modeling. 2026. EMNLP 2026. arXiv:2606.04438

[32] Eric S. Qiu, Utku Umur Acikalin, Justin Lovelace, et al.. MoRE: Mixture of Reused Experts. 2026. arXiv preprint. arXiv:2609.18176

[33] Di He, Pengxiang Li, Da Chang, Qingyan Meng, Lu Yin, and Shiwei Liu. Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts. 2026. arXiv preprint. arXiv:2610.01153

[34] Markus Frey, Behzad Shomali, Ali Hamza Bashir, David Berghaus, Joachim Koehler, Mehdi Ali. Adaptive Loops and Memory in Transformers: Think Harder or Know More?. 2026. arXiv preprint. arXiv:2603.08391

[35] Yong Xien Chng, Tianyi Chen, Wenwen Tong, et al.. Looped Diffusion Transformer. 2026. arXiv preprint. arXiv:2609.40305

[36] Mohammad Mahdi Derakhshani, Pedro M. P. Curvo, Gertjan J. Burghouts, Jan-Willem van de Meent, Cees G. M. Snoek. LiFT: Loop Flow Transformers. 2026. arXiv preprint. arXiv:2610.05538

[37] Sanghyun Lee, Chunsan Hong, Seungryong Kim, Jonghyun Lee, Jongho Park, Dongmin Park. Looped Diffusion Language Models. 2026. arXiv preprint. arXiv:2605.26106

[38] Alba Carballo-Castro and Julianna Piskorz and Paulius Rauba and Mihaela van der Schaar and Pascal Frossard. Recursive Scaling in Masked Diffusion Models. 2026. arXiv preprint. arXiv:2606.18022

[39] Liancheng Fang, Zhuowei Li, Youngeun Kim, et al.. ALoDLM: Adaptively Looped Diffusion Language Models. 2026. arXiv preprint. arXiv:2610.04198

[40] Andrea Miele, Yiming Qin, Alba Carballo-Castro, Justin Deschenaux, Pascal Frossard. Fixed-Point Masked Generative Modeling. 2026. arXiv preprint. arXiv:2605.31215

[41] Shuzhen Li, Yifan Zhang, Jiacheng Guo, Quanquan Gu, Mengdi Wang. DeepLoop: Depth Scaling for Looped Transformers. 2026. arXiv preprint. arXiv:2607.13491

[42] Shaowen Wang, Bingrui Li, Ge Zhang, Wenhao Huang, Shen Yan, Jian Li. On the Residual Scaling of Looped Transformers: Stability and Transferability. 2026. arXiv preprint. arXiv:2606.18524

[43] Rao Fu, Zixuan Yang, Jiankun Zhang, Jing Ma, Hechang Chen, Yu Li, Yi Chang. Simply Stabilizing the Loop via Fully Looped Transformer. 2026. arXiv preprint. arXiv:2605.18797

[44] Alexey Zemtsov, Albina Klepach, Vadim Lomshakov, et al.. Rotate the Loop: Blockwise Conformality for Looped Transformers. 2026. arXiv preprint. arXiv:2610.14030

[45] Hsun-Yu Kuo, El Mahdi Chayti, Patrik Reizinger, Wieland Brendel, Martin Jaggi. Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping. 2026. arXiv preprint. arXiv:2606.29983

[46] Xiao-Wen Yang, Ziyu Han, Xi-Hua Zhang, et al.. Stabilizing Recurrent Dynamics for Test-Time Scalable Latent Reasoning in Looped Language Models. 2026. arXiv preprint. arXiv:2605.26733

[47] Jacob Fein-Ashley, Paria Rashidinejad. Solve the Loop: Attractor Models for Language and Reasoning. 2026. arXiv preprint. arXiv:2605.12466

[48] Sajad Movahedi, Vera Milovanović, Shlomo Libo Feigin, et al.. Fixed-Point Reasoners: Stable and Adaptive Deep Looped Transformers. 2026. arXiv preprint. arXiv:2606.18206

[49] Benhao Huang, Chufan Shi, Junlin Chen, et al.. Towards Looped Models Done Right, Part II: Rethinking at Fixed Points. 2026. arXiv preprint. arXiv:2610.06833

[50] Andrei Marchenko, Viacheslav Bezrukov, Oleg Kashurin, et al.. Closing the Loop: Practical Training Recipes for Looped Language Models. 2026. arXiv preprint. arXiv:2610.00673

[51] Zeyi Huang, Xuehai He, LiLiang Ren, et al.. Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior. 2026. arXiv preprint. arXiv:2605.26797

[52] Shota Takashiro, Masanori Koyama, Takeru Miyato, Yusuke Iwasawa, Yutaka Matsuo, Kohei Hayashi. Exploration of Fast-Slow Latent Recurrence for Train-Short, Test-Long Generalization. 2026. arXiv preprint. arXiv:2604.01577

[53] Andrei Piterbarg, Sean McLeish, Dhruv Pai, Benjamin Keigwin. Adaptive-Depth Is a Finishing Stage. 2026. arXiv preprint. arXiv:2610.14252

[54] Jishnu Ray Chowdhury, Cornelia Caragea. Investigating Recurrent Transformers with Dynamic Halt. 2024. arXiv preprint. arXiv:2402.00976

[55] Andrei Cristian Popescu, Haitz Sáez de Ocáriz Borde, Pietro Liò. Adaptive Depth in Looped Transformers: Diagnosing Learned Halting Gates and Trajectory Readouts. 2026. arXiv preprint. arXiv:2607.20519

[56] Joe Logan. Per-Token Fixed-Point Convergence in Depth-Recurrent Transformers. 2026. arXiv preprint. arXiv:2607.14427

[57] Kristian Schwethelm, Daniel Rueckert, Georgios Kaissis. Depth-adaptive Inference of Looped Language Models via Continuous Depth Batching. 2026. arXiv preprint. arXiv:2608.09444

[58] Mrinal Mathur, Mike Doan, Barak Pearlmutter, Sergey Plis. Change of Thought: Adaptive Test-Time Computation. 2025. arXiv preprint. arXiv:2507.13569

[59] Sumin Park, T. Konstantin Rusch. Looped Reasoning Finishes Earlier Than You Think. 2026. arXiv preprint. arXiv:2610.18174

[60] Ha Van Dau, Thanh Tung Khuat, Nguyen Thanh Dung. Beyond Depth Truncation: Controlled Evaluation of Depth Utilization in Recursive Language Models. 2026. arXiv preprint. arXiv:2609.19934

[61] Yuliana Shakhvalieva, Dmitrii Kharchev, Viacheslav Bezrukov, et al.. What Limits Recursive Reasoning Models: Optimization, Architecture and Test-Time Scaling. 2026. arXiv preprint. arXiv:2609.39967

[62] Mingqian Yu, Wenpeng Zhang, Shaobo Cui, Peilin Zhao. T-LoopFormer: Token-Level Elastic-Depth Looped Transformers for Latent Reasoning with Dynamic Routing. 2026. arXiv preprint. arXiv:2609.15160

[63] Ahmadreza Jeddi, Marco Ciccone, Babak Taati. LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation. 2026. arXiv preprint. arXiv:2602.11451

[64] Tianyu Fu, Yichen You, Zekai Chen, Guohao Dai, Huazhong Yang, Yu Wang. Think-at-Hard: Dynamic Looped Transformers for Improved Reasoning. 2025. arXiv preprint. arXiv:2511.08577

[65] Ziyue Li, Yang Li, Tianyi Zhou. Skip a Layer or Loop It? Learning Program-of-Layers in LLMs. 2026. arXiv preprint. arXiv:2606.06574

[66] Faisal Ladhak, Shantanu Acharya, Santiago Akle Serano, Simeng Sun, Boris Ginsburg, Krishna C Puvvada. One Model to Loop Them All: Elastic Latent Recurrence for Language Models. 2026. arXiv preprint. arXiv:2610.12582

[67] Shixiang Song, He Li, Zitong Wang, et al.. AdaPonderLM: Gated Pondering Language Models with Token-Wise Adaptive Depth. 2026. arXiv preprint. arXiv:2603.01914

[68] Yichen You, Tianyu Fu, Aosong Feng, et al.. Improving Test-Time Scaling with Adaptive Looped Transformers. 2026. arXiv preprint. arXiv:2609.35748

[69] Bohong Wu, Mengzhao Chen, Xiang Luo, et al.. Parallel Loop Transformer for Efficient Test-Time Computation Scaling. 2025. arXiv preprint. arXiv:2510.24824

[70] Jonas Geiping, Xinyu Yang, Guinan Su. Efficient Parallel Samplers for Recurrent-Depth Models and Their Connection to Diffusion Language Models. 2025. arXiv preprint. arXiv:2510.14961

[71] Chris Cameron, Wangzheng Wang, Nikita Ivanov, et al.. One Step Forward and K Steps Back: Better Reasoning with Denoising Recursion Models. 2026. arXiv preprint. arXiv:2604.18839

[72] SangLyul Cho, Langqing Cui, Sehoon Kim, Dongsu Han, Insu Han. LoopSpec: Pipelined Self-Speculative Decoding for Looped Transformers. 2026. arXiv preprint. arXiv:2609.17184

[73] Hyeongju Ha, Jae-Joon Kim. WaveFront Decoding: Parallelized Self-Speculative Decoding for Looped Language Models. 2026. arXiv preprint. arXiv:2609.23033

[74] Guanghao Li, Zihan Su, Hao Yu, et al.. Shallow Queries, Mature Values: Depth-Asynchronous Self-Speculation for Looped Transformers. 2026. arXiv preprint. arXiv:2609.34538

[75] Weihao Liu, Huangjie Zheng, Tianrong Chen, et al.. Decoding Looped Transformers Better for (Almost) Free. 2026. arXiv preprint. arXiv:2610.02185

[76] Angeliki Giannou, Shashank Rajput, Jy-yong Sohn, Kangwook Lee, Jason D. Lee, Dimitris Papailiopoulos. Looped Transformers as Programmable Computers. 2023. arXiv preprint. arXiv:2301.13196

[77] Ying Fan, Yilun Du, Kannan Ramchandran, Kangwook Lee. Looped Transformers for Length Generalization. 2024. arXiv preprint. arXiv:2409.15647

[78] Liu Yang, Kangwook Lee, Robert Nowak, Dimitris Papailiopoulos. Looped Transformers are Better at Learning Learning Algorithms. 2023. arXiv preprint. arXiv:2311.12424

[79] Jia Liang, Xi Jin, Liangming Pan. Beyond the Training Horizon: Mechanisms and Limits of Length Generalization in Looped Transformers. 2026. arXiv preprint. arXiv:2609.33144

[80] Huitao Yang, Jianhao Huang, Zixuan Wang, Baharan Mirzasoleiman. Learning to Extrapolate in Depth with Looped Transformers. 2026. arXiv preprint. arXiv:2610.14456

[81] Takuya Ito, Ruchir Puri, Murray Campbell, Parikshit Ram. Universal Transformers for Circuit Computations: Perfect Length Generalization in Tiny Transformers. 2026. arXiv preprint. arXiv:2608.31067

[82] Harsh Kohli, Srinivasan Parthasarathy, Huan Sun, Yuekun Yao. Loop, Think, & Generalize: Implicit Reasoning in Recurrent-Depth Transformers. 2026. arXiv preprint. arXiv:2604.07822

[83] Khashayar Gatmiry, Nikunj Saunshi, Sashank J. Reddi, Stefanie Jegelka, Sanjiv Kumar. Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning?. 2024. arXiv preprint. arXiv:2410.08292

[84] Bo Chen, Xiaoyu Li, Yingyu Liang, Zhenmei Shi, Zhao Song. Bypassing the Exponential Dependency: Looped Transformers Efficiently Learn In-context by Multi-step Gradient Descent. 2024. arXiv preprint. arXiv:2410.11268

[85] Khashayar Gatmiry, Nikunj Saunshi, Sashank J. Reddi, Stefanie Jegelka, Sanjiv Kumar. On the Role of Depth and Looping for In-Context Learning with Task Diversity. 2024. arXiv preprint. arXiv:2410.21698

[86] Kevin Xu, Issei Sato. To CoT or To Loop? A Formal Comparison Between Chain-of-Thought and Looped Transformers. 2025. arXiv preprint. arXiv:2505.19245

[87] Artur Back de Luca and Kimon Fountoulakis. Simulation of Graph Algorithms with Looped Transformers. 2024. arXiv preprint. arXiv:2402.01107

[88] Bingbin Liu, Jordan T. Ash, Surbhi Goel, Akshay Krishnamurthy, Cyril Zhang. Transformers Learn Shortcuts to Automata. 2022. arXiv preprint. arXiv:2210.10749

[89] Jiaju Wu, Yi Hu, Muhan Zhang. Shared Weights, Selected Computations: How Looped Transformers Route What Each Loop Does. 2026. arXiv preprint. arXiv:2609.39892

[90] Georgios Kaissis, David Mildenberger, Juan Felipe Gomez, Martin J. Menten, Eleni Triantafillou. Step-resolved data attribution for looped transformers. 2026. arXiv preprint. arXiv:2602.10097

[91] Xinlin Zhuang, Siyuan Wang, Imran Razzak, Weiyang Liu. What Makes Recurrence Effective in Looped Language Models?. 2026. arXiv preprint. arXiv:2609.36636

[92] Hugh Blayney, Álvaro Arroyo, Johan Obando-Ceron, et al.. A Mechanistic Analysis of Looped Reasoning Language Models. 2026. arXiv preprint. arXiv:2604.11791

[93] Wenquan Lu, Yuechuan Yang, Kyle Lee, Yanshu Li, Enqi Liu. Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer. 2025. arXiv preprint. arXiv:2507.02199

[94] Pawel Olszowiec, Paulina Tomaszewska, Maciej Żelaszczyk, Michal Byra, Neo Christopher Chung. Monitoring latent reasoning in looped language models. 2026. arXiv preprint. arXiv:2610.18127

[95] Giovanni Monea, Keshav Ramji, Yousef El-Kurdi, et al.. The Surprising Effectiveness of Shared Memory in Looped Transformers. 2026. arXiv preprint. arXiv:2610.02383

[96] Victor Conchello Vendrell, Arnau Padres Masdemont, Niccolò Grillo, et al.. Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models. 2026. arXiv preprint. arXiv:2605.07721

[97] Wanqi Yang, Shiwei Liu. FlashLoop: Fast and Memory-Efficient Looped Transformers via Lazy Updates. 2026. arXiv preprint. arXiv:2609.29812

[98] Zhixiong Zhao, Zukang Xu, Xing Hu, Lifeng Liu, Guangyu Sun, Dawei Yang. LoopQuant: Accurate and Efficient Post-Training Quantization for Looped Transformers. 2026. arXiv preprint. arXiv:2610.16368

[99] Adrian Bulat, Yassine Ouali, Georgios Tzimiropoulos. One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts. 2026. arXiv preprint. arXiv:2610.12448

[100] Xun Wang, Ruishuo Chen, Yu Chen, Zhuoran Li, Longbo Huang. FlexLoop: Depth-Elastic Looped Policies for Adaptive Test-Time Computation in Deep RL. 2026. arXiv preprint. arXiv:2609.34488

[101] Shaowen Wang, Ge Zhang, Kairong Luo, et al.. SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers. 2026. arXiv preprint. arXiv:2609.01343

[102] Kristian Schwethelm, Daniel Rueckert, Georgios Kaissis. How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models. 2026. arXiv preprint. arXiv:2604.21106

[103] Hayden Prairie, Zachary Novack, Taylor Berg-Kirkpatrick, and Daniel Y. Fu. Parcae: Scaling Laws For Stable Looped Language Models. 2026. arXiv preprint. arXiv:2604.12946

[104] Leo Raphael Rodrigues, Jian Kang. Dissecting Hierarchical Reasoning Models: A Mechanistic Study. 2026. arXiv preprint. arXiv:2609.22197

[105] Tong Zhang, Junhao Hu, Yun Peng, Tao Xie. When Does Recurrence Become an Algorithm? Convergence Selection in Weight-Tied Looped Transformers. 2026. arXiv preprint. arXiv:2607.20594

[106] Wenlong Wang, Fergal Reid. Looped Transformers under the Jacobian Lens: Does the Global Workspace Survive Recurrence?. 2026. arXiv preprint. arXiv:2609.01924

[107] Gunn Kim. Dynamical phase selection controls compute scaling in looped transformers. 2026. arXiv preprint. arXiv:2608.26556

[108] Darpan Aswal, Thomas Palmeira Ferraz, Yongxin Zhou, Maxime Peyrard. Observable Patterns Are Not Explanations: A Causal-Geometric Analysis of Latent Reasoning Models. 2026. arXiv preprint. arXiv:2606.12689

[109] Han Wang, Ishwar B Balappanawar, Huan Zhang. On the Chain-of-Thought Monitorability of Looped Language Models. 2026. arXiv preprint. arXiv:2610.02741

[110] Huzi Cheng, Zhewei Zhang. Not All Thinking is Created Equal: Latent Reasoning Discovers a Recurrent Search Algorithm for Depth Generalization. 2026. arXiv preprint. arXiv:2609.35643

[111] Arip Asadulaev, Rayan Banerjee, Fakhri Karray, Martin Takac. Latent Reasoning in TRMs is Secretly a Policy Improvement Operator. 2025. arXiv preprint. arXiv:2511.16886

[112] Jeffrey Lai, Anthony Bao, John Quinn, William Gilpin. Fractal basins trap latent reasoning. 2026. arXiv preprint. arXiv:2609.04963

[113] Yuto Inui, Takuya Konishi, Yoshinobu Kawahara. Invariant-Measure Reasoners: Stable Representations for Latent Reasoning. 2026. arXiv preprint. arXiv:2610.10996

[114] Francesco Pappone, Donato Crisostomi, Emanuele Rodolà. Two-Scale Latent Dynamics for Recurrent-Depth Transformers. 2025. arXiv preprint. arXiv:2509.23314

[115] Zhihao Guo, Zonghan Wu, Haizhou Du, et al.. Right Direction, Wrong Step: Geometric Analysis of Finite-Step Failure in Looped Transformers. 2026. arXiv preprint. arXiv:2609.16665

[116] James O' Neill, Fergal Reid. Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers. 2026. arXiv preprint. arXiv:2607.15456

[117] Yuhan Chen, Siyuan Zhang, Nan Wang, Feiyang Kang, Ruoxi Jia. Hybrid Latent Attention for Looped Language Models. 2026. arXiv preprint. arXiv:2610.07940

[118] Bo Liu, Qiang Liu. Maglev: Sliding Recurrent Memory. 2026. arXiv preprint. arXiv:2608.02870

[119] Wen-Jie Shu, Xuerui Qiu, Rui-Jie Zhu, Harold Haodong Chen, Yexin Liu and Harry Yang. LoopViT: Scaling Visual ARC with Looped Transformers. 2026. arXiv preprint. arXiv:2602.02156

[120] Zhe Qian, Ziyang Gong, Zhongxing Xu, et al.. LoopVL: Recurrent Visual Intelligence. 2026. arXiv preprint. arXiv:2609.38426

[121] Renjie He. RD-ViT: Recurrent-Depth Vision Transformer for Semantic Segmentation with Reduced Data Dependence. 2026. arXiv preprint. arXiv:2605.03999

[122] Michal Byra, Pawel Olszowiec, Grzegorz Stefanski, Grzegorz Gruszczynski, Alberto Presta. Investigating Single-Block Recurrence in Vision Transformers for Image Recognition. 2026. arXiv preprint. arXiv:2605.10661

[123] Junseo Kim, Uraz Odyurt, Amirreza Yousefzadeh. MergeOver: Post-Training Token Merging for Recursive Vision Transformers. 2026. arXiv preprint. arXiv:2608.13141

[124] Zhiying Lu. LoopVAE: Recurrent Depth Across Scales for Visual Tokenization. 2026. arXiv preprint. arXiv:2609.11516

[125] Yang Chen, Canyu Shen, Xinzhe Rao, et al.. GramLoop: Training-Free Gram-Gated Replay for Robust Dense Prediction. 2026. arXiv preprint. arXiv:2608.29113

[126] Zipeng Wang, Anping Xiong, Jing Zhang, et al.. LoopREG: Representation Supervision Enables Test-Time Recurrent Depth in Diffusion Transformers. 2026. arXiv preprint. arXiv:2610.17877

[127] Mostafa Dehghani, Stephan Gouws, Oriol Vinyals, Jakob Uszkoreit, Łukasz Kaiser. Universal Transformers. 2019. International Conference on Learning Representations (ICLR). arXiv:1807.03819 (external — not present in the library collection used for this survey)

[128] Alex Graves. Adaptive Computation Time for Recurrent Neural Networks. 2016. arXiv preprint. arXiv:1603.08983 (external — not present in the library collection used for this survey)

[129] Shaojie Bai, J. Zico Kolter, Vladlen Koltun. Deep Equilibrium Models. 2019. Advances in Neural Information Processing Systems (NeurIPS). arXiv:1909.01377 (external — not present in the library collection used for this survey)