摘要

循环（或循环深度）Transformer 对 token 的隐藏状态重复应用同一个权重绑定块，使“深度”从参数数量的固定属性转变为可在推理时消耗的变量。自 2024 年以来，这一思想已从理论构造和小型序列模型实验，走向数十亿参数的预训练语言模型，并扩展到视觉、扩散、流匹配和强化学习骨干网络。本综述围绕四个结果在很大程度上相互独立的问题来梳理这一文献：循环位于网络中的何处、如何区分相继迭代、迭代之间携带什么状态，以及谁决定一个 token 获得多少次迭代。我们表明，该领域的核心设计选择最好被描述为这四个轴上的少量离散选项；训练稳定性——而非表达能力——一直是约束性瓶颈；而支持循环的经验证据仍然主要来自参数匹配而非计算匹配的基线。我们回顾自适应深度推理，其中循环如今日益被用作需要调度的资源，而非固定预算；确立循环能够模拟什么以及在深度上能泛化多远的理论；关于单次迭代计算内容的机制性证据；以及该架构引发的系统、安全和评估问题。最后，我们列出我们认为最重大的开放问题，包括缺乏计算匹配的对照，以及循环模型尚无公认的推理时缩放定律。

---

范围与证据边界

本综述是对一个架构家族的叙述性综述，而非对潜在推理整体的系统性综述。其证据基础是一个由 358 篇论文组成的候选池，这些论文通过六条检索路径的并集从 Parallax 库中检索得到（语义召回，加上覆盖循环、递归、权重共享、通用和循环深度 Transformer 词汇表的关键词变体），并按日期和类别筛选至该文献存在的窗口期。从该池中，有 102 篇论文被全文阅读（每篇论文的结构化阅读笔记，附章节级出处）；其余论文在标题/摘要层面筛选。

在整个过程中应牢记三个后果：

• 覆盖范围受库的限制。 该领域的三项基础性工作——Universal Transformers [127]、Adaptive Computation Time [128] 和 Deep Equilibrium Models [129]——不在该库中，因此依据其公开的 arXiv/出版商元数据引用。它们在参考文献中被标记为外部文献。
• 阅读深度不均衡。 102 篇已分派论文中有 28 篇没有全文阅读界面，仅依据摘要加阅读笔记处理；它们从未单独支撑任何承重性论断。
• 该领域发展迅速且以预印本为主。 此处引用的很大一部分内容未经评审，日期为 2026 年。当某一论断仅依赖单篇小规模预印本时，我们会予以说明。当多项独立工作一致时，我们也会说明，并将其与共识区分开来。

一个配套的阅读池工件（筛选后的 358 篇候选语料，连同产生它的 AI 筛选决策）被用于组装证据基础；它是一个工作集，并不声称这些是所有相关论文。

要点。 本综述覆盖一个架构家族，并明确说明了这一点：筛选了 358 个候选对象，全文阅读了 102 篇，其中 28 篇仅阅读摘要，另有 3 项基础性工作引自外部元数据。承重性论断依赖于实际阅读过其章节的工作；仅阅读摘要和仅依赖元数据的工作，只在其所述目标支持某个合并表述时才会出现。

---

第一部分——基础

1. 为什么要循环深度轴？

1.1 该家族所针对的问题

传统 transformer 同时沿两个轴购买能力：参数量和每 token 计算量都随堆叠块数量增长。循环将二者分开。一个循环模型有少量物理层 $L$ 和一个迭代次数 $T$，后者施加于同一组权重：

$$h^{(t+1)} = B_{\theta}\big(h^{(t)}, x, t\big), \qquad t = 0, \dots, T-1 ,$$

其中 $x$ 是循环所条件的 token/上下文，$B_\theta$ 是一个共享块。增加 $T$ 会增加有效深度，而不增加参数量；随后同一组权重可以按输入、按 token 或按生成步骤运行更多或更少的迭代。

这个想法并不新。Universal Transformers [127] 在 2018 年提出了权重绑定、自适应深度的 transformer，Adaptive Computation Time [128] 提供了停机机制；多步循环推理的观点早已出现在关于带思考的循环网络的工作中。变化的是规模和意图。2024 年至 2026 年间，该家族获得了：十亿参数级的预训练实例（Huginn、Ouro）[1, 2]；一种使循环比参数增长更便宜的专家混合形式 [7, 8]；一组真正能在规模上收敛的训练配方 [42, 50, 103]；以及一种推理时叙事，其中循环次数成为可控的计算旋钮 [64, 74]。

1.2 循环被用于的两件事

值得区分两个常被混为一谈的目的。

能力。 循环可以增加每参数的表达能力。§8.1 中的理论结果表明，一个常数深度的循环 transformer 可以模拟一台小型可编程计算机 [76] 或执行图算法 [87]——而同等大小的固定深度前馈 transformer 做不到。经验上，一个循环的 1 层模型可以在上下文学习任务上以十二分之一的参数量匹配一个 12 层模型 [78]，并且在短序列上训练的循环模型可以外推到远超其训练长度的输入，而在相同协议下训练的标准 transformer 则会失败 [77]。

可控性。 循环还使 token 级计算成为一个显式变量。由于迭代被索引，模型可以决定对困难 token 运行更多迭代 [64]，在更便宜的答案足够时运行更短的轨迹 [63, 66]，或复用早期迭代作为推测解码的草稿 [74]——这些机制在固定深度堆栈中没有对应物。

这两个目的有不同的证据和不同的失败模式，§11 论证说，文献中许多表面上的分歧来自没有将二者区分开。

1.3 本综述的论点

四个论断组织了接下来的材料。

1. 设计空间小而离散。 尽管近期工作数量众多，几乎每一种循环架构都只是四项选择：共享块的作用域（网络中重复的部分）、步条件化（迭代 $t$ 如何被标记）、迭代间接口（什么状态被传递、替换或累积），以及深度策略（$T$ 是固定的、学习的，还是在推理时决定的）。§3–§4 按这种方式组织文献。
2. 约束瓶颈是稳定性，而非表达能力。 理论上更有吸引力的区域——压缩不动点——并不是大型模型所收敛到的对象，而报告最大收益的论文，大多也是报告某种稳定化技巧的论文 [42, 43, 44, 45, 46, 47]。§5.2 是综述讨论训练问题的核心。
3. 证据大多是在参数匹配下得到的，而非算力匹配。 循环方法最引人注目的比较对象，是参数数量相近的稠密模型，或同一模型在 $T=1$ 下的表现，而不是具有相同推理 FLOPs 的稠密模型。少数确实匹配推理 FLOPs 的工作，往往报告出不同且更混杂的结论 [50, 63, 64, 101, 102]。§11 以表格汇总了我们所掌握的情况。
4. 推理时的自适应深度是该领域最活跃、却最少得到验证的方向。 §6 的证据几乎全部来自少量模型、短小的单种子运行，以及合成或狭窄的基准；所报告的自适应收益是真实的，但很脆弱，并且在一些成本匹配的比较中会消失。

1.4 阅读地图

图 1 展示了本综述各组成部分之间的关系。第一部分确定术语和分类法。第二部分是架构与训练的设计空间，该领域的大部分工程工作都集中在这里。第三部分涵盖推理时计算及其带来的系统/安全约束。第四部分涵盖理论与机制可解释性。第五部分汇集算力匹配的证据、文本之外的应用以及开放问题。

图 1：本综述的地图。实线箭头是第二部分讨论的设计轴；“深度策略”和“训练稳定性”之下的分支，是该领域实际困难集中的两个地方。

要点。 循环以参数量换取可重复的计算。它既被用来提升每个参数所对应的能力，也被用来把逐 token 计算暴露为一个可控旋钮，而这两种用途有不同的证据。本综述把四个设计轴——作用域、步条件化、接口、深度策略——作为组织框架，并反复回到一个证据上的弱点：循环方法通常是在参数匹配、而非算力匹配的基线上被评估的。

2. 循环的一种统一形式化

2.1 定义

在全文中，循环 transformer 指这样一类序列模型：其中参数共享的子网络 $B_\theta$ 沿一个迭代索引，被多次应用于同一 token 位置的表示；并且应用次数是一个一阶量（固定、学习或按计划安排）。我们一致使用以下术语。

表 1：本综述中使用的记号。在单一架构内部，有效深度与每 token FLOPs 成正比，但跨架构时并非如此。

另外三个区别很重要，并在下文中一致使用。

• 有效深度与计算量。 因为一个 $b$ 块循环的一次迭代需要一次通过 $b$ 块的前向传播，所以在单一架构内部，有效深度与每 token FLOPs 成正比，但跨架构并非如此。一个 24 层堆叠、其中间十二层重复，以及一个 24 次迭代的单块循环，可以具有相同的 FLOPs 和非常不同的有效深度。因此，关于“深度”和关于“计算量”的陈述必须从架构中读取，而不是从标签中读取。
• 循环范围。 共享区域可以覆盖整个网络（[3, 12, 14]）、未共享前奏与尾声之间的中间跨度（[1, 2]），或单层或一小组层（[26, 28]）。我们将这些分别称为全局、两阶段和局部化范围。
• 语义深度与迭代索引。 一些作者报告称，最后几次迭代并不对应于额外的推理步骤；从 $t$ 到“推理量”的映射是一个经验问题，在 §9.2 中考察，而不是一个假设。

2.2 该家族的边界

有四条邻近研究路线足够接近，以至于经常与循环 transformers 混淆。本综述将四者都视为相关方向，并不将它们作为并列主题；每一者仅在其直接为关于循环的某个主张提供信息时才被纳入。

表2：相邻家族及其为何不是本综述的对象。仅在其直接为关于循环的某项主张提供依据时才纳入。

最后一行值得强调，因为语料库中被引用最多的两项“循环”结果根本不涉及深度。由于“recurrent”和“recursive”在两侧都出现，这种区分在术语中很容易被混淆。

2.3 相对于现有综述的定位

文献库中没有专门针对循环/循环深度Transformer的综述。两篇近期的潜在推理综述是最接近的邻居，其关系是划分而非重叠。

表3：文献库中最近的两篇综述及本综述的差异。两者均按潜在推理方法而非按架构组织。

因此，本综述所主张的差异化在于架构、训练稳定性、推理时调度、效率/系统以及循环轴的跨模态使用，而潜在推理方法分类学被视为背景。我们并不声称在评审方案意义上是系统或穷尽的；“范围与证据边界”中的覆盖陈述是操作性的描述。

2.4 该家族的发展历程

图2按时间排列了本综述所依赖的工作。在细节之前，这一模式值得注意：早期以理论和构造性结果为主，首个十亿参数语言模型出现于2025年，而2026年的文献分化为稳定性配方、推理时调度、系统性缩放定律和跨模态迁移。最近一段时期的密度是检索窗口的属性，而非某一研究前沿在特定月份形成的证据。

图2：选择性时间线。仅展示本综述所使用的工作；2026年聚类反映的是检索路径运行的时间，而非实测增长率。

要点。 该家族由沿迭代轴的权重绑定复用定义，而非由“循环”一词定义：序列轴循环、固定深度提前退出和隐式均衡求解是截然不同的对象。有效深度与每token FLOPs在单一架构内成比例，但跨架构则不成比例，这正是文献中诸多表面分歧的来源。文献库中没有关于该家族的专门综述；最近的两篇综述按潜在推理方法而非按架构划分该空间。

3. 分类学

3.1 四个轴

第二部分中的一切都是在四个轴上的选择。图3展示了分类学及叶节点上的代表性工作。

图3：贯穿第二部分所使用的四条轴上的循环架构分类。叶节点给出设计选项名称；仅在某一论文是最清晰实例时才给出代表性工作。

3.2 为什么是这四条轴，而不是其他

这些轴并非任意划分。它们对应实践者在实例化一个循环模型时必须回答的四个问题，而且关键在于，它们在文献中接近正交：相同的范围会与固定深度和自适应深度一同出现；相同的接口会与逐步条件化和无逐步条件化一同出现。

对本综述所阅读作品的一个粗略统计可以说明这一点。引入范围创新（循环位于何处）的论文几乎从不同时引入深度策略创新，而关于稳定性的论文几乎总是保持范围和深度策略不变。两个例外是将MoE层与循环次数配对的混合架构（循环超过两次 [33]、MoRE [32]、MoR [30]）——在那里，范围与路由真正相互作用，因为路由决策就是深度决策。

3.3 第五条横切轴：迭代是为了什么

还有一个区分横切这四条轴，而且根本不是架构层面的：额外迭代的预期作用是迭代精化（趋近一个不动点）、串行计算（每次迭代执行算法的一步），还是采样（每次迭代改进一个生成分布）。这三者对应三种不同的理论叙事，以及关于更多循环应带来什么的三组不同预测。§8.3和§11.2会回到这一点，因为一旦明确了预期作用，本综述自身的一些分歧就会消解。

要点。 设计空间归结为四个基本独立的选择——范围、逐步条件化、接口、深度策略。大多数论文恰好只改变其中一个。第五条非架构轴——迭代是意图作为精化、串行计算还是采样——会预测额外循环下的不同行为，并且是对一种新的循环架构最有用的单一问题。

第二部分——设计空间

4. 架构：循环位于何处以及迭代如何不同

4.1 范围：两阶段、全范围和局部循环

最具影响且讨论最少的设计选择是网络的哪一部分重复。

两阶段范围划分。 大语言模型中的主导模式将网络分为不共享的前奏、重复的核心和不共享的尾声。Huginn [1] 是最清晰的实例：一个前奏块、四个共享核心块、一个尾声块，完整状态在每次迭代时重新进入核心。其动机是，前奏摊薄了不应重复的嵌入/早期混合工作，而尾声将收敛后的潜状态转换为logits。Ouro [2] 和 Latent Recurrent Transformer [51] 遵循同样的划分。这一选择并非无关紧要：由于状态在边界处被整体替换，前奏/尾声的划分也正是使循环的不动点行为可分析的原因，而其代价是所有迭代都共享输入的单一嵌入。

图4：两阶段（前奏–核心–尾声）模式，由 Huginn [1] 引入。整个状态在每次迭代时重新进入核心；不使用逐迭代噪声或停止信号。图转载自 [1]。

全网作用域。 在另一个极端，每一层都参与循环，不存在享有特权的非共享区域。这是关于循环深度的理论工作[3, 77, 78]以及若干近期系统论文的设定，后者主张前奏/尾声的划分本身就是不稳定的来源[14, 43, 12]。全循环 Transformer[43]明确提出了这一论点：只让一部分层重复会导致其残差统计量无界增长，而将整个堆叠折入循环才是使其稳定的做法。§5.2 将对此展开讨论。

局部作用域。 第三种选择是仅重复深层堆叠中间的少数几层。Depth-Attention[26]是最鲜明的实例：它保留了一个常规的$L$层 transformer，但将每一层的 value 矩阵替换为由一组稀疏的较浅层使用当前层的 query 形成的深度混合 value。论文中给出的复杂度论证为$O(TL/s) \ll O(T^2)$——混合在深度上是稀疏的，相对于 token 轴注意力而言开销很低。

图 5：Depth-Attention[26]作为跨迭代混合的一种局部、稀疏形式。混合发生在深度上而非序列位置上。图转载自[26]。

局部循环之所以有吸引力，有一个具体原因：它们可以改装到已有的预训练堆叠上，并且完全避开了整体状态替换的问题。T²MLR[27]采取了同样的“中层循环”路线，而 Penelope[28]则将循环局部化以控制其成本。这一类别也正是该家族与普通架构工作之间的边界变得模糊之处——“将一层复用两次”从什么时候起不再算是循环 transformer？我们采用 §2.1 的操作性边界：当迭代次数是一个可控量，而不仅仅是一个重复的子表达式时，复用才构成循环。

4.2 步骤条件化：区分迭代$t$与迭代$t-1$

反复施加的共享块是一个等变映射：在没有额外信号的情况下，迭代$t$与迭代$t'$对$B_\theta$而言无法区分。因此，每一个非平凡的循环架构都会加入条件化。有四种机制反复出现。

深度轴上的时间步或位置编码。[17]的理论工作表明，没有时间步编码的循环 transformer 在某种精确意义上表达能力有限，而加入时间步编码会严格提升其表达能力；LayerRoPE[19]将深度方向的位置编码推广为幅度与角度的叠加，而[18]认为 LayerNorm 充当了一种隐式的增益控制，对残差路径起到类似作用。这是最廉价、最常见的选项，也是最常被意外遗漏的选项——Huginn[1]完全没有使用它，这是一种设计立场，而非疏忽。

逐循环低秩适配器。 Relaxed Recursive Transformers[9]将一个深层网络折叠为$K=L/B$个共享块加上逐层、逐循环的 LoRA 增量（由原始层的截断 SVD 初始化），然后进行 uptrain。其结果是一个连续谱：一端是完全权重共享；另一端是各不相同的层。Mixture-of-LoRAs[11]将逐循环适配器转变为一种路由集合。其优势在于参数效率——几百万额外参数就能恢复因绑定而损失的大部分性能——代价则是“共享程度”变成了一个必须调优的新超参数。

深度结构化的注意力。 跨迭代注意力并不调节块的参数，而是调节其信息流：ReFlux [25] 在迭代之间将更新写回相同的 token；Loop-Native Attention Residuals [24] 通过使残差读出本身具备循环感知能力，将这一点推进到数万次测试时迭代。Depth-Attention [26]（图 5）是局部化版本。

图 6：由 [26] 的 3B 模型学到的深度注意力源权重，在 token、头和评估样本上取平均。对角线是每一层读取自身的值状态；源层 24 处的强水平线和源层 0 处的微弱行是训练后的模型唯一使用的非对角来源。图转载自 [26]。

逐循环专家。 MoRE [32] 将“哪一次迭代”视为一个路由维度，并在迭代之间复用专家池；§4.5 中的循环 MoE 工作在块级别做同样的事。这是将调节与路由耦合得最紧密的选项。

4.3 接口：什么跨越迭代边界

第二个结构问题是下一次迭代读取什么。

全状态替换。 最简单的接口传递完整的更新后状态，除此之外不传任何东西——Huginn [1] 和 Ouro [2]。它允许一种干净的不动点解释（§5.1），并且与 [77] 的深度泛化理论兼容。

残差或注入更新。 注入——在每次迭代时重新加入输入嵌入——在长度泛化文献 [77] 中是标准做法，并被用于“迭代 KV”表述，其中循环被写为对 KV 缓存而非对隐藏状态的不动点迭代。

记忆作为状态。 一种独特且日益流行的选项在迭代之间携带显式记忆。MeSH [10] 将共享块的状态路由经过记忆高速公路；LSTM-UT [21] 用有界门控记忆取代朴素的携带，并主张存储状态与记住状态并不相同；Associative-State Universal Transformers [22] 将循环与稀疏检索配对；Maglev [118] 使用滑动循环记忆。这一组中最强的证据是 [95]，它表明由每一次递归读取的共享 KV 记忆改善了准确率/内存权衡（图 7）——作者自己的解读是，注意力质量落在共享记忆上的循环，恢复了普通循环在深度上丢失的大部分梯度信号。

图 7：带（lpt）和不带（h-lpt）共享记忆的循环预测 Transformer 的准确率与内存对比 [95]。该比较是参数匹配的；论文未报告解码 FLOP 匹配的对照。图转载自 [95]。

图 8：在 [95] 的共享记忆循环 Transformer 中，落在共享记忆上的注意力质量，按层和递归展示，涉及两种模型规模（S 和 M），并在查询和头上取平均；每个面板的底行是全层均值。图转载自 [95]。

循环局部状态与持久状态。 一个反复出现的发现，而且具有实际后果，是状态的范围比其大小更重要。LSTM-UT [21] 和 Source-Centered State Evolution [23] 都报告无界状态累积会导致退化；Universal Transformers Need Memory [20] 将整个问题框定为深度–状态权衡。我们将这一簇文献解读为汇聚于一个经验性主张：超过某一点后，额外迭代只有在结果有处可去时才有帮助。这一解读是我们的推断，而非任何单篇论文的明确结论。

4.4 深度策略：固定、学习、弹性、调度

固定。 $T$ 是一个超参数。这包括 $T$ 被选得很小这一微妙而重要的情况：Looping-Beyond-Twice 配方 [33] 认为，该领域过度关注 $b=2$（深度为二的单块循环），而更大的 $b$ 配合更大的 $T$ 扩展得更好。

学习。 一个门控预测停止，沿袭 ACT [128] 的传统。Dynamic Halt [54] 是对带停止头的循环 transformer 的详尽早期研究；Sparse UT [8] 将稀疏专家混合块与停止模块结合并端到端训练。学习式停止很有吸引力，但语料库的诊断并不客气：§6.2 报告学习到的门控系统性地校准不良 [55]，且自适应深度在实践中主要充当收尾阶段，而非运行时调度器 [53]。

弹性。 训练一次，以任意深度运行。LoopFormer [63] 通过在归一化时间 $t$ 和步长 $\Delta t$ 上对每一步进行条件化，并使用捷径一致性损失，在一族轨迹上训练；One Model to Loop Them All [66] 将弹性循环次数作为首要目标。其吸引人的特性是单个检查点即可服务于一条计算/质量前沿。

推理时调度。 循环次数在运行时由路由器、决策器或外部调度按 token 或按请求决定——Think-at-Hard [64]、Program-of-Layers [65]、连续深度批处理 [57]，以及 §7.3 的自推测解码器。这是 2026 年大部分活动所在之处，并在 §6 中单独讨论。

图 9：[30] 的混合递归步骤：每次递归应用固定的共享层堆栈，路由器为每个 token 发出一个标量，决定该 token 是继续进入下一次递归还是退出。图转载自 [30]。

4.5 循环专家混合与分段循环

设计空间中最经济的思想是让重复块成为专家的混合，这样循环就能分别购买权重容量和计算容量。

MoEUT [7] 是基础性实例，也是实验最干净的。它将共享块的注意力和 MLP 替换为稀疏混合，并且关键地引入了一种周层归一化安排，其中层归一化在残差相加之前和之后都应用——作者报告这正是使深度权重绑定混合可训练的原因。他们自己的消融是最有信息量的部分：非共享 σ-MoE 被报告为“显著更差”，即增益来自稀疏性与绑定之间的交互，而非仅来自稀疏性。

图 10：MoEUT [7] 的作者认为稳定深度权重绑定混合所必需的周层归一化安排。图转载自 [7]。

2026年的文献则将这一问题细分为更精细的选项。Mixture-of-Recursions [30] 允许每个 token 在不同迭代轮次退出递归，并为此搭配了共享 KV 缓存；Looping Beyond Twice [33] 直接研究 $(b,T)$ 权衡；MoRE [32] 在迭代之间复用专家池；LoopMoE [31] 将迭代计算与 MoE 统一到单一公式中。在扩展方面，SMELT [101] 为 MoE 循环 transformer 提供了计算量匹配的扩展定律——这是一个罕见的情形：其替代方案（更多参数、更少循环）是在 FLOPs 而非参数量上实现匹配的。

4.6 循环生成：扩散、流与视觉 token 化

一个独立的分支将循环应用于生成式去噪过程，其中迭代索引取代或增强扩散时间步。Looped Diffusion Transformer [35] 和 LiFT [36] 是循环扩散与流匹配的典型实例；Looped Diffusion Language Models [37] 和 Recursive Scaling in Masked Diffusion Models [38] 将同样的思路应用于 token 位置上的离散扩散；Fixed-Point Masked Generative Modeling (CoFRe) [40] 将掩码生成明确表述为不动点迭代，并加入一致性正则化；ALoDLM [39] 使迭代次数自适应；LoopREG [126] 加入表示监督，使循环深度能够在测试时迁移。

这一分支在架构上之所以有趣，恰恰是因为它颠倒了通常的叙事：在去噪模型中，“更多迭代”具有与目标分布相关联的明确含义，因此循环次数具有可解释性，而这一点在自回归语言模型中并不成立。它也是跨迭代接口文献（无发表复现、一致性损失、复用消融）最为发达的分支。

4.7 架构的比较总结

表 4 在 §3.1 的四个轴上，比较了本综述完整阅读其组件的那些架构。各行按范围排序。“证据规模”列记录了论文报告的最大设置，而这往往远小于其声明所针对的设置。

表 4：四个分类轴上的架构比较。“证据规模”是所报告的最大设置；这并不代表对这些主张在该规模下成立的支持。

要点。 范围是第一个决策，也是下游后果最大的决策：两阶段范围提供了可分析的固定点，但在各次迭代间共享同一个输入嵌入；全网络范围避免了残差统计量的增长，但放弃了前奏/尾声的分离；局部化范围可改造到现有堆栈上，并融入普通架构工作。步条件通常被有意省略（Huginn、Ouro），而在其他地方被有意添加；时间步编码在理论上有依据 [17]，但在大规模上经验测试不足。接口问题——替换、注入还是记忆——是出现最一致经验发现的地方：额外迭代主要在其结果有处可去时才有帮助 [20, 21, 95]。循环 MoE 通过让权重和计算分别增长，颠倒了通常的权衡，其核心消融是：收益来自稀疏性与绑定的交互，而非仅来自稀疏性 [7]。

5. 训练：稳定性是约束瓶颈

5.1 稳定性问题，直白地说

将一个权重绑定的块展开$T$次是一种具有共享雅可比矩阵的深度计算。由此产生三种病态，它们不同于普通深度网络所面临的问题。

1. 残差增长或崩溃。 如果循环没有机制来调节状态的尺度，其范数会随$t$单调漂移；在较大的$T$下，状态要么爆炸，要么饱和并停止携带信息。
2. 深度处的梯度饥饿。 损失相对于早期迭代的梯度会随着中间应用次数的增加而衰减；如果衰减很快，超过某一点的迭代就得不到学习信号，从而变得惰性。
3. 不动点并非你想要的那些。 如果循环确实收敛，它收敛到某个吸引子；目标函数中没有任何东西说明该吸引子应该是有用的答案，而且吸引盆结构可能具有对抗性。

图11：展开共享块的三种失效模式以及应对它们的干预族，如本章所回顾的训练文献中所报告的那样。由作者根据[41, 42, 43, 44, 45, 47, 61]中描述的机制绘制；并非来自任何单篇论文的图。

理论上吸引人的解决方案是让循环具有收缩性，并在不动点处用隐式微分进行训练，遵循深度平衡传统[129]。语料库中的证据表明，这并非大型循环语言模型所做的。[15]用刻意收缩的循环深度取代层堆叠，并报告了在小规模体制下的收益；[47]将语言和推理循环框定为吸引子模型，并报告不动点表述才是修复稳定性的东西；[48]构建了带有显式稳定性约束的“不动点推理器”；[49]重新审视了在不动点处该做什么（特别是，轨迹的哪个端点应代表它）。但在那些报告了数亿到数十亿参数规模结果的工作中，大多数保留了展开目标，转而稳定架构。

5.2 稳定化干预实际上是什么

按干预作用的位置对其进行分组，会使文献更易读。

残差路径缩放。 [42]直接研究了循环Transformer的残差缩放指数，并报告了稳定性和可迁移性两方面的收益；DeepLoop[41]在GPT-2 small/medium骨干上扫描残差缩放指数，并报告匹配一个缩放后的基线才是循环“深度缩放”所需要的。这是最常见的单一干预。

归一化放置。 MoEUT的peri-layernorm[7]是原型：在残差相加的两侧都进行归一化。[18]给出了互补分析，认为LayerNorm正是在循环设置中充当隐式增益控制。基于旋转的归一化[43]和逐块共形性[44]是更激进的变体：它们不是控制尺度，而是约束 transition 的几何，其中[44]报告说 transition 算子的自由对角线正是崩溃的部分，而逐块共形约束可以恢复它。

图12：本节稳定化干预在展开循环上的作用位置，按其修改的计算部分分组。由作者根据[7, 18, 41, 42, 43, 44, 45, 61]中描述的干预绘制。

有界、门控的状态更新。 [61] 对递归推理模型进行了一项受控消融研究——在单一统一流水线内每次只改变一个因素——并得出结论：显式层级并非必要，稳定性来自有界、门控、归一化的循环状态更新，结合中间梯度视野与较大的物理批量。这一结果值得用作者的原话来陈述，因为它是关于一种流行设计的否定性主张：在他们的实验中，HRM 式模型的分层（两级）结构并非增益来源。

随机性。 [45] 学习一个随机停止分布，使测试时的外推行为稳定；[59] 分析递归推理器的缓慢振荡模态，并主张对这些模态进行速率限制正是使循环比预期更早结束的原因。

有两点注意事项适用于整个这一簇文献。第一，这些论文大多在小型或中型骨干网络上报告诊断加修复，通常只用一个随机种子；关于某一特定干预措施可扩展的重复证据稀少。第二，这些干预措施并非相互独立——不知道归一化放置位置，残差缩放指数就毫无意义——因此“哪个技巧有效”这个问题在不同架构之间可能并没有一个提法恰当的答案。

5.3 看见失败：一个完整诊断案例

训练文献中最清晰的单一证据是 [43] 的诊断，复现于图 13。该论文在最初 2,000 个优化步内，将完全循环的 transformer 与每循环深度相等及更大的常规循环 transformer 进行比较，报告了三种同时出现的分化：常规循环的残差范数单调增长至数万，而完全循环模型的残差范数保持在约一千附近；常规循环的训练损失在 7.9 左右进入平台期，而完全循环模型下降至约 3.6；常规循环的梯度范数塌缩至接近零，而完全循环模型保留非平凡的梯度。

图 13：来自 [43] 的训练诊断，对比完全循环 transformer（FLT）与每循环深度相等及更大的常规循环 transformer（LT）。残差范数（左）、训练损失（中）与梯度范数（右）。图复现自 [43]。

我们将此图解读为 §5.1 的三种病态在同一次运行中同时出现：不受控制的残差增长、损失下限、梯度饥饿。论文自身的结论是，将整个堆栈折叠进循环即是补救之道。我们的推断比作者更窄：任何重复区域是网络真子集的架构，都必然在前奏/尾声边界处表现出某种残差统计量不连续，因此“完全循环”的主张很可能是一个关于边界效应的陈述，而非关于循环本身。Huginn [1] 报告了两次失败的训练尝试，均从早期损失/梯度行为诊断出来，这是同一现象从另一面看到的样子。

5.4 目标：监督什么，以及跨越多少步

三个问题区分了该文献中的训练目标。

是每次迭代都有监督，还是只有一次？ 标准的下一词预测会在每次迭代时监督读出。[77] 的步依赖监督恰恰相反：样本 $i$ 只在迭代 $t = T_i$ 受到监督，其中 $T_i$ 是任务实际所需的步数。结合全输出预测和输入注入，这正是产生该论文头条长度泛化结果的原因。[82] 和 [80] 扩展了对深度外推及其局限的分析。

梯度在多少次迭代上流动？ 通过 $T$ 次迭代进行完整反向传播代价高昂且可能不稳定；截断成本低，但会丢失早期迭代携带的信号。[61] 将中间梯度视界确定为稳定性的三个要素之一——既不是完整 BPTT，也不是激进截断。这是该领域中少数定量发现之一，且与 §5.1 的梯度饥饿图景一致。

是否存在辅助的一致性目标或复用目标？ CoFRe [40] 添加了一个复用与一致性正则化项，使单次去噪步骤近似多步轨迹；LoopFormer [63] 添加了一个捷径一致性损失，将短轨迹拉向最长轨迹；[53] 认为自适应深度行为可分解为轨迹和读出，并且读出可以在事后进行监督（PLN）。一致性目标正是让单个检查点服务于多个循环次数的原因，因此它们既是一项训练设计选择，也是一项推理时设计选择。

5.5 循环次数与每次循环深度作为超参数

该领域最具实用价值的结果是关于如何选择 $(b, T)$。

多于两次循环。 [33] 的方法明确针对该领域漂移进入的区间——在 $T=2$ 上训练的单块循环——并报告说，通过循环获得的更大有效深度比替代方案扩展得更好。他们的等 FLOP 比较将最优值定位在约五次循环附近，而在固定的非等 FLOP 预算下，性能持续提升直至九次循环。这两条曲线之间的区别正是本综述反复回到的区别：损失随多少次循环而改善与多少次循环值得其 FLOPs 是两个不同的问题。

自适应而非均匀。 Mixture-of-Recursions [30] 将 token 路由到不同的递归深度，并报告了该设置下的计算最优扩展曲线，而 DeepLoop [41] 在残差缩放扫掠下，针对骨干网络规模扫掠循环次数。

大规模训练配方。 三篇 2026 年的著作是对实践者最有用的参考。Closing the Loop [50] 报告了实用配方，并且重要的是，报告了与稠密模型在推理 FLOP 匹配下的比较（在 §11 中讨论）。Parcae [103] 推导了扩展定律，其中递归是一个正交的计算轴，并报告了最优递归次数相对于 FLOP 预算的幂律。等深度扩展定律 [102] 通过固定深度并追问一次递归相对于增加宽度或 token 能带来什么，将问题重新表述为“一次递归值多少？”

图 14：在 [102] 的等深度分析中，各架构的计算最优验证损失以及拟合的联合扩展定律，其问题是一次递归相对于增加宽度或 token 值多少。图转载自 [102]。

5.6 关于训练，尚未确立的是什么

有三个缺口值得明确指出，因为每一个都常被轻描淡写地一带而过。

• 种子方差。 极少有训练稳定性论文会对每个配置报告不止一次运行。§5.2 中的干预措施被描述得仿佛结果是可复现的，但语料并不支持这种信心。这是我们对语料的评估，而不是任何一篇论文提出的主张。
• 规模迁移。 几乎所有的稳定性诊断都是在小规模或中等规模上进行的，然后被外推。Parcae [103] 是印证这一规律的例外，而它的全部贡献就在于稳定性表现得如定律一般。
• 与数据的交互。 一项稳定化干预是否会改变模型能够学到什么，而不仅仅是它能否训练，这一点很少被检验。[61] 关于层级结构的负面结果是少数将其单独分离出来的研究之一。

要点。 循环是一种具有共享雅可比矩阵的深层计算，其三种失效模式——残差漂移、梯度饥饿和不受欢迎的吸引子——正是训练文献实际解决的问题。大型循环语言模型绝大多数都保留展开目标并对架构进行稳定化：残差缩放、归一化位置、有界门控更新、随机性。唯一最清晰的诊断显示，三种失效模式在一次运行中同时出现 [43]，而语料中最系统的消融实验认为，有界门控归一化更新加上中间梯度视野和大批量，比层级结构更重要 [61]。选择 $(b,T)$ 受两个不同问题支配——损失在哪里改善，以及 FLOPs 在哪里划算——而这两个问题有不同的答案。

第三部分——推理时计算

6. 自适应推理：把循环花在重要之处

6.1 前提，以及为什么它并非自动成立

如果循环次数 $T$ 可以按输入变化，那么循环模型原则上能够以一小部分平均计算量匹配稠密模型的质量——在困难 token 上花费多次迭代，在简单 token 上花费少量迭代。这是否有效，完全取决于所需深度的分布是否可以从模型在运行时所能看到的东西中预测出来，以及预测它的机制是否经过校准。两者都是可检验的，而证据是混合的。

6.2 何时停止：停机比看起来更难

最简单的自适应方案是仿照 ACT [128] 传统，在迭代上学习一个停机门。语料中包含一项详细评估，应当给对此的乐观情绪降温。[55] 将自适应深度重新表述为联合选择轨迹和读出，并报告称，在合成奇偶校验/MANO 任务上，使用 4 层 $d=512$ 循环、$T=6$、3 个种子，几何先验轨迹搭配 logit 间隔读出在 1.38–1.55 平均循环数下达到 95–99% 准确率，而学习到的线性门需要 2.80 ± 0.30、MLP 门需要 3.58 ± 0.36 个循环才能达到 95%。在冻结的 Ouro-1.4B/2.6B 检查点上，事后读出在 12 个模型–基准对中有 5 个优于模型自身的读出，并在 12 个中有 7 个更便宜。作者的主张是关于读出设计的；我们的解读是更弱也更稳妥的那一个——在此设定下，学习到的门系统性地校准不良，而非学习的调度加上良好的读出可以胜过它们。

第二条诊断线索指向同一方向。[53] 认为,通常实现的自适应深度表现为一个“收尾阶段”——额外的循环只是打磨均匀深度轨迹已经确定的答案——而不是一个发现某个 token 需要更多计算的调度器。如果这一解读正确,那么自适应深度的收益就受限于底层固定调度的质量。

还有两项结果约束了可以期望停机机制实现什么。[60] 在一个 542.8M 模型上将朴素深度截断带来的质量损失分解为可解释的组成部分,报告称在 1.4251 nat 的差距中,约 47.9% [46.6, 49.3] 可归因于块应用,≈ −2.8% [−3.2, −2.4] 可归因于不同深度,54.8% [53.3, 56.3] 可归因于块间组合,25.6% [24.5, 26.6] 可归因于校准;在 Huginn-0125 上,他们报告在 32× 深度变化下仅有 0.045 的温度漂移,同时伴有干净的 1.83 nat 深度效应。其实际含义是,深度所换来的大部分是组合,而非每次迭代的精细化——而这恰恰是停机门最不擅长估计的量。并且 [56] 和 [59] 报告,逐 token 的不动点收敛以及慢振荡模态的速率限制才是停止的正确抽象,而非标量置信度门。

第三种变体是端到端训练的,而非事后诊断:Sparse UT [8] 将停机模块置于稀疏混合块内部,并与模型其余部分联合训练,并报告在单个序列内,不同 token 消耗的深度量各不相同(图 15)——这证明门必须预测的东西本身就是位置相关的。

图 15:[8] 的 Sparse Universal Transformer 停机模块在一个逻辑推理示例上的逐 token 逐层活动模式。同一序列的不同位置在明显不同的深度上保持活跃。图转载自 [8]。

6.3 额外循环换来了什么:一幅受控图景

循环需求随问题难度而扩展的最清晰证据来自 [55] 的强制退出实验,重印于图 16:在难度由所需操作数控制的合成任务上,准确率对循环数的曲线随操作数上升而右移并趋于平缓,而在十个操作时,即使最强的配置到六个循环也尚未饱和。

图 16:作为问题深度函数的强制退出准确率对循环数 [55]。所需循环数随操作数增加。图转载自 [55]。

这是一个合成设置,应被解读为机制演示,而非对语言基准需要什么的估计。它干净地确立的是,自适应深度收益的上限取决于最难的输入是否需要比预算允许的更多迭代——并且在这个设置中它们确实需要。

6.4 逐 token、逐程序还是逐批次决策

该谱系上有四种立场得到代表,它们的区别在于决策者能看到多少信息。

逐 token，从初始状态出发。 T-LoopFormer [62] 训练一个两层 MLP 路由器，从初始隐藏状态 $h^{(0)}$ 预测每个 token 的循环次数，并采用 gather–scatter 执行和逐递归 KV 缓存。在 FineWeb-Edu 25B tokens 上，$d=2048$ 处作者报告 24×-FLOPs 困惑度为 20.13/19.14，平均准确率为 44.20，而 LoopFormer 为 21.96/20.09/43.48，非循环的 24 层模型为 20.17/19.22/43.8，每 token 耗时为 0.197 ms，而 LoopFormer 为 0.441。诚实的解读是：弹性深度训练带来了巨大的速度优势，其质量与同等 FLOPs 的稠密模型基本相同——它并没有换来质量。该设计自身的局限性，论文中也承认，即决策仅从 $h^{(0)}$ 做出一次，一旦读取上下文便无法修改。

逐 token，在错误检测之后。 Think-at-Hard [64] 颠倒了通常的顺序：它先运行一遍，预测哪些 token 可能出错，然后只重访这些 token，并在 (token, depth) 上使用 duo-causal attention，以及仅在 $d>1$ 时激活的深度感知 LoRA。在 Qwen3-Base 0.6B/1.7B/4B 上，使用 $d_{\max}=2$ 时，1.7B 配置平均为 51.3，而标准基线为 47.5，“always think”为 39.9，Ouro 为 46.9；只有约 7% 的 token 接受第二轮处理（AIME25 上为 6%），每 token 计算量约为 1.04–1.05×，实测为 301.4 s，而 always-think 为 747.2 s。论文自身的局限很重要：HumanEval++ 上的 oracle 上界为 72.9，而实际为 40.9，因此判定器——报告准确率为 83%——是瓶颈；并且该方法对过度思考错误敏感。

逐程序，在执行之前。 Program-of-Layers [65] 提前预测整个 skip/repeat 段调度，冻结主干网络，只训练一个 2.1M 参数的调度器。在 DART-Math 上使用 LLaMA-3.2-3B 时，作者报告 DM-1 上的 pass@5 为 74.5，而基线为 65.2。论文的 MCTS 诊断——即 skip-and-loop 调度在所有 4 个模型 × 5 个难度级别上都是最优的——被作为调度空间真实存在的证据提出；我们将其解读为对调度进行搜索能发现某些东西的证据，这比训练出的调度器能找到它的证据要弱。

弹性，无需决策。 LoopFormer [66] 和 One Model to Loop Them All [66] 通过在一个循环次数连续谱上训练单一模型，绕开了路由器。Continuous-depth batching [57] 是系统侧的对应方法：对已达到不同深度的 token 进行批处理。[58] 提出在生成中途改变循环次数（“change of thought”），而 [72, 73, 74] 将早期迭代转变为用于推测解码的草稿——见下一小节。

6.5 回收成本：循环作为草稿和集成

循环模型的中间状态是免费的副产品，围绕利用它们已经发展出一个小型文献。

图 17：深度异步自推测，其中已验证前缀的读取深度和草稿深度被解耦 [74]。作者根据该论文描述的机制绘制；本章中其他基于循环的解码器主要区别在于它们如何流水线化这些步骤。

自推测解码。 循环的早期迭代生成廉价预测，由全深度前向传播进行验证。LoopSpec [72] 是一种流水线式表述（最佳情况下加速 ≤6.83×，无需训练）。WaveFront Decoding [73] 将同一思想并行化。最强的证据是 [74]，它将已验证前缀的草稿深度与读取深度解耦，并报告其 DAS-Wave 变体在所有 16 种模型–任务设置中均为最快，相对于配对的完整深度自回归解码平均加速 4.00×–6.96×，在 GSM8K 上接受长度为 15.6–18.1，而调优后的顺序自推测为 5.2–12.2，同一技术栈内部对照为 1.70–3.72×。该论文报告了基于 10,000 次重采样的配对 bootstrap 置信区间，这在该文献中异常严谨。其声明的局限是，该方法需要按深度索引的前缀 K/V，且在没有状态携带的情况下，“成熟”读取可能低于 1×——即加速是循环状态结构的属性，而非该思想本身的属性。

跨迭代的对比解码。 [75] 将循环模型的输出分布与其自身较早的循环分布进行对比，无需训练，并报告 Ouro-2.6B-Thinking 在 AIME 2024 上的 pass@1 从 61.88 提升至 73.33，Huginn 在 HumanEval 上从 22.56 提升至 31.71，同时将循环次数减半，前向 FLOPs 降低 22.5–48.2%。这是来自单篇论文的重大主张，且在本语料库内尚未被独立复现。

并行采样器。 [69, 70, 71] 用轨迹块的并行解码替代顺序迭代；[70] 明确将循环深度模型的并行采样与扩散语言模型联系起来，这在三者中理论上最有趣，因为它使循环次数与去噪步数成为同一个对象。

6.6 自适应推理的证据现状

诚实总结 §6 需要指出，正面结果大多属于“自适应深度以更低的平均成本达到相当的质量”，而非“自适应深度以相当的成本达到更好的质量”。第二类结果——即通过非均匀分配循环带来真正的质量增益——主要出现在 [64]（1.7B 模型平均 +3.8 分）和 [68]（准确率–计算量斜率改善 53%，2.74 对 1.79，且增益随最大深度增长）中。两者均来自同一研究路线，这是需要谨慎而非否定的理由。而在本综述发现的唯一一次自适应弹性深度模型与等 FLOPs 密集模型之间的干净等计算量比较中，自适应模型的优势在于速度，而非质量 [62]。

要点。 当所需深度可预测且决策以足够信息做出时，自适应深度有效：在观察到首次通过之后逐 token 决策 [64] 以及提前决定整个程序 [65] 均报告了增益，而从初始状态一次性决策 [62] 以及依赖学习门控 [55] 则没有。深度所带来的大部分收益是块间组合，而非逐迭代细化 [60]，而这恰恰是标量置信度门控估计得最差的部分。关于自适应深度上限的最清晰证据是合成证据：循环需求随所需操作数量增长 [55]。而循环的中间状态是一种真正有用的副产品——自推测解码是语料库中证据最充分的推理时收益 [74]。

7. 效率、系统与安全

7.1 FLOPs 和字节都花在哪里

三个核算事实会改变循环模型的成本，而它们很容易被混为一谈。

• 训练。 每次迭代反向传播都要付出一次前向和一次反向的开销；对于固定的 $b$，总训练 FLOPs 大致随 $T$ 线性扩展。LoopFormer [63] 报告称，针对轨迹族目标，相对于其基线约有 1.5× FLOPs 和 1.3× 墙钟时间开销。
• 预填充。 对提示进行 $T$ 次迭代的循环意味着对共享块进行 $T$ 次前向传递；前奏和尾声只支付一次。MoEUT [7] 报告称训练比可比的稠密模型慢约 1.7×。
• 解码——最关键的情形。 在序列-循环模型中，状态是固定大小的对象，解码每 token 为 $O(1)$。在深度-循环模型中，共享块在 $T$ 次迭代的每一次都要关注完整的 KV 缓存，因此每 token 解码成本乘以 $T$，KV 工作集被读取 $T$ 次。这就是为什么近期系统文献中有那么多关于迭代轴 KV 的工作：共享内存架构 [95]、跨循环 KV 压缩 [116]、深度隐藏状态携带 [24]、混合潜在注意力 [117]、内存高效的循环 Transformer [96] 以及惰性更新实现 [97]。

图 18：深度循环的成本在哪里累积，以及三类补救措施。由作者根据 [95, 96, 97, 116, 117] 中描述的核算和 [72, 73, 74] 的解码方案绘制。

这一区分对于结果应如何引用很重要。报告称通过减少 $T$ 获得的加速适用于解码 FLOPs，而不适用于内存流量，除非架构也改变了读取的内容。

7.2 值得继续沿用的系统结果

共享内存 [95] 是最清晰的架构效率结果：在参数匹配的情况下，在递归之间复用同一个 KV 内存改善了精度/内存前沿，且在更大模型规模和更深递归时收益最明显。

惰性与流水线执行 [97, 96] 通过不物化每次迭代的状态来减少内存流量；量化 [98] 将训练后量化扩展到循环维度，在那里误差会跨迭代累积，因此不能作为单遍问题处理。

深度自适应批处理 [57] 是针对弹性深度的系统修复：按迭代次数对 token 分组，使得混合深度的工作批次仍能运行稠密内核。

并行化 [69] 和并行采样器 [70, 71] 用并行解码换取顺序迭代，这改变了延迟特征，但不改变总 FLOPs。

7.3 安全：循环改变了模型自身的可控性表面

图 19：服务时的循环次数如何到达与安全相关的行为。三条边是本节所命名的三个主张；在本调查的语料库中，这三者都处于抽象层面，且没有一个被视为已确立。由作者绘制。

三项发现，都很薄弱，但都指向同一方向。

• 拒绝取决于循环次数。 据报道，循环深度模型的拒绝行为会随推理时执行的循环次数而变化——也就是说，一个与安全相关的行为与一个服务系统可能动态变化的计算旋钮相耦合。语料库仅在摘要层面包含这一主张，我们将其标记为在本综述阅读范围内未经证实。
• 单个循环模型暴露多种读出。 关于跨深度对齐的研究认为，一个循环模型比固定深度模型呈现出更广泛的读出空间，因为每次迭代都是一个候选读出。与前一项一样，这在语料库中处于摘要层面。
• 可监控性。 [109] 在摘要层面分析了循环语言模型的思维链可监控性。这与更广泛的潜在推理担忧相关：中间计算不在 token 中的模型更难被检查；在本语料库中，循环架构特定的证据很薄弱，诚实的说法是，循环模型的安全性和可解释性是一个已识别的问题，但直接证据极少。

§9 中的机制性工作部分缓解了这一点：深度轴读出（迭代上的 logit lens 和 coda lens [93]）确实提供了对循环正在做什么的部分视图。但“部分可检查”不等于“可监控”，我们不将机制性结果视为回答了安全问题。

要点。 深度循环的成本主要由解码主导：每次迭代都会重新读取上下文，因此减少循环次数会使解码 FLOPs 乘以 $T$，而内存流量只有通过改变读取内容才能得到缓解——这就是为什么系统文献集中在迭代轴 KV 上。证据最充分的效率结果是跨迭代共享内存 [95]；证据最充分的延迟结果是深度异步自推测 [74]。安全性是本综述最薄弱的一章：循环次数似乎会改变拒绝行为，且读出空间在构造上被拓宽，但在本语料库中，证据处于摘要层面，不应被视为已确立。

第四部分——理解循环

8. 理论：循环能计算什么，以及它能泛化到什么

图 20：本章回顾的四条理论线索及其各自确立的内容。由作者根据 [3, 17, 76, 77, 78, 81, 86, 87, 88, 105, 106, 107, 115] 绘制。

8.1 模拟：循环换来计算通用性

循环最强的理论论据是构造性的。[76] 表明，一个恒定深度的循环 transformer 可以模拟一台小型可编程计算机：输入序列被读取为一张打孔卡，其中保存指令、内存和暂存器；硬编码权重实现一个单指令集计算机（SUBLEQ，推广为 FLEQ，其中每条指令本身可以调用预构建的线性代数或非线性模块）；迭代索引充当程序计数器；参数与步数无关 $T$，并通过一个自引用的输入结束标记实现停机条件。该论文的表 1 给出了具体配置：一个 9 层、2 头的循环 transformer 运行 SUBLEQ；一个 13 层、1 头的循环 transformer 运行牛顿矩阵求逆、幂迭代和两层网络 SGD，误差在 $\epsilon$ 以内。误差分析明确指出，这要求读出尺度满足 $\lambda > \log(Gdn^3/\epsilon)$，并且每步误差至多为 $\epsilon/T$，才能使 T 步累积保持在 $\epsilon$ 以内。

必须说明这不能确立什么，而作者自己也指出了这一点：没有训练实验，且该构造与真实语言模型的训练方式“毫无相似之处”。该结果是一个关于精确权重下表征能力的陈述，而非关于可学习性的陈述。[87]将同一风格的构造扩展到图算法——在有界内存内，由带有图特定注意力头的循环变压器模拟的BFS、DFS和最短路。

8.2 深度泛化：最具实践相关性的理论

具有最清晰实证后果的理论结果涉及泛化到比训练中所见更长的输入。[77]定义了如下形式的递推

$$P = P_{\text{pre}} \circ (P')^{T(n)} \circ P_{\text{post}},$$

将下一词元预测替换为全输出预测，使用无位置编码和输入注入的仅解码器架构，并加入步依赖监督（词元$i$仅在迭代$t = T_i$时被监督）。在六个合成任务上，训练长度至多为20（乘法为12）且使用五个种子，他们报告奇偶校验学习到20位并可泛化到40位以上，而加法和复制保持接近完美，而标准的下一词元预测在“最大训练长度+10”处失败。推理使用预言机$T(n)$或最大置信度准则。论文中陈述了其局限且相当严重：该构造仅支持单个循环段，训练时需要真实步数，且其训练计算量随步数增长。代码已发布。

这一结果应与三项后续工作一起阅读。[79]分析了循环变压器在训练视野之外长度泛化的机制和局限；[80]直接研究深度外推，询问在给定计算预算下最佳训练深度是什么，并报告了测试深度窗口的种群最优值；[82]将循环深度模型中的隐式推理与深度泛化联系起来。它们共同构成了该语料库中最连贯的理论线索——同时也是带有最清晰注意事项的一条，即所有这些都是在具有可控真实步数的合成任务上测量的。

一个相关的偏负面结果值得记录：[88]表明变压器可以通过以比序列长度所需更少的层组合子计算来捷径自动机的计算，这表明“有效深度”不是计算工作的单调度量。任何关于额外迭代能换取额外串行计算的主张，都必须面对这样一个事实：模型没有义务串行地使用它们。

8.3 循环、深度与思维链作为替代计算分配

第二条理论线索询问循环计算与其所竞争的替代方案相比如何：更多层，或更多思维链词元。

最直接陈述“循环即潜在 CoT”这一论点的论文是[3]，它从潜在思维的角度——即给定问题需要多少隐式推理步骤——研究循环 transformer 的能力，并量化了有效深度与问题类别之间的缩放关系。它是最直接陈述“循环即潜在 CoT”这一论点的论文。[86] 正式比较了思维链与循环，追问二者各自能表达什么；[83, 84, 85] 分析了循环 transformer 能在上下文内学到什么，表明循环 transformer 可以对上下文示例执行多步梯度下降，并且循环消除了一固定深度模型所具有的指数级样本复杂度依赖，而[85] 将此与任务多样性联系起来。

经验层面的对应工作是[78]：一个单块、30 个批次步骤和 15 次迭代的循环模型，在上下文线性回归上以十二分之一的参数追平了一个 12 层标准 transformer，在更高复杂度的函数类别上与之相当，并在稀疏线性回归上超过它——在 10 个 OpenML 数据集中的 9 个上甚至击败了 Lasso。该论文坦率地指出了局限：相对于精确不动点迭代存在误差下限；$T > 20$ 变得不稳定；没有等推理计算量的比较，并且大约需要 20 次循环才能匹配 8 层。我们的推断是，这篇论文最好被解读为迭代精化是实现迭代算法的一种高效方式的证据，而不是循环在同等计算量下优于深度的证据。

图 21：[3] 中比较的四种循环配置：k 层的等参数基线；将 k 层复用于 L 次迭代的循环模型；kL 个不同层的等 FLOP 基线；以及中间循环。图转载自[3]。

8.4 动力系统分析

最后一个集群将循环视为一个动力系统，并追问其定性行为。[105] 追问递归何时“成为一种算法”，将其框定为权重绑定的循环 transformer 中的收敛选择；[106] 应用雅可比分析来追问可解释的全局工作空间结构能否在递归后存续；[107] 识别出动力系统相选择控制着循环 transformer 中的计算缩放；[115] 给出了几何分析，说明为何有限步数可能朝正确方向移动却仍然落到错误位置。这些是近期且很大程度上来自单篇论文的结果，但它们是直接针对实践者所关心问题——为什么最后一次迭代不再有帮助——的理论工作，并且是理解 §9 机制发现的正确框架。

8.5 该理论未能确立什么

有三个缺口应当明确陈述，因为那些构造性结果经常被引用，仿佛它们已经填补了这些缺口。

• 可学习性。 仿真结果[76, 87]是手工设定权重下的存在性证明。本语料库中没有任何结果表明，在真实目标上做梯度下降能找到仿真配置。
• 紧致性。 思维链与循环的对比[3, 86]建立的是表达能力关系，而非现实规模下的效率等价；经验性桥梁[78]是小规模的，且未做算力匹配。
• 组合与读出。 [81]表明通用 Transformer 在极小设定下对电路计算实现完美长度泛化，而[60]表明训练模型中大部分深度效应来自块间组合。本语料库中没有理论能预测训练后的大模型中，深度效应有多少来自组合、精化或噪声。

要点。 循环最强的理论主张是常数深度下的构造性通用性[76, 87]——但其权重是手工设定的，背后没有可学习性结果。最具实际后果的理论是步依赖监督下的深度/长度泛化[77]，它在合成任务上有充分证据，且局限于需要真值步数的单个循环段。将循环与思维链以及额外层进行比较，得到表达能力关系[3, 86]和一个未做算力匹配的小规模经验性桥梁[78]。Transformer 可以走捷径完成串行计算[88]，因此有效深度并非工作量的单调度量——任何“更多循环意味着更多推理”的主张都必须吸收这一事实。

9. 循环的机制可解释性

图 22：关于循环的三类机制证据，以及约束所有这些证据的保留条件。由作者根据[89, 90, 92, 93, 94, 108, 110, 112, 114]绘制。

9.1 不同迭代做不同的事吗？

最基本的机制问题是：训练后循环的各次迭代在功能上是分化的，还是近乎相同的精化。证据支持前者，但有一个重要限定。

一项研究[89]考察每次循环执行什么计算，追问共享权重是否在不同迭代选择不同的子计算。其方法异常直接：他们表明，一个学习到的线性层可用于重写进入下一次迭代的状态，并且将受控运行的注意力模式修补到未受控运行中会切换模型的预测目标——这证明特定迭代负责特定计算，而非一般性精化。

一个互补的问题——是什么让循环有效——由[91]提出，其发现条件化在两个层面起作用：一个无条件的基循环，加上一个核心循环，其条件化（组合的步/参数信号）提供迭代特定信息。这是 §4.2 步条件化轴的机制对应物，也是机制发现与架构设计建议相一致的少数地方之一。

又有两项结果进一步细化了这一图景。[34]通过将自适应循环与记忆配对，把“更努力地思考”与“知道得更多”区分开来，并报告这两条路径并非替代关系，这支持了§4.3的解读，即额外的迭代需要有个地方安放其结果。[104]从机制层面剖析了分层推理模型，而[111]则认为，TRM中的潜在推理最好被理解为一个策略改进算子——这一主张将循环重新表述为一种优化过程，而非一系列推理步骤。

图23：对第二层注意力模式进行修补，可在两个方向上切换预测目标：从两跳行为转向一跳答案（a），再切换回来（b），以一跳和两跳回答上的答案率衡量。图转载自[89]。

9.2 解读轨迹：透镜方法

第二条路线将迭代索引视为一条可读的轴，并追问信息在何时、以何种顺序变得可用。

解码研究[93]将logit lens和coda lens应用于每一次迭代的块输出，并报告top-1预测的排名在各次迭代之间振荡，而非单调收敛——这直接构成对“每个循环都是一步推理”这一解读的反证。[90]引入了按步骤解析的数据归因，追问哪些训练样本影响了计算的哪一次迭代，并报告：在parity任务上，答案token的隐藏状态在PCA空间中描绘出一个四状态极限环；在Sudoku上，测试时准确率与循环次数的关系按难度分层；在GSM8K上，逐步影响的累积份额作为迭代次数的函数，并在若干分析视野下用完整反向传播重新计算$\tau$。几何影响增长曲线是这一文献中针对“哪些迭代重要”这一问题最锐利的工具。

图24：最终预测token的平均排名作为块编号的函数，分别用logit lens（左）和coda lens（右）读出，见[93]。排名呈振荡而非单调下降，作者将此解读为反对将每个块视为一步推理的证据。图转载自[93]。

[94]提供的是一套监控工具包，而非一项机制主张；它提出五种透镜来监控循环LM中的潜在推理——隐藏状态轨迹与注意力聚焦、答案token何时被确定，以及在入口状态注入噪声时答案如何变化——这更接近一套可操作的监控工具包，而不是一项机制主张。[92]测量了跨深度的注意力矩阵范数，并提取出每一次循环内部的“推理阶段”，报告列和集中度在多达128次循环时保持稳定。[110]认为，潜在推理发现了一种支撑深度泛化的循环搜索算法，从而将机制层面的叙事与§8.2联系起来。

9.3 动力学解读：循环、吸引盆与尺度

最新的机制性工作将循环视为一个动力系统。[112]报告称，潜在推理可能被困于分形盆地之中——即迭代映射的盆地结构包含精细的边界，在边界上结果极其敏感。这是一个实质性论断，并带有实践推论：如果盆地边界是分形的，那么“循环多少次”在边界附近就不是一个平滑的旋钮。[113]提出不变测度表示作为一种稳定化替代方案；[114]和[52]研究双时间尺度和快慢潜在动力学，这是对“某些信息应跨迭代持续、而另一些信息应被刷新”这一架构观察的机制性版本。

9.4 机制性证据无法裁定的事项

学科性要点在[108]中直接给出：潜在推理模型中的可观察模式不是解释，在能够解释这些模式之前，需要因果-几何分析。以此结束本章是恰当的，因为循环Transformer机制文献存在一种结构性诱惑——迭代轴看起来像步数计数器，因此一条随迭代上升的曲线会招致“模型正在多走一步”的解读。上述结果确实对随迭代变化的内容具有信息量；但作为关于模型在计算什么的证据则弱得多，而最强的单一反例是[93]的发现：预测秩振荡而非收敛。

在本语料库中，我们未发现对数十亿参数规模的循环语言模型进行机制性研究并复制其核心结果的文献。机制文献目前仍是一个小规模、单一实验室的领域，其结论应按相应权重加以考量。

要点。 训练后循环的迭代在功能上是分化的，[89]通过状态与注意力修补切换行为，为此提供了因果而非相关性的证据。然而，从迭代到“推理步骤”的映射仍然是断裂的：预测秩跨迭代振荡而非收敛[93]，而对于“哪些迭代重要”这一问题，最有用的工具是步骤分辨归因和几何影响增长[90]，而非单调收敛曲线。动力学解读——极限环、分形盆地、双时间尺度结构[52, 112, 114]——是当前最有前景的框架，而[108]关于可观察模式不是解释的警告，对这一子领域完全适用。

第五部分——超越文本、证据与展望

10. 语言建模之外的循环

深度轴并非语言所特有，而关于循环的一些最清晰证据来自“更多迭代”具有无歧义含义的领域。本章有意写得简短：这些应用大多处于早期且规模较小，其目的在于展示第二部分中的哪些设计选择在迁移后仍然成立。

10.1 视觉

视觉是最大的非文本集群，并且沿范围轴清晰分裂。

完整循环与局部循环。 LoopViT [119] 将循环式 Transformer 应用于视觉 ARC 风格推理；LoopVL [120] 提出了大规模循环视觉智能的框架；reViT [99] 使用单个循环块并配合深度编程专家——这是 §4.2 中逐循环适配器和逐循环专家在视觉领域的自然对应——并报告了从单个块在多个深度上的结果。RD-ViT [121] 将两阶段循环深度模式扩展到语义分割，并报告了数据依赖性的降低，这是 §1.2 的架构主张在稠密预测设定下的转化。

面向效率的循环。 [122] 研究了视觉 Transformer 中用于识别的单块循环；MergeOver [123] 在训练后合并 token，使后续循环处理的 token 更少——这是一种推理时节省，没有文本对应物，因为图像具有 token 不具备的空间冗余结构；GramLoop [125] 使用免训练的 gram 门控重放来实现鲁棒的稠密预测；LoopVAE [124] 在视觉 tokenizer 中将循环深度跨尺度放置。

视觉结果之所以重要，有一个方法论上的原因：由于输入是固定的，且循环沿空间轴再到深度轴进行，迭代次数可以在测试时变化而不改变 token 数量，这使得与更深 ViT 的等计算量比较异常容易。这一簇中的论文比语言论文更频繁地报告此类比较，因此其结论对参数匹配的依赖相应更小。

10.2 生成建模：扩散、流与离散去噪

扩散模型和流模型是循环次数具有内在意义的领域，因为迭代去噪器正是模型的目的所在。[35] 将循环式 Transformer 用作扩散骨干；LiFT [36] 将其用于流匹配；[37] 和 [38] 将同样的思路用于 token 位置上的离散/掩码扩散，而 [39] 使迭代次数具有自适应性。CoFRe [40] 在理论上最为明确：掩码生成被表述为不动点迭代，并用重用与一致性正则化器将单步与完整轨迹绑定。

这一簇对本综述其余部分的价值在于，它提供了最接近深度轴真值的东西。在去噪模型中，迭代次数与输出分布之间的关系由生成过程定义；在语言循环中则不然。因此，“最后几次迭代不再有帮助”这样的说法在这里是可检验的，而在 §6 中则不然。

10.3 强化学习与控制

FlexLoop [100] 为深度强化学习中的自适应测试时计算引入了深度弹性循环策略，这是 §6.4 的推理时深度策略被应用于智能体而非 token 流的最清晰实例。有趣的结构性要点在于，在强化学习中，额外一次迭代的成本是目标函数的一部分，而不是服务预算的妥协，因此深度策略是训练出来的，而非外挂上去的。

10.4 迁移为何有效——以及何处无效

两个设计选择在所有四个领域都能干净地迁移：共享权重配合逐迭代条件化（§4.2）和弹性循环次数（§4.4）。有一个迁移效果不佳：学习式停止（§6.2），它在视觉和生成簇中主要作为训练时正则化器出现，而非作为运行时控制器。

我们的解读——作为推断陈述——是：成功的迁移恰恰是那些循环的迭代具有外部定义含义的情形（去噪步骤、细化尺度、空间分辨率），而不成功的迁移是那些模型必须发明迭代含义的情形。这与§8.3和§9.2一致，两者都发现训练后的循环不会自然地将迭代与推理步骤对齐。

要点。 循环可迁移至视觉、扩散/流、离散去噪和RL，而成功的迁移是那些迭代具有外部定义含义的情形。在综述的核心关切上，视觉在方法论上领先于语言建模，因为固定输入尺寸使得与更深ViT的等计算量比较变得容易，并且这类比较被报告得更频繁。学习式停止是唯一迁移效果很差的设计选择。

11. 证据实际支持什么

图25：针对“循环与稠密”主张的一种阅读程序：首先识别被匹配的量，因为答案会随之改变。由作者根据表5中列出的比较绘制，并在本章中讨论。

11.1 比较问题

阅读这一文献的最大障碍是，“循环与稠密”的比较是在五种不同的匹配方式下进行的，而它们给出不同的答案。

表5：“循环与稠密”比较中使用的五种匹配方式，以及每种方式倾向于产生的结果。纳入规则：本表按保持相等的量对本章讨论的比较进行排序；它本身不报告任何测量结果。

第五行值得命名，因为它解释了大量表面上的分歧。一个有效深度为24的循环模型与一个稠密12层模型进行的比较，并非深度匹配的比较，其结果也不能说明循环是否是对深度的良好利用。报告“循环胜过稠密”的工作常常指的是这一点，而报告“循环落后”的工作常常指的是等FLOP。

11.2 具体数字，仔细解读

在这一文献的讨论中，有四项跨论文比较反复出现。下面每项均按论文报告的形式陈述，随后是我们认为它确立了什么、没有确立什么。

Huginn 的双重控制 [1]。 该论文在其余条件完全相同的情况下训练循环与非循环模型，并报告在 0.18T token 时，循环深度模型使用思维链在 GSM8K 上达到 9.02，而非循环控制模型为 1.82。这是一个帕累托最优性论证：如果具有相同数据和相同每 token 前向 FLOPs 的非循环模型通过更多训练达到相同质量，那么循环就是额外开销。论文的证据是在其预算内并未发生这种情况。它未能确立的是循环模型在更大预算下是否高效，而且该控制仅是一对运行。

Closing the Loop 的等 FLOP 比较 [50]。 一个 1.4B 循环模型在匹配推理 FLOPs 的条件下与一个 3.9B 稠密模型进行比较，并据报告在数学上持平，而在知识和常识任务上落后 2–9 个百分点。这是整个语料库中最具信息量的单一比较，正是因为它在一类任务上不利，并且因为它暗示了机制：循环在任务具有程序性时有所帮助，而在答案必须从参数中检索时有害。这一解读是我们的；论文报告的是逐任务差距。

Looping Beyond Twice 的两条曲线 [33]。 在等 FLOP 预算下，最优值接近五次循环；在固定（非等）预算下，性能持续提升至九次。这是现有最清晰的演示，表明“损失随多少次循环而改善”与“多少次循环值得其 FLOPs”是不同的问题。

Shared Memory 的匹配 [95]。 该比较是在参数匹配的条件下与其他循环设计进行比较，而不是在匹配解码 FLOPs 的条件下与稠密模型进行比较，并且论文自身的效率主张是关于循环架构内部的准确率/内存前沿。它经常被引用为关于循环总体效率的证据；这比该设计所支持的结论更强。

等 FLOPs 下弹性深度与稠密模型 [62]。 在 24× FLOPs 下，T-LoopFormer 的困惑度和准确率与非循环 24 层模型在统计上不可区分，并具有 2.24× 解码速度优势。结合 [63] 的发现——在 FLOP 匹配的训练下，弹性训练的优势消失——这是一个狭窄但重要的结果：弹性深度当前的价值在于吞吐量，而非质量。

11.3 为什么这些数字难以跨论文比较

除了匹配选择之外，还有四个进一步的问题使得跨论文算术不安全。

• 有效深度不等于计算量。 [88] 的捷径结果表明，两个名义深度相同的架构可能执行不同数量的串行工作。
• 解码成本取决于 KV 方案，而非循环次数。 一个具有共享 KV 记忆的 16 次迭代循环 [95] 和一个每次迭代都重新读取完整缓存的 16 次迭代循环，在朴素计数下具有相同的名义 FLOPs，但墙钟时间、内存和接受行为却大不相同。
• 架构变体未在统一协议下测量。 [13] 改变了层跨位置读取的内容，[16] 在固定参数下比较了分层迭代与扁平迭代，而诸如 [67] 的逐 token 深度策略则改变了 token 成本本身的含义。目前没有基准能使这些变体可通约。
• 规模不一致。 稳定性发现来自小模型（§5.6）；质量发现来自中等规模模型；服务发现来自作者手头拥有的任一检查点。三者很少是同一个模型。

11.4 我们认为已确立的内容，以及尚未确立的内容

我们将结论分为三个等级。

在本语料库内已确立（多项独立工作，结果一致）。 权重绑定的循环在规模上是可训练的，但仅在有显式稳定干预的情况下如此 [7, 41, 42, 43, 44, 61]。超出少数几次的额外迭代主要在有显式的跨迭代状态或记忆来接收其结果时才有帮助 [20, 21, 95]。循环可以转化为逐 token 的计算旋钮，带来真实但适度的质量收益以及更大的吞吐收益 [62, 63, 64, 66]。循环的中间状态可用作投机草稿，而深度异步自投机是本语料库中证据最充分的推理时收益 [74]。

有支持但证据薄弱（一两篇论文，或一条研究路线）。 自适应深度在匹配成本下产生真正的质量增益，而不仅仅是节省成本 [64, 68]。跨迭代的对比解码是一种大幅、免费的改进 [75]。深度效应大部分来自块间组合而非精炼 [60]。分层结构对递归推理器并非必要 [61]。这四点都很有趣，也都需要独立复现。

尚未确立。 任何可与 [102, 103] 为训练所提供的定律相媲美的循环模型推理时缩放定律；§11.2 中参数匹配的优势能否在匹配解码成本下保持；循环是否有助于需要检索而非程序化过程的任务 [50]；以及在小规模合成研究中观察到的自适应行为是否在实际部署的模型中持续存在。

要点。 “循环优于稠密”这一说法界定不足：结果取决于参数、训练 FLOPs、推理 FLOPs、解码成本或有效深度中哪一个被保持相等，而论文很少说明是哪一个。最具信息量的比较是那些以特定方式不利的比较——数学上等 FLOPs 持平但存在知识缺陷 [50]，以及弹性深度在质量上持平但具有吞吐优势 [62]。跨论文的算术是不安全的，因为有效深度不等于计算量，解码成本取决于 KV 方案，而每个家族都在自己的协议下测量。

12. 开放问题

上述综述的工作提出了一系列问题，这些问题表述明确、影响重大，且目前尚无答案。我们按所判断的影响力大小排序。

12.1 面向循环的计算匹配基准

这项调查中最常被重复的抱怨是，该领域在不兼容的匹配设置下进行比较（§11.1）。所缺少的并不是更多比较，而是一套协议：固定的基准、固定的数据预算，以及“相等”意味着什么的规则，并对每一篇涉及循环的论文都予以报告。视觉集群表明，当输入规模固定时，这是可行的（§10.1）。语言情形更难，因为解码成本取决于 KV 方案，但这是要求报告 KV 方案的理由，而不是放弃比较的理由。

12.2 推理时缩放律

关于循环的训练侧缩放律现在已经存在 [102, 103]，并且是该领域最直接有用的缩放结果：它们说明了一次递归值多少，以及最优递归次数如何随 FLOP 预算变化。推理侧没有对应结果：在本语料中，没有任何结果能针对一个已训练的循环模型预测质量或成本如何随迭代的调度——按 token、按 batch、按生成步——变化。鉴于 §6 是该领域最活跃的方向，这是最大的理论空白。

12.3 循环有助于检索，还是仅有助于程序性任务？

本语料中最具体的实证发现是 Closing the Loop 的按任务差距 [50]：在数学上达到 iso-FLOP 持平，在知识和常识上存在 2–9 分差距。如果这种模式可复现，那么循环模型的正确用法就不是“替代稠密模型”，而是“用于推理中程序性的那个子集”，这会改变该架构的部署方式。我们认为这是本调查中单项价值最高的复现目标。

我们对机制的解读——这是一种推断，不是结果——是：循环增加了串行计算，而这正是程序性任务所需要的；并且没有增加可检索参数，而这正是知识任务所需要的。如果这一解读正确，那么循环式专家混合（§4.5）应当弥合这一差距，并且循环式 MoE 与稠密模型的 iso-FLOP 比较应当显示出比 [50] 更小的知识差距。[101] 是现有最接近的检验。

12.4 什么使一次迭代有意义？

机制证据表明，一个已训练循环的各次迭代在功能上是分化的 [89]，但它们与推理步骤的对应并不可靠 [93]。理论表明，额外的迭代未必以串行方式被使用 [88]，并且深度效应的大部分来自组合 [60]。没有人展示如何训练一个循环，使迭代 $t$ 意味着设计者希望它意味着的东西。这是对步依赖监督 [77] 和深度感知调度 [65] 背后直觉的自然形式化，而且它目前是 §8 的理论与 §7 的系统之间最有希望的桥梁。

12.5 计算旋钮的安全性与可监控性

如果推理时的循环次数是一个服务时旋钮，并且与安全相关的行为取决于它，那么一些安全属性就不是模型的属性，而是部署配置的属性。在本语料中，证据很薄弱（§7.3）：有两份摘要级报告称，拒绝行为会随循环次数变化，并且循环模型暴露出更广泛的读出空间。确认其中任何一项是否成立，以及服务系统因此应当固定什么，是在拒绝行为很重要的场景中部署循环模型的前提。

12.6 规模下的稳定性，以及种子

§5.2 中的每一项稳定性发现都是小规模、通常是单种子的诊断，并被外推到无人测量过的情形。Parcae [103] 表明这个问题可以在规模上得到回答。在若干干预措施于 1B+ 参数、多种子、统一协议下得到测试之前，“循环模型需要残差缩放和 peri-layernorm”仍然只是一个看似合理的工程启发式，而非一项结果。

要点。 上述问题按杠杆大小排序，而前三个共享同一个原因：该领域在五种不同的匹配方式下将循环模型与稠密模型进行比较，却没有说明是哪一种。一个计算量匹配的协议、一个推理时缩放定律，以及对 iso-FLOP 知识缺口的复现 [50]，三者合起来能解决的争议将多于任何新架构。其余三个——让一次迭代意味着某种东西、将循环次数视为与安全相关的部署参数、以及在规模上用多种子测试稳定性干预——是有意而非机会主义地使用循环的前提。

---

13. 结论

事后看来，沿深度轴循环是一个显而易见的想法，其困难完全在于工程实现。表达能力方面的论证在 2023 年就已提出，其构造表明常数深度、权重绑定的 transformer 可以模拟小型计算机和图算法 [76, 87]。能力方面的论证则建立在合成长度泛化 [77] 和上下文学习 [78] 之上。2024–2026 年文献补充的是理论未覆盖的部分：如何让展开的共享块在十亿参数规模上训练，而不使其残差统计量发散或早期迭代丢失梯度；如何在全网、两阶段和局部循环之间选择；以及在推理时如何处理一个每 token 计算量如今已成为变量的模型。

在我们看来，有三条结论得到了充分支持。第一，设计空间很小，且其各轴近乎独立：范围、步条件、迭代间接口和深度策略（§3–§4），而几乎每篇论文都只改变其中一轴。第二，真正的约束一直是训练稳定性，而非表达能力，而那些有效的干预措施——残差缩放、归一化位置、有界门控更新、中间梯度视野 [41, 42, 43, 44, 61]——都是防止展开的共享 Jacobian 退化的方式。第三，推理时的故事是真实的，但目前更多关乎吞吐量而非质量：证据最充分的收益来自将循环的中间状态复用为投机草稿 [74]，而最干净的 iso-FLOP 比较显示质量持平并具有速度优势 [62, 63]。

我们最希望读者带走的结论，是对“深度”一词的警示。循环增加了有效深度，而有效深度不等同于计算，不等同于FLOPs，也不等同于推理步数。理论指出，循环transformer可以自由地走捷径跳过其迭代[88]；机制文献指出，预测秩在迭代间振荡而非收敛[93]；深度分解结果表明，效应的大部分来自块间组合而非逐迭代细化[60]；而最直接处理这一问题的机制工作得出结论：沿迭代轴的可观察模式并非解释[108]。循环次数是对transformer行为的一种真实且有用的控制。它所控制的究竟是什么，在很大程度上仍是一个开放问题。

---

附录——图、表与参考文献计数

本综述包含25幅编号图和5张编号表。参考文献目录包含129条编号引用：126篇来自筛选后候选池的著作，以及3篇经外部公共元数据核验的基础著作。

图，按阅读顺序。 图1，综述地图（§1.4）；图2，时间线（§2.4）；图3，分类法（§3.1）；图4，两阶段循环深度架构，来自[1]（§4.1）；图5，深度注意力，来自[26]（§4.1）；图6，3B模型学到的深度注意力源权重，来自[26]（§4.2）；图7，共享记忆循环的准确率与内存对比，来自[95]（§4.3）；图8，共享记忆上的注意力质量，来自[95]（§4.3）；图9，混合递归步骤，来自[30]（§4.4）；图10，MoEUT的peri-layernorm块，来自[7]（§4.5）；图11，展开循环的失效模式及应对这些模式的干预措施（§5.1）；图12，稳定化干预措施的作用位置（§5.2）；图13，完全循环transformer的训练诊断，来自[43]（§5.3）；图14，等深度联合缩放律，来自[102]（§5.5）；图15，Sparse UT的逐token逐层停止模式，来自[8]（§6.2）；图16，强制退出准确率与循环次数的关系，来自[55]（§6.3）；图17，深度异步自推测（§6.5）；图18，深度循环的成本累积位置（§7.1）；图19，服务时循环次数如何到达安全相关行为（§7.3）；图20，四条理论线索（§8）；图21，四种循环配置，来自[3]（§8.3）；图22，三类机制证据（§9.1）；图23，注意力模式修补与目标切换，来自[89]（§9.1）；图24，跨块的秩振荡，来自[93]（§9.2）；图25，针对匹配成本主张的阅读流程（§11.1）。

表，按阅读顺序。 表1，符号（§2.1）；表2，相邻家族及其为何不是本综述的对象（§2.2）；表3，最接近的综述（§2.3）；表4，四个分类轴上的架构比较（§4.7）；表5，“循环与稠密”比较中的五种匹配（§11.1）。

从论文本身复制的图： 图4、5、6、7、8、9、10、13、14、15、16、21、23和24——共十四幅。其余十一幅图是作者绘制的示意图。

References

[1] Jonas Geiping, Sean McLeish, Neel Jain, et al.. Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach. 2025. arXiv preprint. arXiv:2502.05171

[2] Rui-Jie Zhu, Zixuan Wang, Kai Hua, et al.. Scaling Latent Reasoning via Looped Language Models. 2025. arXiv preprint. arXiv:2510.25741

[3] Nikunj Saunshi, Nishanth Dikkala, Zhiyuan Li, Sanjiv Kumar, Sashank J. Reddi. Reasoning with Latent Thoughts: On the Power of Looped Transformers. 2025. arXiv preprint. arXiv:2502.17416

[4] Rui-Jie Zhu, Tianhao Peng, Tianhao Cheng, et al.. A Survey on Latent Reasoning. 2025. arXiv preprint. arXiv:2507.06203

[5] Xinghao Chen, Anhao Zhao, Heming Xia, et al.. Reasoning Beyond Language: A Comprehensive Survey on Latent Chain-of-Thought Reasoning. 2025. arXiv preprint. arXiv:2505.16782

[6] Shibo Hao, Sainbayar Sukhbaatar, DiJia Su, et al.. Training Large Language Models to Reason in a Continuous Latent Space. 2024. arXiv preprint. arXiv:2412.06769

[7] Róbert Csordás, Kazuki Irie, Jürgen Schmidhuber, Christopher Potts, Christopher D. Manning. MoEUT: Mixture-of-Experts Universal Transformers. 2024. arXiv preprint. arXiv:2405.16039

[8] Shawn Tan, Yikang Shen, Zhenfang Chen, Aaron Courville, Chuang Gan. Sparse Universal Transformer. 2023. arXiv preprint. arXiv:2310.07096

[9] Sangmin Bae, Adam Fisch, Hrayr Harutyunyan, Ziwei Ji, Seungyeon Kim, Tal Schuster. Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA. 2024. arXiv preprint. arXiv:2410.20672

[10] Chengting Yu, Xiaobo Shu, Yadao Wang, et al.. MeSH: Memory-as-State-Highways for Recursive Transformers. 2025. arXiv preprint. arXiv:2510.07739

[11] Mohammadmahdi Nouriborji, Morteza Rohanian, Omid Rohanian. Improving Recursive Transformers with Mixture of LoRAs. 2025. arXiv preprint. arXiv:2512.12880

[12] Abbas Zeitoun, Lucas Torroba-Hennigen, Yoon Kim. Hyperloop Transformers. 2026. arXiv preprint. arXiv:2604.21254

[13] Costin-Andrei Oncescu, Depen Morwani, Samy Jelassi, Alexandru Meterez, Mujin Kwun, Sham Kakade. The Recurrent Transformer: Greater Effective Depth and Efficient Decoding. 2026. arXiv preprint. arXiv:2604.21215

[14] Zanmin Wang. A Single-Layer Model Can Do Language Modeling. 2026. arXiv preprint. arXiv:2605.10643

[15] Guillaume Godin. SCORE: Replacing Layer Stacking with Contractive Recurrent Depth. 2026. arXiv preprint. arXiv:2603.10544

[16] Sang-Il Han. Hierarchical vs. Flat Iteration in Shared-Weight Transformers. 2026. arXiv preprint. arXiv:2604.14442

[17] Kevin Xu and Issei Sato. On Expressive Power of Looped Transformers: Theoretical Analysis and Enhancement via Timestep Encoding. 2024. arXiv preprint. arXiv:2410.01405

[18] Matthias M. M. Buehlmaier. LayerNorm as Implicit Gain Control in Looped Transformers. 2026. arXiv preprint. arXiv:2607.10681

[19] Shikhar Srivastava, Christopher Kanan. LayerRoPE: Dynamic Depth-wise Magnitude & Angular Superposition. 2026. arXiv preprint. arXiv:2610.09179

[20] Grigory Sapunov. Universal Transformers Need Memory: Depth-State Trade-offs in Adaptive Recursive Reasoning. 2026. arXiv preprint. arXiv:2604.21999

[21] Aras Kavuncu, Muhammad Burhan Hafez. Storing Is Not Remembering: LSTM-UT and Bounded Gated Memory for Looped Transformers. 2026. arXiv preprint. arXiv:2609.19521

[22] Liu Xiao. Associative-State Universal Transformers: Sparse Retrieval Meets Structured Recurrence. 2026. arXiv preprint. arXiv:2604.25930

[23] Bum Jun Kim, Kohei Hayashi, Shunsuke Kamiya, Masanori Koyama, Yusuke Iwasawa, Yutaka Matsuo. Looped Transformers with Source-Centered State Evolution. 2026. arXiv preprint. arXiv:2607.27656

[24] Pengxiang Li, Dilxat Muhtar, Di He, Guinan Su, Lu Yin, Shiwei Liu. Scaling to Tens of Thousands of Test-Time Iterations with Loop-Native Attention Residuals. 2026. arXiv preprint. arXiv:2610.11570

[25] Wencheng Ye, Anning Hu, Xiangdong Zhang, et al.. Write Back the Δ: Revisiting the Same Tokens with Fresh Representations. 2026. arXiv preprint. arXiv:2609.32457

[26] Boyi Zeng, Yiqin Hao, Zitong Wang, et al.. Depth-Attention: Cross-Layer Value Mixing for Language Models. 2026. arXiv preprint. arXiv:2606.05014

[27] Ziyang Cai, Xingyu Zhu, Yihe Dong, Yinghui He, Sanjeev Arora. T^2MLR: Transformer with Temporal Middle-Layer Recurrence. 2026. arXiv preprint. arXiv:2607.15178

[28] Yutong Chen, Shouqian Shi, Xinran Liu, et al.. Penelope: Localized Latent Recurrence for Efficient Structured Reasoning. 2026. arXiv preprint. arXiv:2607.25915

[29] Chengting Yu, Xiaobo Shu, Yadao Wang, et al.. SpiralFormer: Looped Transformers Can Learn Hierarchical Dependencies via Multi-Resolution Recursion. 2026. arXiv preprint. arXiv:2602.11698

[30] Sangmin Bae, Yujin Kim, Reza Bayat, et al.. Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation. 2025. arXiv preprint. arXiv:2507.10524

[31] Wenkai Chen, Tianshu Li, Wenyong Huang, Yichun Yin, Lifeng Shang, Chengwei Qin. LoopMoE: Unifying Iterative Computation with Mixture-of-Experts for Language Modeling. 2026. EMNLP 2026. arXiv:2606.04438

[32] Eric S. Qiu, Utku Umur Acikalin, Justin Lovelace, et al.. MoRE: Mixture of Reused Experts. 2026. arXiv preprint. arXiv:2609.18176

[33] Di He, Pengxiang Li, Da Chang, Qingyan Meng, Lu Yin, and Shiwei Liu. Looping Beyond Twice: A Scalable Recipe for Looped Mixture-of-Experts. 2026. arXiv preprint. arXiv:2610.01153

[34] Markus Frey, Behzad Shomali, Ali Hamza Bashir, David Berghaus, Joachim Koehler, Mehdi Ali. Adaptive Loops and Memory in Transformers: Think Harder or Know More?. 2026. arXiv preprint. arXiv:2603.08391

[35] Yong Xien Chng, Tianyi Chen, Wenwen Tong, et al.. Looped Diffusion Transformer. 2026. arXiv preprint. arXiv:2609.40305

[36] Mohammad Mahdi Derakhshani, Pedro M. P. Curvo, Gertjan J. Burghouts, Jan-Willem van de Meent, Cees G. M. Snoek. LiFT: Loop Flow Transformers. 2026. arXiv preprint. arXiv:2610.05538

[37] Sanghyun Lee, Chunsan Hong, Seungryong Kim, Jonghyun Lee, Jongho Park, Dongmin Park. Looped Diffusion Language Models. 2026. arXiv preprint. arXiv:2605.26106

[38] Alba Carballo-Castro and Julianna Piskorz and Paulius Rauba and Mihaela van der Schaar and Pascal Frossard. Recursive Scaling in Masked Diffusion Models. 2026. arXiv preprint. arXiv:2606.18022

[39] Liancheng Fang, Zhuowei Li, Youngeun Kim, et al.. ALoDLM: Adaptively Looped Diffusion Language Models. 2026. arXiv preprint. arXiv:2610.04198

[40] Andrea Miele, Yiming Qin, Alba Carballo-Castro, Justin Deschenaux, Pascal Frossard. Fixed-Point Masked Generative Modeling. 2026. arXiv preprint. arXiv:2605.31215

[41] Shuzhen Li, Yifan Zhang, Jiacheng Guo, Quanquan Gu, Mengdi Wang. DeepLoop: Depth Scaling for Looped Transformers. 2026. arXiv preprint. arXiv:2607.13491

[42] Shaowen Wang, Bingrui Li, Ge Zhang, Wenhao Huang, Shen Yan, Jian Li. On the Residual Scaling of Looped Transformers: Stability and Transferability. 2026. arXiv preprint. arXiv:2606.18524

[43] Rao Fu, Zixuan Yang, Jiankun Zhang, Jing Ma, Hechang Chen, Yu Li, Yi Chang. Simply Stabilizing the Loop via Fully Looped Transformer. 2026. arXiv preprint. arXiv:2605.18797

[44] Alexey Zemtsov, Albina Klepach, Vadim Lomshakov, et al.. Rotate the Loop: Blockwise Conformality for Looped Transformers. 2026. arXiv preprint. arXiv:2610.14030

[45] Hsun-Yu Kuo, El Mahdi Chayti, Patrik Reizinger, Wieland Brendel, Martin Jaggi. Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping. 2026. arXiv preprint. arXiv:2606.29983

[46] Xiao-Wen Yang, Ziyu Han, Xi-Hua Zhang, et al.. Stabilizing Recurrent Dynamics for Test-Time Scalable Latent Reasoning in Looped Language Models. 2026. arXiv preprint. arXiv:2605.26733

[47] Jacob Fein-Ashley, Paria Rashidinejad. Solve the Loop: Attractor Models for Language and Reasoning. 2026. arXiv preprint. arXiv:2605.12466

[48] Sajad Movahedi, Vera Milovanović, Shlomo Libo Feigin, et al.. Fixed-Point Reasoners: Stable and Adaptive Deep Looped Transformers. 2026. arXiv preprint. arXiv:2606.18206

[49] Benhao Huang, Chufan Shi, Junlin Chen, et al.. Towards Looped Models Done Right, Part II: Rethinking at Fixed Points. 2026. arXiv preprint. arXiv:2610.06833

[50] Andrei Marchenko, Viacheslav Bezrukov, Oleg Kashurin, et al.. Closing the Loop: Practical Training Recipes for Looped Language Models. 2026. arXiv preprint. arXiv:2610.00673

[51] Zeyi Huang, Xuehai He, LiLiang Ren, et al.. Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior. 2026. arXiv preprint. arXiv:2605.26797

[52] Shota Takashiro, Masanori Koyama, Takeru Miyato, Yusuke Iwasawa, Yutaka Matsuo, Kohei Hayashi. Exploration of Fast-Slow Latent Recurrence for Train-Short, Test-Long Generalization. 2026. arXiv preprint. arXiv:2604.01577

[53] Andrei Piterbarg, Sean McLeish, Dhruv Pai, Benjamin Keigwin. Adaptive-Depth Is a Finishing Stage. 2026. arXiv preprint. arXiv:2610.14252

[54] Jishnu Ray Chowdhury, Cornelia Caragea. Investigating Recurrent Transformers with Dynamic Halt. 2024. arXiv preprint. arXiv:2402.00976

[55] Andrei Cristian Popescu, Haitz Sáez de Ocáriz Borde, Pietro Liò. Adaptive Depth in Looped Transformers: Diagnosing Learned Halting Gates and Trajectory Readouts. 2026. arXiv preprint. arXiv:2607.20519

[56] Joe Logan. Per-Token Fixed-Point Convergence in Depth-Recurrent Transformers. 2026. arXiv preprint. arXiv:2607.14427

[57] Kristian Schwethelm, Daniel Rueckert, Georgios Kaissis. Depth-adaptive Inference of Looped Language Models via Continuous Depth Batching. 2026. arXiv preprint. arXiv:2608.09444

[58] Mrinal Mathur, Mike Doan, Barak Pearlmutter, Sergey Plis. Change of Thought: Adaptive Test-Time Computation. 2025. arXiv preprint. arXiv:2507.13569

[59] Sumin Park, T. Konstantin Rusch. Looped Reasoning Finishes Earlier Than You Think. 2026. arXiv preprint. arXiv:2610.18174

[60] Ha Van Dau, Thanh Tung Khuat, Nguyen Thanh Dung. Beyond Depth Truncation: Controlled Evaluation of Depth Utilization in Recursive Language Models. 2026. arXiv preprint. arXiv:2609.19934

[61] Yuliana Shakhvalieva, Dmitrii Kharchev, Viacheslav Bezrukov, et al.. What Limits Recursive Reasoning Models: Optimization, Architecture and Test-Time Scaling. 2026. arXiv preprint. arXiv:2609.39967

[62] Mingqian Yu, Wenpeng Zhang, Shaobo Cui, Peilin Zhao. T-LoopFormer: Token-Level Elastic-Depth Looped Transformers for Latent Reasoning with Dynamic Routing. 2026. arXiv preprint. arXiv:2609.15160

[63] Ahmadreza Jeddi, Marco Ciccone, Babak Taati. LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation. 2026. arXiv preprint. arXiv:2602.11451

[64] Tianyu Fu, Yichen You, Zekai Chen, Guohao Dai, Huazhong Yang, Yu Wang. Think-at-Hard: Dynamic Looped Transformers for Improved Reasoning. 2025. arXiv preprint. arXiv:2511.08577

[65] Ziyue Li, Yang Li, Tianyi Zhou. Skip a Layer or Loop It? Learning Program-of-Layers in LLMs. 2026. arXiv preprint. arXiv:2606.06574

[66] Faisal Ladhak, Shantanu Acharya, Santiago Akle Serano, Simeng Sun, Boris Ginsburg, Krishna C Puvvada. One Model to Loop Them All: Elastic Latent Recurrence for Language Models. 2026. arXiv preprint. arXiv:2610.12582

[67] Shixiang Song, He Li, Zitong Wang, et al.. AdaPonderLM: Gated Pondering Language Models with Token-Wise Adaptive Depth. 2026. arXiv preprint. arXiv:2603.01914

[68] Yichen You, Tianyu Fu, Aosong Feng, et al.. Improving Test-Time Scaling with Adaptive Looped Transformers. 2026. arXiv preprint. arXiv:2609.35748

[69] Bohong Wu, Mengzhao Chen, Xiang Luo, et al.. Parallel Loop Transformer for Efficient Test-Time Computation Scaling. 2025. arXiv preprint. arXiv:2510.24824

[70] Jonas Geiping, Xinyu Yang, Guinan Su. Efficient Parallel Samplers for Recurrent-Depth Models and Their Connection to Diffusion Language Models. 2025. arXiv preprint. arXiv:2510.14961

[71] Chris Cameron, Wangzheng Wang, Nikita Ivanov, et al.. One Step Forward and K Steps Back: Better Reasoning with Denoising Recursion Models. 2026. arXiv preprint. arXiv:2604.18839

[72] SangLyul Cho, Langqing Cui, Sehoon Kim, Dongsu Han, Insu Han. LoopSpec: Pipelined Self-Speculative Decoding for Looped Transformers. 2026. arXiv preprint. arXiv:2609.17184

[73] Hyeongju Ha, Jae-Joon Kim. WaveFront Decoding: Parallelized Self-Speculative Decoding for Looped Language Models. 2026. arXiv preprint. arXiv:2609.23033

[74] Guanghao Li, Zihan Su, Hao Yu, et al.. Shallow Queries, Mature Values: Depth-Asynchronous Self-Speculation for Looped Transformers. 2026. arXiv preprint. arXiv:2609.34538

[75] Weihao Liu, Huangjie Zheng, Tianrong Chen, et al.. Decoding Looped Transformers Better for (Almost) Free. 2026. arXiv preprint. arXiv:2610.02185

[76] Angeliki Giannou, Shashank Rajput, Jy-yong Sohn, Kangwook Lee, Jason D. Lee, Dimitris Papailiopoulos. Looped Transformers as Programmable Computers. 2023. arXiv preprint. arXiv:2301.13196

[77] Ying Fan, Yilun Du, Kannan Ramchandran, Kangwook Lee. Looped Transformers for Length Generalization. 2024. arXiv preprint. arXiv:2409.15647

[78] Liu Yang, Kangwook Lee, Robert Nowak, Dimitris Papailiopoulos. Looped Transformers are Better at Learning Learning Algorithms. 2023. arXiv preprint. arXiv:2311.12424

[79] Jia Liang, Xi Jin, Liangming Pan. Beyond the Training Horizon: Mechanisms and Limits of Length Generalization in Looped Transformers. 2026. arXiv preprint. arXiv:2609.33144

[80] Huitao Yang, Jianhao Huang, Zixuan Wang, Baharan Mirzasoleiman. Learning to Extrapolate in Depth with Looped Transformers. 2026. arXiv preprint. arXiv:2610.14456

[81] Takuya Ito, Ruchir Puri, Murray Campbell, Parikshit Ram. Universal Transformers for Circuit Computations: Perfect Length Generalization in Tiny Transformers. 2026. arXiv preprint. arXiv:2608.31067

[82] Harsh Kohli, Srinivasan Parthasarathy, Huan Sun, Yuekun Yao. Loop, Think, & Generalize: Implicit Reasoning in Recurrent-Depth Transformers. 2026. arXiv preprint. arXiv:2604.07822

[83] Khashayar Gatmiry, Nikunj Saunshi, Sashank J. Reddi, Stefanie Jegelka, Sanjiv Kumar. Can Looped Transformers Learn to Implement Multi-step Gradient Descent for In-context Learning?. 2024. arXiv preprint. arXiv:2410.08292

[84] Bo Chen, Xiaoyu Li, Yingyu Liang, Zhenmei Shi, Zhao Song. Bypassing the Exponential Dependency: Looped Transformers Efficiently Learn In-context by Multi-step Gradient Descent. 2024. arXiv preprint. arXiv:2410.11268

[85] Khashayar Gatmiry, Nikunj Saunshi, Sashank J. Reddi, Stefanie Jegelka, Sanjiv Kumar. On the Role of Depth and Looping for In-Context Learning with Task Diversity. 2024. arXiv preprint. arXiv:2410.21698

[86] Kevin Xu, Issei Sato. To CoT or To Loop? A Formal Comparison Between Chain-of-Thought and Looped Transformers. 2025. arXiv preprint. arXiv:2505.19245

[87] Artur Back de Luca and Kimon Fountoulakis. Simulation of Graph Algorithms with Looped Transformers. 2024. arXiv preprint. arXiv:2402.01107

[88] Bingbin Liu, Jordan T. Ash, Surbhi Goel, Akshay Krishnamurthy, Cyril Zhang. Transformers Learn Shortcuts to Automata. 2022. arXiv preprint. arXiv:2210.10749

[89] Jiaju Wu, Yi Hu, Muhan Zhang. Shared Weights, Selected Computations: How Looped Transformers Route What Each Loop Does. 2026. arXiv preprint. arXiv:2609.39892

[90] Georgios Kaissis, David Mildenberger, Juan Felipe Gomez, Martin J. Menten, Eleni Triantafillou. Step-resolved data attribution for looped transformers. 2026. arXiv preprint. arXiv:2602.10097

[91] Xinlin Zhuang, Siyuan Wang, Imran Razzak, Weiyang Liu. What Makes Recurrence Effective in Looped Language Models?. 2026. arXiv preprint. arXiv:2609.36636

[92] Hugh Blayney, Álvaro Arroyo, Johan Obando-Ceron, et al.. A Mechanistic Analysis of Looped Reasoning Language Models. 2026. arXiv preprint. arXiv:2604.11791

[93] Wenquan Lu, Yuechuan Yang, Kyle Lee, Yanshu Li, Enqi Liu. Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer. 2025. arXiv preprint. arXiv:2507.02199

[94] Pawel Olszowiec, Paulina Tomaszewska, Maciej Żelaszczyk, Michal Byra, Neo Christopher Chung. Monitoring latent reasoning in looped language models. 2026. arXiv preprint. arXiv:2610.18127

[95] Giovanni Monea, Keshav Ramji, Yousef El-Kurdi, et al.. The Surprising Effectiveness of Shared Memory in Looped Transformers. 2026. arXiv preprint. arXiv:2610.02383

[96] Victor Conchello Vendrell, Arnau Padres Masdemont, Niccolò Grillo, et al.. Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models. 2026. arXiv preprint. arXiv:2605.07721

[97] Wanqi Yang, Shiwei Liu. FlashLoop: Fast and Memory-Efficient Looped Transformers via Lazy Updates. 2026. arXiv preprint. arXiv:2609.29812

[98] Zhixiong Zhao, Zukang Xu, Xing Hu, Lifeng Liu, Guangyu Sun, Dawei Yang. LoopQuant: Accurate and Efficient Post-Training Quantization for Looped Transformers. 2026. arXiv preprint. arXiv:2610.16368

[99] Adrian Bulat, Yassine Ouali, Georgios Tzimiropoulos. One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts. 2026. arXiv preprint. arXiv:2610.12448

[100] Xun Wang, Ruishuo Chen, Yu Chen, Zhuoran Li, Longbo Huang. FlexLoop: Depth-Elastic Looped Policies for Adaptive Test-Time Computation in Deep RL. 2026. arXiv preprint. arXiv:2609.34488

[101] Shaowen Wang, Ge Zhang, Kairong Luo, et al.. SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers. 2026. arXiv preprint. arXiv:2609.01343

[102] Kristian Schwethelm, Daniel Rueckert, Georgios Kaissis. How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models. 2026. arXiv preprint. arXiv:2604.21106

[103] Hayden Prairie, Zachary Novack, Taylor Berg-Kirkpatrick, and Daniel Y. Fu. Parcae: Scaling Laws For Stable Looped Language Models. 2026. arXiv preprint. arXiv:2604.12946

[104] Leo Raphael Rodrigues, Jian Kang. Dissecting Hierarchical Reasoning Models: A Mechanistic Study. 2026. arXiv preprint. arXiv:2609.22197

[105] Tong Zhang, Junhao Hu, Yun Peng, Tao Xie. When Does Recurrence Become an Algorithm? Convergence Selection in Weight-Tied Looped Transformers. 2026. arXiv preprint. arXiv:2607.20594

[106] Wenlong Wang, Fergal Reid. Looped Transformers under the Jacobian Lens: Does the Global Workspace Survive Recurrence?. 2026. arXiv preprint. arXiv:2609.01924

[107] Gunn Kim. Dynamical phase selection controls compute scaling in looped transformers. 2026. arXiv preprint. arXiv:2608.26556

[108] Darpan Aswal, Thomas Palmeira Ferraz, Yongxin Zhou, Maxime Peyrard. Observable Patterns Are Not Explanations: A Causal-Geometric Analysis of Latent Reasoning Models. 2026. arXiv preprint. arXiv:2606.12689

[109] Han Wang, Ishwar B Balappanawar, Huan Zhang. On the Chain-of-Thought Monitorability of Looped Language Models. 2026. arXiv preprint. arXiv:2610.02741

[110] Huzi Cheng, Zhewei Zhang. Not All Thinking is Created Equal: Latent Reasoning Discovers a Recurrent Search Algorithm for Depth Generalization. 2026. arXiv preprint. arXiv:2609.35643

[111] Arip Asadulaev, Rayan Banerjee, Fakhri Karray, Martin Takac. Latent Reasoning in TRMs is Secretly a Policy Improvement Operator. 2025. arXiv preprint. arXiv:2511.16886

[112] Jeffrey Lai, Anthony Bao, John Quinn, William Gilpin. Fractal basins trap latent reasoning. 2026. arXiv preprint. arXiv:2609.04963

[113] Yuto Inui, Takuya Konishi, Yoshinobu Kawahara. Invariant-Measure Reasoners: Stable Representations for Latent Reasoning. 2026. arXiv preprint. arXiv:2610.10996

[114] Francesco Pappone, Donato Crisostomi, Emanuele Rodolà. Two-Scale Latent Dynamics for Recurrent-Depth Transformers. 2025. arXiv preprint. arXiv:2509.23314

[115] Zhihao Guo, Zonghan Wu, Haizhou Du, et al.. Right Direction, Wrong Step: Geometric Analysis of Finite-Step Failure in Looped Transformers. 2026. arXiv preprint. arXiv:2609.16665

[116] James O' Neill, Fergal Reid. Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers. 2026. arXiv preprint. arXiv:2607.15456

[117] Yuhan Chen, Siyuan Zhang, Nan Wang, Feiyang Kang, Ruoxi Jia. Hybrid Latent Attention for Looped Language Models. 2026. arXiv preprint. arXiv:2610.07940

[118] Bo Liu, Qiang Liu. Maglev: Sliding Recurrent Memory. 2026. arXiv preprint. arXiv:2608.02870

[119] Wen-Jie Shu, Xuerui Qiu, Rui-Jie Zhu, Harold Haodong Chen, Yexin Liu and Harry Yang. LoopViT: Scaling Visual ARC with Looped Transformers. 2026. arXiv preprint. arXiv:2602.02156

[120] Zhe Qian, Ziyang Gong, Zhongxing Xu, et al.. LoopVL: Recurrent Visual Intelligence. 2026. arXiv preprint. arXiv:2609.38426

[121] Renjie He. RD-ViT: Recurrent-Depth Vision Transformer for Semantic Segmentation with Reduced Data Dependence. 2026. arXiv preprint. arXiv:2605.03999

[122] Michal Byra, Pawel Olszowiec, Grzegorz Stefanski, Grzegorz Gruszczynski, Alberto Presta. Investigating Single-Block Recurrence in Vision Transformers for Image Recognition. 2026. arXiv preprint. arXiv:2605.10661

[123] Junseo Kim, Uraz Odyurt, Amirreza Yousefzadeh. MergeOver: Post-Training Token Merging for Recursive Vision Transformers. 2026. arXiv preprint. arXiv:2608.13141

[124] Zhiying Lu. LoopVAE: Recurrent Depth Across Scales for Visual Tokenization. 2026. arXiv preprint. arXiv:2609.11516

[125] Yang Chen, Canyu Shen, Xinzhe Rao, et al.. GramLoop: Training-Free Gram-Gated Replay for Robust Dense Prediction. 2026. arXiv preprint. arXiv:2608.29113

[126] Zipeng Wang, Anping Xiong, Jing Zhang, et al.. LoopREG: Representation Supervision Enables Test-Time Recurrent Depth in Diffusion Transformers. 2026. arXiv preprint. arXiv:2610.17877

[127] Mostafa Dehghani, Stephan Gouws, Oriol Vinyals, Jakob Uszkoreit, Łukasz Kaiser. Universal Transformers. 2019. International Conference on Learning Representations (ICLR). arXiv:1807.03819 (external — not present in the library collection used for this survey)

[128] Alex Graves. Adaptive Computation Time for Recurrent Neural Networks. 2016. arXiv preprint. arXiv:1603.08983 (external — not present in the library collection used for this survey)

[129] Shaojie Bai, J. Zico Kolter, Vladlen Koltun. Deep Equilibrium Models. 2019. Advances in Neural Information Processing Systems (NeurIPS). arXiv:1909.01377 (external — not present in the library collection used for this survey)