测试时训练综述:从自监督到记忆层、大语言模型与智能体的推理期学习
摘要
测试时训练(TTT)让模型在部署之后仍能继续学习:在预测之前或预测过程中,它针对测试输入、测试上下文、测试问题或部署流优化一个显式的学习目标,并用更新后的权重给出答案。这一想法始于2019年,最初是作为图像分类器的一种鲁棒性手段,此后已成为若干原本相互独立的研究方向的统摄性思想之一:隐藏状态是一个由梯度下降在线训练的小模型的序列架构、在每项测试任务上或在其自身长上下文上微调的语言模型、在无标签测试问题上进行的强化学习、将经过验证的经验转化为权重更新的智能体,以及适应其所遇环境的机器人和世界模型。本综述涵盖狭义上的TTT文献,并将通过熵最小化、伪标签或归一化统计量进行的完全测试时适应作为背景略过。它沿一条轴线——在测试时学习什么、从何种信号学习——将这一领域组织为六个分支;用一套共享记号写出每个分支的主要方法;并在给定条件下比较它们的证据。有五个问题贯穿各分支:TTT层是否不止是线性注意力;测试时记忆是否以召回换取压缩;为何使用自生成奖励的测试时强化学习先有助益而后崩溃;为何即使没有分布偏移TTT也有帮助;以及测试时更新如何改变安全面。语料库由4,820篇检索到的候选文献构建,经筛选至605篇论文;其中94篇在章节层面进行了阅读,其余则依据其摘要所述内容引用。文献库截止日期为2026年11月4日。
1 引言
一个已部署的神经网络通常是一个固定函数。它将永远知道的全部内容在训练结束时便已确定,而在推理时它只能以所见内容为条件:上下文窗口、检索到的文档、提示词。测试时训练以一种特定方式打破了这一惯例。模型接收一个测试实例,从中构造一个学习问题,对该问题采取一步或多步优化,然后才进行预测。这一想法的最初版本将一个旋转预测头附加到图像分类器上,并对每一张损坏的测试图像,在分类之前用旋转损失更新共享编码器[1]。七年后,同样的模式——在推理内部求解一个内层学习问题——出现在其开创者未曾设想的地方:长上下文语言模型的循环状态中[2, 3]、一个63秒视频生成器中[4]、使语言模型在抽象与推理语料库上接近人类平均准确率的少样本求解器中[5]、在无标签竞赛数学上的强化学习中[6],以及在改进了若干开放数学问题已知最佳界的搜索中[7]。
这些研究脉络在不同的学术共同体中生长,使用着不同的术语。架构论文谈论快速权重、delta 规则、联想记忆与测试时回归;鲁棒性论文谈论辅助任务与分布偏移;语言模型论文谈论 LoRA 适配器、上下文内化与自一致性奖励。其共同结构很容易被忽略。在每一种情形中,都存在一个内循环,它在测试时数据上优化某个损失;以及一个在训练期间运行的外循环,它决定内循环学习什么、学习多快,以及依据何种信号学习。文献的增长使综合梳理恰逢其时:在为本综述汇编的语料中,按首次 arXiv 版本统计的每年论文数从 2022 年的 30 篇、2024 年的 73 篇,上升到 2025 年的 156 篇和 2026 年前十个月的 263 篇,而最新的工作越来越多地跨脉络借用(TTT 层被用作机器人记忆,TTRL 被用于视觉语言模型,上下文内化目标被用于训练快速权重)。
范围。 我们以狭义方式使用测试时训练:当模型在推理时通过在测试输入、上下文、问题或部署流上优化一个显式目标来学习,并更新权重、适配器或快速权重时,该方法即属于本综述范围。这包括自监督 TTT、TTT 层与测试时记忆架构、语言与多模态模型的测试时训练和测试时强化学习、从部署经验中学习的智能体与具身系统,以及它们的理论、分析和应用。除作为背景外,本综述排除完全测试时适应(TTA)方法,即其更新是在无标签的偏移数据上进行熵最小化、伪标签、归一化统计量重估计或师生一致性,例如 Tent [8];该文献规模庞大且已有综述 [9–11]。本综述也排除不更新权重的测试时扩展(采样、搜索、best-of-N、提示)[12]。
贡献。(i)一个按测试时学习什么以及从何种信号学习组织的分类体系,它将经典 TTT、TTT 层、LLM 测试时训练、测试时 RL、智能体与机器人的部署时学习以及应用置于同一棵树中(第 3 章)。(ii)一个共享的形式化设定,其中每个分支的主要方法都被写成对同一个内循环目标的改动(第 2 章),从而例如 delta 规则、Titans、ARC 配方和 TTRL 可以逐项比较。(iii)一章关于基础问题的讨论,汇集了五个活跃争议双方的证据(第 9 章)。(iv)基准与常见评估协议的清单(第 10 章),以及一组从所检视证据中导出的开放问题(第 12 章)。
路线图。 图 1 展示了全文组织。第 2 章确定定义、记号和时间线,并比较相关综述。第 3 章介绍分类体系。第 4–8 章覆盖六个分支。第 9 章讨论基础问题,第 10 章讨论资源,第 11 章讨论应用,第 12 章讨论未来方向。附录记录检索路径、计数与阅读深度。
flowchart LR
P[Ch 2 Preliminaries: definitions, notation, timeline, related surveys] --> T[Ch 3 Taxonomy: what is learned at test time, from which signal]
T --> A[Ch 4 Self-supervised TTT for robustness]
T --> B[Ch 5 TTT layers and test-time memorization]
T --> C[Ch 6 TTT of language and multimodal models]
T --> D[Ch 7 Test-time reinforcement learning]
T --> E[Ch 8 Agents, robots and world models]
A --> Q[Ch 9 Foundational questions]
B --> Q
C --> Q
D --> Q
E --> Q
Q --> R[Ch 10 Resources and Ch 11 Applications]
R --> F[Ch 12 Future directions]图 1. 本综述的组织结构。第 4–8 章遵循分类体系的六个分支(应用汇集于第 11 章)。
2 预备知识
2.1 定义与边界
测试时训练命名的是一种过程,而非一种架构:在推理过程中,模型优化一个学习目标,其数据来自测试情境,并利用优化结果进行预测。有三个相邻概念与这一描述部分重合,值得加以区分。
- 完全测试时自适应(TTA)。 TTA 同样在无标签测试数据上更新已部署的模型,但其目标是对主任务输出构造的置信度或一致性替代指标:对归一化参数做熵最小化 [8]、伪标签或师生一致。经典 TTT 的不同之处在于,其训练过程刻意构造一个单独的学习问题(一个辅助任务、一个重建目标),该问题在单个无标签输入上仍然定义良好 [1]。这一边界并不完全清晰;第 4 章讨论的一些方法同时结合了两者 [13, 14]。
- 上下文学习与测试时扩展。 以演示为条件的 transformer,或采样并验证大量候选的推理模型,同样利用测试数据来改进其答案,但不改变任何参数。TTT 与这些方法是花费推理算力的不同方式,已有若干论文对它们进行了直接比较 [5, 7, 15]。
- 在线学习与持续学习。 部署后从带标签数据流中学习比 TTT 出现得更早。TTT 的独特之处在于,测试时的训练信号是在没有查询真值标签的情况下构造的(自监督、上下文本身、自导出的或验证器给出的奖励),并且外层循环通常预判内层循环。
一个更宽泛的总括概念——测试时智能——将 TTA、测试时学习和测试时扩展归为一类,并按照反馈信号、被更新的状态、时间跨度和目标对它们进行组织 [16]。本综述有意在其范围内选取更窄、更深的视角。
2.2 共享形式化设定
模型 经过训练后被部署,参数为 。在测试时,它接收数据 (单个输入、一个批次、一个上下文、带演示的测试任务或一个数据流),并运行 步内层循环
然后用 进行预测。外层循环(预训练或元训练)塑造 ,并且常常也塑造内层目标本身,其方式要么是与 联合训练,要么是对内层循环求导。各方法在四个选择上有所不同:内层循环更新哪些参数、最小化哪个损失、看到哪些数据,以及更新是否持续(逐情节重置 vs. 在线累积)。本综述的各分支按如下方式实例化这一模板。
自监督 TTT。 给定共享编码器 、主头 和辅助头 ,训练时最小化 ;在测试时于无标签的 上 [1]。
TTT 层。 token 提供键、值和查询 。该层的状态是一个快速权重模型 (一个矩阵或一个小型 MLP ),在线地在一个内层损失(如 )上训练:
带有保留项 和内层学习率 。线性注意力即为加性写入 ;delta 规则即为在平方损失上的一步 SGD, [17, 18]。
LLM 测试时训练。 模型 接收一个测试问题、演示或上下文 并最小化 ,通常是 上或其增强版本上的下一 token 损失,一般通过 LoRA 适配器 实现 [5]。
测试时 RL。 对于测试问题 ,采样 ,从自导出信号设定奖励,例如 ,其中 为多数答案,并通过策略梯度目标更新 [6]。
| 符号 | 含义 |
|---|---|
| , | 部署参数;经过 次内步更新后的参数 |
| , , | 内层(测试时)目标、内层学习率、内层步数 |
| 共享编码器、主头、辅助(自监督)头 | |
| , | 主任务损失;自监督损失 |
| 词元 的键、值、查询 | |
| , | 词元 之后的快速权重状态;由 参数化的内层模型 |
| , | 词元 处的保留(遗忘)门和内层学习率 |
| 内层小批量(块)大小 | |
| , , | 语言模型、测试上下文或任务、适配器更新 |
| , , | 采样响应、自推导伪标签、奖励 |
表 1. 全文使用的符号。当论文使用不同符号时,在讨论该论文处说明对应关系。
2.3 发展时间线
这一谱系有两个根源。其一是快速权重思想:一个慢网络为一个快网络编程其权重;当线性 Transformer 被证明是外积快速权重编程器并获得了 delta 规则写入后,这一思想得以复兴 [17]。其二是 2019 年的 TTT 论文,它使测试输入本身成为一个训练样本 [1]。掩码自编码在 2022 年取代了旋转预测 [19],而 2023 年的视频流工作将逐图像适应转变为从不重置的在线学习器 [20]。在 2023–2024 年,两个根源汇合:TTT 层使语言模型的循环状态成为一个通过自监督梯度步训练的学习器 [2],同年,在最近邻和 ARC 演示上对 LLM 进行测试时微调,确立了 TTT 作为一种花费推理计算的方式 [5, 21]。2025 年带来了深度神经记忆和统一框架 [3, 18, 22]、用于图像和视频的大块 TTT [4, 23] 以及测试时强化学习 [6]。到 2026 年,这些思想已在无需架构改变的情况下到达长上下文 LLM [24, 25]、科学发现 [7]、智能体 [26] 和视频世界模型 [27]。
timeline
title Representative milestones in test-time training
2019 : TTT with rotation self-supervision [1]
2020 : Policy adaptation during deployment [28]
2021 : Linear transformers as fast weight programmers [17]
2022 : TTT with masked autoencoders [19]
2023 : TTT on video streams [20] : TTT on nearest neighbours for LLMs [21]
2024 : TTT layers [2] : Gated DeltaNet [29] : TTT for ARC [5]
2025 : Titans [3] : TTRL [6] : LaCT [23] : TTT-E2E [24]
2026 : TTT-Discover [7] : In-Place TTT [25] : World-T3 [27]图 2. 按首个 arXiv 版本排列的里程碑。年份标记的是该思想出现的年份,而非其在某会议或期刊上发表的年份。
2.4 相关综述
若干综述涉及这一文献,但每一篇都围绕不同的问题来组织内容。表 2 对它们进行了比较。
| 综述 | 范围与截止时间 | 组织维度 | 本综述新增的内容 |
|---|---|---|---|
| 关于 TTA 的综合综述 [9] | 分布偏移下的 TTA,2023 年 | 测试数据的形式(域适应、批适应、实例适应) | 狭义 TTT,包括其之后出现的架构、LLM 和 RL |
| 超越测试时的模型适应 [10] | TTA,2024 年 | 被适应的对象(模型、推理、归一化、样本、提示) | 同上 |
| 在线 TTA 综述 [11] | 带 ViT 基准的在线 TTA,2023 年 | 三类方法加基准 | 仅将 TTA 作为背景处理 |
| LLM 中的测试时扩展 [12] | 推理计算扩展,2025 年 | 扩展什么、如何扩展、在哪里扩展以及扩展效果如何 | 深入探讨推理计算中权重更新的部分(TTT、TTRL) |
| 记忆增强 Transformer [30] | 记忆机制,2025 年 | 功能目标、表示、集成 | 将参数化测试时记忆视为以内部目标进行的学习 |
| 快速权重编程 [31] | 二维状态 RNN,从机器学习到神经生物学,2025 年 | 快速权重编程器及其生物学基础 | 将快速权重与经典 TTT 及 LLM TTT 联系起来 |
| 自我改进的测试时智能 [16] | TTA + 测试时学习 + 测试时扩展,2026 年 | 反馈信号、更新目标、时间跨度、目标 | 在各分支间使用统一符号;深入探讨架构路线;设辩论章节 |
表 2. 相关综述。各行是文库中主题与 TTT 重叠的综述;范围与维度取自其摘要,对于 2026 年的综述还取自其引言及测试时学习部分的开头。截止时间为首个 arXiv 年份。
要点
- 狭义 TTT 由对测试数据的显式内部学习目标定义;它区别于 TTA(置信度代理)、测试时扩展(无权重变化)和有监督在线学习。
- 一个模板,即由外部循环塑造的、对测试时数据的内部循环,涵盖了经典 TTT、TTT 层、LLM 测试时训练和测试时 RL;各方法在参数、损失、数据和持久性上有所不同。
- 现有综述要么涵盖 TTA,要么涵盖测试时扩展,要么将 TTT 置于宽泛的框架之下;没有一篇以统一符号书写架构、LLM 和 RL 三条路线。
3 分类体系
本综述的主轴是模型在测试时学到了什么,以及从何种信号中学习。选择这一主轴,是因为它能把那些共享词汇、却在回答不同问题的研究路线区分开来。自监督TTT方法与TTT层都会在推理时执行梯度步,但前者用一个辅助任务让固定预测器适应发生偏移的输入,后者则是序列模型的记忆,并在每次前向传播中学习上下文中的键值关联。在ARC演示上微调的LLM与用TTRL训练的LLM都会在测试数据上更新LoRA权重,但前者有监督演示,后者必须自己生成奖励。按信号与学习对象分组,可以让每个分支的方法在同一个目标下具有可比性。
由此得到六个分支:
- 面向鲁棒性的自监督TTT(第4章):预测器以辅助自监督损失在每个测试输入或数据流上调整其编码器;目标是分布偏移下的泛化。
- TTT层与测试时记忆(第5章):序列层的隐藏状态是一个快速权重模型,在线训练键值关联;目标是以恒定代价记忆上下文。
- 语言与多模态模型的测试时训练(第6章):基础模型在推理时基于测试任务的演示、检索到的近邻或长上下文进行微调;目标是任务特化或上下文内化。
- 测试时强化学习(第7章):推理模型利用自生成的奖励,在无标签测试问题上更新其策略。
- 智能体、机器人与世界模型(第8章):已部署的决策系统把经过验证的经验、环境反馈或观测到的动力学转化为权重更新。
- 应用(第11章):上述方法在医学、语音、时间序列、推荐、图和科学领域中的领域适配。
两个次级轴贯穿各分支并出现在表格中:更新的持久性(按输入的情节式重置、按情节的适配器,或沿数据流的在线累积)和外循环耦合(无、与内层损失联合训练,或通过内循环进行元学习)。图3展示了这棵树,叶节点为代表性工作。
mindmap
root((Test-time training))
Self-supervised TTT
Auxiliary-task TTT · 1, 19, 32
Meta-learned and tailored TTT · 33, 34
Online and streaming TTT · 20, 35
TTT layers and memory
Fast weights and delta rule · 17, 29, 36
Neural memory and objectives · 2, 3, 37
Unifying frameworks · 18, 22, 38
Training and systems · 23, 39, 40
Vision, video and 3D · 4, 41, 42
LLM test-time training
Task-level TTT · 5, 43, 44
Retrieval and active data · 21, 45
Context internalization · 24, 25, 46
Discovery · 7, 47
Test-time RL
Consensus rewards · 6, 48
Reward reliability and collapse · 49–51
Curricula and critics · 52, 53
Agents and embodied
LLM agents · 26, 54, 55
Robots and driving · 28, 56, 57
World models · 27, 58图3. 按测试时学习什么以及从何种信号学习划分的测试时训练分类法。数字为参考文献;因篇幅所限,应用(第11章)未列入树中。
各分支并非互斥。TTT层可以作为机器人策略的记忆[59];LLM可以用下一个词元目标在其自身长上下文上微调,而该目标同时就是TTT层的写入规则[25, 60];发现系统将测试时RL与搜索结合[7]。此类工作在其机制最具启发性之处讨论,并在其他地方交叉引用。
要点
- 组织性问题是内循环学到了什么、从何种信号学习:辅助任务、键值关联、演示或上下文、自生成奖励,还是部署经验。
- 持久性(情节式与在线)和外循环耦合(联合训练与元学习)是次级轴,在每个分支中反复出现。
- 最新工作日益跨越分支,这正是共享一套记号有用的原因。
4 面向鲁棒性的自监督测试时训练
TTT 的根本问题是分布偏移:在干净图像上训练的分类器在受损、重新渲染或随时间漂移的图像上会损失精度,而这种偏移事先未知。域适应需要在部署前获得目标数据,域泛化则必须预判偏移。自监督 TTT 走第三条路线:让每个测试输入在模型作答之前教会模型一些关于其自身分布的信息。
flowchart LR
R((Self-supervised TTT)) --> A[Auxiliary objective · 1, 19, 32, 61, 62]
R --> B[Training coupling · 14, 33, 34]
R --> C[Online and streaming · 20, 35]
R --> D[New modalities · 63–65]图 4. 第 4 章子树及代表性工作。
4.1 辅助任务 TTT
原始方法训练一个 Y 形网络,即一个共享编码器 配有主分类头 和旋转预测头 ,并在两个损失上联合训练。在测试时,编码器在单个无标签测试图像的旋转损失上更新,主头保持冻结,并用更新后的编码器进行预测;一种在线变体将编码器从一张测试图像延续到下一张,而不是重置它 [1]。在最高损坏等级下的 CIFAR-10-C 上,该方法将高斯噪声误差从无适应时的 50.5% 降低到 45.6%,在线变体降低到 25.8%,且未提高干净测试集上的误差(8.9% 到 7.9%)。同一篇论文给出了此后塑造该领域的解释:对于凸且光滑的模型和一步梯度,只要两个损失的梯度正相关,自监督更新就会改善主损失;在 75 个测试集上,测得的梯度相关性跟踪实际获得的增益。论文还指出了贯穿该分支的局限性:辅助任务必须携带关于主任务的信息,而在某些类别上,旋转本身存在歧义,因此并不满足这一点。
下一步改变的是辅助任务,而不是配方。TTT-MAE 使用带 ViT 编码器的掩码自编码器重建,对 75% 掩码的测试图像每张重建 20 步,并在每张图像后重置 [19]。图 5 展示了该机制:受损输入上的重建损失仅略有下降,而分类损失下降得多得多,这正是梯度对齐论证的可视化。在 ImageNet-C 上,严重度 5 时的增益很大(例如,玻璃模糊从 18.4% 准确率提升到 36.9%),论文还将理论扩展到一个线性模型,其中某些步长严格优于不适应。第三个家族保留 Y 形结构,但用手工设计的代理任务替换为定义在特征上的目标:对源特征施加归一化流,其似然成为测试时损失 [61];一个信息最大化聚类头 [32];一个噪声对比判别器 [62];以及跨编码器层的对比特征重建 [66]。在 CIFAR-10-C 上使用 ResNet-50 时,这些方法报告的平均准确率约为 82–83%,而未适应模型约为 54%,但彼此之间的改进只有一点或更少,其中若干方法在 CIFAR-10.1 的温和自然偏移下还不如未适应模型 [32, 61]。其他变体改变的是优化对象而非任务:IT³ 训练网络使其幂等,并在测试时针对冻结副本恢复幂等性 [67];在更新过程中将测试图像与训练图像混合,可减少适应后特征与源特征之间的不匹配 [68]。
*图5. 使用掩码自编码器的测试时训练
:对受高斯噪声污染的图像进行掩码和重建;在 0、50 和 500 步中,重建损失从 0.63 变为 0.58,而分类损失从 4.81 降至 2.36(转载自原论文图1)。*
这条研究路线的广度很大。同样的编码器更新方案已被用于零样本草图检索 [69]、通用跨域检索 [70]、带输出对比损失的分割 [71]、深度感知视频目标分割 [72]、借助基础模型知识蒸馏的3D分割 [73]、图像篡改定位 [74]、手写文档 [75]、结合元辅助学习的多视图立体和点云配准 [76, 77],以及将对抗掩码判别器复用为辅助任务 [78]。后续工作还探讨了如何更紧密地对齐辅助任务与主任务 [79, 80],以及如何处理包含未知类别的开放世界数据流 [81]。
4.2 将训练与测试时更新耦合
联合训练只是希望辅助梯度能对主任务有所帮助。元学习将这一点作为训练目标。MT3 将 TTT 包装在 MAML 中:内循环对单张无标签图像执行一步 BYOL 风格的自监督更新,外循环最小化该步之后的分类损失 [33]。在 CIFAR-10-C 上,15 种损坏的平均准确率为 75.6%,而原始 TTT 为 69.0%,使用相同 BYOL 损失的联合训练为 73.5%,适配本身贡献了 4.2 个百分点。Tailoring 推广了这一思想:任何无监督目标都可以在查询点处最小化,而元 tailoring 训练网络使这种内层最小化有助于监督损失,在物理动力学预测和认证鲁棒性上报告了增益 [34]。Meta-TTT 将元学习应用于归一化参数和极小极大熵目标,因此它与 TTA 处于边界地带 [14]。元辅助学习训练辅助任务使其梯度在测试时有用,已扩展到姿态预测、文档、点云和立体视觉 [75–77, 82]。
4.3 在线与流式 TTT
片段式 TTT 在每个输入后重置,因此无法利用连续测试输入通常共享分布这一事实。视频流上的 TTT 使更新在线化:编码器从不重置(隐式记忆),每一步在当前帧和之前帧的短滑动窗口(显式记忆)上训练,每帧一步梯度,所有头联合训练 [20]。在一个新的第一人称 COCO Videos 基准上,它将实例分割 AP 相比固定模型提高了一倍以上(37.6 对 16.7),甚至超过了在所有视频帧上训练的离线 oracle,同时一个小定理解释了为什么在时间平滑性下短窗口是最优的。同样的在线选择被迁移到3D点云,其中 MATE 通过掩码点重建进行适配,在 ModelNet-40C 上达到 71.3% 的平均准确率,而源模型为 53.9% [35]。现实的流式协议由 TTAC++ 形式化,它区分了顺序与多遍以及无源与源统计设置,并表明在自然 CIFAR-10.1 偏移上顺序 TTT 几乎没有任何增益 [13]。后续流式工作研究了域增量视频流、长视频和持续掩码自编码器适配 [83–85]。
4.4 新模态与逆问题
当该方法迁移到新模态时,辅助任务必须重新设计。对于图数据,旋转没有意义;GT3 在单个测试图内使用节点—图和节点—节点对比任务,并添加一个正则化项,将测试图的嵌入统计量固定到训练统计量上,以防止逐样本过拟合 [63]。对于语音,梅尔频谱图 MAE 提供该任务,且仅更新编码器的偏置项比全量微调在跨步骤上更稳定;在交通噪声下,说话人识别准确率从 28.4% 升至 57.2% [64]。对于加速 MRI,辅助任务被替换为测量一致性:网络使用数据一致性项训练,并在测试时对每个测量拟合该一致性项并采用早停,以每层切片数分钟的成本,弥合由解剖结构、数据集、模态或加速偏移所导致的 SSIM 差距的 87% 至 99% [65]。相关的逆问题工作使用等变性或即插即用先验作为测试时信号 [86, 87]。
4.5 证据现状
所考察的研究在三点上一致。第一,TTT 在严重合成损坏下帮助最大,而在自然偏移(如 CIFAR-10.1)下帮助小得多,在后者上若干方法未能超过未适配模型 [1, 13, 32]。第二,辅助梯度是否与主任务对齐是控制性变量;这在凸或线性设定中由理论预测并经经验测量,但没有选择任务的通用方法,模态特定的重新设计是常态 [1, 19, 63]。第三,当流在时间上平滑时,在线累积可以比逐片段重置强得多,而当流不平滑时则有害:打乱视频帧会使 TTT 比不做适配更差 [20]。跨论文比较受限于不同的骨干网络、批大小和协议;在 CIFAR-10-C 上,特征空间辅助任务所报告的增益彼此相差在一点以内。
| 方法 | 辅助目标 | 更新的参数 | 协议 | 耦合 |
|---|---|---|---|---|
| TTT [1] | 旋转预测 | 共享编码器 | 情景式;在线变体 | 联合训练 |
| TTT-MAE [19] | 掩蔽图像重建 | 编码器和解码器 | 情景式,20 步 | 冻结 MAE + 探测头 |
| MT3 [33] | BYOL 不变性 | 除分类器外的全部 | 情景式,1 步 | 元学习 |
| TTTFlow [61] | 特征的正则化流似然 | 早期编码器层 | 每批次 | 单独训练 |
| 视频流 TTT [20] | 在帧窗口上的掩蔽重建 | 编码器和解码器 | 在线,从不重置 | 联合训练 |
| MATE [35] | 掩蔽点重建 | 编码器、解码器 | 情景式或在线 | 联合训练 |
| GT3 [63] | 分层图对比 + 统计锚点 | 共享 GNN 层 | 每图情景式 | 联合训练 |
| 语音 TTT [64] | 梅尔频谱图 MAE | 编码器(仅偏置变体) | 情景式 | 线性探测 |
| CS-MRI TTT [65] | 测量一致性 | 整个网络 | 每次测量,早停 | 联合训练 |
表 3. 代表性自监督 TTT 方法在共享设置各组件上的比较。条目遵循各论文的主要配置;由于数据、主干网络和协议不同,各行结果不可比较。
要点
- 当辅助梯度与主任务对齐时,自监督 TTT 有效;这在简单模型中得到证明,并通过经验测量得到验证,也是任务设计主导这一研究方向的原因。
- 在严重的合成损坏下增益很大,在轻微的自然偏移下增益很小或不存在,而近期辅助目标在 CIFAR-10-C 上的差异约为一个点。
- 在平滑流上的在线 TTT 甚至可以胜过离线预言机,但依赖于时间一致性。
5 TTT 层与测试时记忆
Softmax 注意力保留上下文的每个键和值,并付出随其长度增长的成本。循环模型将上下文压缩为固定大小的状态,但由手工设计的规则更新的向量状态或矩阵会迅速丢失信息。TTT 层这一研究方向追问:如果状态本身就是一个模型,且更新规则是学习,会发生什么:每个 token 都是一个小型内部模型的训练样本,而序列模型的前向传播会训练它。这一想法将快速权重的悠久历史与现代线性递归统一起来,并产生了该领域最活跃的分支。
flowchart LR
R((TTT layers)) --> A[Write rules: additive, delta, gated delta · 17, 29, 36, 88]
R --> B[Deep memory and richer objectives · 2, 3, 37, 89]
R --> C[Exact and second-order solvers · 90, 91]
R --> D[Unifying frameworks · 18, 22, 38]
R --> E[Training and systems · 23, 39, 40, 92]
R --> F[Vision, video and 3D · 4, 41, 42, 93]图 6. 第 5 章子树及代表性工作。
5.1 从快速权重到 delta 规则
无 softmax 归一化的线性注意力可以写成一个快速权重编程器:状态 是一个矩阵,每个 token 写入外积 ,输出读取 [17]。这样写来,加性写入有一个明显缺陷:它只能做加法,因此一旦写入的关联数量超过键维度所能支持的范围,检索就会退化,论文在合成检索任务上测量了这种退化。其补救办法是 delta 规则,它先读取当前存储在 下的值,只写入修正量 ,并带有一个学习到的写入强度 。在共享记号下,这就是在平方损失 上以内部学习率 执行的一步 SGD。在 WikiText-103 上,delta 规则相比加性线性 transformer 改善了困惑度(31.5 对 33.0),但仍落后于 softmax 注意力(29.6)。同一传统下更早和并行的工作训练了用于联想推理的快速权重记忆,以及元学习的快速权重语言模型 [94–96]。
有两个障碍使 delta 规则无法扩展。其训练是串行的,而且它没有显式的遗忘方式。第一个障碍由基于 Householder 矩阵乘积的 WY 表示构建的分块并行算法移除,该算法在 100B token 上训练了 1.3B 参数的 DeltaNet,困惑度与 Mamba 和一个 Transformer 基线相当 [88]。第二个障碍由 Gated DeltaNet 移除,它在 delta 步骤之前将状态乘以一个数据相关的衰减,,因此门控进行批量擦除,而 delta 规则进行选择性写入 [29]。在 1.3B 参数下,它报告了在语言建模和 LongBench 上循环基线中最好的平均值,但同一张表显示,在真实世界检索上它仍然落后于 Transformer 和混合模型。Longhorn 将相关规则推导为在线最小二乘问题的闭式解,因此遗忘门是键的函数,而不是一个单独的参数 [36]。后来的变体改变了转移结构或预条件:多个 Householder 步骤的乘积 [97]、解耦的擦除与写入 [98]、闭环控制 [99]、曲率感知预条件 [100] 以及 Kaczmarz 风格投影 [101]。
5.2 富有表现力的隐藏状态:TTT 层与神经记忆
TTT 层同时朝两个方向推广了 delta 规则 [2]。内部模型 可以是线性映射(TTT-Linear)或两层 MLP(TTT-MLP);内部损失是从另一个学习到的视图 重建一个学习到的视图 ,因此外层循环决定状态求解什么自监督任务;内部优化器对 个 token 的分块使用小批量梯度下降,这使得训练在块内并行。论文的消融从精确的线性注意力等价物开始,一次添加一个设计元素:在 125M 参数和 2K 上下文下,困惑度从 15.23 降至 11.09,其中小批量 TTT 以及 内部的归一化加残差贡献最大。在 8K 和 32K 上下文下,两种变体都优于 Mamba,且差距随上下文增大。代价是实际耗时:TTT-MLP 在 FLOP 上高效但受内存限制,作者称其系统工作为初步的。
Titans 将其转化为具有更丰富更新机制的深度神经记忆 [3]。该记忆是一个 MLP,通过带动量(论文称之为 surprise)的联想损失 和充当遗忘门的自适应权重衰减进行训练:、。图 7 展示了记忆作为上下文的变体,它从神经记忆中检索,前置持久的学习令牌,并让窗口注意力在记忆更新之前将它们与当前片段结合。在 760M 参数下,Titans 报告的 WikiText 困惑度低于 Transformer 和 Gated DeltaNet 混合模型,并且在单针大海捞针任务上,在 16K 长度下保持 95% 以上的准确率,而 TTT 和 DeltaNet 则崩溃。后来的一项复现研究证实,神经记忆——而非分块或持久令牌——才是带来增益的关键,但也指出该模型在小规模下并未击败强推荐基线 [102]。
*图 7. Titans
的记忆作为上下文设计:上下文神经记忆用当前片段进行查询,前置持久的数据无关权重,对结果运行注意力,并在测试时更新神经记忆(转载自原论文图 2)。*
后继工作改变了内部损失所看到的内容及其优化方式。ATLAS 在过去令牌的窗口上评估内部目标,而非当前令牌(“Omega 规则”),通过多项式特征映射提升容量,并使用 Newton–Schulz(Muon)内部优化器;其消融实验表明,回到单令牌目标会带来最大的困惑度损失,并且在 10M 令牌的 BABILong 上保持 80% 以上的准确率 [37]。Lattice 将状态的列归一化到球面上,使得每个记忆槽仅用与其正交的输入分量写入 [89];Trellis 对压缩的键值记忆应用带遗忘门的梯度写入 [103]。Nested Learning 将架构和优化器重新表述为以不同频率更新的嵌套联想记忆,并添加了自修改记忆和以几何间隔速率更新的 MLP 块连续体 [38]。这一子方向的广度包括用不同目标或读出训练的忆 [104–108]、跨层共享的记忆 [109] 以及可组合的 TTT 模块 [110]。
5.3 精确与二阶内部求解器
单步梯度是一种粗糙的求解器。MesaNet 将其替换为对过去所有键值对上的遗忘加权、岭正则化最小二乘目标的精确最小化器,使用共轭梯度计算,其中昂贵的部分本身就是一个门控线性注意力,因此训练保持块状并行 [90]。在约 1B 参数下,它在困惑度上匹配 Transformer 和 Gated DeltaNet,并外推到 32K 上下文,而 DeltaNet 和 Transformer 则严重退化。Gated KalmaNet 采取相同方向,使用由输入相关岭稳定化的卡尔曼增益(递归最小二乘)更新,并在 2.8B 参数下报告了在零样本任务上相对于 Gated DeltaNet 的增益,同时指出在超过 4K 的合成召回上落后 [91]。相同的精确岭写入正是下文讨论的 World-T3 视频模型的记忆。
5.4 统一框架
两篇论文将这一设计空间重新表述为回归。测试时回归将联想回忆的记忆步骤视为在前向传播内部求解的回归问题,并从三个选择推导出层:过去的关联如何加权、使用哪类回归器、以及用哪个优化器求解 [18]。在这一视角下,线性注意力是一次无预条件的梯度步,delta 规则是每个 token 一次 SGD 步,递归最小二乘是精确解,而 softmax 注意力是局部常数(Nadaraya–Watson)回归器;该论文还展示了 L2 正则化流式 SGD 与 Gated DeltaNet 递归之间的精确一一重参数化。Miras(It's All Connected)构建了一个四槽模板——记忆架构、注意力偏置(内部目标)、保留门和记忆算法——并表明它将 Transformer、线性注意力、Mamba、DeltaNet、Longhorn、TTT 层和 Titans 作为特例涵盖在内 [22]。图 8 复现了该模板。将注意力偏置从平方误差改为其他损失会产生新模型;在 1.3B 参数下,其中一个模型的困惑度低于 Gated DeltaNet 和 Transformer,另一个在单针检索任务上平均达到 93.5%,而 Gated DeltaNet 为 75.8%。
*图 8. Miras 设计模板
:联想记忆由其架构、其内部目标(注意力偏置)、其保留门以及学习该映射的算法定义(复现自原论文图 1)。*
5.5 训练效率与系统
非线性 TTT 层的实际障碍是硬件利用率:MLP 状态的逐 token 或小 chunk 更新是内存受限的。LaCT 反转了这一默认做法:它在非常大的 chunk(从 2K 到 1M token)上执行一次非线性内部步,使用可容纳模型很大一部分参数的 SwiGLU 快速权重、点积内部损失和 Muon 更新,并将 chunk 内的局部结构留给窗口注意力 [23]。这一改变将 GPU 利用率提升了数个数量级,并允许一个 chunk 是一组图像或一组视频帧。在新视角合成任务上,其质量接近完全注意力(48 视图下 PSNR 为 37.6 对 37.9),预填充时间为 1.4 秒对 16.1 秒;在语言建模上,它在 RULER 上优于带滑动窗口的 GLA 和 DeltaNet,但仍远落后于完全注意力。
其他工作弥补了大 chunk 所丢失的东西。TNT 通过分层记忆将 chunk 大小与质量解耦:大 chunk 下的全局记忆和定期重置的小 chunk 下的局部记忆,并以比最精确的 Titans 配置快 17.37 倍的速度达到目标损失 [39]。ParaTTT 将精确的逐 token 递归作为迭代 chunk 并行计算的不动点,并报告在 340M 参数下训练加速 4.9 倍 [40];E²-TTT 给出了一个闭式 chunk 末端转移,精确复现了逐 token 动量和衰减,并改善了 RULER 上的长度外推 [92]。系统工作继续推进,包括逐请求 TTT 状态的批量服务 [111]、通过共态预测的 token 并行训练 [112]、非线性记忆的逐层优化 [113],以及用神经记忆模块改造预训练 LLM [114]——后者转换了一个 1B 模型的四个注意力层,仅对约 1% 的参数进行后训练,并在 32K 范围内保持 pass-key 检索完全准确。
5.6 视觉、视频与 3D
大块 TTT 使这一想法在图像和视频上变得实用。ViT³ 针对视觉任务系统地消融了内循环——损失、内批次、轮数、学习率、内模型族——并提炼出六条设计规则;在图像所有 token 上的点积损失上执行一次全批量梯度步骤效果最佳,所得模型在相近 FLOPs 下达到 81.6% 的 ImageNet top-1 准确率,而 DeiT-S 为 79.8%,且在高分辨率下具有大幅速度和内存优势 [41]。此后,TTT 层已被用作医学分割、面部动作单元、高光谱分类和遥感变化检测的骨干网络 [115–118],以及用于将预训练视觉 transformer 线性化 [119, 120]。
在视频方面,One-Minute Video Generation 在预训练扩散 transformer 的局部注意力之后插入 TTT-MLP 层,对其施加门控并在整个序列上运行,将 3 秒生成器扩展至 63 秒视频(图 9)[4]。在 63 秒的人类成对评估中,它在所比较的设计中获得最高 Elo(1033,亚军滑动窗口注意力为 999),但在 18 秒时 Gated DeltaNet 胜出,且该层比两个线性基线都慢。在 3D 方面,TTT3R 将流式重建器 CUT3R 的状态更新重新解释为学习率固定为一的 TTT 步骤,并将其替换为根据注意力对齐计算的闭式逐 token 学习率;作者报告,在无需重新训练的情况下,在 1,000 视图 ScanNet 序列上姿态误差大致减半,且成本不变 [42]。tttLRM 将 LaCT 快速权重视为隐式 3D 潜变量,由虚拟视图查询解码为显式高斯 [93],而 World-T3 使用以相机位姿为键的固定大小岭回归记忆,作为实时视频世界模型的持久记忆,在强基线之上改善了重访一致性 [27]。进一步的 3D 和视频系统包括大规模与流式重建 [121–124]、空间记忆 [125, 126] 和长视频理解 [127–129]。
*图 9. 视频扩散 transformer 中的 TTT 层
:每个块在局部注意力之后添加一个门控 TTT 层(左),TTT 层在一分钟视频的所有 3 秒片段上运行,而注意力保持局部(右)(转载自原论文图 3)。*
5.7 证据现状
| 层 | 状态 | 内部目标 | 更新 | 保留机制 | 报告的优势 | 报告的劣势 |
|---|---|---|---|---|---|---|
| 线性注意力 [17] | 矩阵 | 无(加性写入) | 无 | 并行、简单 | 容量饱和 | |
| DeltaNet [88] | 矩阵 | 平方误差 | 1 步 SGD | 无 | 1.3B 规模下困惑度接近 Transformer | 长度泛化能力弱 |
| Gated DeltaNet [29] | 矩阵 | 平方误差 | 门控 SGD 步 | 标量门 | 1.3B 规模下循环模型平均表现最佳 | 在真实检索任务上落后于注意力 |
| TTT-Linear / MLP [2] | 矩阵 / MLP | 学习视图重建 | 小批量 GD, | 无 | 持续提升至 32K | 实际耗时成本 |
| Titans [3] | 深层 MLP | 平方误差 | 带动量的 GD | 权重衰减 | 针检索至 16K | 比线性层更慢 |
| ATLAS [37] | MLP | 窗口化(Omega)平方误差 | Muon | 门 | 在 10M token 上完成 BABILong | Transformer 在上下文回忆上仍领先 |
| MesaNet [90] | 岭回归解 | 累积岭损失 | 精确求解(CG) | 门 | 32K 外推 | 额外推理 FLOPs |
| LaCT [23] | SwiGLU | 负点积 | 每个大块 1 步 Muon | L2 归一化 | 硬件利用率、NVS 质量 | 在 RULER 上远落后于注意力 |
| TTT-E2E [24] | 最后四分之一 MLP | 下一 token 损失 | 小批量 GD,1K token | 无 | 与 128K 的损失差距平坦 | 128K 下针检索召回接近零 |
表 4. 以共享记号书写的 TTT 层。优势与劣势为作者或复现研究在各论文自身设置下报告的结果;各行不构成排名。
所考察的证据支持一幅一致的图景。从加性写入到 delta 规则、门控、更深记忆和更好的内部优化器,每一步都在 0.3–3B 规模上改善了语言建模困惑度和合成召回,常常在困惑度上匹配或超越 Transformer [3, 29, 37, 90]。在从长且真实的上下文进行精确检索时,有界状态仍是限制:注意力或混合模型在真实世界召回和长上下文针任务上仍然领先,而这些结果正是在报告困惑度优势的同一批论文中给出的 [23, 24, 29, 109]。非线性内部学习本身是否重要,或者这些层是否更适合被描述为带有学习特征映射的线性注意力,是一个尚未解决的争议,将在第 9.1 节中讨论。
要点
- TTT 层将序列模型的状态转变为在线学习器;加性线性注意力、delta 规则、门控 delta 规则、深度神经记忆和精确岭求解器是内层目标、优化器和保留机制的相继选择。
- 回归和关联记忆框架使这些选择变得明确,并已被用于推导出具有更好困惑度和合成召回的新层。
- 大块更新使非线性 TTT 层对图像、视频和 3D 足够高效;精确的长上下文检索仍然弱于注意力。
6 语言和多模态模型的测试时训练
对于大型预训练模型,动机发生了转变。分布偏移仍然重要,但在测试时训练的更常见原因是单个提示对于任务特定信息来说是一个糟糕的通道:一个新规则的少量演示、一个比有用上下文更长的文档,或者一个其解决方案需要多次尝试的问题。TTT 将推理计算花在梯度步骤上,而不是或额外于更多 token。本章涵盖四条路线:基于演示的任务级 TTT、基于检索数据的 TTT、将长上下文内化到权重中,以及模型在自身尝试上训练的发现在问题。
flowchart LR
R((LLM test-time training)) --> A[Task-level TTT on demonstrations · 5, 43, 44, 130]
R --> B[Retrieved and selected data · 21, 45]
R --> C[Context internalization · 15, 24, 25, 46, 131]
R --> D[Discovery on one problem · 7, 47]图 10. 第 6 章子树及代表性工作。
6.1 基于演示的任务级 TTT
抽象与推理语料库是一个天然的测试平台:每个任务给出两到四对由新规则支配的输入–输出网格对。ARC TTT 配方将这些演示转换为一个小型训练集,并在每个测试任务上微调一个 LoRA 适配器后再进行预测(图 11)[5]。训练集由留一法上下文内情节构建——每个演示依次成为查询,而其他演示构成上下文——并通过可逆网格变换进行扩展;损失覆盖所有演示输出,适配器是任务特定的而非共享的。在公开的 ARC 验证集上,一个已在合成 ARC 数据上微调过的 8B 模型通过 TTT 从 18.3% 上升到 47.1% pass@2,与程序合成集成的集成达到 62.8%,接近报告的 60.2% 人类平均得分。在 BIG-Bench Hard 上,没有任何 ARC 特定预训练,TTT 比上下文学习增加了 7.3 分。作者警告说,超参数是在用于消融的同一子集上调优的。
*图 11. 少样本任务测试时训练的设计选择
:演示被转换为留一法和直接输入–输出示例并带有增强,损失可以覆盖测试输出、所有输出或输入和输出,适配器可以是任务特定的或共享的;所选选项以轮廓标出(复制自原论文图 2)。*
该配方不依赖于语言。一个将 ARC 网格视为图像并在每个任务的演示上微调的普通视觉变换器,在 ARC-1 上以 18M 参数模型达到 54.5% pass@2,集成达到 60.4%,仅从 ARC 数据从头训练[43]。一项在共同协议下对两个从头训练的 ARC 模型的对照研究表明,提高 TTT 呈现预算在所有二十个匹配比较中改善了 pass@2,而更多的预训练并不一致地更好[132]。ARC 竞赛报告、分析和后来的求解器使测试时微调成为标准组件[133–137],而程序搜索替代方案在测试时通过梯度下降优化潜在程序[138, 139]。
在ARC之外,该更新可以做得小得多。SLOT在最终隐藏状态上优化单个加性向量,以最小化提示自身的下一词损失,持续三步,然后进行生成;它报告在13个开源模型上于数学和科学基准上取得增益,开销适中,尽管没有重复运行,且所涉基准中单个条目值数分[44]。TLM通过最小化无标签测试提示的输入困惑度来适配LoRA权重,并偏向高困惑度输入加权,报告在领域特定生成上取得大幅相对增益,但在推理上结果不一,有时落后于基于熵的TTA[130]。相关工作在测试时利用合成数据、反思或自课程调整模型[140–143],并将这一思路应用于多模态模型[144–146]。
6.2 基于检索与选择数据的训练
当仅凭测试输入数据太少时,模型可以在其附近的数据上训练。基于最近邻的TTT嵌入一个测试序列,从大型索引中检索其50个最近的训练序列,按距离递增顺序对每个序列以普通语言建模损失取一步梯度,进行预测,然后重置[21]。在22个Pile任务上,这将每字节比特数平均降低约20%,并缩小了GPT-2与一个十倍大模型之间的差距;在大多数任务上,它还优于将邻居放入上下文、kNN-LM变体和动态评估。一份可复现性报告重新审视了该方法[147]。SIFT用贪心选择取代top-检索,该选择最小化线性代理在提示处的后验方差,从而在相关性与冗余之间权衡;它修复了近重复邻居导致最近邻TTT停滞的失败情形,并报告在相同预算下比最近邻更低的每字节比特数[45]。关于这种局部训练为何即使在分布内数据上也有帮助的理论解释在第9.4节讨论[148]。
6.3 将上下文内化到权重中
这一思路最古老的版本是动态评估:在语言模型刚读过的文本上持续更新它。一项系统性重新审视将在线适配视为权重中的记忆,表明在100本书的流上,它使累积损失低于静态模型,并且在大的分布偏移下,一个带在线适配的小上下文模型在计算–损失帕累托前沿上优于大上下文静态模型,而一旦模型在分布内微调,这一排序就会反转[131]。
近期的工作使这成为一种有意设计的长上下文机制。TTT-E2E保留滑动窗口Transformer,并将其最后四分之一区块的MLP视为快速权重:在测试时,它们基于模型自身在上下文上的下一词元损失、以1K词元的小批量进行训练;在训练期间,初始化通过在该内循环中求导进行元学习[24]。在3B参数规模下,它与全注意力之间的损失差距在8K到128K上下文范围内大致保持平稳,而Mamba 2、Gated DeltaNet和滑动窗口注意力则进一步落后,并且在128K预填充时快2.7倍;但在128K时的“大海捞针”召回率降至0.06,而全注意力为0.99,因为压缩会丢弃细节。In-Place TTT保留标准Transformer,并将每个门控MLP的下投影转变为快速权重,每块更新一次,目标是面向下一词元对齐的目标,因此预训练LLM可以通过持续训练进行转换;在Qwen3-4B上,它将64K和128K下的RULER提高了几个点[25]。后续工作只改变写入目标,改为下一位置的隐藏状态[60]或长窗口教师的隐藏状态[149],或者使更新以查询为条件[150]。
其他路线直接在上下文上训练适配器。PERK元学习一个LoRA初始化,使得在上下文块上进行少量内步骤后,模型能够在上下文不存在时回答问题;在8K上训练时,它在128K上仍保留可观的准确率,而上下文微调基线得分为零[46]。qTTT进行一次预填充,缓存键和值,然后仅针对上下文片段对查询投影更新几十步,因此缓存保持有效;在LongBench-v2和ZeroScrolls上,它比上下文解码将Qwen3-4B提高了约13–14个点,并且分析性地论证了注意力分数会随上下文长度而稀释,而查询更新可以修复这一点[15]。Latent Compaction通过蒸馏全缓存教师,为每个文档训练一个紧凑的键值缓存,然后在不同问题之间复用它[151]。同样的思想出现在提示记忆、上下文流、知识自巩固和个性化中[152–159]。
6.4 发现:在一个困难问题上训练
面向开放问题的搜索系统通常保持语言模型冻结,并演化一组候选程序。TTT-Discover针对单个目标问题的自身尝试在线更新策略[7]。其目标偏好一个卓越解而非良好的平均奖励——一种带自适应温度的熵效用——并且树搜索规则按最佳子节点复用归档状态。使用120B开放模型和LoRA适配器,它报告了在Erdős最小重叠问题和自相关不等式上的新最佳界,以及比最佳人类提交更快的GPU内核,每个问题约500美元算力;在匹配的25,600次rollout预算下,从搜索中移除测试时训练会使最佳内核显著变慢。ThetaEvolve在AlphaEvolve风格循环中加入可选的RL阶段,并使用小型开放模型,报告了来自8B模型的新的最佳已知圆填充和自相关界;在其任务中,RL在匹配步数下优于纯推理[47]。后续系统将测试时学习应用于harness优化、开放式发现、在思维空间中训练的小模型和硬件设计[160–164]。
6.5 证据现状
| 方法 | 测试时的训练数据 | 参数 | 步数 / 成本 | 主要评估 |
|---|---|---|---|---|
| ARC TTT [5] | 增强的留一法演示 | 任务特定的 LoRA | 每个任务 | ARC、BBH |
| VARC [43] | 增强的演示 | 完整 ViT | 100 个 epoch,每个任务约 70 秒 | ARC-1、ARC-2 |
| TTT-NN [21] | 50 个检索到的邻居 | 完整模型 | 每个邻居 1 步 | Pile 每字节比特数 |
| SIFT [45] | 方差选择的数据 | 完整模型或 LoRA | 50 步 | Pile 每字节比特数 |
| SLOT [44] | 提示词 | 一个隐藏状态向量 | 3–5 步 | 数学、代码、问答 |
| qTTT [15] | 上下文的片段 | 查询投影 | 一次预填充后 32 步 | LongBench-v2、ZeroScrolls |
| TTT-E2E [24] | 上下文 | 最后四分之一的 MLP、元学习初始化 | 在线,1K token 批次 | 至 128K 的损失、RULER |
| In-Place TTT [25] | 上下文 | MLP 下投影 | 每个块一次写入 | 至 256K 的 RULER |
| TTT-Discover [7] | 带有验证器奖励的自身尝试 | LoRA | 50 步 × 512 次 rollout | 数学界限、内核 |
表 5. 按训练数据与更新内容划分的 LLM 测试时训练方法。成本为各文献报告值,未经归一化;各行评估方式不同。
在考察的工作中,当测试任务携带提示词通道难以传递的信息时——新颖的少样本规则、提示词特定的分布,以及超出模型良好注意力范围的上下文——TTT 都能可靠地提供帮助 [5, 15, 21]。两类成本反复出现。每次查询的计算量会成倍上升,且内循环是有损压缩器,因此需要从上下文中精确检索某个细节的任务会受损 [24]。许多引人注目的增益来自小基准上的单次运行,因此更稳健的证据是方向在不同模型和任务上的一致性,而非单个数字。
要点
- 在测试任务自身的演示上微调,并将这些演示增强并组织为留一法回合,使 ARC 性能接近报告的人类平均水平,现已成为 ARC 求解器的标准组件。
- 在检索到或主动选择的数据上训练,或直接在上下文上训练,将推理计算转化为参数化记忆;它改善了长上下文理解,但可能丧失精确回忆能力。
- 在困难的单个问题上,以匹配的 rollout 预算,在自身尝试上更新策略在考察的研究中优于冻结模型搜索。
7 测试时强化学习
带可验证奖励的强化学习需要标注答案。测试时强化学习追问的是:推理模型能否通过自创奖励,在无标签的测试问题上取得提升。其吸引力显而易见——部署到新的问题集上,无需标签即可适应——风险同样明显:由模型自身输出导出的奖励只能强化模型已经相信的东西。
flowchart LR
R((Test-time RL)) --> A[Consensus rewards · 6, 48]
R --> B[Better pseudo-labels and rollouts · 51, 165]
R --> C[Collapse and its limits · 49, 50, 166, 167]
R --> D[External anchors · 52, 53]图 12. 第 7 章子树及代表性工作。
7.1 共识作为奖励
TTRL 对每个无标签测试问题采样多个答案,取多数答案作为伪标签,奖励与其一致的样本,并在测试集本身上运行 GRPO 多轮 [6]。在 AIME 2024 上,Qwen2.5-Math-7B 的 pass@1 从 12.9% 升至 40.2%,四个基准的平均值从 31.1% 升至 54.9%;TTRL 后的贪婪准确率与在 8.9K 标注问题上进行 RL 训练的模型相当。论文解释了为何多数投票即使错误也能成为有用的标签:针对错误多数计算的奖励仍会将许多错误样本标记为错误,因此奖励准确率高于标签准确率(在 AIME 2024 上,作者测得 7B 数学模型的标签准确率为 37%,但奖励准确率为 92%)。它还展示了上限:相对于基础模型,问题越难,增益越小,且训练对温度和轮数敏感。同样的方法迅速迁移到视觉语言模型,其中一种带熵项的软频率奖励,仅对每个基准 20 张无标签图像应用,就将 InternVL3-2B 的平均识别准确率从 62.0% 提升到 95.0% [48]。这一增益如此之大,以至于更好地理解为对每个基准标签空间和格式的适应,而非新能力,作者承认他们目前还无法区分。TTRL 的变体现在已覆盖音频问答、语音识别、GUI 接地、视频异常理解、代码、运筹学和端侧模型 [168–174]。
7.2 更好的标签与更好的 rollout
大多数后续工作保留转导协议,并改变伪标签或采样方式。SCOPE 通过推理链的平均每步置信度对每个投票加权,并针对样本子组而非一个全局多数形成伪标签,将 Qwen3-8B 的四基准平均值从 58.21(TTRL)提升到 62.20 [51]。ETTRL 用仅在高速熵 token 处分叉的树取代独立 rollout,并按响应熵重新缩放优势,在 60% 的 token 预算下达到更好的 AIME 准确率 [165]。其他变体使用熵带、分布感知奖励估计、工具验证、提示、平衡共识、共识错误时的互补学习、数据选择和多重解奖励 [175–182]。
7.3 崩溃
这一分支中最重要的结果是负面的。一项关于带可验证奖励的无监督强化学习的理论与实证研究表明,该家族的每一种内在奖励都是一种交叉熵塑形奖励,会锐化模型的初始分布:在 KL 正则化的一步最优下,多数答案的概率会几何式增长,直到策略在该答案上变得确定 [49]。在实证上,内在奖励在早期匹配或超过真实奖励,随后即便在调优最佳的配置下,也会在大约一千步后崩溃;成功与否取决于模型初始置信度与正确性的对齐程度,而非工程技巧。对单个问题答案分布的动力学分析识别出探索奖励的三种机制——低于某个阈值时只有崩溃均衡是稳定的,高于另一个阈值时只有宽泛均衡是稳定的,而在两者之间则由起点决定——并以闭式形式推导出该阈值;在自由形式的 TTRL 中,防止崩溃的奖励同时会降低 pass@1 [50]。基于检测的缓解方法监测正确答案即将从样本中消失的窗口 [166],而一项关于虚假信号的研究表明,中频答案注入了大部分噪声,固定且平衡的优势可减少其放大 [167]。
7.4 将奖励锚定在测试集之外
第二种应对方式是引入模型自身不产生的信号。测试时课程为每个目标基准或问题从大型语料库中选择具有可验证答案的相关问题,并在这些问题上运行 GRPO;多数答案从不进入奖励 [52]。Qwen3-8B 在 AIME24 上从 21.7% 提升到 50.8%,在 CodeElo 上从 13.7% 提升到 29.3%,高于同等规模的统一 RL 后训练基线,且这些增益与 TTRL 互补。TEMPO 在有标签集合上定期重新训练评论家,使用于无标签测试问题的奖励不随策略漂移,并报告在保持 pass@8 的同时,相对 PPO 基线在 AIME 上取得大幅增益 [53]。自博弈、课程合成和问题生成在无需外部标签的情况下追求同一目标 [183–185]。
7.5 证据现状
| 方法 | 奖励来源 | Rollout / 优势变化 | 协议 | 报告的失败模式 |
|---|---|---|---|---|
| TTRL [6] | 多数投票 | GRPO | 转导式、多轮次 | 对温度和回合敏感;受先验限制 |
| TTRV [48] | 软频率 + 熵 | GRPO | 每个基准 20 张图像 | 偶发性能回退 |
| SCOPE [51] | 置信度加权子组投票 | GRPO | 转导式 | 启发式步骤分割 |
| ETTRL [165] | 多数投票 | 熵分叉树、优势重缩放 | 转导式 | 高温度导致训练崩溃 |
| 虚假信号缓解 [167] | 多数投票 | 平衡集、固定 ±1 优势 | 转导式 | 在较弱基座模型上增益较小 |
| 测试时课程 [52] | 相关任务上的验证器 | GRPO、无 KL | 目标条件化 | 需要大规模可验证语料 |
| TEMPO [53] | 在标注集上重新训练的评论家 | PPO | 交替 EM | 测试时需要标注数据 |
表 6. 按奖励来源划分的测试时强化学习方法。“转导式”指适应过程在基准自身的测试问题上运行;各行结果使用不同的模型和基准。
综合来看,所考察的研究支持三项结论。当模型的多数判断通常是正确的时候,自派生奖励可以在早期带来大幅提升,而且这些提升是真实的,因为它们在基准内部具有泛化性 [6]。它们无法超越模型已经知道的内容,而且经过足够多的步骤后,它们会坍缩到初始多数判断上 [49, 50]。大多数报告的结果是转导式的——在同一批问题上训练和评估——一些基准特定的增益可能反映的是对任务格式的熟悉程度,而非推理能力 [186];将奖励锚定在相关问题上的验证器中,是摆脱这两个限制的最直接方式 [52]。
要点
- 多数投票奖励让推理模型能够在无标注测试问题上取得提升,有时可匹配监督式强化学习,因为奖励准确率超过伪标签准确率。
- 同样的奖励会锐化初始分布,并可证明地坍缩到初始多数判断上;探索奖励以坍缩为代价换取准确率。
- 锚定在测试集之外的奖励(相关任务上的验证器、定期重新拟合的评论家)是最稳健的路径;转导式评估需要谨慎对待。
8 智能体、机器人与世界模型
决策系统遇到的是一类在某个方面更难、在另一个方面更易的测试时问题。说它更难,是因为每一次错误都会改变智能体接下来看到的内容,因此一次糟糕的更新会不断累积。说它更易,是因为环境往往会提供一个信号——验证器、任务进度、下一次观测——而针对单张图像的分类器并没有这样的信号。本章涵盖从部署经验中学习的 LLM 智能体、在部署期间或紧邻部署之前进行训练的机器人和驾驶策略,以及在线调整其动力学的世界模型。
flowchart LR
R((Agents and embodied TTT)) --> A[Self-edits and synthetic data · 54, 187]
R --> B[Experience to weights · 26, 55, 188]
R --> C[Robot policies and driving · 28, 56, 57, 189]
R --> D[Memory and world models · 27, 58, 59]图 13. 第 8 章的子主题树,附代表性工作。
8.1 从经验中学习的 LLM 智能体
SEAL 让权重更新的内容本身成为模型学会生成的东西 [54]。给定一个上下文,模型写出一份自编辑——重述的事实、蕴含结论,或者对 ARC 而言是选择一组增强方法和超参数——再通过监督微调将其应用;奖励是更新后模型的下游性能,而外层循环则强化那些有帮助的自编辑。在上下文不包含原文段落的单段落知识注入任务上,SEAL 达到 47.0%,而仅用该段落训练为 33.5%,用 GPT-4.1 编写的合成数据训练为 46.3%;在 ARC 的一个小子集上,其尝试成功率为 72.5%,而没有 RL 循环时为 20%。代价是明确的:每次奖励评估都是一次耗时 30–45 秒的微调运行,而且连续的自编辑会导致灾难性遗忘。对于工具调用智能体,一个更简单的循环通过置信度边际选出不确定的测试查询,合成一个相似的带标签示例,在其上训练一个一次性 LoRA 适配器然后重置,使一个 1.5B 模型在四个基准上平均提升 5.5 个点 [187]。
长时程智能体可以基于自身的轨迹进行训练。ASCENT 仅在验证器接受一个回合后才更新一个持久化的 LoRA 适配器,并且它不是模仿采样到的动作,而是将已验证轨迹作为事后视角展示给初始模型的一个冻结副本,再蒸馏该副本完整的下一词元分布 [26]。在 ALFWorld 上,一个 4B 模型的成功率从 46.4% 升至 69.5%,且回合更短;在 WebShop 上则从 17.8% 升至 41.9%。Agentic TTT 将更新移到回合内部、每隔几步进行一次,并降低重复出现先前更新文本的词元的权重,以避免自我强化的循环;它在 ALFWorld 和 SWE-bench Lite 上带来约五个点的提升,而服务成本大约翻倍 [55]。这些设计所防范的危险已被直接测量。当一个 TTT 模型基于自身生成的文本进行更新时,该更新会改变下一个训练示例的生成器;在 128K 词元的流上,保留此类更新会提高真实文本上的损失,当生成过程固定为初始权重时该效应消失,而一个仅当更新不会损害留出的真实段落时才接受更新的准入测试则消除了大部分损害 [188]。部署时学习的基准评估智能体是否沿着任务流有所提升;其中一项发现,基于记忆的智能体在多轮环境中的收益远大于单轮推理 [190],其他基准则衡量 LLM 系统中的测试时学习能力或记忆与持续学习 [191, 192]。其范围包括反思驱动的参数化记忆、元学习的自我改进策略、面向网页智能体的测试时环境,以及通过权重更新实现的自我改进 [193–198]。
8.2 机器人策略与驾驶
首个具身TTT方法将经典配方带入视觉强化学习:策略编码器与强化学习以及逆动力学或旋转自监督任务联合训练,部署时仅靠自监督损失持续在线更新编码器,无需奖励[28]。它在其36个偏移仿真环境中的大多数上提升了性能,并将真实机器人对图案布料的推动成功率从64%提高到88%,但在辅助梯度与控制目标不一致的场景中失败,例如使用逆动力学的导航任务。视觉-语言-动作模型将环境反馈引入循环。EVOLVE-VLA用学习到的任务进度估计替代理想成功奖励,将进度对照里程碑累积以减少噪声,并在自身 rollout 上用 GRPO 训练策略,同时分阶段扩展视界(图14)[56]。在 LIBERO 仿真中,它将平均成功率从89.2%提高到95.8%,在每任务仅有一条演示的情况下从43.6%提高到61.3%。TTT-Parkour通过从短时 RGB-D 采集重建度量网格并在运行前于仿真中微调,将通用人形跑酷策略专门化到单一物理地形,在测试地形上将真实成功率从零提升到60–100%[189]。在驾驶领域,Centaur对规划器的评分解码器执行一步梯度更新,以最小化基于近期帧计算出的粗方向簇上的熵,在 NAVSIM 基准和精选的安全关键子集上有所改进,但仅在开环评估中[57]。
*图14. 基于环境反馈的视觉-语言-动作模型测试时训练
:部署的策略生成 rollout,进度估计器将每个 rollout 与最近里程碑比较并将进度累积为稠密奖励,GRPO 更新策略,探索视界在训练过程中增长(转载自原论文图2)。*
TTT 层也可充当机器人记忆。作为残差记忆的 TTT 训练快速权重,仅存储有界显式记忆库和当前观测无法解释的内容,在依赖记忆的操作基准和三个真实移动操作任务上优于显式记忆基线[59]。相关工作用 TTT 扩展机器人上下文、为机器人学习测试时记忆、用测试时强化学习或未来表征目标适配 VLA 策略,并研究轨迹预测器和离线强化学习智能体的测试时适应[199–207]。
8.3 世界模型
用于规划的世界模型在测试时动力学与训练不同时会失败。JEPA-TTT将部署流仅转化为潜在动力学预测器的训练数据:自监督潜在预测损失、每次重规划步骤执行一次优化器更新、跨回合保留状态,同时冻结编码器和奖励头[58]。在四个控制任务的八个手工构建动力学偏移上,它将冻结模型的留出得分提高一倍以上,并优于使用理想奖励的 PPO 适配,但每次仅针对一个固定偏移。对于视频世界模型,World-T3以相机位姿为键的固定大小岭回归记忆使重访场景保持连贯,达到每秒20.6帧[27]。其他工作为操作任务适配世界基础模型、在测试环境中训练世界模型,并在测试时向世界模型附加参数高效残差[208–211]。
8.4 证据现状
具身与智能体式 TTT 比其他分支更年轻,其大部分证据来自仿真或少量真实世界试验,且没有不确定性估计 [56, 58, 189]。最清晰的规律是:更新由模型外部的信号门控——验证器、进度估计、下一次观测、留出段落——而缺乏此类门控的方法在长时程上不稳定 [26, 188]。多次顺序更新导致的遗忘虽有报告,但很少被测量 [54]。
要点
- 智能体通过将经验证的经验转化为适配器更新而改进;从 hindsight 教师蒸馏以及在真实数据上的准入测试使循环保持稳定。
- 由自生成文本驱动的更新会破坏长时程 TTT 的稳定性,除非由外部信号门控。
- 具身 TTT 涵盖自监督编码器适配、基于进度估计的 RL、部署前特化以及在线世界模型学习;证据多为仿真或少量真实试验。
9 基础问题
五个问题在各分支中反复出现。每个问题都有不止一方的证据,而在每种情况下,一旦明确实验条件,部分分歧便会消解。
flowchart TB
Q1[Q1 Are TTT layers more than linear attention] --- E1[Inner loop reduces to learned feature maps · 212, 213]
Q1 --- F1[Deep memory and objectives matter · 3, 22, 37]
Q2[Q2 Compression versus recall] --- E2[Bounded state loses exact recall · 24, 29]
Q3[Q3 Do self-derived signals add knowledge] --- E3[Sharpening and collapse · 49, 188]
Q4[Q4 Why TTT helps without shift] --- E4[Specialization and ICL theory · 148, 214]
Q5[Q5 What changes for safety] --- E5[Updates as an attack surface · 215–217]图 15. 五个基础问题及每个问题所讨论的主要证据。
9.1 TTT 层是否不只是线性注意力?
命题:TTT 层的收益来自在测试时学习上下文的非线性模型,而不仅仅来自参数化更好的线性递归。
反对证据:一项 2026 年的分析证明,当内模型的最后一层为线性且无偏置时,展开内循环恰好得到一个线性注意力算子,其查询和键特征映射由内循环参数化,值由内损失梯度给出 [212]。将 LaCT 逐步归约为普通线性注意力后,在语言建模、新视角合成和 ImageNet 上几乎保留了全部质量,而将更新限制在最后一层甚至改善了这三项任务;移除权重归一化使该层可并行扫描,速度提升至多四倍。对已发布的 TTT-Linear 和 TTT-MLP 模型的剖析表明,内梯度中依赖预测的部分——即使更新具有纠错性的部分——对困惑度的贡献仅约 3%,而冻结所有快速权重更新会使困惑度增至四倍以上 [213]。
支持证据:TTT 层论文自身的消融实验显示,诸如小批量更新和内模型内部归一化等在线性注意力中没有对应物的选择带来了大幅困惑度收益 [2];在测试规模上,带有动量和窗口目标的深层记忆在长上下文检索上优于矩阵状态基线 [3, 37];在 Miras 模板内改变内损失会改变召回率和困惑度 [22]。
平衡点所在:双方测量的是不同事物。等价性适用于最后一层内层为线性的一类架构,并在大块模型上进行了测试;深层记忆的收益来自内模型深度、目标和优化器同时变化的比较。所审视的证据支持一个更窄的主张:内循环必须运行——冻结它是灾难性的——但仍未回答其非线性是否必要。在参数、数据和核效率匹配的条件下,仅改变内模型的深度和损失进行受控比较,将有助于区分这些解释。
9.2 压缩与召回
命题:固定大小的测试时记忆可以替代对完整上下文的注意力。
对于语言建模损失,答案接近肯定:TTT-E2E 与完整注意力之间的损失差距从 8K 到 128K 保持平稳,且若干 TTT 层模型和 delta-rule 模型在 1B 规模上困惑度与 Transformer 相当 [24, 29, 90]。对于特定细节的精确检索,在所有考察过的比较中答案都是否定:在 128K 下,TTT-E2E、Gated DeltaNet 和 LaCT 的针检索能力崩溃,在真实世界和长上下文召回上落后于注意力,且在一项受控研究中,对于所有有界状态模型,超过 32K 的检索都崩溃到窗口水平 [23, 24, 29, 109]。保留局部注意力并添加神经记忆的改造型混合模型在 32K 内保持了 pass-key 检索 [114],这表明实际答案是分工:注意力负责窗口内的精确查找,测试时记忆负责窗口之外的内容。因此问题不是 TTT 记忆是否压缩得好,而是哪些任务能容忍压缩。
9.3 自生成信号能增加知识吗?
命题:一个用自身生成的奖励或文本进行训练的模型,能学到它原本不知道的东西。
测试时 RL 的证据在极限情况下说不能,在实践中说“能,但只是暂时的”。内在奖励可证明地锐化初始分布,且所研究的每种配置最终都会崩溃;早期增益与模型的置信度已经与正确性对齐的程度相关 [49]。探索只能以牺牲准确性为代价来延迟崩溃 [50]。在 TTT 层和长上下文模型中,对自生成文本的更新可测量地降低了真实文本上的损失表现,而当生成器保持固定时,这种损害消失 [188]。另一方面,TTRL 的早期增益在基准内具有泛化性,且可匹配监督 RL [6],而由下游性能奖励的自编辑优于更强模型所写的数据 [54]。这些结果是相容的:自生成信号将概率质量重新分配到模型已经认为合理的答案上,当模型的多数意见大体正确时这有帮助,而一旦该质量集中则会带来损害。注入外部信息的方法——对相关问题的验证器、带标签的评判器、留出的真实文本——才是能持续改进的方法 [52, 53, 188]。
flowchart LR
M[Model weights] --> G[Generate answers or text]
G --> S[Self-derived signal: majority vote, own text]
S --> U[Weight update]
U --> M
X[External signal: verifier, related labeled tasks, held-out real text] --> A{Admission gate}
U -.-> A
A -->|accept| M图 16. 第 9.3 节背后的闭环。没有外部信号时,更新会强化当前权重已经生成的内容,这就是自生成奖励会锐化并最终崩溃的原因;能持续改进的方法会添加外部信号,或作为奖励本身,或作为每次更新的门控(示意图综合自 [49, 52, 188])。
9.4 为什么 TTT 在没有分布偏移时也有帮助?
TTT 最初是为应对分布偏移而提出的,但最近邻 TTT 却能在分布内文本上改进语言模型 [21]。已有三种理论解释被提出。泛化后的特化认为,基础模型相对于其数据中的概念而言全局欠参数化;在测试点的邻居上局部训练会暂时将容量重新分配给少数相关概念,以小模型达到极小极大稀疏恢复速率,并且即使在分布内也有帮助,而这种优势会随着模型增大而缩小 [148]。第二条研究路线分析了单层线性注意力在上下文演示上执行单步梯度的情况,推导了期望风险作为上下文长度、测试时数据以及预训练与目标任务之间对齐程度的函数,并通过实验表明,表格基础模型在采用 TTT 时所需的上下文样本可减少三到五倍 [214];一项扩展证明,TTT 使 softmax 注意力模型能够学习非线性单指标任务,且其测试时样本复杂度与环境维度无关 [218]。一种决策论视角将受限子空间中的少步 TTT 视为对提示残差的谱滤波器,因此步数起到先验强度的作用,并推导出应适应多远以及在哪些方向上进行适应 [219]。这三种理论均在简化设置中得到证明——线性注意力、线性化模型、稀疏概念空间——并在小型真实任务上得到佐证;目前尚无一种理论能够预测大型模型在标准基准上的增益幅度。
9.5 对安全性而言有何变化?
在推理时更新权重会将适应数据变为攻击面。对于经典 TTT 和 TTA,将数十个投毒样本插入测试流中——这些样本在无法访问目标模型的替代模型上构造——就会大幅降低准确率,而在所测试的方法中,采用旋转任务的 TTT 最为脆弱 [216]。对于 LLM,让对手为少量测试时 LoRA 步骤提供数据,可将七个开源模型上的攻击成功率从接近零提升至 90% 以上;甚至仅对干净提示进行自监督 TTT 也能将其提升数倍;而使用相同有害演示但不进行更新的上下文对照则保持在低水平,因此起作用的是更新而非上下文 [215]。测试时 RL 会放大流中占主导地位的任何行为,这可能使模型更安全或更有害,取决于注入的提示,也可能破坏推理准确率 [217]。同样的能力也被用于进攻性自动化红队测试 [220]。在所考察的防御方法中,没有一种既有效又廉价;第 8.1 节中的准入测试想法是一个尚未针对对抗性数据进行评估的候选方案。
要点
- 某些 TTT 层可证明是带有学习特征图的线性注意力;内循环不可或缺,但其非线性是否也不可或缺仍无定论。
- 测试时记忆在损失上与注意力相当,但在精确长程回忆上不然;混合方法分担了这项工作。
- 自衍生信号会重新分配已有信念并最终崩溃;持续增益需要外部信号。
- 理论将无偏移情况下的增益解释为欠参数化模型的局部特化,但迄今仅在简化设置中得到验证。
- 测试时更新是一个攻击面:投毒流和对抗性适应数据能够击败防护措施。
10 基准、协议与已发布资源
TTT 没有自己的基准;每个分支都继承了其母领域的基准,并添加了与数据同样重要的协议选择。表 7 列出了所审查论文中反复出现的基准,按分支分组。
| 分支 | 基准 | 测量内容 | 使用方 |
|---|---|---|---|
| 自监督 TTT | CIFAR-10-C / CIFAR-100-C、ImageNet-C | 15 种合成损坏 × 5 个严重程度下的准确率 | [1, 19, 32] |
| 自监督 TTT | CIFAR-10.1、VisDA-C | 自然偏移和模拟到真实偏移 | [13, 62] |
| 自监督 TTT | ModelNet-40C、ShapeNet-C | 点云损坏 | [35] |
| 在线 TTT | COCO Videos、KITTI-STEP | 长视频流上的分割 | [20] |
| TTT 层 | WikiText / LAMBADA 困惑度、常识套件 | 0.1–3B 规模的语言建模 | [3, 29, 37] |
| TTT 层 | RULER S-NIAH、BABILong、MQAR | 长上下文和关联召回 | [3, 18, 22] |
| TTT 层(视觉、3D) | ImageNet-1K;Objaverse→GSO、DL3DV | 分类;新视角合成 | [23, 41, 93] |
| LLM TTT | ARC-AGI-1 / -2、BIG-Bench Hard | 少样本规则归纳 | [5, 43] |
| LLM TTT | the Pile(每字节比特数) | 提示特定的语言建模 | [21, 45] |
| LLM TTT | LongBench-v2、ZeroScrolls、RULER | 长上下文理解 | [15, 25] |
| 测试时 RL | AIME 2024/ | 竞赛数学和科学推理 | [6, 51, 52] |
| 智能体 | ALFWorld、WebShop、SWE-bench Lite | 长程智能体任务 | [26, 55] |
| 智能体 | Evo-Memory | 沿任务流的改进 | [190] |
| 具身 | LIBERO;DMControl;NAVSIM | 操作;视觉控制;驾驶 | [28, 56, 57] |
表 7. 反复出现的基准。纳入规则:被至少一项 A 级或 B 级工作用作主要评估的基准。同一基准上的结果仅在匹配协议下才可比较(见下文)。
改变结果的协议选择。 有四种选择反复出现,且报告方式往往不一致。(1) 情景式与在线:在每个输入后重置还是在流中携带更新,在同一设置下可使准确率相差数十个点 [1, 20]。(2) 单遍与多遍及源访问:方法是否只看到每个测试样本一次,以及是否可以使用源统计量,定义了现实流式协议,使许多经典结果显得更弱 [13]。(3) 测试时 RL 中的转导式与归纳式适应:大多数方法在它们被评分的同一批问题上训练 [6, 167]。(4) 预算核算:TTT 收益应与匹配的推理计算进行比较,一些研究对 rollout 和 FLOPs 这样做了 [7, 131],另一些则没有。
已发布的代码和数据。 在深读工作中,原始 TTT 方法(https://
要点
- TTT 沿用各母领域的基准;鲁棒性工作集中于合成损坏,架构工作集中于困惑度和召回率,LLM 工作集中于 ARC 和长上下文套件,测试时 RL 集中于竞赛数学。
- 片段式与在线更新、源数据访问、转导式评估和计算量匹配对结果的影响足以改变结论,因此跨论文比较需要明确说明这些设置。
11 应用
应用很少发明新的 TTT 机制;不同领域之间变化的是可用的测试时目标。大多数应用文献可归为三种模式:对该领域精确成立的物理或测量一致性损失、适合领域的自监督任务,以及用作高效骨干的 TTT 层。
flowchart LR
A((Applications)) --> M[Medical imaging and clinical data · 65, 222–224]
A --> S[Speech and audio · 64, 225, 226]
A --> T[Time series and forecasting · 227, 228]
A --> G[Graphs and recommendation · 63, 229, 230]
A --> C[Science and engineering · 221, 231, 232]图 17. 应用领域及代表性工作。
医学成像与临床数据。 成像逆问题具有精确的测试时信号:重建结果必须与采集到的测量一致。用于压缩感知 MRI 的 TTT 将网络拟合到该测量一致性损失,并弥合了自然分布偏移造成的大部分质量差距 [65]。MotionTTT 将同一原理应用于运动校正:使用仅在无运动数据上训练并冻结的重建网络,它只优化每次采集的刚性运动参数以最小化数据不一致性,在模拟中跨不同严重程度匹配已知运动的 oracle,且运行速度约为交替优化的六倍;一个定理保证在简化信号模型中真实运动处存在全局最小值 [222]。其他医学应用包括图像配准、PET 去噪、4D 插值、多模态融合、交互式肿瘤分割、EEG 基础模型、临床时间序列与通气预测,以及 TTT 层分割骨干 [223, 224, 233–239]。
语音与音频。 梅尔频谱图 MAE 为语音提供了自监督任务,而仅偏置更新使 TTT 在噪声和说话人偏移下对说话人识别和情感识别保持稳定 [64]。实例特定 TTT 已被应用于语音增强、语音编辑、丢包隐藏以及使用 Titans 风格记忆的语音情感识别 [225, 226, 240, 241],测试时 RL 则被应用于音频问答和语音识别(第 7 章)。
时间序列。 将预测模型的 Mamba 模块替换为 TTT 模块后,在标准长期预测基准上总体几乎持平,在 MSE 单元中赢下一半,增益集中在较大的多通道数据集和较长的回看窗口上 [227]。应用包括自适应预测、雷达回波外推,以及一项审计——该审计表明延迟标签会改变应如何评估用于预测的 TTA [228, 242, 243]。
图、推荐与信息系统。 除图分类(第 4.4 节)之外,TTT 已被用于图异常检测、时序知识图谱推理、LLM 辅助的图适配、信息扩散预测和假新闻检测 [244–248]。在推荐中,它适应用户兴趣漂移,同时采用自监督更新和 TTT 层 [229, 230, 249, 250]。
科学与工程。 一项关于在单个评分任务上对化学语言模型进行 RL 微调的研究——被框定为 TTT——发现,将固定的分子预算花在许多独立智能体上,胜过花在一次更长的运行上,使基准的重新发现分数总和大约翻倍(在总分子数同为 1.28M 时,3.52 对 1.70)[221]。TTT 也已被应用于潮流代理模型、机器学习力场、蛋白质适应度、质谱预测、电池健康、地球物理反演、地球观测和含噪量子电路 [231, 232, 251–256]。
要点
- 具有精确一致性信号的领域(成像逆问题、物理约束)为 TTT 带来了最干净的胜利。
- 在其他地方,应用移植了一个自监督任务或一个 TTT 层主干;证据大多是单篇论文且针对特定基准。
12 未来方向
以下开放问题源自前几章中的证据。每个问题都指出了暴露它的证据、指向它的早期工作,以及一个能减少不确定性的检验。它们是作者的推断,而非文献中的结果。
flowchart LR
G[Gate every update with external evidence] --> S[Safe and stable deployment-time learning]
N[Isolate what the inner loop's nonlinearity buys] --> A[Architectures]
H[Hybrid memory with explicit division of labour] --> A
B[Compute-matched accounting against test-time scaling] --> E[Evaluation]
P[Persistent learning without forgetting] --> S
T[Theory beyond linear and convex settings] --> E图 18. 按它们将改进的内容分组的开放问题。
1. 测试时更新的准入控制。 自生成反馈会削弱长时程 TTT,测试时 RL 会坍缩到初始多数,而对抗性适配数据会击穿防护措施 [49, 188, 215]。早期的答案是通过验证器或通过留出的真实文本测试来门控更新 [26, 188]。一个有价值的检验是一个共享基准,在其中对同一准入规则同时针对良性的自生成漂移和对抗性适配数据进行评估。
2. 内环的非线性带来了什么。 线性注意力等价性和深度记忆增益都在不同条件下得到支持(第 9.1 节)[3, 37, 212]。一项匹配研究——在固定参数、数据、块大小和核效率的情况下,仅改变内模型深度和内损失,并同时评估困惑度和精确召回——将解决大部分争议。
3. 混合记忆作为设计原则。 测试时记忆在损失上与注意力相当,但失去精确召回;改造后的混合体保留了召回 [24, 114]。开放问题是如何在窗口注意力和快速权重之间分配容量,以及如何逐 token 决定应由哪一个来存储它;只写入显式记忆未解释的残差的层是一种早期方法 [59]。
4. 与测试时扩展的计算量匹配比较。 TTT 与采样、搜索和更长上下文在同一推理预算下竞争。一些研究匹配了 rollout 或 FLOPs [7, 131],许多则没有。将增益报告为推理 FLOPs 和 wall-clock 的函数,并与同一预算下最佳的非更新用法相比较,将使该领域的核心主张——梯度步骤是对推理计算的良好利用——可在不同论文之间被检验。
5. 无遗忘的持续学习。 大多数 LLM 和智能体 TTT 方法会为每个任务或回合重置适配器;持续变体报告了在序列更新下的遗忘 [54],而在线经典 TTT 依赖于时间平滑性 [20]。沿着长部署流测量对早期能力的保持——正如一些智能体基准开始做的那样 [190]——是 TTT 能够积累而非仅适应的前提。
6. 与实践规模相匹配的理论。 当前理论解释了线性注意力、稀疏概念模型和线性化网络的增益 [148, 214, 219]。从可测量量(例如梯度对齐,如原始 TTT 分析中那样 [1])出发,预测 TTT 何时会在给定输入上帮助大模型以及帮助多大,仍然悬而未决;一个检验是这种预测器能否选择在哪些输入上进行适应,正如一种智能体方法以置信边际启发式地做的那样 [187]。
13 结论
测试时训练最初是图像分类器从单张损坏的测试图像中学习的一种方式,如今已成为机器学习中一种常见结构:一个在测试时数据上定义的内层学习问题,在推理期间求解,并由训练期间的外层循环塑造。按内层循环学习什么以及从何种信号学习来组织该领域,使各分支具有可比性。自监督 TTT 在辅助梯度与主任务对齐时有效。TTT 层将序列模型的状态转变为在线回归器,并从加性线性注意力稳步改进到门控 delta 规则、深度神经记忆和精确求解器,在损失上匹配注意力,但在精确长程回忆上不匹配。语言模型从在测试任务的演示、检索数据或自身上下文上进行微调而获益,代价是可观的推理成本。使用自衍生奖励的测试时强化学习会产生很大的早期增益,但这些增益受模型先验的限制,并随着持续训练而崩溃。智能体和机器人从部署经验中学习时,最可靠的方式是外部信号对每次更新进行门控。
跨分支反复出现同样的教训:内层循环必须具有携带模型所缺乏信息的信号,仅由模型自身输出驱动的更新会重新分配而非增加知识,而在推理时改变权重的能力也是一种攻击面。开放问题——更新的准入控制、分离非线性内层学习的贡献、混合记忆、计算量匹配的评估、持续学习和实践规模的理论——正是该领域核心主张——在测试时学习是对推理计算的良好利用——将受到检验的地方。
附录:范围与证据边界
检索。 该库是 arXiv 论文的索引。候选文献于 2026 年 11 月 4 日通过四条途径收集;对于语义途径,检索范围限于 cs、stat 和 eess 档案:一条关键词途径,在标题和摘要中检索测试时训练及其变体(488 篇论文);三条语义途径,分别针对经典 TTT、TTT 层与测试时记忆,以及 LLM 的测试时训练与强化学习(在深度为 3,000 的排序中分别取前 2,000、1,500 和 1,500,经检查尾部页面后选定);以及 7 篇按标题解析的锚点论文。它们的并集包含 4,820 篇论文。
筛选。 一个经过校准的模型评判器按照宽泛的纳入标准(在测试时通过权重或快速权重更新进行学习,包括完全测试时适应)对并集进行筛选,保留 1,086 篇论文。第二次筛选采用本综述的窄标准,排除通过熵、伪标签、归一化统计量或师生一致性进行的完全测试时适应,保留 587 篇。对摘要提及测试时训练、测试时记忆或快速权重的被拒论文进行审计,恢复了 18 篇论文,包括 Titans、Miras、Gated DeltaNet、并行 DeltaNet 算法、SEAL、PAD 和 TTT3R,最终形成 605 篇论文的语料库。约五篇在第一次筛选中被拒的标题级 TTT 论文被判定为边缘案例,未予恢复。
阅读深度。 94 篇论文(25 篇 A 级、69 篇 B 级)通过逐篇证据简报按章节层面阅读;阅读来源记录每篇论文所检查的章节。所有其他引用作品均为 C 级,按其摘要所述内容引用;关于自我改进测试时智能的综述还直接阅读了其引言和测试时学习部分的一部分,以定位本综述。参考文献包含 256 部作品:94 部按章节层面、162 部按摘要层面。A 级和 B 级作品承载了正文中所有的机制描述和数字。
薄弱环节与局限。 具身 TTT 的证据最为薄弱(多为模拟或少量真实试验),应用方面(每个领域多为单篇论文)和安全方面(少数几项研究)也是如此。大多数数字是作者在其自身协议下报告的単次运行结果;除非文本说明条件匹配,跨论文比较均为定性比较。该库的 arXiv 覆盖范围意味着仅在没有 arXiv 版本的场所发表的作品可能缺失。
References
[1] Yu Sun, Xiaolong Wang, Zhuang Liu, John Miller, Alexei A. Efros, Moritz Hardt. Test-Time Training with Self-Supervision for Generalization under Distribution Shifts. 2019. arXiv preprint. arXiv:1909.13231
[2] Yu Sun, Xinhao Li, Karan Dalal, et al.. Learning to (Learn at Test Time): RNNs with Expressive Hidden States. 2024. ICML 2025. arXiv:2407.04620
[3] Ali Behrouz and Peilin Zhong and Vahab Mirrokni. Titans: Learning to Memorize at Test Time. 2024. NeurIPS 2025. arXiv:2501.00663
[4] Karan Dalal, Daniel Koceja, Gashon Hussein, et al.. One-Minute Video Generation with Test-Time Training. 2025. CVPR 2025. arXiv:2504.05298
[5] Ekin Aky"urek, Mehul Damani, Adam Zweiger, et al.. The Surprising Effectiveness of Test-Time Training for Few-Shot Learning. 2024. arXiv preprint. arXiv:2411.07279
[6] Yuxin Zuo, Kaiyan Zhang, Li Sheng, et al.. TTRL: Test-Time Reinforcement Learning. 2025. NeurIPS 2025. arXiv:2504.16084
[7] Mert Yuksekgonul, Daniel Koceja, Xinhao Li, et al.. Learning to Discover at Test Time. 2026. arXiv preprint. arXiv:2601.16175
[8] Dequan Wang, Evan Shelhamer, Shaoteng Liu, Bruno Olshausen, Trevor Darrell. Tent: Fully Test-time Adaptation by Entropy Minimization. 2020. arXiv preprint. arXiv:2006.10726
[9] Jian Liang and Ran He and Tieniu Tan. A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts. 2023. IJCV 2025. doi:
[10] Zehao Xiao, Cees G. M. Snoek. Beyond Model Adaptation at Test Time: A Survey. 2024. arXiv preprint. arXiv:2411.03687
[11] Zixin Wang, Yadan Luo, Liang Zheng, Zhuoxiao Chen, Sen Wang, Zi Huang. In Search of Lost Online Test-time Adaptation: A Survey. 2023. IJCV 2025. arXiv:2310.20199
[12] Qiyuan Zhang, Fuyuan Lyu, Zexu Sun, et al.. A Survey on Test-Time Scaling in Large Language Models: What, How, Where, and How Well?. 2025. arXiv preprint. arXiv:2503.24235
[13] Yongyi Su, Xun Xu, Tianrui Li, Kui Jia. Revisiting Realistic Test-Time Training: Sequential Inference and Adaptation by Anchored Clustering Regularized Self-Training. 2023. IEEE TPAMI 2024. arXiv:2303.10856
[14] Chen Tao, Li Shen, Soumik Mondal. Meta-TTT: A Meta-learning Minimax Framework For Test-Time Training. 2024. ICMLA 2025. arXiv:2410.01709
[15] Rachit Bansal, Aston Zhang, Rishabh Tiwari, et al.. Let's (not) just put things in Context: Test-Time Training for Long-Context LLMs. 2025. ICLR 2026. arXiv:2512.13898
[16] Shuaicheng Niu, Guohao Chen, Yaofo Chen, et al.. A Survey on Self-Improving Test-Time Intelligence: Feedback-Driven Adapting, Learning, and Scaling at Inference. 2026. arXiv preprint. doi:
[17] Imanol Schlag, Kazuki Irie, J"urgen Schmidhuber. Linear Transformers Are Secretly Fast Weight Programmers. 2021. arXiv preprint. arXiv:2102.11174
[18] Ke Alexander Wang, Jiaxin Shi, Emily B. Fox. Test-time regression: a unifying framework for designing sequence models with associative memory. 2025. arXiv preprint. arXiv:2501.12352
[19] Yossi Gandelsman, Yu Sun, Xinlei Chen, Alexei A. Efros. Test-Time Training with Masked Autoencoders. 2022. NeurIPS 2022. arXiv:2209.07522
[20] Renhao Wang, Yu Sun, Arnuv Tandon, et al.. Test-Time Training on Video Streams. 2023. JMLR 2025. arXiv:2307.05014
[21] Moritz Hardt and Yu Sun. Test-Time Training on Nearest Neighbors for Large Language Models. 2023. ICLR 2024. arXiv:2305.18466
[22] Ali Behrouz and Meisam Razaviyayn and Peilin Zhong, and Vahab Mirrokni. It's All Connected: A Journey Through Test-Time Memorization, Attentional Bias, Retention, and Online Optimization. 2025. ICLR 2026. arXiv:2504.13173
[23] Tianyuan Zhang, Sai Bi, Yicong Hong, et al.. Test-Time Training Done Right. 2025. ICLR 2026. arXiv:2505.23884
[24] Arnuv Tandon, Karan Dalal, Xinhao Li, et al.. End-to-End Test-Time Training for Long Context. 2025. arXiv preprint. arXiv:2512.23675
[25] Guhao Feng, Shengjie Luo, Kai Hua, et al.. In-Place Test-Time Training. 2026. ICLR 2026. arXiv:2604.06169
[26] Haodong Lu, Dong Gong. ASCENT: Online Test-Time Training of Long-Horizon Agents via Self-Distillation of Verified Experience. 2026. arXiv preprint. arXiv:2610.05303
[27] Junyi Wu, Zekun Li, Chenhongyi Yang, et al.. World-T3: Test-Time Training as Persistent Memory for Real-Time Video World Models. 2026. arXiv preprint. arXiv:2610.17434
[28] Nicklas Hansen, Rishabh Jangir, Yu Sun, et al.. Self-Supervised Policy Adaptation during Deployment. 2020. ICLR 2021. arXiv:2007.04309
[29] Songlin Yang, Jan Kautz, Ali Hatamizadeh. Gated Delta Networks: Improving Mamba2 with Delta Rule. 2024. ICLR 2025. arXiv:2412.06464
[30] Parsa Omidi, Xingshuai Huang, Axel Laborieux, Bahareh Nikpour, Tianyu Shi, and Armaghan Eshaghi. Memory-Augmented Transformers: A Systematic Review from Neuroscience Principles to Enhanced Model Architectures. 2025. arXiv preprint. arXiv:2508.10824
[31] Kazuki Irie and Samuel J. Gershman. Fast weight programming and linear transformers: from machine learning to neurobiology. 2025. TMLR 2026. arXiv:2508.08435
[32] Gustavo A. Vargas Hakim and David Osowiechi and Mehrdad Noori and Milad Cheraghalikhani and Ismail Ben Ayed and Christian Desrosiers. ClusT3: Information Invariant Test-Time Training. 2023. ICCV 2023. arXiv:2310.12345
[33] Alexander Bartler, Andre B"uhler, Felix Wiewel, Mario D"obler and Bin Yang. MT3: Meta Test-Time Training for Self-Supervised Test-Time Adaption. 2021. AISTATS 2022. arXiv:2103.16201
[34] Ferran Alet, Maria Bauza, Kenji Kawaguchi, Nurullah Giray Kuru, Tomas Lozano-Perez, Leslie Pack Kaelbling. Tailoring: encoding inductive biases by optimizing unsupervised objectives at prediction time. 2020. NeurIPS 2021. arXiv:2009.10623
[35] M. Jehanzeb Mirza, Inkyu Shin, Wei Lin, et al.. MATE: Masked Autoencoders are Online 3D Test-Time Learners. 2022. ICCV 2023. arXiv:2211.11432
[36] Bo Liu, Rui Wang, Lemeng Wu, Yihao Feng, Peter Stone, Qiang Liu. Longhorn: State Space Models are Amortized Online Learners. 2024. ICLR 2025. arXiv:2407.14207
[37] Ali Behrouz and Zeman Li and Praneeth Kacham and Majid Daliri and Yuan Deng and Peilin Zhong and Meisam Razaviyayn and Vahab Mirrokni. ATLAS: Learning to Optimally Memorize the Context at Test Time. 2025. arXiv preprint. arXiv:2505.23735
[38] Ali Behrouz and Meisam Razaviyayn and Peilin Zhong and Vahab Mirrokni. Nested Learning: The Illusion of Deep Learning Architectures. 2025. NeurIPS 2025. arXiv:2512.24695
[39] Zeman Li, Ali Behrouz, Yuan Deng, et al.. TNT: Improving Chunkwise Training for Test-Time Memorization. 2025. ICLR 2026. arXiv:2511.07343
[40] Noel Loo, Neehal Tumma, T. Konstantin Rusch, Mathias Lechner, Alexander Amini, Daniela Rus. ParaTTT: Parallelizing Test-Time Training Layers with Deep Memories. 2026. arXiv preprint. arXiv:2610.38255
[41] Dongchen Han, Yining Li, Tianyu Li, et al.. ViT: Unlocking Test-Time Training in Vision. 2025. CVPR 2026. arXiv:2512.01643
[42] Xingyu Chen, Yue Chen, Yuliang Xiu, Andreas Geiger, Anpei Chen. TTT3R: 3D Reconstruction as Test-Time Training. 2025. ICLR 2026. arXiv:2509.26645
[43] Keya Hu, Ali Cy, Linlu Qiu, et al.. ARC Is a Vision Problem!. 2025. CVPR 2026. arXiv:2511.14761
[44] Yang Hu, Xingyu Zhang, Xueji Fang, et al.. SLOT: Sample-specific Language Model Optimization at Test-time. 2025. arXiv preprint. arXiv:2505.12392
[45] Jonas H"ubotter, Sascha Bongni, Ido Hakimi, Andreas Krause. Efficiently Learning at Test-Time: Active Fine-Tuning of LLMs. 2024. ICLR 2025. arXiv:2410.08020
[46] Zeming Chen, Angelika Romanou, Gail Weiss, Antoine Bosselut. PERK: Long-Context Reasoning as Test-Time Learning. 2025. ICLR 2026. arXiv:2507.06415
[47] Yiping Wang, Shao-Rong Su, Zhiyuan Zeng, et al.. ThetaEvolve: Test-time Learning on Open Problems. 2025. arXiv preprint. arXiv:2511.23473
[48] Akshit Singh, Shyam Marjit, Wei Lin, et al.. TTRV: Test-Time Reinforcement Learning for Vision Language Models. 2025. CVPR 2026. arXiv:2510.06783
[49] Bingxiang He, Yuxin Zuo, Zeyuan Liu, et al.. How Far Can Unsupervised RLVR Scale LLM Training?. 2026. ICLR 2026. arXiv:2603.08660
[50] Jaeho Hwang, Uiwon Hwang. When Does Exploration Prevent Collapse? Three Regimes and the Path of the Reward in Self-Consistency Training. 2026. arXiv preprint. arXiv:2611.01307
[51] Weiqin Wang, Yile Wang, Kehao Chen, Hui Huang. Beyond Majority Voting: Towards Fine-grained and More Reliable Reward Signal for Test-Time Reinforcement Learning. 2025. ACL 2026. arXiv:2512.15146
[52] Jonas H"ubotter, Leander Diaz-Bone, Ido Hakimi, Andreas Krause, Moritz Hardt. Learning on the Job: Test-Time Curricula for Targeted Reinforcement Learning. 2025. arXiv preprint. arXiv:2510.04786
[53] Qingyang Zhang, Xinke Kong, Haitao Wu, et al.. TEMPO: Scaling Test-time Training for Large Reasoning Models. 2026. arXiv preprint. arXiv:2604.19295
[54] Adam Zweiger, Jyothish Pari, Han Guo, Ekin Aky"urek, Yoon Kim, Pulkit Agrawal. Self-Adapting Language Models. 2025. NeurIPS 2025. arXiv:2506.10943
[55] Yanbo Wang, Jinhua Hao, Yuze Shi, Kun Yuan, Ming Sun. No Time Like the Present: Agentic Test-Time Training for LLM Agents. 2026. arXiv preprint. arXiv:2607.03441
[56] Zechen Bai, Chen Gao, Mike Zheng Shou. EVOLVE-VLA: Test-Time Training from Environment Feedback for Vision-Language-Action Models. 2025. arXiv preprint. arXiv:2512.14666
[57] Chonghao Sima, Kashyap Chitta, Zhiding Yu, et al.. Centaur: Robust End-to-End Autonomous Driving with Test-Time Training. 2025. arXiv preprint. arXiv:2503.11650
[58] Zheyuan Zhang, Suyu Ye, Nakul Agarwal, et al.. JEPA-TTT: Persistent Test-Time Training of Latent World Models for Planning under Dynamics Shifts. 2026. arXiv preprint. arXiv:2610.00722
[59] Haoxuan Wang, Gengyu Zhang, Ramana Rao Kompella, Gaowen Liu, Yan Yan. Test-Time Training as Residual Memory for Robot Policies. 2026. arXiv preprint. arXiv:2610.04701
[60] Xuan Ouyang, Zefan Cai, Junjie Hu. Test-Time Training with Next-Token Prediction. 2026. arXiv preprint. arXiv:2606.21803
[61] David Osowiechi, Gustavo A. Vargas Hakim, Mehrdad Noori, Milad Cheraghalikhani, Ismail Ben Ayed, Christian Desrosiers. TTTFlow: Unsupervised Test-Time Training with Normalizing Flow. 2022. WACV 2023. arXiv:2210.11389
[62] David Osowiechi and Gustavo A. Vargas Hakim and Mehrdad Noori and Milad Cheraghalikhani and Ali Bahri and Moslem Yazdanpanah and Ismail Ben Ayed and Christian Desrosiers. NC-TTT: A Noise Contrastive Approach for Test-Time Training. 2024. arXiv preprint. arXiv:2404.08392
[63] Yiqi Wang, Chaozhuo Li, Wei Jin, et al.. Test-Time Training for Graph Neural Networks. 2022. DASFAA 2025. arXiv:2210.08813
[64] Sri Harsha Dumpala and Chandramouli Sastry and Sageev Oore. Test-Time Training for Speech. 2023. arXiv preprint. arXiv:2309.10930
[65] Mohammad Zalbagi Darestani, Jiayu Liu, and Reinhard Heckel. Test-Time Training Can Close the Natural Distribution Shift Performance Gap in Deep Learning Based Compressed Sensing. 2022. arXiv preprint. arXiv:2204.07204
[66] Marco Colussi, Sergio Mascetti, Jose Dolz, Christian Desrosiers. ReC-TTT: Contrastive Feature Reconstruction for Test-Time Training. 2024. WACV 2025. arXiv:2411.17869
[67] Nikita Durasov, Assaf Shocher, Doruk Oner, Gal Chechik, Alexei A. Efros, Pascal Fua. IT: Idempotent Test-Time Training. 2024. ICML 2025. arXiv:2410.04201
[68] Bochao Zhang, Rui Shao, Jingda Du, PC Yuen. Mixup for Test-Time Training. 2022. arXiv preprint. arXiv:2210.01640
[69] Aneeshan Sain, Ayan Kumar Bhunia, Vaishnav Potlapalli, Pinaki Nath Chowdhury, Tao Xiang, Yi-Zhe Song. Sketch3T: Test-Time Training for Zero-Shot SBIR. 2022. CVPR 2022. arXiv:2203.14691
[70] Soumava Paul, Titir Dutta, Aheli Saha, Abhishek Samanta, Soma Biswas. Test-time Training for Data-efficient UCDR. 2022. arXiv preprint. arXiv:2208.09198
[71] Yunlong Zhang and Yuxuan Sun and Sunyi Zheng and Zhongyi Shui and Chenglu Zhu and Lin Yang. Test-Time Training for Semantic Segmentation with Output Contrastive Loss. 2023. arXiv preprint. arXiv:2311.07877
[72] Weihuang Liu, Xi Shen, Haolun Li, et al.. Depth-aware Test-Time Training for Zero-shot Video Object Segmentation. 2024. CVPR 2024. arXiv:2403.04258
[73] Lisa Weijler and Muhammad Jehanzeb Mirza and Leon Sick and Can Ekkazan and Pedro Hermosilla. TTT-KD: Test-Time Training for 3D Semantic Segmentation through Knowledge Distillation from Foundation Models. 2024. 3DV 2025. arXiv:2403.11691
[74] Weihuang Liu, Xi Shen, Chi-Man Pun, Xiaodong Cun. ForgeryTTT: Zero-Shot Image Manipulation Localization with Test-Time Training. 2024. arXiv preprint. arXiv:2410.04032
[75] Wenhao Gu, Li Gu, Ziqiang Wang, Ching Yee Suen, Yang Wang. DocTTT: Test-Time Training for Handwritten Document Recognition Using Meta-Auxiliary Learning. 2025. WACV 2025. arXiv:2501.12898
[76] Hannuo Zhang, Zhixiang Chi, Yang Wang, Xinxin Zuo. MVS-TTA: Test-Time Adaptation for Multi-View Stereo via Meta-Auxiliary Learning. 2025. arXiv preprint. arXiv:2511.18120
[77] Ahmed Hatem, Yiming Qian, Yang Wang. Point-TTA: Test-Time Adaptation for Point Cloud Registration Using Multitask Meta-Auxiliary Learning. 2023. ICCV 2023. arXiv:2308.16481
[78] Gabriele Valvano, Andrea Leo, Sotirios A. Tsaftaris. Re-using Adversarial Mask Discriminators for Test-time Training under Distribution Shifts. 2021. Journal of Machine Learning for Biomedical Imaging (MELBA), 2022. doi:
[79] Samuel Barbeau, Pedram Fekri, David Osowiechi, et al.. CTA: Cross-Task Alignment for Better Test Time Training. 2025. arXiv preprint. arXiv:2507.05221
[80] Wooseong Jeong, Jegyeong Cho, Youngho Yoon, Kuk-Jin Yoon. Synchronizing Task Behavior: Aligning Multiple Tasks during Test-Time Training. 2025. ICCV 2025. arXiv:2507.07778
[81] Houcheng Su, Mengzhu Wang, Jiao Li, Bingli Wang, Daixian Liu, Zeheng Wang. Open-World Test-Time Training: Self-Training with Contrast Learning. 2024. arXiv preprint. arXiv:2409.09591
[82] Qiongjie Cui, Huaijiang Sun, Jianfeng Lu, Bin Li, Weiqing Li. Meta-Auxiliary Learning for Adaptive Human Pose Prediction. 2023. AAAI 2023. arXiv:2304.06411
[83] Jonathan Swinnen, Tinne Tuytelaars. Remembering by Reconstructing: Domain Incremental Learning With Test-Time Training on Video Streams. 2026. arXiv preprint. arXiv:2605.31108
[84] Rajat Modi, Sebastian Noel, Xin Liang, Yogesh Singh Rawat. Forget, Anticipate and Adapt: Test Time Training for Long Videos. 2026. ECCV 2026. arXiv:2606.26515
[85] Jiaming Liu, Ran Xu, Senqiao Yang, et al.. Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation. 2023. CVPR 2024. arXiv:2312.12480
[86] Guixian Xu, Jinglai Li, Junqi Tang. Equivariant Test-Time Training with Operator Sketching for Imaging Inverse Problems. 2024. arXiv preprint. arXiv:2411.05771
[87] Edward P. Chandler, Shirin Shoushtari, Jiaming Liu, M. Salman Asif, and Ulugbek S. Kamilov. Overcoming Distribution Shifts in Plug-and-Play Methods with Test-Time Training. 2024. CAMSAP 2023. doi:
[88] Songlin Yang, Bailin Wang, Yu Zhang, Yikang Shen, Yoon Kim. Parallelizing Linear Transformers with the Delta Rule over Sequence Length. 2024. NeurIPS 2024. arXiv:2406.06484
[89] Mahdi Karami, Razvan Pascanu, Vahab Mirrokni. Lattice: Learning to Efficiently Compress the Memory. 2025. arXiv preprint. arXiv:2504.05646
[90] Johannes von Oswald, Nino Scherrer, Seijin Kobayashi, et al.. MesaNet: Sequence Modeling by Locally Optimal Test-Time Training. 2025. ICLR 2026. arXiv:2506.05233
[91] Liangzu Peng, Aditya Chattopadhyay, Luca Zancato, Elvis Nunez, Wei Xia, Stefano Soatto. Gated KalmaNet: A Fading Memory Layer Through Test-Time Ridge Regression. 2025. CVPR 2026. arXiv:2511.21016
[92] Zeyun Zhong, Joya Chen, Manuel Martin, Frederik Diederichs, Juergen Gall, Juergen Beyerer. Rethinking Expressivity and Efficiency in Test-Time Training. 2026. arXiv preprint. arXiv:2608.21308
[93] Chen Wang, Hao Tan, Wang Yifan, et al.. tttLRM: Test-Time Training for Long Context and Autoregressive 3D Reconstruction. 2026. CVPR 2026. arXiv:2602.20160
[94] Imanol Schlag, Tsendsuren Munkhdalai, J"urgen Schmidhuber. Learning Associative Inference Using Fast Weight Memory. 2020. ICLR 2021. arXiv:2011.07831
[95] Kazuki Irie, Imanol Schlag, R'obert Csord'as, J"urgen Schmidhuber. Going Beyond Linear Transformers with Recurrent Fast Weight Programmers. 2021. NeurIPS 2021. arXiv:2106.06295
[96] Kevin Clark, Kelvin Guu, Ming-Wei Chang, Panupong Pasupat, Geoffrey Hinton, Mohammad Norouzi. Meta-Learning Fast Weight Language Models. 2022. EMNLP 2022. arXiv:2212.02475
[97] Julien Siems, Timur Carstensen, Arber Zela, Frank Hutter, Massimiliano Pontil, Riccardo Grazzi. DeltaProduct: Improving State-Tracking in Linear RNNs via Householder Products. 2025. arXiv preprint. arXiv:2502.10297
[98] Ali Hatamizadeh, Yejin Choi and Jan Kautz. Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention. 2026. arXiv preprint. arXiv:2605.22791
[99] Jiaxi Hu, Yongqi Pan, Jusen Du, et al.. Comba: Improving Bilinear RNNs with Closed-loop Control. 2025. arXiv preprint. arXiv:2506.02475
[100] Neehal Tumma, Noel Loo, Daniela Rus. Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences. 2026. arXiv preprint. arXiv:2604.21100
[101] Jiaxuan Zou, Ruifeng Ren, Yong Liu. Kaczmarz Linear Attention. 2026. arXiv preprint. arXiv:2605.08587
[102] Gavriel Di Nepi, Federico Siciliano, Fabrizio Silvestri. Titans Revisited: A Lightweight Reimplementation and Critical Analysis of a Test-Time Memory Model. 2025. arXiv preprint. arXiv:2510.09551
[103] Mahdi Karami, Ali Behrouz, Praneeth Kacham, Vahab Mirrokni. Trellis: Learning to Compress Key-Value Memory in Attention Models. 2025. arXiv preprint. arXiv:2512.23852
[104] Yuri Kuratov, Matvey Kairov, Aydar Bulatov, Ivan Rodkin, Mikhail Burtsev. GradMem: Learning to Write Context into Memory with Test-Time Gradient Descent. 2026. arXiv preprint. arXiv:2603.13875
[105] Lingrui Mei, Shenghua Liu, Yiwei Wang, et al.. Gated Differentiable Working Memory for Long-Context Language Modeling. 2026. ACL 2026. arXiv:2601.12906
[106] Tianyu Zhao and Llion Jones. Fast-weight Product Key Memory. 2026. arXiv preprint. arXiv:2601.00671
[107] Jingdi Lei, Di Zhang, Junxian Li, et al.. -mem: Efficient Online Memory for Large Language Models. 2026. arXiv preprint. arXiv:2605.12357
[108] Wonguk Cho, Kyubyung Chae, Tribhuvanesh Orekondy, et al.. MoNe: Modular Neural Memory for Efficient Long Context Inference. 2026. arXiv preprint. arXiv:2608.17616
[109] Zefan Cai, Qinzhe Hu, Ziqiao Ma, Hao Tan, Junjie Hu. Universal Test-Time Training. 2026. arXiv preprint. arXiv:2610.05484
[110] Bohao Tang, Zhen Qin, Yuqi Pan, Zheng Li, Pengfei Liu, Ya Zhang. Modular TTT: Rethinking Test-Time Training as Composable Modules. 2026. arXiv preprint. arXiv:2608.07110
[111] Jian Yang, Zhizhuo Kou, Yao Tian, et al.. RW-TTT: Batched Serving for Request-Owned Test-Time Training State. 2026. arXiv preprint. arXiv:2605.28053
[112] Bo Liu, Qiang Liu. GradLev: Token-Parallel Test-Time Training Via Costate Prediction. 2026. arXiv preprint. arXiv:2609.34174
[113] Yining Li, Dongchen Han, Jie Fu, Gao Huang. DeltaTTT: Layerwise Optimization for Nonlinear Recurrent Memory. 2026. arXiv preprint. arXiv:2610.08553
[114] Sarah Pan, Ali Behrouz. Titan-Llama: Retrofitting Pre-trained LLMs with External Neural Memory Modules. 2026. arXiv preprint. arXiv:2610.19210
[115] Jiashu Xu. Med-TTT: Vision Test-Time Training model for Medical Image Segmentation. 2024. arXiv preprint. arXiv:2410.02523
[116] Bohao Xing, Kaishen Yuan, Zitong Yu, Xin Liu, Heikki K"alvi"ainen. AU-TTT: Vision Test-Time Training model for Facial Action Unit Detection. 2025. ICME 2025. arXiv:2503.23450
[117] Xiang Zhao. Spectral-spatial vision test-time training for hyperspectral image classification. 2026. arXiv preprint. arXiv:2611.02364
[118] Sharukshan Niranjan, Oshadha Samarakoon, Nichula Wasalathilaka, Roshan Godaliyadda, Parakrama Ekanayake, Vijitha Herath. ChangeT: Evaluating Vision Test-Time Training for Remote Sensing Change Detection. 2026. arXiv preprint. arXiv:2610.15813
[119] Yining Li, Dongchen Han, Zeyu Liu, Hanyi Wang, Yulin Wang, Gao Huang. Linearizing Vision Transformer with Test-Time Training. 2026. arXiv preprint. arXiv:2605.02772
[120] Quan Kong, Yanru Xiao, Yuhao Shen, Cong Wang. Vision-TTT: Efficient and Expressive Visual Representation Learning with Test-Time Training. 2026. ECCV 2026. arXiv:2603.00518
[121] Tao Xie, Peishan Yang, Yudong Jin, et al.. Scal3R: Scalable Test-Time Training for Large-Scale 3D Reconstruction. 2026. CVPR 2026. arXiv:2604.08542
[122] Haian Jin, Rundi Wu, Tianyuan Zhang, et al.. ZipMap: Linear-Time Stateful 3D Reconstruction via Test-Time Training. 2026. CVPR 2026. arXiv:2603.04385
[123] Junyi Zhang, Charles Herrmann, Junhwa Hur, et al.. LoGeR: Long-Context Geometric Reconstruction with Hybrid Memory. 2026. arXiv preprint. arXiv:2603.03269
[124] Sven Elflein, Ruilong Li, S'ergio Agostinho, et al.. VGG-T: Offline Feed-Forward 3D Reconstruction at Scale. 2026. CVPR 2026. arXiv:2602.23361
[125] Ziqiao Ma, Xueyang Yu, Haoyu Zhen, Yuncong Yang, Joyce Chai, Chuang Gan. Fast Spatial Memory with Elastic Test-Time Training. 2026. arXiv preprint. arXiv:2604.07350
[126] Fangfu Liu, Diankun Wu, Jiawei Chi, et al.. Spatial-TTT: Streaming Visual-based Spatial Intelligence with Test-Time Training. 2026. ECCV 2026. arXiv:2603.12255
[127] Mahmoud Ahmed, Sameh Abdulah, Olatunji Ruwase, Sam Ade Jacobs, Mathis Bode, Mohamed Elhoseiny. LongVU-TTT: Causal Test-Time Training for Visual Resampling in Long Video Understanding. 2026. arXiv preprint. arXiv:2608.25729
[128] Zhuoming Liu, Jinhong Lin, Lin Zhang, Yiwu Zhong, Yin Li. Memory as Weights: Internalizing Long-Term History for Streaming Videos. 2026. arXiv preprint. arXiv:2610.22070
[129] Haonan Zhao, Jiaxuan Chen, Qingyang Liu, et al.. Memory Internalization via Test-Time Training for Long-Video Understanding. 2026. arXiv preprint. arXiv:2610.26910
[130] Jinwu Hu, Zhitian Zhang, Guohao Chen, et al.. Test-Time Learning for Large Language Models. 2025. ICML 2025. arXiv:2505.20633
[131] Amal Rannen-Triki, Jorg Bornschein, Razvan Pascanu, et al.. Revisiting Dynamic Evaluation: Online Adaptation for Large Language Models. 2024. arXiv preprint. arXiv:2403.01518
[132] Adrien Deliege and Marc Van Droogenbroeck. Pretraining and Test-Time Training Budgets Matter for ARC: A Controlled Study of VARC and TRM. 2026. arXiv preprint. arXiv:2610.13660
[133] Francois Chollet, Mike Knoop, Gregory Kamradt, Bryan Landers. ARC Prize 2024: Technical Report. 2024. arXiv preprint. arXiv:2412.04604
[134] Wallyson Lemes de Oliveira, Mekhron Bobokhonov, Matteo Caorsi, et al.. ARC-AGI-2 Technical Report. 2026. arXiv preprint. arXiv:2603.06590
[135] Jack Cole and Mohamed Osman. Don't throw the baby out with the bathwater: How and why deep learning for ARC. 2025. arXiv preprint. arXiv:2506.14276
[136] Caleb Talley, Vedant Tibrewal, Seun Adekunle, Weiwen Dong, Xinyu Wu, Fariha Sheikh. Multi-Perspective Transformers in ARC-AGI-2 Challenge. 2026. arXiv preprint. arXiv:2605.01154
[137] Adrien Deli`ege, Claas Beger, Marc Van Droogenbroeck, Melanie Mitchell. Implicit Rule Induction with Test-Time Task Embeddings in ARC-like Tasks. 2026. arXiv preprint. arXiv:2609.21181
[138] Matthew V Macfarlane, Clement Bonnet. Searching Latent Program Spaces. 2024. NeurIPS 2025. arXiv:2411.08706
[139] Matthew V. Macfarlane, Cl'ement Bonnet, Herke van Hoof, Levi H. S. Lelis. Gradient-Based Program Synthesis with Neurally Interpreted Languages. 2026. ICLR 2026. arXiv:2604.18907
[140] Zeyneb N. Kaya, Nick Rui. Test-Time Meta-Adaptation with Self-Synthesis. 2026. arXiv preprint. arXiv:2603.03524
[141] Chaehee Song, Minseok Seo, Yeeun Seong, Doyi Kim, Changick Kim. Query-Conditioned Test-Time Self-Training for Large Language Models. 2026. arXiv preprint. arXiv:2605.13369
[142] Haoyang He and Zihua Rong and Yunjia Zhao and Lan Yang and Jian Chang and Honggang Zhang. TTSR: Test-Time Self-Evolving via Reflection. 2026. arXiv preprint. arXiv:2603.03297
[143] Zhengbo Jiao, Hongyu Xian, Qinglong Wang, et al.. Policy of Thoughts: Scaling Test-Time Training for LLM Reasoning via Online Policy Evolution. 2026. arXiv preprint. arXiv:2601.20379
[144] Nikita Rajaneesh, Thomas Zollo, Richard Zemel. Test-Time Warmup for Multimodal Large Language Models. 2025. arXiv preprint. arXiv:2509.10641
[145] Jiahe Qian, Yuhao Shen, Zhangtianyi Chen, Juexiao Zhou, Peisong Wang. CoTBox-TTT: Grounding Medical VQA with Visual Chain-of-Thought Boxes During Test-time Training. 2025. arXiv preprint. arXiv:2511.12446
[146] Gege Zhang, Shuaicheng Niu, Gang Dai, Lei Sun, Shuangping Huang. Geometry-Aware Test-Time Learning for Quantitative Spatial Reasoning. 2026. arXiv preprint. arXiv:2609.06004
[147] Boyang Zhou, Johan Lindqvist, Lindsey Li. Reproducibility Report: Test-Time Training on Nearest Neighbors for Large Language Models. 2025. arXiv preprint. arXiv:2511.16691
[148] Jonas H"ubotter, Patrik Wolf, Alexander Shevchenko, Dennis J"uni, Andreas Krause, Gil Kur. Specialization after Generalization: Towards Understanding Test-Time Training in Foundation Models. 2025. ICLR 2026. arXiv:2509.24510
[149] Zixuan Wang, Xingyu Dang, Rui-Jie Zhu, et al.. Learning What to Remember: Test-Time Training via Context Distillation. 2026. arXiv preprint. arXiv:2608.01672
[150] Yue Wu, Yang Zhang, Weinan Gan, et al.. Select-TTT: Query-Conditioned Selective Fast Weight Updates for In-Place Test-Time Training. 2026. arXiv preprint. arXiv:2610.36794
[151] Yingfa Chen, Xingyu Shen, Chaojun Xiao, Xu Han. Latent Compaction with Test-Time Training. 2026. arXiv preprint. arXiv:2610.20582
[152] Junyi Zhu, Shuochen Liu, Yu Yu, et al.. FastMem: Fast Memorization of Prompt Improves Context Awareness of Large Language Models. 2024. EMNLP findings 2024. arXiv:2406.16069
[153] Dilxat Muhtar, Yelong Shen, Yaming Yang, et al.. StreamAdapter: Efficient Test Time Adaptation from Contextual Streams. 2024. arXiv preprint. arXiv:2411.09289
[154] Zekun Wang and Anant Gupta and Zihan Dong and Christopher J. MacLellan. Self-Consolidating Language Models: Continual Knowledge Incorporation from Context. 2026. arXiv preprint. arXiv:2605.07076
[155] Kiarash Zahirnia, Zahra Golpayegani, Walid Ahmed, Yang Liu. ETT: Expanding the Long Context Understanding Capability of LLMs at Test-Time. 2025. arXiv preprint. arXiv:2507.06313
[156] Xiaopeng Yuan, Zebin Wang, Suwen Wang, Zongxin Yang, Haohan Wang, Yushun Dong. EASE-TTT: Evidence-Aligned Selective Test-Time Training for Long-Context Question Answering. 2026. arXiv preprint. arXiv:2606.06906
[157] Xinyu Zhu, Zhe Xu, Xiaohan Wei, et al.. Self-Guided Test-Time Training for Long-Context LLMs. 2026. arXiv preprint. arXiv:2607.09415
[158] Bohao Wang, Xiaoyan Zhao, Yang Zhang, et al.. Using Context Is Not Enough: Test-Time Training for Personalized Reward Modeling. 2026. arXiv preprint. arXiv:2609.35109
[159] Sejun Park, Hyoungjo Bhang, Hyein Jeong, Yohan Jo. ProTTT: Learning to Learn Semantic User Memory with Test-Time Training. 2026. arXiv preprint. arXiv:2609.32564
[160] Yingzi Ma, Yulong Cao, Nanxi Li, et al.. HarnessTTT: Learn to Optimize Harness at Test-Time for Scientific Discovery. 2026. arXiv preprint. arXiv:2610.17370
[161] Tao Feng, Fangxu Yu, Zijie Lei, et al.. CURIO: Curiosity-Driven Test-Time Learning for Open-Ended Discovery. 2026. arXiv preprint. arXiv:2610.04851
[162] Chonghe Jiang, Ao Qu, Siyuan Liu, et al.. Evolving in Thought Space: Training a Small Model at Test Time Unlocks Better Discoveries. 2026. arXiv preprint. arXiv:2610.06269
[163] Gurusha Juneja, Arnav Kumar Jain, Deepak Nathani, William Yang Wang, Xin Eric Wang. Learning the ARTS of Search for Automated Discovery. 2026. arXiv preprint. arXiv:2606.21891
[164] Peilong Zhou, Zhirong Chen, Cangyuan Li, et al.. Alpha-RTL: Test-Time Training for RTL Hardware Optimization. 2026. arXiv preprint. arXiv:2606.05253
[165] Jia Liu, ChangYi He, YingQiao Lin, MingMin Yang, FeiYang Shen, ShaoGuo Liu. ETTRL: Balancing Exploration and Exploitation in LLM Test-Time Reinforcement Learning Via Entropy Mechanism. 2025. arXiv preprint. arXiv:2508.11356
[166] Hongxiang Lin and Zhirui Kuai and Erpeng Xue and Lei Wang. Detecting and Mitigating the Correct-Answer Extinction Window in Test-Time Reinforcement Learning with Majority Voting. 2026. arXiv preprint. arXiv:2605.19444
[167] Yongcan Yu, Lingxiao He, Jian Liang, et al.. Understanding and Mitigating Spurious Signal Amplification in Test-Time Reinforcement Learning for Math Reasoning. 2026. ACL findings 2026. arXiv:2604.21327
[168] Haoyu Zhang, Jiaxian Guo, Dong Yang, Yusuke Iwasawa, Yutaka Matsuo. AQA-TTRL: Self-Adaptation in Audio Question Answering with Test-Time Reinforcement Learning. 2025. Proceedings of Interspeech 2026, pp. 4603-4607. doi:
[169] Linghan Fang, Tianxin Xie and Li Liu. Boosting ASR Robustness via Test-Time Reinforcement Learning with Audio-Text Semantic Rewards. 2026. AAAI 2026. arXiv:2603.05231
[170] Yong Du, Yuchen Yan, Fei Tang, et al.. Test-Time Reinforcement Learning for GUI Grounding via Region Consistency. 2025. AAAI 2026. arXiv:2508.05615
[171] Huining Li, Yuxiang Duan, Jiyang Tan, et al.. Test-time Reinforcement Learning for Anomalous Video Understanding. 2026. arXiv preprint. arXiv:2609.26099
[172] Xikai Yang, Hieu Trung Nguyen, Dunyuan Xu, et al.. Noisy Test-Time Reinforcement Learning for Code LLMs. 2026. arXiv preprint. arXiv:2609.32172
[173] Jiajun Li, Yu Ding, Shisi Guan, Ran Hou, Wanyuan Wang. StarOR: Synergizing Tree Search and Test-Time Reinforcement Learning for Optimization Modeling. 2026. arXiv preprint. arXiv:2606.15197
[174] Peyman Hosseini, Ondrej Bohdal, Taha Ceritli, et al.. CG-TTRL: Context-Guided Test-Time Reinforcement Learning for On-Device Large Language Models. 2025. arXiv preprint. arXiv:2511.06430
[175] Jianghao Wu, Yasmeen George, Jin Ye, Yicheng Wu, Daniel F. Schmidt, Jianfei Cai. SPINE: Token-Selective Test-Time Reinforcement Learning with Entropy-Band Regularization. 2025. arXiv preprint. arXiv:2511.17938
[176] Bodong Du, Xuanqi Huang, Xiaomeng Li. Distribution-Aware Reward Estimation for Test-Time Reinforcement Learning. 2026. arXiv preprint. arXiv:2601.21804
[177] Ruotong Liao, Nikolai R"ohrich, Xiaohan Wang, et al.. Tool Verification for Test-Time Reinforcement Learning. 2026. arXiv preprint. arXiv:2603.02203
[178] Kunbin Xu, Xingzuo Li, Xuefeng Bai, Kehai Chen. Hi-TTRL: Regulating Consensus with Hints for Test-Time Reinforcement Learning. 2026. arXiv preprint. arXiv:2608.03545
[179] Ambuj Mehrish and Sebastiano Vascon. CoRE: Consensus Rewards via Equilibrium for Test-Time Reinforcement Learning. 2026. arXiv preprint. arXiv:2608.09324
[180] Dong Yan, Jian Liang, Yanbo Wang, Shuo Lu, Ran He, Tieniu Tan. What If Consensus Lies? Selective-Complementary Reinforcement Learning at Test Time. 2026. ACL 2026. arXiv:2603.19880
[181] Yi Li, Linan Yue, Weibo Gao. SelectTTRL: Representation-Guided Data Selection for Efficient Test-Time Reinforcement Learning. 2026. arXiv preprint. arXiv:2610.16104
[182] Zhixia Zhang, Binqian Xu, Huaiyang Wang, Yikun Ban, Dianbo Liu. MS-TTRL: Breaking the Frequency Conflict in Multiple-Solution Test-Time Reinforcement Learning. 2026. arXiv preprint. arXiv:2610.32234
[183] Chengyi Yang, Zhishang Xiang, Yunbo Tang, et al.. TTCS: Test-Time Curriculum Synthesis for Self-Evolving. 2026. arXiv preprint. arXiv:2601.22628
[184] Chengcao Yang. ANCORA: Learning to Question via Manifold-Anchored Self-Play for Verifiable Reasoning. 2026. arXiv preprint. arXiv:2604.27644
[185] Sikai Bai, Haoxi Li, Jie Zhang, Yongjiang Liu, Song Guo. TTVS: Boosting Self-Exploring Reinforcement Learning via Test-time Variational Synthesis. 2026. ACL findings 2026. arXiv:2604.08468
[186] Kun Wang, Reinhard Heckel. Test-time RL alignment exposes task familiarity artifacts in LLM benchmarks. 2026. arXiv preprint. arXiv:2603.12875
[187] Emre Can Acikgoz, Cheng Qian, Heng Ji, Dilek Hakkani-T"ur, Gokhan Tur. Self-Improving LLM Agents at Test-Time. 2025. arXiv preprint. arXiv:2510.07841
[188] Cheng Luo, Bing Li, Bernard Ghanem. Self-Generated Feedback Destabilizes Test-Time Training: A Causal Decomposition of Long-Horizon Adaptation. 2026. arXiv preprint. arXiv:2610.05076
[189] Shaoting Zhu, Baijun Ye, Jiaxuan Wang, et al.. TTT-Parkour: Rapid Test-Time Training for Perceptive Robot Parkour. 2026. arXiv preprint. arXiv:2602.02331
[190] Tianxin Wei, Noveen Sachdeva, Benjamin Coleman, et al.. Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory. 2025. arXiv preprint. arXiv:2511.20857
[191] Jiayin Wang, Zhiquang Guo, Weizhi Ma, Min Zhang. How Far Can LLMs Improve from Experience? Measuring Test-Time Learning Ability in LLMs with Human Comparison. 2025. EMNLP 2025. arXiv:2506.14448
[192] Qingyao Ai, Yichen Tang, Changyue Wang, Jianming Long, Weihang Su, Yiqun Liu. MemoryBench: A Benchmark for Memory and Continual Learning in LLM Systems. 2025. arXiv preprint. arXiv:2510.17281
[193] Kangcong Li, Hangfan Zhang, Shuyue Hu, Shengji Tang, Tao Chen. ReTTT: Reflection-Driven Test-Time Training via Experience-Based Parametric Memory. 2026. arXiv preprint. arXiv:2610.23942
[194] Zhanzhi Lou, Hui Chen, Yibo Li, Qian Wang, Bryan Hooi. Meta-TTL: Meta-Learning Self-Improvement Policies for Language Agents. 2026. arXiv preprint. arXiv:2604.00830
[195] Jiahao Lu, Mohan Kankanhalli. Agentic-TTT: Training test-time policy for test-time training. 2026. arXiv preprint. arXiv:2610.12002
[196] Junxuan Li, Zijun Liu, Ziyi Huang, et al.. Learning Simple Test-Time Environments for LLM Web Agents. 2026. arXiv preprint. arXiv:2608.29305
[197] Prannay Hebbar, Yogendra Manawat, Samuel Verboomen, et al.. SIA: Self Improving AI with Harness & Weight Updates. 2026. arXiv preprint. arXiv:2605.27276
[198] Yishuo Cai, Xingyu Guo, Xuancheng Huang, et al.. From Player to Master: Enhancing Test-Time Learning of LLM Agents via Reinforcement Learning over Memory. 2026. arXiv preprint. arXiv:2606.08656
[199] Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, et al.. RoboTTT: Context Scaling for Robot Policies. 2026. arXiv preprint. arXiv:2607.15275
[200] Yize Liu, Huang Huang, Yining Hong, et al.. TMem: Learning Test-Time Memory for Robotics. 2026. arXiv preprint. arXiv:2609.36720
[201] Changyu Liu, Yiyang Liu, Taowen Wang, et al.. On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning. 2026. ACL 2026. arXiv:2601.06748
[202] Siyao Chen, Jiakang Yuan, Jiaxin Wang, and Tao Chen. Trust Your Instincts: Confidence-Driven Test-Time RL for Vision-Language-Action Models. 2026. ECCV 2026. arXiv:2606.29892
[203] Hongjin Ji, Guoyang Xia, Luoyang Sun, Fangxiang Feng, Lei Ren. VANE: Reliable Test-Time Training for Vision-Language-Action Models via Future Visual Representation Prediction. 2026. arXiv preprint. arXiv:2608.09448
[204] Qiangong Zhou and Jiafeng Liang and Yimin Dong and Yang He and Hongxiang Li. TTT in VLA Models: Exploring Training with Human Demonstrations. 2026. arXiv preprint. arXiv:2610.32094
[205] Daehee Park, Jaeseok Jeong, Sung-Hoon Yoon, Jaewoo Jeong, and Kuk-Jin Yoon. T4P: Test-Time Training of Trajectory Prediction via Masked Autoencoder and Actor-specific Token Memory. 2024. CVPR 2024. arXiv:2403.10052
[206] Jude Waide, Robert Lieck. Decision Titan: Test-Time Training for Long-Term Memory in Offline Reinforcement Learning. 2026. arXiv preprint. arXiv:2610.01513
[207] Marco Bagatella, Mert Albaba, Jonas H"ubotter, Georg Martius, Andreas Krause. Test-time Offline Reinforcement Learning on Goal-related Experience. 2025. arXiv preprint. arXiv:2507.18809
[208] Yuhang Huang and Shilong Zou and Jiazhao Zhang and Xinwang Liu and Ruizhen Hu and Kai Xu. AdaPower: Specializing World Foundation Models for Predictive Manipulation. 2025. arXiv preprint. arXiv:2512.03538
[209] Chi Wan and Kangrui Wang and Yuan Si and Pingyue Zhang and Manling Li. WorldAgen: Unified State-Action Prediction with Test-Time World Model Training. 2026. AAAI 2026. arXiv:2609.08162
[210] Krishnam Soni, Aditya Sehgal, Vedant Dave, and Elmar Rueckert. Sandwich-Residuals: Parameter-Efficient Test-time Adaptation of World Models. 2026. arXiv preprint. arXiv:2609.21740
[211] Yusen Feng, Bingchen Han, Jiangran Lyu, et al.. WAM-TTT: Steering World-Action Models by Watching Human Play at Test Time. 2026. arXiv preprint. arXiv:2607.06988
[212] Junchen Liu, Sven Elflein, Or Litany, Zan Gojcic and Ruilong Li. Test-Time Training with KV Binding Is Secretly Linear Attention. 2026. arXiv preprint. arXiv:2602.21204
[213] Yuhe Hu. Error Correction in Trained TTT Layers. 2026. arXiv preprint. arXiv:2610.16268
[214] Halil Alperen Gozeten, M. Emrullah Ildiz, Xuechen Zhang, Mahdi Soltanolkotabi, Marco Mondelli, Samet Oymak. Test-Time Training Provably Improves Transformers as In-context Learners. 2025. ICML 2025. arXiv:2503.11842
[215] Simone Antonelli, Sadegh Akhondzadeh, Aleksandar Bojchevski. Test-Time Training Undermines Safety Guardrails. 2026. arXiv preprint. arXiv:2605.22984
[216] Tianshuo Cong and Xinlei He and Yun Shen and Yang Zhang. Test-Time Poisoning Attacks Against Test-Time Adaptation Models. 2023. IEEE S&P 2024. arXiv:2308.08505
[217] Vanshaj Khattar, Md Rafi ur Rashid, Moumita Choudhury, et al.. Amplification Effects in Test-Time Reinforcement Learning: Safety and Reasoning Vulnerabilities. 2026. arXiv preprint. arXiv:2603.15417
[218] Kento Kuwataka, Taiji Suzuki. Test time training enhances in-context learning of nonlinear functions. 2025. arXiv preprint. arXiv:2509.25741
[219] Tomoya Wakayama. A Decision-Theoretic View of Test-Time Training: When, How Far, and Which Directions to Adapt. 2026. Proceedings of Machine Learning Research, 306:124279-124317, 2026 (ICML 2026). arXiv:2606.15569
[220] Tongyan Hu, Hao Li, Xiaogeng Liu, et al.. Red-TTT: Test-Time Training for Automated Jailbreaking Large Language Models. 2026. arXiv preprint. arXiv:2610.05282
[221] Morgan Thomas, Albert Bou, Gianni De Fabritiis. Test-Time Training Scaling Laws for Chemical Exploration in Drug Design. 2025. J. Chem. Inf. Model. 2025. arXiv:2501.19153
[222] Tobit Klug and Kun Wang and Stefan Ruschke and Reinhard Heckel. MotionTTT: 2D Test-Time-Training Motion Estimation for 3D Motion Corrected MRI. 2024. NeurIPS 2024. arXiv:2409.09370
[223] Zhiwen Yang, Jiayin Li, Hao Lu, Hui Zhang, Zihua Wang, Yan Xu. U-TTT: Towards Generalizable PET Image Denoising via Test-Time Training. 2026. arXiv preprint. arXiv:2606.11032
[224] Mingzhi Chen, Yiyu Gui, Guibo Luo. MedTS-TTT: Test-Time Training for Medical Time Series Classification. 2026. MICCAI 2026. arXiv:2606.21329
[225] Avishkar Behera, Riya Ann Easow, Venkatesh Parvathala, K. Sri Rama Murty. Test-Time Training for Speech Enhancement. 2025. Proceedings of Interspeech 2025, pp. 2375-2379. doi:
[226] Taewoo Kim, Uijong Lee, Hayoung Park, Choongsang Cho, Nam In Park, Young Han Lee. Instance-Specific Test-Time Training for Speech Editing in the Wild. 2025. arXiv preprint. arXiv:2506.13295
[227] Panayiotis Christou, Shichu Chen, Xupeng Chen, Parijat Dube. Test Time Learning for Time Series Forecasting. 2024. arXiv preprint. arXiv:2409.14012
[228] Xin Di, Xinglin Piao, Fei Wang, Guodong Jing and Yong Zhang. REE-TTT: Highly Adaptive Radar Echo Extrapolation Based on Test-Time Training. 2026. arXiv preprint. arXiv:2601.01605
[229] Zhaoqi Yang, Yanan Wang, and Yong Ge. TTT4Rec: A Test-Time Training Approach for Rapid Adaption in Sequential Recommendation. 2024. arXiv preprint. arXiv:2409.19142
[230] Xihong Yang, Yiqi Wang, Jin Chen, et al.. Dual Test-time Training for Out-of-distribution Recommender System. 2024. IEEE TKDE 2025. arXiv:2407.15620
[231] Panteleimon Dogoulis, Mohammad Iman Alizadeh, Sylvain Kubler, Maxime Cordy. Test Time Training for AC Power Flow Surrogates via Physics and Operational Constraint Refinement. 2025. arXiv preprint. arXiv:2511.22343
[232] Felix Teufel, Aaron W. Kollasch, Yining Huang, et al.. Few-shot Protein Fitness Prediction via In-context Learning and Test-time Training. 2025. arXiv preprint. arXiv:2512.02315
[233] Wentao Zhu and Yufang Huang and Daguang Xu and Zhen Qian and Wei Fan and Xiaohui Xie. Test-Time Training for Deformable Multi-Scale Image Registration. 2021. ICRA 2021. arXiv:2103.13578
[234] Qikang Zhang, Yingjie Lei, Zihao Zheng, Ziyang Chen, Zhonghao Xie. Test Time Training for 4D Medical Image Interpolation. 2025. IJCNN 2025. arXiv:2502.02341
[235] Qinhua Xie, Hao Tang. TTTFusion: A Test-Time Training-Based Strategy for Multimodal Medical Image Fusion in Surgical Robots. 2025. IROS 2025. arXiv:2504.20362
[236] Yi Luo, Yike Guo, Wenxuan Li, Zongwei Zhou, Rui Zhang, and Kai Ding. LeCor: Learning to Be Corrected by Meta-Learned Test-Time Training for Interactive 3D Lung-Tumour Segmentation. 2026. arXiv preprint. arXiv:2609.09477
[237] Suli Wang, Yangshen Deng, Zhenghua Bao, Xinyu Zhan, Yiqun Duan. NeuroTTT: Bridging Pretraining-Downstream Task Misalignment in EEG Foundation Models via Test-Time Training. 2025. arXiv preprint. arXiv:2509.26301
[238] Xiaolei Lu, Shamim Nemati. Adaptive Test-Time Training for Predicting Need for Invasive Mechanical Ventilation in Multi-Center Cohorts. 2025. ICLR 2026. arXiv:2512.06652
[239] Rong Zhou, Zhengqing Yuan, Zhiling Yan, et al.. TTT-Unet: Enhancing U-Net with Test-Time Training Layers for Biomedical Image Segmentation. 2024. arXiv preprint. arXiv:2409.11299
[240] Yehoshua Dissen and Joseph Keshet. Self-Supervised Test-Time Tuning for Packet Loss Concealment. 2026. arXiv preprint. arXiv:2607.01823
[241] Daniel Chen, Qicong Hu, Yang Xiao, Ting Dang, Hong Jia. Titans-as-a-Layer: Test-Time Memory for Conversational Speech Emotion Recognition. 2026. arXiv preprint. arXiv:2606.08573
[242] Sercan O. Arik, Nathanael C. Yoder and Tomas Pfister. Self-Adaptive Forecasting for Improved Deep Learning on Non-Stationary Time-Series. 2022. arXiv preprint. arXiv:2202.02403
[243] Mohamed Readh Fentazi, Mazene Ameur and Adlen Ksentini. Training on the Future: A Delay-Aware Audit of Test-Time Adaptation for Time-Series Forecasting. 2026. arXiv preprint. arXiv:2610.12232
[244] Delaram Pirhayati, Arlei Silva. Cross-Domain Graph Anomaly Detection via Test-Time Training with Homophily-Guided Self-Supervision. 2025. Pirhayatifard, D. and Silva, A. (2025). Cross-Domain Graph Anomaly Detection via Test-Time Training with Homophily-Guided Self-Supervision. Transactions on Machine Learning Research (TMLR). https://openreview.net/forum?id=sB3LqdOlNb. arXiv:2502.14293
[245] Yuehang Si and Zefan Zeng and Jincai Huang and Qing Cheng. T3DM: Test-Time Training-Guided Distribution Shift Modelling for Temporal Knowledge Graph Reasoning. 2025. arXiv preprint. arXiv:2507.01597
[246] Jiaxin Zhang, Yiqi Wang, Xihong Yang, et al.. Test-Time Training on Graphs with Large Language Models (LLMs). 2024. ACM MM 2024. arXiv:2404.13571
[247] Wenting Zhu, Chaozhuo Li, Qingpo Yang, Xi Zhang and Philip S. Yu. T3MAL: Test-Time Fast Adaptation for Robust Multi-Scale Information Diffusion Prediction. 2025. arXiv preprint. arXiv:2507.12880
[248] Liyuan Zhang, Zeyun Cheng, Yan Yang, Yong Liu, Jinke Ma. TSVFND: Towards an Evolving Fake News Detector for Emergencies with Test-time Training on Short Video Platforms. 2025. DASFAA 2025. arXiv:2507.20286
[249] Changshuo Zhang, Xiao Zhang, Teng Shi, Jun Xu, Ji-Rong Wen. Test-Time Alignment for Tracking User Interest Shifts in Sequential Recommendation. 2025. arXiv preprint. arXiv:2504.01489
[250] Tianyu Zhan, Zheqi Lv, Shengyu Zhang, Jiwei Li. Preliminary Evaluation of the Test-Time Training Layers in Recommendation System (Student Abstract). 2024. AAAI 2025. doi:
[251] Tobias Kreiman and Aditi S. Krishnapriyan. Understanding and Mitigating Distribution Shifts For Machine Learning Force Fields. 2025. arXiv preprint. doi:10.1039/d5dd00260e arXiv:2503.08674
[252] Yunhua Zhong, Runting Li, Yifan Li, et al.. Transferable Mass Spectrum Prediction via Reference-Guided Test-time Specialization. 2026. arXiv preprint. arXiv:2609.35649
[253] Yuyuan Feng, Guosheng Hu, Xiaodong Li, Zhihong Zhang. Adapting Amidst Degradation: Cross Domain Li-ion Battery Health Estimation via Physics-Guided Test-Time Training. 2024. arXiv preprint. arXiv:2402.00068
[254] Anran Xu and Lindsey J. Heagy. A Test-Time Learning Approach to Reparameterize the Geophysical Inverse Problem with a Convolutional Neural Network. 2023. IEEE Trans. Geosci. Remote. Sens. 2024. doi:
[255] Lucia Gordon, Serge Belongie, Christian Igel, Nico Lang. MMEarth-Bench: Global Model Adaptation via Multimodal Test-Time Training. 2026. ECCV 2026. arXiv:2602.06285
[256] Damien Jian, Yu-Chao Huang, Hsi-Sheng Goan. Test-Time Training with Quantum Auto-Encoder: From Distribution Shift to Noisy Quantum Circuits. 2024. arXiv preprint. arXiv:2411.06828
引用本报告
@misc{parallax-2026-test-time-training-survey,
title = {{Test-Time Training: A Survey of Learning at Inference, from Self-Supervision to Memory Layers, LLMs and Agents}},
author = {{Parallax}},
year = {2026},
month = nov,
howpublished = {\url{https://parallax.ink/research/en/test-time-training-survey}},
url = {https://parallax.ink/research/en/test-time-training-survey},
note = {Parallax Research, Survey}
}