大型语言模型的同策略自蒸馏:综述
摘要
同策略自蒸馏(On-policy self-distillation, OPSD)在语言模型自身的样本上训练该模型,其教师是同一个模型,但被赋予了学生看不到的信息:参考答案、环境反馈、评分标准、对输入的更好视角,或它自身多次尝试的共识。由此产生的信号是稠密的、词元级的且同策略的,既不需要单独的教师模型,也不需要为每个提示进行一组多次采样。自2026年1月以来,这一想法已从少数几篇报告发展为数百篇论文。本综述按照 OPSD 流程的各个组成部分,组织了截至2026年11月3日收集的478篇论文:自教师看到了什么、蒸馏信号如何塑造、教师如何演化,以及自蒸馏如何与强化学习耦合。第二个维度涵盖在智能体、多模态模型、生成模型、持续学习、安全性和高效推理中的应用。本综述基于完整阅读的144篇论文。研究发现,特权上下文决定了 OPSD 的适用范围。研究还发现,受控研究将教师价值的很大一部分归因于上下文诱导的行为,而非答案特定的知识。对于教师与学生差距较大的非思考型学生,增益是稳健的;而对于在长预算下评估的思考型模型,增益往往反转。因此,近期主流设计让验证器设定更新方向,仅将自教师用于词元级幅度或少数有针对性的步骤。我们最后讨论了在测量特权信息、防止崩溃、扩展到14B以上模型以及审计自蒸馏的行为副作用方面的开放问题。
1. 引言
大型语言模型的后训练依赖于三种学习信号,而每种都有其熟悉的弱点。监督微调模仿固定的示范,因此是离策略的,并且可能覆盖模型已经具备的能力。带可验证奖励的强化学习(RLVR)在模型自身的样本上训练,但每条序列只收到一个标量,并且从一组全对或全错的多次采样中学不到任何东西。同策略蒸馏(OPD)结合了这两种优势,在学生的自身样本上以稠密的逐词元目标进行训练,但它需要一个单独的、通常更大的教师模型。同策略自蒸馏消除了最后这一要求。相同的权重同时充当教师和学生,而教师之所以优于学生,仅仅是因为它被赋予了特权信息,而学生在测试时不会拥有这些信息。参考答案、执行错误、评分标准或图像的放大裁剪,都可以使模型成为自己的教师[1–3]。
这一想法传播迅速。在本综述汇集的语料中,2025年出现了7篇相关论文,2026年1月至4月间又出现31篇,2026年5月至11月初出现440篇。该文献现已涵盖数学与科学推理、多轮智能体、视觉与视频模型、扩散生成器、知识编辑、安全对齐和语音识别。其增长也产生了质疑奠基论文假设的受控分析:教师的优势是来自特权上下文的内容[4, 5],OPSD 是否对思考型模型有任何帮助[6, 7],以及它是否真的比 RL 遗忘更少[8]。本综述之所以及时,是因为方法论文与分析论文迄今基本是平行发展的。
已有四篇综述。它们分别广泛覆盖了同策略蒸馏[9],对OPSD给出了简短的早期综述[10],从单一公式推导出OPD变体[11],或批判性地审视了数学推理中的崩溃问题[12]。第2.3节将它们与本综述进行了比较。相对于它们,本综述(i)围绕OPSD流程而非损失公式进行组织,(ii)覆盖了完整的应用范围而非仅限于数学,(iii)将分析类文献与方法类论文置于同等地位,并专门用一章讨论其提出的基础性问题。
范围。 我们纳入以下方法:教师分布由学生自身的权重(冻结的、移动的、训练的或经架构修改的)在学生对不可见的上下文或输入下产生,且监督施加于学生自身的样本上。我们排除来自独立且更大的教师的同策略蒸馏,除非某篇论文的分析与自蒸馏直接相关;我们也排除没有token级教师信号的离策略自训练。附录A给出了检索途径、截止时间和筛选程序。
组织。 第2节介绍共享符号、时间线和相关综述。第3节给出分类体系。第4–7节覆盖四个流程组件:特权上下文、信号塑造、教师动态以及与RL的耦合。第8节考察六个基础性问题。第9节综述应用,第10节汇集基准与系统,第11节讨论开放问题,第12节总结。
flowchart LR
X[Prompt x] --> S[Student samples y from p]
X --> T[Same weights with privileged context c]
S --> T
T --> Q[Teacher distribution q on the student's prefixes]
S --> P[Student distribution p]
Q --> L[Token loss: weighted divergence between p and q]
P --> L
V[Verifier or reward, optional] --> L
L --> U[Update student weights]
U -. frozen, EMA, trained or lookahead .-> T图1. OPSD循环。学生自行采样;同一权重在给定特权上下文的情况下对学生的前缀进行评分;逐token散度(可选地与验证器信号结合)更新学生;教师更新规则决定教师的权重如何跟随。第4–7节分别讨论该循环的一个组件。
2. 预备知识
2.1 设定与符号
设为提示,为正在训练的策略。学生采样一个回复,并在位置处具有下一token分布。自教师是同一模型的副本,在相同前缀但带有特权上下文的条件下进行评估:
通用的OPSD目标是逐token散度的加权和,
其中表示停止梯度,是token权重(原始形式中为均匀的),是散度:反向KL、前向KL或Jensen–Shannon插值。当为反向KL且仅使用采样token时,逐token奖励为对数比。SDPO表明,反向KL目标的梯度正是以该优势为权重的策略梯度[2],这正是OPSD与RL之间的联系。当OPSD与RLVR结合时(第7章),会出现验证器奖励和组相对优势。
| 符号 | 含义 |
|---|---|
| , , | 提示、学生采样的回答、token 之前的前缀 |
| 仅教师可见的特权上下文(解答、反馈、评分标准、视图、共识) | |
| , | 学生策略;同一模型的教师副本(冻结、EMA、已训练) |
| , | 学生在自身前缀上的下一 token 分布与教师的下一 token 分布 |
| , | 蒸馏损失中的散度和逐 token 权重 |
| 采样 token 的对数比 | |
| , | OPSD 与 RLVR 结合时的验证器奖励和 RL 优势 |
表 1. 本综述中通用的共享符号。各篇论文使用不同的符号;我们将其目标转换为这一符号体系。
OPSD 在两个维度上与其邻近方法不同。与原始离策略形式的上下文蒸馏 [13] 不同,监督施加在学生自身的样本上。与使用单独教师的 OPD 不同,教师的优势来自 ,而非来自更多参数。第二个差异既有一个实践后果,也有一个概念后果。在实践中,教师只需对同一模型在更长上下文上多进行一次前向传播,无需部署第二个模型 [10]。在概念上,学生只能学到模型在被给予 时已经能够表达的内容,这限制了可实现的增益(第 8.5 节)。
2.2 领域的发展
奠基性报告于 2026 年 1 月相继在几天内出现。Self-Distilled Reasoner(OPSD)将冻结的教师以参考解答为条件,用于数学推理 [1]。SDFT 将演示用于持续学习 [3]。SDPO 在策略梯度框架中使用环境反馈 [2]。2 月新增了面向智能体的特权信息蒸馏 [14]、基于文本反馈的 RL [15] 和同策略上下文蒸馏 [13]。从 2026 年 5 月起,文献数量急剧增长,每个流水线组件的变体、首批系统性诊断以及首批面向视觉、扩散和智能体的应用在数周内相继出现。
timeline
title Representative OPSD milestones in 2026
January : OPSD with reference solutions [1] : SDFT for continual learning [3] : SDPO with rich feedback [2]
February-March : Privileged-information distillation for agents [14] : On-policy context distillation [13] : HDPO hybrid with RL [16]
April : Self-Distilled RLVR [17] : SD-Zero self-revision [18] : Skill-SD for agents [19]
May : Vision-OPD [20] : Anti-self-distillation [21] : D-OPSD for diffusion [22]
June-July : Thinking-model failures [6] : Label-free CANON [23] : dOPSD for diffusion LMs [24]
August-November : Mismatched-reference controls [4] : Diagnostic sweeps [7] : Asynchronous OPSD [25]图 2. 代表性 OPSD 工作按 arXiv 提交月份的时间线,选取标准是标记每条主要研究线的首次出现,而非引用量最高的工作。
| 时期(arXiv ID 月份) | 语料库中的论文数 | 工作特征 |
|---|---|---|
| 2025 年 6 月–12 月 | 7 | 前驱工作:自适应引导、自监督 RL、自生成偏好和训练感知的推测解码 [26–29] |
| 2026 年 1 月–4 月 | 31 | 奠基性配方、首批 RL 混合方法和智能体适配 |
| 2026 年 5 月–11 月 | 440 | 组件、应用和分析的快速多样化 |
表2. 478篇语料库论文按arXiv标识符月份(作为首次提交的代理指标)的分布。2026年11月为部分数据(前三天)。
2.3 相关综述
表3将此前四篇综述与本次综述进行了比较。OPD综述[9]将同策略蒸馏分解为被访问的状态分布、教师视角和所用梯度,并将自蒸馏视为上下文条件教师的一种情形。简要概述[10]在定性表格和八维设计分类法中比较了OPSD与OPD,但未进行实验。公式驱动综述[11]推导了反馈到更新路径的九个变量,并提出了未经检验的变体。批判性评论[12]将六个月的数学推理后续工作重新归类为一种症状(崩溃)和三个杠杆。
| 综述 | 截止时间(约) | 范围 | 组织轴 | 涵盖的应用 |
|---|---|---|---|---|
| OPD综述[9] | 2026年4月 | 所有同策略蒸馏 | 状态分布、教师视角、梯度 | 部分 |
| 简要概述[10] | 2026年5月 | OPSD | 八个设计维度 | 无 |
| 公式驱动综述[11] | 2026年6月 | 所有同策略蒸馏 | 九个公式变量 | 无 |
| 批判性评论[12] | 2026年8月 | 面向数学推理的OPSD | 一种症状、三个杠杆 | 排除 |
| 本次综述 | 2026年11月 | OPSD,478篇论文 | 流水线组件加应用 | 智能体、多模态、生成式、持续学习、安全、效率、其他 |
表3. 相关综述。截止时间根据arXiv标识符月份及各概述所讨论的工作推断。
要点
- OPSD是一种同策略蒸馏,其中教师是带有特权上下文的同一模型。其反向KL形式是一种带有token级对数比优势的策略梯度。
- 该领域形成于2026年1月,语料库中92%(478篇中的440篇)的论文出现在2026年4月之后。
- 此前的概述要么更宽泛(所有同策略蒸馏),要么更狭窄(仅数学,或公式层面)。没有一篇涵盖应用范围或分析文献的整体。
3. 同策略自蒸馏的分类法
我们沿两个轴组织文献。机制轴遵循图1中OPSD循环的组件。它追问教师看到什么、信号如何塑造、教师如何演化以及自蒸馏如何与RL结合,并增加了两个交叉类别:分析与理论,以及训练系统。应用轴记录论文所针对的领域。论文在每个轴上可以带有多个标签,而且大多数确实如此:一篇典型的智能体论文既构建新的特权上下文,又将其与GRPO耦合。图3展示了顶层结构及代表性工作,表4给出了语料库中每个类别的规模。
mindmap
root((On-policy self-distillation))
What the teacher sees · Ch. 4
Solutions and demonstrations · 1, 3, 30
Feedback and hindsight · 2, 15, 31
Rubrics skills memory · 32, 33, 34
Label-free privilege · 23, 35, 36
Signal shaping · Ch. 5
Token and step weights · 37, 38
Divergence and estimator · 39, 40, 21
Problem and rollout level · 41, 42
Teacher dynamics · Ch. 6
Frozen and gated refresh · 43
Trained teachers · 44, 45
Lookahead teachers · 46, 47
Coupling with RL · Ch. 7
Additive losses · 16, 18
Ratios in the advantage · 17, 48
Routing · 49, 50
Analyses and debates · Ch. 8
When it helps · 6, 51
What privilege adds · 4, 5
Collapse and forgetting · 52, 8
Applications · Ch. 9
Agents · 19, 53
Multimodal · 20, 54
Generative · 24, 22
Safety and efficiency · 55, 56图3. 同策略自蒸馏的分类法及叶节点处的代表性工作。
| 机制类别 | 论文数 | 应用类别 | 论文数 |
|---|---|---|---|
| 教师上下文(第4.1–4.3章) | 179 | 通用推理 | 119 |
| 无标签特权(第4.4章) | 133 | 智能体与工具使用 | 107 |
| 信号塑造(第5章) | 195 | 多模态理解 | 73 |
| 教师动态(第6章) | 47 | 持续学习与知识 | 40 |
| 与强化学习耦合(第7章) | 158 | 对齐与安全 | 40 |
| 分析与理论(第8章) | 78 | 生成模型 | 31 |
| 训练系统(第10章) | 12 | 推理效率 | 27 |
| 综述与立场论文 | 4 | 代码与软件工程 | 17 |
| 分离教师OPD(边界情况) | 8 | 其他领域 | 19 |
| 该轴上不确定 | 40 | 该轴上不确定 | 98 |
表4. 478篇论文语料在两个轴上的类别规模。标签由基于LLM的多标签分类器分配,且并非互斥,因此各列之和不等于478。“无标签”计数较为宽泛:它包括特权为自生成的论文,即使在其他地方使用了某种监督。
标签分布中的三个规律塑造了本综述的其余部分。第一,信号塑造和强化学习耦合的规模都比教师动态大三倍或更多。该领域在如何使用教师的分布上投入的精力,多于在选择哪个教师上的投入。第二,语料的六分之一是分析与理论,对于一个诞生不到一年的领域而言,这一比例异常之高,这也是第8章与方法章节篇幅相当的原因。第三,智能体和多模态模型合计所占论文数超过通用推理。OPSD不再是一种仅有少量附带应用的数学推理技术。
要点
- 机制轴遵循OPSD循环的四个组成部分(上下文、信号、教师动态、强化学习耦合),应用轴则记录领域。
- 研究精力集中在塑造和组合教师信号上。教师动态相对而言探索不足。
- 分析约占语料的六分之一,而推理之外的应用现在已超过仅做推理的工作。
4. 构建自我教师:教师所看到的内容
每个OPSD方法在写下任何损失之前,都必须回答一个设计问题:什么信息能把冻结副本变成一个教师,使其下一词元分布优于学生的分布?答案决定了该方法需要什么数据(参考解、验证器、评分标准,或完全不需要任何数据)、教师能知道哪些学生不知道的信息,以及这些知识中有多少能被吸收进在测试时从未见过的权重中。本章按的内容来组织文献,从最丰富、最依赖标签的上下文,逐步过渡到模型为自身制造的上下文。
mindmap
root((Privileged context c))
Solutions and demonstrations
Full reference solution · 1, 3
Partial or masked views · 57, 58, 30
Distilled guidance · 59
Purified targets · 60
Feedback and hindsight
Environment or interpreter feedback · 2, 15
Self-reflection and critique · 31, 61
Repaired reasoning · 62
Peer rollouts · 63
Rubrics skills and memory
Rubrics · 32
Skill cards · 33
Procedural memory · 34
Extracted experience · 13
Label-free privilege
Consensus solutions · 23, 35, 64
Weakened weights · 36
Self-generated data · 65图4. 第4章子树:在线策略自我蒸馏方法所使用的特权上下文,附代表性工作(arXiv标识符代替正文中解析的引用编号)。
4.1 参考解与演示
OPSD 的规范形式以经过验证的解题过程为条件来约束自教师。Self-Distilled Reasoner [1] 将这一构造在数学推理中具体化:同一模型被提示两次,一次仅给出问题(学生),一次给出问题、参考思维链 以及指令“用你自己的方法解决这个问题”(教师)。教师不生成任何 token;对学生的 rollout 进行一次预填充前向传播,即可在每个位置得到 ,学生则最小化与其之间的逐 token、逐点裁剪的散度。该论文中的两个选择成为该方向的默认做法:教师是初始策略 ,作者发现这比移动策略更稳定;每个提示用单次 1,024 token 的 rollout 取代 GRPO 所需的一组长 rollout。在这些设置下,作者报告 Qwen3-1.7B 在 AIME24/AIME25/HMMT25 上的平均 Avg@12 从 37.1 升至 43.4(GRPO:37.7),Qwen3-8B 从 61.8 升至 64.8(GRPO:64.0),而采样 token 数约为 GRPO 的 1/128 [1]。图 5 展示了这一构造。
图 5. 以参考解作为特权上下文的同策略自蒸馏:学生从仅含问题的提示中采样,同一权重在配备参考解的提示下,对该样本的每个前缀进行打分(转载自 Self-Distilled Reasoner [1])。
与此同时,Self-Distillation Fine-Tuning(SDFT)[3] 将相同模式应用于一般的监督数据:教师是以每个查询的示范为条件的模型,学生在自身 rollout 上以 EMA 教师为目标进行训练,损失在整个词表上求和。其目标不是推理准确率,而是保持。在知识获取任务中,SDFT 达到 89/100/98 的严格/宽松/分布外准确率,而 SFT 为 80/
图 6. SDFT 机制:示范仅置于教师的上下文中,学生从自身样本中学习(转载自 [3])。
大量后续文献追问教师应当看到多少参考内容。答案趋于一致:“少于全部。”自适应教师暴露[57]将参考的推理前缀截断至一个比例(始终保留最终答案),并将作为以训练状态为条件的控制变量来学习;它报告在1.7B/
这一解释得到了直接检验。重新思考特权信息[68]将教师–学生对数比分解为“参考”方向和“恢复”方向,并发现,在8B规模下、使用非思考型教师在NuminaMath上,来自另一问题的不匹配参考优于正确参考(平均67.6对59.5,配对区间排除零),而在MegaScience上两者相差至多0.3分。纯化OPSD[60]使用两次额外的冻结前向传播(仅参考、仅问题)来仅保留教师对数比中问题条件化的部分,并报告在四个模型和两个数据集上均有增益(Qwen3-8B在DASD-10K上:66.0对标准OPSD的60.9)。综合来看,这些结果表明参考解答至少部分地作为一种改变教师行为的提示干预起作用,而非作为学生所吸收的答案特定知识;第8.2节将回到这一问题。
4.2 反馈、批评与事后回溯
第二类方法通过向教师展示发生了什么、而非应该发生什么,使教师变得更明智。SDPO [2] 提出了带丰富反馈的强化学习:环境对一次 rollout 的反馈(解释器错误、失败的测试、评判者的评语)被附加到教师的提示中,学生则最小化。作者证明,该损失的梯度是一种具有 token 级优势的策略梯度,这使该方法成为对 GRPO 标量优势的稠密信用替代。在 LiveCodeBench v6 上,他们报告 SDPO 达到 48.8%,而调优后的 GRPO 为 41.2%,以四分之一的生成次数达到 GRPO 的最终准确率;即使仅使用正确性反馈,总体指标也为 70.2% 对 66.6% [2]。图 7 展示了自教学循环。
图 7. SDPO 中的自教学:环境对一个答案返回反馈后,同一模型在该反馈条件下重新对该答案评分,token 级对数比率据此分配信用(转载自 [2])。
基于文本反馈的强化学习 [15] 从另一个方向得到了相关的表述:它利用第二轮、以反馈为条件的 rollout 来优化单轮回报,将反馈编译为首次尝试的能力。其自蒸馏变体(RLTF-SD)将 Shortest Path 上的单轮准确率从 0.034 提升至 0.830,而多轮 GRPO 为 0.384,并附有关于 bandit 抽象中基线偏差与信噪比的证明 [15]。特权信息蒸馏 [14] 将同样的思想带入多轮工具使用智能体,其中从更强模型的轨迹中挖掘出的特权信息被提供给联合训练策略的教师角色;第 9.1 节与其他智能体工作一同讨论了它。
后续工作用生成的解释替代原始反馈。ROSD [31] 让模型写一段简短反思,将错误的 rollout 与最短的正确兄弟 rollout 进行对比,使教师以该反思而非完整解答为条件,并且只从第一个错误句子开始蒸馏。它报告在三个骨干模型上于 SciKnowEval 和 ToolAlpaca 取得最佳平均值,而去除反思会使 4B 平均值从 72.83 回落到 SDPO 水平(67.56)。一项关于以批评为条件的教师诊断研究 [69] 认为,对参考解答进行评分无法搜索错误,而生成带有 rollout 逐字引用的批评则可以;其定位与纠正分数在以参考为条件的评分下接近零或符号错误,但在以批评为条件时强烈为正。CriticOPD [61] 和 RC-OPD [62] 更进一步,修复失败的 rollout:教师给出批评,从最后一个有效点生成修正后的续写,然后才对学生进行监督,并对错误阶段使用分段特定的事后视角。RC-OPD 报告在 1.7B/4B/8B 上平均 Avg@4 为 44.17/66.11/66.94,而 OPSD 为 40.28/
同样的后见之明思路出现在许多反馈来源中:代码中的测试执行与渲染出的视觉产物 [71, 72]、面向智能体的统一结果与后见信号 [73]、用户交互与纠正 [74, 75]、对罕见成功与失败后提示的反思 [76, 77],以及形式数学中的证明助手反馈 [78];一项变分处理将从语言反馈中学习视为策略蒸馏 [79]。
4.3 评分标准、技能与记忆
对于没有参考解的任务,第三类方法使用可复用的特权知识。RGSD [80] 和 RuPI [32] 将带有正负标准的逐提示评分标准放入教师上下文中,因此评分标准成为条件字符串,而非评判器的标量奖励。RGSD 报告在 RubricHub 医学和科学任务上与 GRPO 持平(+6.1 对 +5.9 分;+4.9 对 +4.5),同时训练时评判器调用次数为零而非约一百万次,rollout 次数为一次而非 16 次,并且 HealthBench 虚假声明率的上升更低(30.5%→35.1% 对 30.5%→45.1%)。RuPI 报告在三个模型规模上相对于评分标准奖励 GRPO 的 HealthBench 提升(例如 14B 上 0.347 对 0.268),并且在匹配配方下,相对于使用参考答案作为特权信息获得 0.034–0.079 的提升 [32]。这两项工作确立了软性的自然语言标准可以作为开放式生成的 ,而使用参考解的 OPSD 在此不适用。
SKALD [33] 将逐实例解替换为经答案过滤的技能卡(标题、原理、用法、常见错误),该技能卡在问题间共享;它加入退火交叉熵项,并通过采样估计技能卡是否有帮助来对每个问题的蒸馏进行门控。它报告在 0.6B/1.7B/4B 上相对于 GRPO 的 avg@8 提升为 +2.46/+4.85/+12.01,包括等 FLOP 比较。程序性记忆蒸馏 [34] 维护一个由学习者自身 rollout 构建的在线三级记忆(经验、洞见、行为),并仅在教师路径中使用它,因此部署的学生模型无记忆;它将 SciKnowEval avg@16 相对于 SDPO 从 74.4 提升到 77.2(Qwen3-8B),从 69.5 提升到 73.3(OLMo3),而冻结策略消融降至 54.0。同策略上下文蒸馏(OPCD)[13] 通过从无标签的自生成轨迹中提取经验来制造 ,并使用反向 KL 在同策略下蒸馏它,将 Qwen3-8B 数学从 75.0 提升到 79.7,Sokoban 从 9.4 提升到 53.9;值得注意的是,其教师–学生变体优于纯自蒸馏(Sokoban 上 53.9 对 18.8),这提醒我们同模型教师并不总是最强的选择。
其他工作使用相同机制将人物设定 [81, 82]、图像生成器的提示增强 [83]、安全宪法 [84] 和任务特定的软提示 [85] 内化到权重中。
4.4 无标签特权
最后一类方法将外部标签从教师上下文中完全移除。CANON [23] 采样 32 条 rollout,取多数答案,并将多数集合中置信度最高的解答放入冻结教师的上下文中;随后每条 rollout 都针对该教师以 Jensen–Shannon 散度进行蒸馏。在没有标签、奖励模型或验证器的情况下,它将 Qwen3-4B-Instruct 的 AMC avg@32 从 66.0 提升到 76.5,高于测试时 RL 基线(TTRL 70.3),并接近以黄金答案为条件的 oracle(76.9)。u-OPSD [35] 做了同样的替换,但只蒸馏与伪解答不一致的 rollout;它报告非思考模式下 Qwen3-4B/8B 的平均值分别从 40.96 升至 49.49、从 43.57 升至 54.31,高于监督式 OPSD(46.29/
图 8. 无标签 OPSD:教师以模型自身 rollout 的多数投票伪解答为条件,且只蒸馏不一致的 rollout(转载自 u-OPSD [35])。
另外两种构造表明,“特权”完全不必是信息。WISD [36] 保持上下文固定,并破坏权重(3 比特量化或幅度剪枝)以获得更弱的模型 ;学生被沿对数比 推动,即远离弱化模型会给出的答案。LoOPSD [86] 通过将一个层块执行两次,从相同权重中获得更强的教师。在最极端的一端,On-Policy Self-Training [65] 仅从主题描述符生成问题和特权理由,通过可重解性和逆共识门进行过滤,并迭代进行;在 Gemma 4 E2B 上,它在同一自生成数据上将 MMLU 从 37.5 提升到 47.7,而 SFT 在同一数据上仅达到 40.0。
无标签 OPSD 已被扩展到测试时策略优化 [87]、自博弈 [88] 和无标签空间推理 [89],以及基于自生成思维链的训练 [90, 91]。
要点
- 的内容而非损失决定了 OPSD 方法需要什么以及适用于何处。参考答案适合可验证推理,反馈适合交互式任务,评分标准和技能适合开放式生成,而共识则消除了标签。
- 多项独立研究发现,在 4B–8B 规模下,少于完整参考(掩码、抽象或平均视图)的效果同样好或更好,并且有一项研究发现不匹配的参考可以优于正确的参考。因此,教师的收益并不只是答案泄漏。
- 无标签上下文在非思考模式下恢复了竞赛数学上大部分的监督增益,而对于思考模型,增益缩小。
5. 塑造信号:在哪里、以多强力度以及沿哪个方向进行蒸馏
一旦存在自教师,普通目标就会对每个问题、每条 rollout 的每个 token 施加相同的散度、相同的权重。语料库中的大多数方法论文恰好改变了这些默认设置中的一项。本章按照它们干预的层级进行分组:单个 token 或步骤(第 5.1 节)、散度及其稳定性(第 5.2 节),以及整个问题或 rollout(第 5.3 节)。这些工作中许多报告在 30 题竞赛基准上获得一到三个百分点的提升,且往往来自单次运行;本章末尾的表 5 记录了每项工作所提供的证据。
mindmap
root((Signal shaping))
Token and step weights
Semantic spans · 37
Position schedules · 92
Adaptive horizons · 38
Sparse token budgets · 93, 94
Per-token teacher choice · 95, 96
Divergence and stability
Control variates · 39, 40
Trust regions · 97
Entropy-aware direction · 98
Sign of the update · 21, 99
Supervised anchors · 100
Problem and rollout level
Pass-rate weighting · 41, 101
Correctness filtering · 42
Teacher neighborhoods · 102图 9. 第 5 章子树:对蒸馏信号的干预,按其所作用的层级分组。
5.1 Token 与步骤的选择和加权
第一组方法认为,教师的信号仅在一小部分 token 上具有信息量。STEPS [37] 标注每条 rollout 的语义片段(关键步骤和错误片段,至多占 token 的四分之一),在关键片段上应用前向 KL,在错误片段上应用反向 KL,并在第 40 步时将蒸馏项衰减至零,同时继续 RL;在 Qwen3-8B 上,它报告五基准平均为 81.51,而 GRPO 为 78.75(配对 95% 区间 [0.41, 4.91]),不过当策略作为自己的标注器时,该区间包含零。位置加权 OPSD [92] 将逐 token 损失乘以归一化位置的单调 sigmoid,其动机是观察到随着 rollout 对某条路径的确认,教师的偏好会变得更可靠。作者将由此产生的约一个百分点的增益描述为适度。DASH [38] 用由局部散度上的门控反向递归产生的序列条件权重替换常数系数。与匹配的四种子 OPSD 重跑相比,它报告在 1.7B/4B/8B 上的宏 Avg@12 为 45.07/
图 10. DASH [38] 中散度自适应监督视野:学生 rollout 上的局部教师–学生散度通过门控反向递归转化为逐 token 系数(转载自原论文)。
推到极限,选择就变成了一种 token 预算。一项关于在线策略蒸馏中梯度估计的研究 [93] 表明,为梯度估计可靠性(而非仅有用性)而选择的 token,在 0.1% token 的预算下(约每条轨迹一个 token)即可承载信号,其中所选子集在四个竞赛基准上优于全 token OPD。该研究使用了单独的教师,但其结论可直接迁移到自教师设定。BiToK-SD [94] 通过双层阈值学习连续的逐 token 权重,并报告相较于 OPSD 的小幅增益(1.7B 上为 41.48 对 40.85;8B 上为 64.85 对 64.64)。两种方法构造了逐 token 不同的教师。MTA-OPSD [95] 构建一个教师池,各教师对参考的暴露程度不同,并让每个 token 选择与投票得到的监督方向一致、且 KL 距离最远的教师。AVSD [96] 将一族特权视图(完整解答、部分解答、最终答案;或参考代码、提示、执行反馈)组合为几何共识目标,并带有有界的教师特定残差,且报告在错误 rollout 的最高幅值 token 中,错误符号信用的占比从 12.3%(OPSD)降至 2.9%。
面向信用的变体使用相同的 token 级量来重新加权 RL 优势,而非作为蒸馏目标。CSCR [103] 对特权自条件化改变其似然最大的 token 降权,并在每个响应内重新归一化以保持总信用不变,且报告在其评估的全部十个模型–基准组合上均优于 GRPO。相同的 token 选择逻辑还出现在位置选择性评判器训练 [104]、基于反馈目标的 Fisher 信息重校准 [105] 以及自生成响应上的可靠性加权自蒸馏 [91] 中。
5.2 散度选择与稳定性
第二组改变散度本身或其估计器。由于 OPSD 通常只计算采样 token 的对数比,逐 token 奖励 具有高方差。KL-for-a-KL [39] 从该奖励中减去一个分离的、闭式值基线(从 top- 词表估计),并报告在 1.7B 上达到与全词表相当的准确率(平均 33.0 对 33.1),同时墙钟时间最多降低 57.7%,梯度范数小一到两个数量级。CREDIT [40] 减去一个批对比基线,即教师在同一反馈下其他提示中同一 token 的对数概率。作者证明原始奖励是一个贝叶斯滤波增量,其求和等于响应与反馈之间的逐点互信息,因此该基线去除了反馈无论提示如何都会分配的信用。他们报告在 Qwen3-8B 上 SDPO 为 67.0 对 66.0,且步时基本不变。
信任域 OPD [97] 使用随机门控 将 token 划分为信任域 token(反向 KL)和离群 token(top- 前向 KL),并表明仅前向 KL 项就会崩溃;评估使用单独的教师。E²-OPSD [98] 诊断了原始 OPSD 中的熵过冲,并根据教师–学生熵差的符号为每个 token 选择前向或反向 KL,且以其幅度进行阻尼;结合用检索到的范例替代当前参考,其消融链在 Qwen3-1.7B 思考模式数学上从 44.64(OPSD)提升到 48.89。自适应监督锚定 [100] 在标准解上增加一个单独的教师强制交叉熵过程,并通过 rollout–目标相似度在线加权,此前已表明随着学生前缀被破坏,教师的目标 token 准确率从 80.4% 下降到 3.8%。因此,它将 在偏离轨道前缀上的可靠性视为核心失败。
两项工作质疑更新是否应指向朝向教师。反自蒸馏 [21] 对自教师不是下降而是上升 Jensen–Shannon 散度,并由教师熵门控,通过逐点互信息解释该信号;在五个模型上,它报告比 GRPO 平均高 +2.1 到 +11.5 分,步速提升两到十倍,而在同一流程中,默认的下降自蒸馏在每个模型上都低于 GRPO。DCSD [99] 将信用方向与幅度解耦:步进信用的符号来自信念探测,幅度来自非教师量,并在所述校准假设下给出四个定理。一篇诊断论文 [106] 从测量侧支持这种怀疑。所实现的双侧特权分数仅以随机水平区分正确与错误的 AIME 轨迹(AUC 0.505),并且它训练的所有五种 token 分数配置都比仅结果 GRPO 低 30–40 分,而其原生设置中的 SDPO 作为阳性对照。这些结果共同表明,特权对数比是一个似然量,其与结果值的对齐必须被检验,而不能假定;第 8 章将展开这一点。
5.3 问题级与 rollout 级加权
第三组干预哪些问题和 rollout 被蒸馏。PACED [41] 通过通过率核 对每个问题加权,该核由 学生 rollout 估计,并证明 Beta 核在其建模假设下具有至少 的极小极大效率。在其自蒸馏轨道中,它报告 MATH-500/AIME24/AIME25 为 93.7/31.6/25.1,而未加权反向 KL 为 88.9/25.3/16.9,MMLU 上的遗忘为 0.6% 对 2.2%。通过率加权的 SDPO [101] 从累积量生成函数论证得到 ,并报告在 Qwen3-8B 上 mean@16 比 SDPO 高 +3.2。两篇论文一致认为,学生总是解决或从不解决的问题几乎不携带有用的自蒸馏信号,这与 RLVR 中促使难度过滤的同一最近发展区论点相同。
C-OPSD [42] 在任何前向传播之前移除 rollout:它为每个问题采样一个回答,用符号化方式检查其答案,并且只对选定的错误回答子集进行蒸馏。它在全部三个规模上都与完整 OPSD 相当(差异为 −0.19 至 +0.23 分),同时只蒸馏 26–29% 的回答,并将实际耗时缩短约 40%,这表明 vanilla OPSD 的大部分计算花在了贡献很小的 rollout 上。Neighborhood OPSD [102] 用离线选出的 25 个扰动教师池替代单一教师,并为每个学生访问到的状态路由一个教师,在每种方法三次运行中报告比 OPSD 高 +1.67 至 +2.75 Avg@12。
| 方法 | 层级 | 变化内容 | 模型 / 任务 | 报告的比较 |
|---|---|---|---|---|
| STEPS [37] | span | 对 ≤25% 标注 span 计算 KL,按 span 类型确定方向,并衰减 | Qwen3-8B,五个数学基准 | 81.51 对 GRPO 78.75;配对 CI 排除 0 |
| DASH [38] | token | 反向递归的逐 token 系数 | Qwen3 1.7B–8B,AIME/HMMT | 8B 上 66.40 对 OPSD 64.80;OPSD 使用 4 个种子 |
| BiToK-SD [94] | token | 双层连续 token 权重 | Qwen3 1.7B–8B,AIME/HMMT | 8B 上 64.85 对 OPSD 64.64;无方差 |
| AVSD [96] | token | 多个特权视图上的一致性 | Qwen3-8B,数学和代码 | 62.1 对 OPSD 59.2 |
| KL-for-a-KL [39] | estimator | 闭式值基线 | 1.7B 学生,独立教师 | 33.0 对 33.1 全词表,实际耗时最多减少 57.7% |
| CREDIT [40] | estimator | 批对比基线 | Qwen3-8B,科学和代码 | 67.0 对 SDPO 66.0 |
| E²-OPSD [98] | divergence | 熵差导向的正向/反向 KL | Qwen3-1.7B thinking,数学 | 48.89 对 OPSD 44.64 |
| AntiSD [21] | direction | 上升而非下降散度 | 五个模型,数学 | Qwen3-8B 65.7 对 GRPO 57.4 |
| PACED [41] | problem | 通过率 Beta 核 | Qwen2.5-Math-7B,MATH/ | AIME25 25.1 对未加权 16.9 |
| C-OPSD [42] | rollout | 仅蒸馏选定的错误 rollout | Qwen3 1.7B–8B,AIME/HMMT | 与 OPSD 相当,实际耗时减少约 40% |
表 5. 代表性信号塑形方法。“报告的比较”给出作者在其自身设置中相对于最接近基线报告的主要数字;不同行的基准、预算和检查点选择规则不同,因此各行数值不可相互比较。
要点
- 原始的统一目标在三个维度上仍有改进空间:哪些 token、哪种散度,以及哪些问题。大多数已报告的改进落在小型竞赛基准上的一到三个百分点的范围内。
- 那些集中信号的方法(作用于片段、靠后位置、信息量大的 token 或中等难度问题)一致认为,大多数 token 和大多数问题贡献甚微。C-OPSD 表明,仅对 26–29% 的响应进行蒸馏不会损失准确率。
- 若干工作发现,特权对数比与结果价值并不能可靠地对齐。这促使研究者引入降低方差的基线、解耦方向与幅度,并在一个案例中反转更新方向。
6. 教师动态:冻结、移动、训练与领先
由于教师和学生共享权重,OPSD 必须决定哪些权重扮演教师。冻结在 的教师永远不会改进,因此学生最多只能吸收初始模型在特权上下文下已经表达出的内容。跟随学生的教师会随学生一起改进,但它也会继承学生的漂移,并可能强化自身的错误。文献已经探索了这两个极端之间的整个范围,图 11 将主要选项放在一个轴上。
flowchart LR
F[Frozen initial teacher] --> E[EMA or trust-region teacher]
E --> G[State-gated refresh]
G --> T[Teacher trained by its own objective]
T --> L[Lookahead or future teacher]
F -.-> A[Architectural variant: looped layers]图 11. OPSD 中的教师更新策略,按与学生轨迹的耦合程度从低到高排列。箭头表示耦合程度增加,而非时间顺序。
6.1 冻结与缓慢移动的教师
两个开创性方案做出了相反的选择:Self-Distilled Reasoner [1] 将教师冻结在 以保持稳定并实现隐式正则化,而 SDFT [3] 和 SDPO [2] 使用学生的 EMA,SDPO 还推导出了当前教师与初始教师之间的闭式信任域插值。一项关于时间耦合的研究 [43] 单独考察了这一变量。在固定刷新周期为 50 步的情况下,最佳的 100 步得分(0.755)之后,在 300 步运行的 189 步时出现崩溃。一种状态门控刷新规则(CGTR)仅在隔离门、奖励棘轮和长度尾部门三者全部一致时才更新教师,它在三次刷新下达到 0.806,且在三个种子中均未崩溃(固定刷新:三个种子中三次崩溃)。该论文更广泛的论点是,教师何时移动是一个稳定性变量,而非实现细节。
图 12. 时间耦合研究 [43] 中比较的教师更新策略(转载自原论文)。
6.2 由自身目标训练的教师
第二条路线不再把教师视为学生的副产品,而是为其赋予自身的学习信号。VISTA [107] 增加了一个单独参数化的教师,该教师被拉向学生的分布,但仅在验证正确的 rollout 上、且仅在学生有信心的位置进行。它报告在 8B 上为 66.9 对 64.8(OPSD),在 1.7B 和 4B 上差异较小。DualOPSD [44] 在每个学生步之后训练教师 LoRA,使其匹配经初始模型特权对数概率残差偏移后的更新学生,从而让教师在跟随学生的同时保留其特权优势。其报告的相对 OPSD 的增益在 4B 和 8B 上很大(12.3 和 15.7 分),并且在实测算力持平的情况下依然存在,但这些增益仅限于非思考模式下的 Qwen3 数学任务。PAST [108] 在每个周期中基于完整的正确与失败学生轨迹训练自教师,然后将其冻结以监督学生,并报告在 1.7B 上相对原始 OPSD 的宏平均 Avg@12 提升 +5.6,95% 区间为 [2.6, 8.3]。
其他工作将教师变为 RL 学习器。TESD [109] 为教师提供自己的 rollout 和奖励,用 GRPO 风格的目标对其进行优化,并根据教师的平均奖励对每个查询的学生蒸馏进行门控。它报告相对 GRPO 的小幅增益(Qwen3-4B 上 74.32 对 73.40),而其朴素的 SDPO+GRPO 求和结果落在两个组件之间。JOLT [45] 在单个共享模型中优化两个角色,对教师 rollout 施加结果奖励,并向无特权学生施加 KL,报告 MATH 72.59 对 68.36(GRPO),且达到 63.44% 准确率所需的补全 token 少 13.0×。HATCH [110] 让策略学习生成其随后消费的提示,在奖励对比出现时对带提示优势进行退火,并投影掉会与求解相冲突的提示生成梯度。
6.3 前瞻与未来教师
第三种选择将教师变为学生的未来版本。B-OPSD [46] 运行 50 次临时 OPSD 更新以获得 ,将其冻结,从 重启学生并从 蒸馏。借助基于 rollout 的特权信息,它在单次运行中将匹配基线的平均值从 27.50 提升到 41.30(Qwen3-4B),从 48.80 提升到 64.44(Qwen3-8B)。近未来策略优化 [47] 使用领先几十步的检查点作为指导,由自适应控制器刷新,并发现经过相同持续 RL 后,近未来教师(63.23)优于远未来教师(61.92)。LEAD [111] 构建前瞻教师,用模型将从其他同策略 rollout 中学到的内容对每个实例打分,并在 SDPO 退化的设置中使分布外性能接近 GRPO。LoOPSD [86] 保持权重不变但改变计算:它搜索一个连续层块以执行两次,仅在严格验证提升时采用该循环,并报告在 Qwen3-4B 上经过 1,200 次更新后,循环教师达到 50.87%,而标准路径为 26.38%。
该方向的广度还包括用于语言反馈的 EMA 与变分教师 [79]、用于智能体和工业代码模型的自进化教师 [53, 112],以及使用移动教师的无标签空间推理 [89]。
要点
- 冻结的初始教师是稳定的默认选择,但它将学生能学到的东西限制在初始模型在特权上下文下所表达的内容范围内。
- 移动教师只有在更新受控时才有帮助:门控刷新、经过验证过滤或保留残差的教师更新,或单独的教师目标。在唯一一项受控的多随机种子研究中,无条件周期性刷新导致了崩溃。
- 未来检查点教师报告了语料库中一些最大的增益,主要来自 Qwen3 数学上的单次运行。跨随机种子和模型系列的复现是尚未完成的需求。
7. 将自蒸馏与强化学习耦合
纯 OPSD 没有结果信号:学生朝着特权教师所偏好的任何方向移动,无论该偏好是否导向正确答案。RLVR 具有相反的 profile。其奖励稀疏,且在全部解出或全部失败的组上优势消失,但它锚定于验证器。分类将 158 篇论文中的大多数置于 RL 耦合轴上,这些论文试图将验证器保留为方向的来源,并使用自教师提供密度。由此产生的设计主要区别在于两个信号相遇的位置:在损失中、在优势中,或在两者计算之前做出的路由决策中(图 13)。
flowchart TB
R[Rollout group with verifier rewards] --> S{Where do the signals meet}
S --> L[Loss level: RL loss plus distillation term]
S --> A[Advantage level: teacher ratio rescales or shifts the RL advantage]
S --> RT[Routing level: each rollout or prompt gets one signal]
L --> L1[HDPO, SDPG]
A --> A1[RLSD, RLCSD, CEPO, SIPO]
RT --> R1[SRPO, I-SDPO]图 13. 将验证器奖励与自教师结合的三种方式,附第 7.1–7.3 节中的代表性方法。
7.1 加性损失
最直接的组合将蒸馏项添加到 RL 损失中。HDPO [16] 仅在所有 标准 rollout 均失败的“悬崖”提示上应用它,以真实答案为条件对教师进行 conditioning,仅保留得分为 1 的教师 rollout,并向 GRPO 添加 top- JSD 项。增益很小且相互权衡:在权重 0.1 时,pass@8 提高 1.4–1.7%,而 pass@1 下降 2.3–2.8%。Self-Distilled Policy Gradient [113] 保留精确的全词表反向 KL 蒸馏作为辅助损失,门控到正优势 rollout 并进行退火,并报告纯 OPSD 基线在 1.7B 时崩溃(最后一个检查点 AIME24 为 0.017),而组合方法没有。Self-Distillation Zero [18] 首先训练一个修订器:在过滤后的自我修订轨迹上进行监督阶段,教模型在给定一位正确性信号的情况下改进自己的尝试,然后该修订器作为特权教师。在 Qwen3-4B-Instruct 上,平均分从 49.8 上升到 60.3,在可比生成预算下高于 RFT(54.3)和 GRPO(53.1)。
7.2 优势中的教师比率
第二种设计将教师–学生比率视为 RL 优势的 token 级调制,其符号来自验证器。Self-Distilled RLVR (RLSD) [17] 直接陈述了动机。与特权教师的分布匹配会泄漏答案特定行为:泄漏计数在 OPSD 的 100 步中单调上升,而验证准确率在 10–20 步达到峰值后下降。因此,RLSD 仅将裁剪的、停止梯度的证据比率 用作验证器优势上的幅度乘数,并报告多模态推理的平均准确率为 56.18,而 GRPO 为 53.86,OPSD 为 52.49。
图 14. Self-Distilled RLVR 将环境奖励保留为更新方向的来源,并仅使用特权教师来设置每 token 的幅度(转载自 [17])。
对比式变体则把学生从比值中移除。RLCSD [48] 将以正确提示为条件的冻结教师,与同一教师以 个错误提示为条件时的均值进行对比,从而使与答案无关的偏好相互抵消。在其测试的全部四个骨干模型上,它在两个任务族的平均值上都优于 GRPO 和四个 OPSD 基线(例如 4B 规模下 Knights-and-Knaves 为 68.2 对 63.1)。CEPO [114] 使用以被接受答案和被拒绝答案为条件的教师之间的比值 ,证明这能锚定更新方向,并将 RLSD 作为特例包含在内;在其短几何运行中,它发现 OPSD 和 SDPO 低于未训练基线。SIPO [115] 将两次自教师评估(参考答案与组内错误)的截断差值加到组优势上,并报告在数学、科学和代码上优于 GRPO 和 RLSD。Outcome-guided OPSD [116] 在正确轨迹上使用前向 KL,在截断的错误轨迹上使用反向 KL;APSD [117] 将目标设为以正确性为条件的专家乘积,在成功后向教师插值,在失败后外推超越教师(8B 规模下 LCBv6 为 49.62 对 SDPO 的 45.04)。β-OPSD [118] 从 KL 正则化的策略优化目标推导出 OPSD,其中 vanilla OPSD 对应于 ,并朝参考与教师之间几何路径上的计划插值点训练。它报告在 1.7B 规模下比 vanilla OPSD 提升 5.74 分。
7.3 路由
第三种设计决定按 rollout 或按提示应用哪个信号。SRPO [49] 将正确的 rollout 送往 GRPO,将带有可用教师的错误 rollout 送往 SDPO,并按教师置信度对蒸馏分支重新加权。其消融实验表明,用优势级混合代替路由会损失 3.3 分;其 8B 规模下五基准平均为 77.4,而 GRPO 为 74.0、SDPO 为 71.1,且每步时间低于两者。I-SDPO [50] 在提示级进行路由:有可用真实标签的全错误组接受蒸馏,任何有成功的组则接受纯 GRPO。它报告 SciKnowEval 上平均 mean@16 为 70.31%,而 GRPO 为 56.67、SDPO 为 65.74,并给出了关于偏差下限和自退火的命题,但声明这些命题仅在局部成立。策略再加热 [119] 将短 OPSD 阶段用于不同目的:在 RL 已使熵坍缩后恢复熵,使平滑分布成为策略的默认分布,而不是提高采样温度。
图 15. SRPO 中的样本路由:正确的 rollout 获得组相对优势,带有可用教师的失败 rollout 获得自蒸馏(转载自 [49])。
RL 耦合轴是语料库中最大的一条。进一步的混合方法包括按验证器置信度或不确定性对蒸馏加权 [120]、将测试时 RL 与自蒸馏结合 [87, 121]、以步骤级信用面向单元测试生成 [71],以及为智能体统一结果反馈与事后反馈 [73]。
| 方法 | 组合层级 | 教师上下文 | 验证器角色 | 报告的主要比较 |
|---|---|---|---|---|
| HDPO [16] | 损失 | 真实答案 | 选择悬崖提示、过滤教师轨迹 | pass@8 +1.4–1.7%,pass@1 −2.3–2.8% 对比 GRPO |
| SD-Zero [18] | 损失(经修订器 SFT 后) | 自身尝试 + 正确性位 | 给出该位 | 60.3 对比 GRPO 53.1(Qwen3-4B) |
| RLSD [17] | 优势幅度 | 参考 | 设定方向 | 56.18 对比 GRPO 53.86 |
| RLCSD [48] | 优势幅度 | 正确与错误提示 | 设定方向 | K&K 68.2 对比 63.1(4B) |
| SIPO [115] | 优势偏移 | 参考与组内错误 | 设定方向 | 数学 59.4 对比 GRPO 57.3 |
| APSD [117] | 目标构造 | 反馈 | 选择插值与外推 | LCBv6 49.62 对比 SDPO 45.04(8B) |
| SRPO [49] | 轨迹路由 | 正确同级 | 路由轨迹 | 77.4 对比 GRPO 74.0(8B) |
| I-SDPO [50] | 提示路由 | 真实答案 | 路由提示 | 70.31 对比 GRPO 56.67 |
表 6. 代表性的 OPSD–RL 混合方法。比较均为各论文自身的主要设置,不可跨行比较。
要点
- 主导模式让验证器设定更新方向,让自教师设定其 token 级幅度。若干论文通过表明纯分布匹配会泄漏答案特定行为并在早期峰值后退化来为此提供动机。
- 对比教师(正确与错误上下文)抵消不依赖答案的偏好,是近期最常见的设计。
- 将轨迹或提示路由到恰好一个信号比混合优势更简单,并且在 SRPO 的消融实验中效果也更好。
8. 基础问题
方法章节报告的结果大多为正面,因为方法论文往往如此。与此同时,语料库包含异常大量的受控分析:78 篇论文带有分析与理论标签,其中许多是为了检验方法论文共享的假设而写的。本章围绕六个问题组织这些证据。对于每个问题,我们陈述命题,呈现双方证据及其条件,并说明目前平衡点所在。
8.1 OPSD 究竟何时有帮助?
奠基性结果是在 instruct 模型上以 非思考 模式获得的,采用短 rollout(约 1,024 个 token)和短训练运行。若干研究组在该设定之外重新运行了已发表的配方,并报告了性能损失。Rethinking OPSD for Thinking Models [6] 用原始配方训练了五个 thinking 模型,并在 38,912 token 的预算下评估它们。五个模型全部在 avg@16 上出现下降;例如,Qwen3-1.7B 从 0.372 降至 0.308(配对 95% 区间 [−0.095, −0.037])。在同一学生模型上,使用更大外部教师的 vanilla OPD 并未出现下降,这将问题定位在 特权 教师而非 on-policy 蒸馏本身。一项覆盖 100 多次运行的广泛诊断性扫描 [7] 发现,在学生与教师推理模式匹配的条件下,OPSD 大多出现性能损失:Qwen3-4B-Thinking 从 75.4 降至 65.8 Avg@8,同时输出长度从 22.8k 增长到 43.4k token,而 Qwen3.5-4B 完全崩溃。增益主要出现在 thinking 教师监督 non-thinking 学生时。在代码领域,一项将未见问题与未见测试用例分开的划分 [122] 发现 SDPO 在留出的 LiveCodeBench 问题上 损失 0.5–9.9 分,而 GRPO 获得增益,并且其测量的全部 24 个 OPSD 变体的梯度均与留出数学策略梯度负对齐。
图 16。沿一条 Qwen3-8B thinking 轨迹的特权教师下一 token 概率,[122] 用它来展示自教师的偏好与学生的推理在何处出现分歧(转载自原论文)。
另外两项研究进一步缩小了适用条件。Hindsight Compacts but Does Not Repair [123] 将 OPSD 应用于 thinking 模型的仅正确或仅错误 rollout。仅正确训练将输出缩短 18–29%,代价是少量准确率损失;仅错误训练损失 6.6–10.0 分,且没有任何变体提高 pass@8;作者将 thinking 模型上的 OPSD 解读为 压缩,而非修复。Privileged-but-Biased [124] 在其原始 SciKnowEval 设定中复现了 SDPO 的增益,但发现在更难的 agentic 和通用 QA 任务上,损失下降而验证性能并未下降,20 个 OPSD 配方单元中有 18 个为非正。它将失败追溯到 PI 条件教师的一个可测量偏差,该偏差由仅前向传播的诊断评分。The Many Faces of OPD [125] 分离出该偏差的一个成分。一个独立的 Qwen3-14B 教师在 GPQA-Diamond 上得分为 62.1%,但当它必须延续学生的前缀时仅为 46.0%,因此一个孤立时很强的教师在偏离轨迹的状态上可能是一个弱监督者。
正面结果并非空白。一项预测性规律 [51] 表明,在 的六种构造中,学生与自教师之间的 预训练 准确率差距线性预测训练后的增益( 跨四种 Qwen3 规模;留一法 在不同上下文类型下分别为 0.949 和 0.996)。一项关于 agent 的 PI 选择研究 [126] 同样发现,离线诊断在全部九个学生设定中均与训练后 pass@1 相关。一项逐节点梯度对齐分析 [127] 表明,蒸馏梯度与理想的基于成功的梯度主要在 错误 rollout 上对齐,并且最佳教师随学生容量而翻转。这些结果意味着,当特权上下文使同一模型 在学生自己的前缀上 变得更好时,OPSD 会有帮助,且帮助程度大致与该改善幅度成比例。它们也解释了为什么当一条长且自洽的 thinking 轨迹使教师几乎无可补充时,它会失败。
8.2 特权信息实际上增加了什么?
如果特权上下文是通过揭示与答案相关的知识来起作用的,那么用一个不相关的解答替换它就应该破坏这种增益。三项研究这样做了,却发现了相反的结果。OP²SD [4] 给教师一个来自不同训练样本的问题和解答。它在 9 个模型–基准组合中的 8 个中拥有最高的点估计,并且在 Qwen3-8B 上,在全部三个基准上都优于基础模型和 OPSD(AIME 2024:55.83,对比 OPSD 的 45.00 和基础模型的 28.47),而且当使用单个固定样本时该增益仍然存在。Shuffled OPSD [5] 发现,一个不相关的参考加上一个词打乱的问题陈述在全部三个规模上都优于标准 OPSD,而将参考本身进行词打乱则不会。Rethinking Privileged Information [68] 通过方向分解(第 4.1 节)得出了相同结论。一个带有无参考对照的答案匹配套件 [128] 则更为谨慎。在思维教师监督直接响应 rollout 的情况下,一个无参考对照在域内达到 +1.80 分,而干净解答为 +3.10 分,且 1.30 分的差异在多重比较校正后不再成立。
flowchart LR
C[Privileged context c] --> B[Changes teacher behavior: length, mode, style]
C --> K[Adds problem-specific knowledge]
B --> G[Student gain]
K --> G
B -. tested by .-> U[Unrelated or shuffled references]
K -. tested by .-> M[Mismatched or wrong-answer controls]图 17. 特权上下文可以提供帮助的两条通道,以及在 [4, 5, 128] 中用于区分它们的对照。
一项漂移分析 [129] 支持行为层面的解读。改变 的内容(演示、反馈、改写)对学生的影响远大于改变其来源:每 token 反向 KL 比率的中位数为 7.2 对 1.4,并且共享内容的 LoRA 更新比共享来源的更新更相似(余弦 0.571 对 0.255)。综合来看,受控证据表明,至少在使用 Qwen3 模型的竞赛数学上,OPSD 的增益很大一部分来自上下文改变了教师的行为方式(例如引出一种更审慎的模式或不同的长度分布),而较少来自传递问题特定信息。答案特定通道是真实存在的,但比创始论文所暗示的要小,而且其大小取决于学生–教师模式配对。
8.3 崩溃、多样性与熵
一个反复出现的失败是输出分布的收窄。SDSD 分析 [52] 推导了带采样演示的在线自蒸馏的最优解。它不通过奖励来倾斜基础策略,而是通过与演示的期望逐点条件互信息来倾斜,因此同样正确的 rollout 会获得不相等的权重。在实证上,该方法在 Pass@1 上优于 GRPO,但在 Pass@16 上落后,这正是多样性损失的典型特征。思维崩溃 [130] 识别出探索性 token 密度的下降,并通过在一个高熵的 token“沙盒”内向冻结的基础先验插值来修复它(在 1.7B 上为 51.8 对 47.7,OPSD)。一项关于裁剪的研究 [131] 借助匹配的裁剪/
8.4 遗忘与持续学习
SDFT [3] 将 OPSD 作为持续学习方法提出,一篇理论论文 [134] 在理想化设定下支持了这一点。在一个关于聚簇思维链图的单步 softmax 模型中,带有边级提示的自蒸馏可证明地在任意数量的后续任务更新后仍保留旧任务的成功率,而 SFT 则可证明地发生遗忘。实证图景则更为混杂。Denser ≠ Better [8] 发现,在跨四个领域的顺序后训练中,GRPO 最终达到平均 69.90,而基础模型为 61.60,SDPO 最终为 52.55,且一个变体发生崩溃。它证明,在匹配成功率下,教师投影的 token 目标相对于最小漂移策略会产生超额 KL;作者认为,在线采样决定了哪些历史被监督,但其本身并不赋予 RL 的保守偏置。离线嫁接 [135] 通过在一个较早的检查点上学习更新并应用其掩码副本,在新任务与旧任务轴上帕累托优于 SFT 和 OPSD。一个三轴分解 [136](rollout 来源、教师耦合和 KL 方向)表明,将教师与学生耦合会先达到峰值然后崩溃。这些结果所建议的解决方案是有条件的:当目标任务接近模型 already 所做之事时,OPSD 比 SFT 保留得更好,但它并不自动比 RL 更少遗忘,并且在同等成功率下可能漂移更多。
8.5 信号强度与扩展
为什么增益会随模型规模增大而缩小?OASIS [137] 直接测量了恢复能力:在失败前缀上,带金标上下文的教师有 77% 的时间能恢复到正确答案(1.7B 规模),而仅靠学生模型时为 37%,但到了 4B 规模,这一差距缩小到 17 个百分点。其修正方法是:以模型自身的另一次 rollout 作为上下文来监督经过验证的轨迹,随着规模增长,相比 OPSD 可恢复 +0.6 到 +3.1 个点。一项动力学分析 [138] 将损失衰减率分解为学习信号和占用因子。通过 RL 获得的自教师弥合了 71–77% 的教师—学生差距,更大的外部教师仅弥合 13–48%,作者证明了一个局部收敛界,其中消失的学习信号是限制因素。两篇论文指向同一个约束:自教师只有在模型借助 与不借助它所能做到的事情之间仍存在差距时才有帮助,而这一差距会随着模型和训练的推进而闭合。
8.6 对齐风险
自蒸馏还可能改变无人测量的属性。在良性数据上使用良性线索进行递归自蒸馏 [139],将 SORRY-Bench 的合规率从 26% 提升到 94%(Phi-4 14B),从 31% 提升到 97%(Qwen3 14B),而 GSM8K 和 IFEval 不受影响。在相同的安全答案上做 SFT 并使用冻结教师则不会改变合规率,且该效应随规模增大而增强。该设置是离策略且递归的,而非通常的单遍 OPSD,但它表明自教师可以在多次迭代中放大由上下文诱导的行为偏移。这一发现直接关联到第 8.2 节:如果上下文主要改变教师行为,那么上下文所诱导的任何行为就是被蒸馏的内容。
| 问题 | OPSD 如所称有效的证据 | 反对或限定性证据 | 当前平衡 |
|---|---|---|---|
| 它有帮助吗? | 在非思考数学和科学上的开创性增益 [1, 2];预测律 [51] | 在思考模型和留出问题上的损失 [6, 7, 122] | 当学生前缀上的自教师差距较大时有帮助;对匹配的思考模型常常有害 |
| 增加了什么? | 在某些设置中正确参考优于错误答案对照 [128] | 无关或打乱的参考与正确参考相当或更优 [4, 5, 68] | 在 4B–8B 数学上主要是行为性的;知识份额较小且依赖于设置 |
| 多样性 | 低采样成本的密集信号 [1] | Pass@k 损失和思考崩溃 [52, 130];裁剪循环 [131] | 崩溃很常见,需要显式锚定 |
| 遗忘 | SDFT 保留 [3];图模型理论 [134] | 在顺序训练中比 GRPO 漂移更大 [8];嫁接占主导 [135] | 优于 SFT,但不一定可靠地优于 RL |
表 7. 关于四个基础问题的证据总结。“当前平衡”是本综述对所引证据的解读,主要限于最高 14B 的 Qwen 系列模型。
要点
- OPSD 的收益是有条件的。当特权上下文使同一模型在学生自身的前缀上明显更优时(非思考型学生、短 rollout),收益最强;而对于在长预算下评估的思考型模型,收益往往会反转。
- 对照研究表明,无关或打乱的特权上下文可以与正确的参考上下文效果相当。教师的大部分价值是行为层面的,而非针对具体答案的。
- 多样性坍缩、裁剪诱导的循环以及持续训练中的漂移是反复出现的失败模式,而锚定到基础先验或结果信号是常见的补救方法。
9. 应用
OPSD 在几个月内就超出了竞赛数学的范围。每个新领域都必须以自己的方式回答第 4 章的问题:训练时的教师能看到部署模型看不到的什么?智能体用关于轨迹的事后视角来回答,视觉模型用对输入的更好视角来回答,扩散模型用自身去噪的后续状态来回答,安全训练用面向安全的上下文来回答。本章综述这些适配,并针对每个领域说明相对于推理配方而言发生了什么变化。
9.1 智能体与多轮工具使用
多轮智能体是语料库中最大的应用领域(107 篇论文),因为环境交互会在事后产生大量特权信息:哪个工具调用失败了、哪个观测重要、哪一轮使回合偏离了正轨。特权信息蒸馏 [14] 早期就表明,情况取决于模型。在 τ-Bench 和 Travel Planner 上,其联合教师–学生训练在使用 Qwen3-8B 的 Travel Planner 上达到 44.1%,而 SFT 加 RL 为 32.3%;但 OPSD 仅在分布外的 airline 划分上表现最佳,在其他骨干模型上结果参差不齐。Skill-SD [19] 将已完成的轨迹总结为自然语言技能,这些技能仅作为教师的上下文条件,从学生重新同步教师,并报告在 AppWorld 上为 64.9%、在 Sokoban 上为 62.5%,而 GRPO 分别为 50.9% 和 51.6%;其消融实验显示,冻结的教师会低 12–16 个百分点后趋于平台。
图 18. 面向多轮智能体的技能条件自蒸馏:从学生自身轨迹总结出的技能仅进入教师提示(转载自 Skill-SD [19])。
Skill-SD 之后的主要智能体配方在特权上下文来自何处以及哪些步骤获得它上有所不同。OPID [140] 从每条已完成轨迹中提取工作流级规则,并在最多五个关键时间步提取步骤级建议。SEED [53] 让当前策略自己编写技能,并在每次更新时重新生成它,报告在 3B 规模下 ALFWorld 为 91.8%,而 GRPO 为 75.0%。SCOPE [141] 仅对有界对数比的关键错误步骤进行蒸馏,报告在 3B 规模下 ALFWorld 成功率为 97.7%,在 32B 规模下未见任务上为 94.0%。HINT-SD [142] 和 TurnSight [143] 将事后视角限制在与失败相关的轮次,或按工具轮次聚合。HINT-SD 将 BFCL v3 Avg@4 从 31.56(最佳基线)提升到 41.88,而每步时间不到全轨迹替代方案的一半。SD-Search [144] 在 GRPO 之上仅对搜索查询 token 应用事后 JSD,并报告五个种子的平均 EM 为 0.428±0.008,而 AutoRefine 为 0.404±0.008。SDAR [145] 保持 GRPO 不变,并将 OPSD 作为 sigmoid 门控的辅助损失加入。它报告称,如果没有该门控,朴素 OPSD 在 Search-QA 上会坍缩,而 GRPO+OPSD 在 1.7B 规模上会坍缩。
这些崩塌并非孤例。Self-Practice [146] 发现,纯 OPSD 在其全部四种设置下在 AppWorld 和 SWE-bench 上都低于未经训练的基座,并将特权信息从损失转移到采样器:它只决定一组 rollout 在何种上下文中被抽取,而所有组都用 GRPO 训练。一项关于检索交织搜索智能体的研究 [147] 发现,反馈增强的自我蒸馏从未持续带来增益,即使反馈条件化的教师在推理时更强。使用 EMA 正则化时,它达到 0.206 的平均 EM,而 GRPO 为 0.348。SELF [148] 两次使用实际环境反馈,一次作为教师上下文,一次作为预测目标,并报告在 τ-bench 和 AppWorld 上相对于 GRPO 和 SDPO 均有增益。共同点是,当蒸馏有针对性地作用于少数几步并由结果信号门控时,智能体获益最大;整轨迹 OPSD 在长时程设置中往往有害。
| 方法 | 特权上下文 | 蒸馏的步骤 | 与 RL 的耦合 | 代表性结果 |
|---|---|---|---|---|
| Skill-SD [19] | 来自学生轨迹的技能 | 所有动作 token | 重要性加权反向 KL 加 GRPO | AppWorld 64.9 对 GRPO 50.9 |
| SDAR [145] | 事后上下文 | 按 token 门控 | 在不变的 GRPO 上的辅助损失 | WebShop 82.8 对 72.6 (7B) |
| SD-Search [144] | 对查询的事后 | 仅搜索查询 token | 在 GRPO 上的辅助 JSD | EM 0.428 对 0.404 (5 个种子) |
| HINT-SD [142] | 分析器反馈 | 与失败相关的轮次 | 辅助 | BFCL v3 41.88 对 31.56 |
| OPID [140] | 提取的工作流 + 步骤建议 | ≤5 个关键步骤 | 辅助 | ALFWorld 84.3 对 75.0 (3B) |
| SEED [53] | 自写技能,刷新 | 轨迹 | 辅助 | ALFWorld 91.8 对 75.0 (3B) |
| SCOPE [141] | 步骤特定技能 | 关键错误步骤 | 有界辅助 | ALFWorld 未见 89.6 对 66.4 |
| Self-Practice [146] | 分析器指导 | 无(仅采样器) | 仅 GRPO | AppWorld 16.7 对 10.6 (4B) |
表 8. 面向智能体的代表性 OPSD 方法。结果是每篇论文针对其自身 GRPO 基线的首要比较,行与行之间不可比较。
GUI 与计算机使用智能体构成一个子线。GUI-SD [149] 以步骤级推理和记忆特权为条件约束教师,并报告 AndroidWorld Pass@1 为 67.2,而 GRPO 为 52.6。ComputerSD [150] 在每个执行步骤后根据动作前和动作后的截图重新生成指导,并通过分析器价值分数对蒸馏进行门控(OSWorld-Verified 39.8 对 37.9)。GUI grounding [151] 将真实坐标转化为一种视觉特权,即一个绘制的边界框并带有软缩放,并报告 ScreenSpot-Pro 60.7%,训练时间约为 GRPO 的四分之一。进一步的智能体工作涵盖持续一致性正则化 [152]、比较性结果验证自蒸馏 [153]、来自环境观测的事后回溯 [154]、编码智能体的提醒蒸馏 [155]、粒度自适应优势 [156]、长视野的分层监督分配 [157]、自退役蒸馏 [158]、弥合多轮对话差距 [159]、主动对话 [160] 以及 GUI 智能体的停止行为 [161]。
9.2 代码与软件工程
代码提供了丰富、结构化的反馈,这就是 SDPO 最强结果出现在 LiveCodeBench [2] 上的原因。对于仓库级软件工程,SWE-Ladder [162] 只向教师展示经过验证的修复中与当前阶段匹配的切片(定位阶段为更改的文件,复现阶段为失败转通过的测试,打补丁阶段为 diff),并逐步引入这些视图。在 R2E-Gym 上,它在单次运行中将 pass@1 从 9.6% 提升到 16.4%,而完整补丁 GRPO+OPSD 为 12.4%。Hindsight Hint Distillation [163] 在原本自生成轨迹的开头放置一句事后回溯提示,并报告 72B 模型在 SWE-bench Verified 上达到 51.2%,而朴素拒绝微调为 44.0%。其他代码工作包括轨迹干预 [164]、思考模式优势 [165]、难度门控教师指导 [166]、自外推策略蒸馏 [167] 以及记忆增强的文本到 SQL [168]。
9.3 多模态理解
在视觉–语言模型中,特权通道通常是感知性的:教师更好地看到输入。Vision-OPD [20] 让模型以裁剪为条件的分布监督其全图分布,将缩放内化到单次前向中。它报告 9B 模型平均 79.68,而其基座为 73.37,同系列 397B 模型为 77.44,并且在所测试的两个规模上都优于 SFT、GRPO、DAPO 和 OPSD。RP-OPSD [169] 通过给学生半分辨率图像、给教师原始图像来获得特权,这仅需要图像–问题对。S²VOPD [170] 破坏学生的视图而非丰富教师的视图,无需标注,并在六个感知基准上将 4B 模型从 70.68% 提升到 77.44%。
图 19. Vision-OPD:以缩放裁剪为条件的同一模型作为其全图预测的教师(转载自 [20])。
同样的设计也重现于时间及其他模态。Video-OPSD [54] 只向教师展示带标注的证据帧,并在全部 15 个骨干网络–基准组合中优于标准 OPSD,训练时间比 GRPO 少 60%。Clue-OPSD [171] 优先选取长视频中的短线索区间。ViCuR [172] 用可从图像本身恢复的视觉证据文本描述替代答案提示,比基于答案的 OPSD 提升约 1.2 分。K-OPSD [173] 将该方法适配到工程图纸,并采用过程级验证器。这一方向的广度涵盖流式与主动视频 [174–176]、干扰感知的时间特权 [177]、3D 与空间特权 [178, 179]、音视频与语音推理 [180–182]、测试时适应 [121] 以及视觉可归因的自蒸馏 [183]。
9.4 生成模型
OPSD 也已被推广到非自回归语言模型的生成器。对于扩散语言模型,dOPSD [24] 使用学生自身去噪轨迹中更靠后、解码更充分的状态作为特权信息。在其比较中,它是唯一一个在两个骨干网络上于每个基准上都优于基础模型的方法(例如,Dream 上的 MATH500 从 38.97 提升到 42.20)。对于图像扩散,D-OPSD [22] 继续微调步数蒸馏模型,仅将目标图像置于教师的条件中,将 FID 从 48.69 改善到 40.49,而 SFT 将其恶化到 82.20。DiffusionOPSD [184] 将图像级奖励转化为中间干净输出预测的有界目标,并在 20 个奖励匹配设置中的 19 个报告最佳留出分数,GPU 小时数比 DiffusionNFT 少 40–63%。OPSD-V [185] 使用更干净的时间缓存作为少步自回归视频生成器的特权。
图 20. 扩散语言模型的同策略自蒸馏:教师看到同一条去噪轨迹中解码更充分的状态,学生从其噪声更大的状态中学习(转载自 dOPSD [24])。
进一步的生成工作涵盖无教师的流匹配模型 [186]、扩散语言模型的自未来蒸馏 [187, 188]、引导去噪器自蒸馏 [189]、多轮图像编辑 [190]、视角变化视频 [191] 以及机器人扩散规划器 [192]。
9.5 持续学习与知识注入
持续学习是 SDFT [3] 的动机,第 8.4 节讨论了 OPSD 保留旧技能的条件。该领域的方法工作约束教师牵引的幅度。iSDFT [193] 在每个前缀处选择最接近学生且朝教师方向实现预算内信息增益的分布。它在八个单元中的七个提升了任务技能,同时更多基准保持在半点以内。MixSD [194] 在专家条件与朴素基础模型 rollout 的 token 级混合上训练,并使用普通 NLL 进行知识注入,将留出准确率保持在基础水平(72.4 对 72.2),而 SFT 降至 46.1。CODE [195] 通过开卷自教师教授因果编辑,并避免了静态编辑基线的通用能力损失。相关工作涵盖经验性与自进化智能体 [196–198]、多教师回放 [199]、自专业化领域教师 [200]、技能记忆内化 [201] 以及信息不对称下的知识注入 [202]。
9.6 对齐、安全与个性化
为稳妥起见,特权上下文描述的是模型应当如何行为,而 OPSD 在尽可能少触及 token 的前提下将其蒸馏出来。OPSA [55] 以类型特定的安全上下文为条件来调节一个冻结的自教师,并加入一个无需训练的教师翻转率标准来选择该上下文。它报告称,相较于匹配数据的 ThinkSafe,综合安全增益为 4.0 分,推理增益为 3.0 分,也就是说,“安全税”更小。
图 21. 通过同策略自蒸馏实现安全对齐:一个接收类型特定安全上下文的冻结自教师监督学生自身的回答(转载自 OPSA [55])。
多语言安全 via 自蒸馏 [203] 使用一个平行的英文查询作为特权,并将 LLaMA-3-8B 上 10 种语言的攻击成功率从 21.21% 降至 2.03%,同时 MMMLU 保持不变。ERASE [204] 通过向教师提供同一输入的注入擦除视图来防御多模态提示注入。在个性化方面,GRASP [205] 使用每用户评分细则方面作为特权,并在四个骨干模型的 LaMP-QA 上优于五个基线。更广泛的研究路线包括评判器训练 [104, 206]、基于评分细则的 RL [207, 208]、校准 [209, 210]、对抗自蒸馏 [211]、基于策略的安全对齐 [212] 以及从用户交互中学习 [74]。第 8.6 节讨论了相应的风险:递归自蒸馏也可能侵蚀安全性。
9.7 高效推理
当特权上下文是指令而非信息时,OPSD 就变成了一种压缩方法。CRISP [56] 以简洁性指令为条件调节教师,并定期从学生处刷新它。Qwen3-14B 在 MATH-500 上的准确率从 93.0% 升至 96.3%,同时推理 token 减少 56.3%;在 AIME 2024 上,准确率略有下降(75.0 降至 73.8),同时 token 减少 37.5%。EGRSD [120] 在 RLSD 式更新中加入教师熵置信门,并在六个基准上改善了准确率与长度的权衡。在思考模型上仅使用正确样本的 OPSD 同样起到压缩器的作用 [123]。进一步的工作通过自蒸馏内化思维链或视觉操作 [213, 214]、剪枝长形式推理 [215]、减少视觉 token [216, 217],以及训练多 token 预测 [218] 和推测性草稿模型 [29]。
9.8 其他领域
该配方已扩展到语言推理之外的诸多领域。多方言 ASR [219] 用面向金标准转录条件化自教师的 OPSD 替代教师强制交叉熵,在改善方言错误率的同时降低了普通话错误率(3.40% 降至 3.27%),而持续 SFT 则将其升至 4.43%。在生成式推荐中,SA-OPSD [220] 在学生自身束搜索的父状态处查询自教师,与稠密替代方案相比,将训练成本从 17.77 GPU 小时降至 5.79 GPU 小时。SOLID [221] 将测试时 RL 与选择性 OPSD 结合用于运筹学建模,在不同基准上结果不一。应用还包括视觉–语言–动作机器人 [222–224]、导航 [225]、驾驶策略 [226]、检索与嵌入 [227, 228]、医疗智能体 [229]、金融推理 [77] 和研究计划生成 [230]。
要点
- 每个领域都会重新定义这一特权:对智能体而言是轨迹事后视角,对视觉和视频而言是对输入的更好观察,对扩散而言是更晚的去噪状态,对安全而言是行为规范,对效率而言是指令。
- 在长时程智能体中,整条轨迹的 OPSD 往往有害。成功的做法是聚焦少数关键步骤,并让基于结果的 RL 目标保持主导地位。
- 感知特权(裁剪、分辨率、证据帧)是多模态设计中最稳定有效的部分,而且不需要答案标签。
10. 资源:基准、框架与系统
OPSD 论文共享一小套评估设置,该领域表面上的许多分歧反映的是这些设置之间的差异,而非方法之间的差异。本章汇总了在所考察论文中反复出现的评估设置与训练基础设施。
10.1 评估设置
表 9 列出了在深度阅读的论文中反复出现的基准,以及每个基准所代表的范式。这份列表有两个特征对解读结果很重要。第一,最常见的推理设置——AIME 2024/2025 和 HMMT 2025——每个基准只有 30 道题。因此,一两个 Avg@12 分的差异处于随机种子波动可能产生的范围之内,而且有几篇论文只报告了单次运行的结果 [92, 94, 107]。第二,奠基性的科学/
| 设置 | 机制 | 典型指标 | 使用方(示例) |
|---|---|---|---|
| AIME 2024/2025、HMMT 2025(各 30 题) | 竞赛数学、短 rollout、非思考型学生模型 | Avg@12 或 mean@16 | [1, 38, 66, 102] |
| MATH-500、AMC 2023、GPQA-Diamond | 数学与科学、无标签及测试时设置 | avg@k、pass@k | [23, 41, 56] |
| SciKnowEval L3(四个领域) | 带丰富反馈的科学问答 | mean@16 | [2, 31, 34, 50] |
| ToolAlpaca | 单轮工具使用 | 准确率 | [2, 3, 31] |
| LiveCodeBench v6 | 带测试反馈的代码 | 准确率、pass@k | [2, 63, 117, 122] |
| τ-Bench、Travel Planner、BFCL v3 | 多轮工具使用 | 成功率、Avg@4 | [14, 142, 148] |
| ALFWorld、WebShop、Search-QA | 具身、网页与搜索智能体 | 成功率、得分、EM | [53, 140, 141, 145] |
| AppWorld、SWE-bench、R2E-Gym | 长时程软件智能体 | 任务目标完成度、pass@1 | [19, 146, 162, 163] |
| OSWorld-Verified、AndroidWorld、ScreenSpot-Pro | 计算机使用与 GUI 定位 | Pass@1、准确率 | [149–151] |
| HealthBench、RubricHub、ResearchQA | 按评分量规评分的开放式生成 | 评分量规得分 | [32, 80] |
| V*、视频问答套件(MLVU、Video-MME) | 细粒度与时间感知 | 准确率 | [20, 54, 171] |
表 9. 深度阅读论文中反复出现的评估设置。纳入规则:被至少两篇受检论文用作头条基准的设置;“使用方”一列仅列出示例,并非详尽普查。
10.2 框架与训练系统
语料库中的大多数 OPSD 实现基于 verl 并采用 vLLM rollout。已发布的代码属于例外而非规则:在深度阅读的方法论文中,Self-Distilled Reasoner [1] 和 ROSD [31] 指向公开仓库,而许多卡片未记录任何代码、数据或检查点发布。EasyOPD [231] 针对由此产生的碎片化问题。它将用户配置层、方法本地监督模块和 verl 执行层分离,并通过五个调度钩子连接,使得方法可按名称和 YAML 选择。其自身的比较也说明了第 8 章所述的机制依赖性:SDPO 在 SciKnowEval Chemistry 上优于 GRPO(一小时后为 70.4 对 51.2),但在 GSM8K 上落败(87.7 对 91.8)。
图 22. EasyOPD 的三层架构,在统一配置接口后承载多种同策略与自蒸馏方法(转载自 [231])。
OPSD 的成本结构与 RLVR 不同。它每个提示只需要一次或少数几次 rollout,而不是一组,但它增加了一次对更长、特权上下文的教师前向传播,而且全词表变体还必须搬运 logits。异步训练是主要的系统层面的应对方式。AsyncOPSD [25] 在缓冲的 rollout 上于学习器内部重新计算教师监督,用年龄截断限制陈旧度,报告接受样本吞吐量提升 1.96–2.25 倍,准确率略高于同步 OPSD,并给出异步–同步目标差距的界。AsyncOPD [232] 研究分离教师的 OPD,发现反向 KL 目标比前向 KL 目标随陈旧度退化得更快,而重要性校正、由学习器重新计算的代理目标最为稳健。效率也来自更少的蒸馏:C-OPSD 在同等准确率下只蒸馏约四分之一的响应 [42],0.1% 的 token 预算即可足够 [93]。相关系统工作研究了长时程的新鲜 rollout [233]、分支 rollout [234]、最小二乘策略蒸馏 [235]、预算感知的选择性蒸馏 [236] 以及高效的自蒸馏安全对齐 [237]。
要点
- 竞赛数学结果建立在 30 题基准之上,许多论文只报告单次运行。一到两分的差距应视为暂定。
- 结果强烈依赖评估机制(丰富反馈的科学与工具 versus 长预算思考),这解释了文献中大部分表面上的分歧。
- 共享基础设施仍在涌现。异步流水线大致将吞吐量翻倍,选择性蒸馏去除了教师的大部分成本。
11. 未来方向
前面各章指向了一些开放问题,它们足够具体,可以表述为研究问题。每个问题都列出了指向它的早期工作。
在训练前测量特权信息。 一个上下文是否有帮助,目前是通过训练来发现的。两项工作表明,廉价的离线量可以预测结果:预训练学生–教师准确率差距 [51] 以及智能体上下文的错误定位诊断 [126]。仅前向传播的偏置分数可以标记有害上下文 [124],教师翻转率可以用于选择安全上下文 [55]。一个共享的、经过验证的协议,用于在留出提示上对候选上下文打分,将使第 4 章的设计空间可搜索,而不是轶事性的。
将行为特权与信息特权分离。 第 8.2 节的对照表明,无关或打乱的参考可以与正确参考一样有效 [4, 5]。如果教师的价值主要是行为性的,上下文可以直接设计为行为规范,如简洁性指令 [56] 或技能卡 [33],并且可以通过构造避免答案泄漏 [17]。显式分解这两个通道的方法,例如通过对比匹配上下文 [48, 114],是自然的下一步。
面向思考模型的 OPSD。 该领域最明确的负面结果是,OPSD 常常损害在长预算下评估的思考模型 [6, 7, 123]。候选补救措施包括在高熵区域锚定到基础先验 [130]、仅监督已验证轨迹 [137] 以及不匹配模式的教师。目前尚无一种被证明能将 OPSD 转变为长预算思考模型的可靠改进。
抗坍缩目标。 多样性损失[52]、裁剪导致的循环[131]以及由散度支配的熵偏移[132],目前都只是在孤立条件下被理解。所缺少的是一个具有覆盖率保证的目标,例如其最优解能像RL那样保留同等正确响应之间的相对权重,并且同时用Pass@
作为控制问题的教师动态。 门控刷新[43]、训练教师[44, 45]和前视教师[46, 47]各自在其设定下优于冻结教师,但它们尚未在匹配算力或跨模型家族条件下进行比较。一种根据测得的教师—学生差距[138]进行自适应的教师更新策略,仍是一个开放的设计问题。
扩展与复现。 几乎所有所考察的证据都来自参数量不超过14B的模型,且往往是Qwen3,并且是在30题基准上的单次运行(第10章)。在能够对第5—7章中一到三个百分点的改进进行排序之前,还需要更大规模的模型、其他模型家族以及多种子报告。
长时程智能体。 智能体方面的结果支持有针对性的、门控式蒸馏,而非整条轨迹的OPSD[141, 145, 146],并且反馈增强的自蒸馏对搜索智能体可能完全失效[147]。一个关于哪些步骤值得拥有特权目标、以及如何验证选择这些步骤的分析器的原则性解释,将统一众多针对智能体的特定配方。
行为副作用与安全。 递归自蒸馏可能将良性上下文放大为有害顺从行为上的巨大偏移[139]。随着OPSD被用于安全[55, 203]和个性化[205],对训练目标之外的属性(如拒绝行为和校准[209])进行常规审计,应当成为评估的一部分。
flowchart LR
M[Measure privilege offline] --> D[Design context as behavior or information]
D --> O[Collapse-resistant objective]
O --> T[Adaptive teacher dynamics]
T --> S[Scale and replicate]
S --> A[Audit side effects]
A -. feedback .-> M图23. 一个连接各开放问题的研究循环:离线测量为上下文设计提供信息,而上下文设计又约束目标和教师动态。随后,结果必须在大规模上复现,并审计其副作用。
12. 结论
在线策略自蒸馏通过赋予模型的一个副本以另一个副本不会拥有的信息,使语言模型成为自己的教师。在十个月内,这一想法已经产生了大量文献,这些文献在其流程层面上是连贯的。每种方法都选择一种特权上下文、一种塑造词元级信号的方式、一条教师更新规则以及与验证器的关系。上下文的选择决定了方法的适用范围:用于可验证推理的参考解,用于交互任务的反馈与事后复盘,用于开放式生成的评分标准与技能,用于多模态模型的感知视图,用于扩散模型的后期去噪状态,以及在不存在标签时的共识。
这些证据还支持比奠基性论文所能提供的更为具体的结论。当特权上下文使同一模型在学生的自有前缀上明显更优时,OPSD最为可靠。这一点对非思考型学生、短 rollout 和丰富环境反馈最为明显,而对于在长预算下评估的思考模型则常常失效。教师的收益中有相当大一部分似乎是行为层面的,而非针对具体答案。均匀分布匹配倾向于收窄输出分布,并且在持续训练中可能发生漂移。流传最广的设计通过让验证器或结果信号决定更新方向、并利用自教师提供 token 级幅度或进行少量有针对性的步骤,来回应这些发现。仍然悬而未决的是:一种在训练前衡量特权上下文价值的方法、可证明能抵抗坍塌的目标,以及在迄今所研究范围之外的规模和模型家族中的证据。
附录 A. 范围、检索与筛选
截止时间与来源。 语料库涵盖截至 2026 年 11 月 3 日的 arXiv 投稿;检索于 2026 年 11 月 4 日在基于 arXiv 的论文库上运行。合并了两条路径:一条关键词路径,要求在标题或摘要中同时出现 self-distillation 或 on-policy self-distillation 术语以及 on-policy training 术语(366 篇论文);另一条语义路径,返回与主题描述最接近且提交于 2025 年 6 月 1 日之后的 700 篇论文。两者的并集包含 822 篇论文。语义排名的尾部主要由 separate-teacher on-policy distillation 和通用知识蒸馏构成,这即为停止准则。
筛选。 每个候选论文均依据纳入标准进行评判:教师分布必须来自学生自身权重,且基于学生未见到的信息或输入;监督必须施加于学生自己的样本上。该标准在一个样本上校准后,由基于 LLM 的评判器应用于全部 822 个候选。评判器纳入了 475 篇论文,并手动添加了三篇检索遗漏的已知主题相关论文,最终形成 478 篇的语料库。少数纳入论文在其方法的一部分中使用单独教师;它们被标记为边界案例,仅在其发现与自蒸馏相关时被引用。
分类与阅读深度。 论文由基于 LLM 的多标签分类器按第 3 章的两个轴进行分类。共有 144 篇论文被全文阅读并以结构化卡片总结,涵盖机制、设置、主要证据、局限性和图表。它们被选为奠基性工作、每个叶节点最具代表性的方法、受控分析和主要应用论文;文中的机制和结果描述仅限于这些论文。其余论文从其摘要中引用,以分组句式陈述,仅说明每篇论文自称所做之事。
局限性。 语料库仅限于 arXiv 预印本,其中大多数在截止时尚未经过同行评审;部分结果可能在后续版本中发生变化。LLM 辅助的筛选和分类可能对个别论文产生错误标注。报告的数字为作者本人提供,来自异质设置,因此除非文中另有说明,否则不可跨论文比较。
References
[1] Siyan Zhao, Zhihui Xie, Mengchen Liu, et al. Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models. 2026. arXiv preprint. arXiv:2601.18734
[2] Jonas Hübotter, Frederike Lübeck, Lejs Behric, et al. Reinforcement Learning via Self-Distillation. 2026. arXiv preprint. arXiv:2601.20802
[3] Idan Shenfeld, Mehul Damani, Jonas Hübotter and Pulkit Agrawal. Self-Distillation Enables Continual Learning. 2026. arXiv preprint. arXiv:2601.19897
[4] Yuki Ichihara, Naoto Iwase, Mohammad Atif Quamar, Junpei Komiyama. Privileged Solutions or Context-Induced Teacher Behavior? Dissecting On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.09228
[5] Qingyuan Zheng, Zhihao Dou. Shuffled OPSD: When Semantic Consistency Hurts On-Policy Self-Distillation?. 2026. arXiv preprint. arXiv:2611.04958
[6] Simran Kaur and Narutatsu Ri and Yinghui He and Liam Fowl and Sanjeev Arora. Rethinking On-Policy Self-Distillation for Thinking Models. 2026. arXiv preprint. arXiv:2607.05184
[7] Yang Li, Gongle Xue, Yuheng Yuan, et al. Diagnosing On-Policy Self-Distillation for Reasoning Language Models. 2026. arXiv preprint. arXiv:2609.39118
[8] Meng Wang, Haohan Zhao, Wenzhuo Liu, et al. Denser Better: Limits of On-Policy Self-Distillation for Continual Post-Training. 2026. arXiv preprint. arXiv:2607.01763
[9] Mingyang Song, Mao Zheng. A Survey of On-Policy Distillation for Large Language Models. 2026. arXiv preprint. arXiv:2604.00626
[10] Fangming Cui, Sunan Li, Jiahong Li. A Brief Overview: On-Policy Self-Distillation In Large Language Models. 2026. arXiv preprint. arXiv:2605.18141
[11] Bowen Zhang. A Formula-Driven Survey and Research Agenda for On-Policy Distillation. 2026. arXiv preprint. arXiv:2606.22793
[12] Justin Robert, Raheel Qader. One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.25936
[13] Tianzhu Ye, Li Dong, Xun Wu, Shaohan Huang, Furu Wei. On-Policy Context Distillation for Language Models. 2026. arXiv preprint. arXiv:2602.12275
[14] Emiliano Penaloza, Dheeraj Vattikonda, Nicolas Gontier, Alexandre Lacoste, Laurent Charlin, Massimo Caccia. Privileged Information Distillation for Language Models. 2026. arXiv preprint. arXiv:2602.04942
[15] Yuda Song, Lili Chen, Fahim Tajwar, et al. Expanding the Capabilities of Reinforcement Learning via Text Feedback. 2026. arXiv preprint. arXiv:2602.02482
[16] Ken Ding. HDPO: Hybrid Distillation Policy Optimization via Privileged Self-Distillation. 2026. arXiv preprint. arXiv:2603.23871
[17] Chenxu Yang, Chuanyu Qin, Qingyi Si, et al. Self-Distilled RLVR. 2026. arXiv preprint. arXiv:2604.03128
[18] Yinghui He, Simran Kaur, Adithya Bhaskar, et al. Self-Distillation Zero: Self-Revision Turns Binary Rewards into Dense Supervision. 2026. arXiv preprint. arXiv:2604.12002
[19] Hao Wang, Guozhi Wang, Han Xiao, et al. Skill-SD: Skill-Conditioned Self-Distillation for Multi-turn LLM Agents. 2026. arXiv preprint. arXiv:2604.10674
[20] Qianhao Yuan, Jie Lou, Xing Yu, et al. Vision-OPD: Learning to See Fine Details for Multimodal LLMs via On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2605.18740
[21] Guobin Shen, Xiang Cheng, Chenxiao Zhao, et al. Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information. 2026. arXiv preprint. arXiv:2605.11609
[22] Dengyang Jiang, Xin Jin, Dongyang Liu, et al. D-OPSD: On-Policy Self-Distillation for Continuously Tuning Step-Distilled Diffusion Models. 2026. arXiv preprint. arXiv:2605.05204
[23] John Gkountouras, Josip Juki'c, Ivan Titov. Consensus as Privileged Context for Label-Free Self-Distillation. 2026. arXiv preprint. arXiv:2607.13643
[24] Phuong Tuan Dat, Qi Li, Xinchao Wang. dOPSD: On-Policy Self-Distillation for Diffusion Language Models. 2026. arXiv preprint. arXiv:2607.04428
[25] Xidong Wu, Qi Qi, Yuqiong Ji, Shangqian Gao. Asynchronous On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.25880
[26] Vaskar Nath, Elaine Lau, Anisha Gunjal, Manasi Sharma, Nikhil Baharte, Sean Hendryx. Adaptive Guidance Accelerates Reinforcement Learning of Reasoning Models. 2025. arXiv preprint. arXiv:2506.13923
[27] Zizhuo Zhang, Jianing Zhu, Xinmu Ge, et al. Co-rewarding: Stable Self-supervised RL for Eliciting Reasoning in Large Language Models. 2025. arXiv preprint. arXiv:2508.00410
[28] Hyeonji Lee, Daejin Jo, Seohwan Yun, Sungwoong Kim. SGPO: Self-Generated Preference Optimization based on Self-Improver. 2025. ACM Trans. Intell. Syst. Technol. 2026. arXiv:2507.20181
[29] Shrenik Bhansali, Larry Heck. Draft, Verify, and Improve: Toward Training-Aware Speculative Decoding. 2025. arXiv preprint. arXiv:2510.05421
[30] Kanghui Tian, Siyuan Liu, Tianxiang Jiang, et al. What Should a Self-Teacher See? Privileged Context Design for On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2609.25623
[31] Ziqi Zhao, Xinyu Ma, Liu Yang, et al. Beyond Imitation: Reflective On-Policy Self-Distillation for LLM Reasoning. 2026. arXiv preprint. arXiv:2605.28014
[32] Deepika Bablani, Ajay Gupta, Wanming Chen. Rubrics as Privileged Information for Open-Ended Generation. 2026. arXiv preprint. arXiv:2608.02948
[33] Yubo Jiang, Fengying Xie, Zhiguo Jiang, Haopeng Zhang. Distill Skills into Weights, Not Prompts: Abstract Skills as Privileged Signals for On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.09826
[34] Ye Liu, Srijan Bansal, Bo Pang, et al. Procedural Memory Distillation: Online Reflection for Self-Improving Language Models. 2026. arXiv preprint. arXiv:2607.01480
[35] Yijiang Li, Bingyang Wang, Yijun Liang, Yunjie Tian, Di Fu, Nuno Vasconcelos. On-Policy Self-Distillation without Any Supervision. 2026. arXiv preprint. arXiv:2608.06296
[36] Yecheng Wu, Song Han, Han Cai. Weaken to Strengthen: Weakening-Induced On-Policy Self-Distillation for Large Reasoning Models. 2026. arXiv preprint. arXiv:2610.38681
[37] Jiaxuan Wang, Xuan Ouyang, Zhiyu Chen, Yulan Hu, Lan-Zhe Guo. STEPS: Selective On-Policy Self-Distillation for Reasoning. 2026. arXiv preprint. arXiv:2605.10194
[38] ZhiYan Hou, Xinyu Tang, Hongyan An, et al. DASH: Divergence-Adaptive Supervision Horizons for On-Policy Self-Distillation of Reasoning Models. 2026. arXiv preprint. arXiv:2608.06243
[39] Minjae Oh, Sangjun Song, Gyubin Choi, Yunho Choi, Yohan Jo. KL for a KL: On-Policy Distillation with Control Variate Baseline. 2026. arXiv preprint. arXiv:2605.07865
[40] Guobin Shen, Lei Huang, Xiang Cheng, et al. From Generic Correlation to Input-Specific Credit in On-Policy Self Distillation. 2026. arXiv preprint. arXiv:2605.11613
[41] Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He and Zhipeng Wang. PACED: Distillation and On-Policy Self-Distillation at the Frontier of Student Competence. 2026. arXiv preprint. arXiv:2603.11178
[42] Harrison Zhao, Lei Huang, Zhiyuan Zhao, Fei Liu, Wen Shi, Zijian Jin. Not Every Rollout Needs Distillation: Correctness-Filtered On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.25842
[43] Haowei Guo, Baolong Bi, Ruicheng Zhang, Cong Li, Bingqian Sun, Zhonghai Wu. When Should the Teacher Move? Temporal Coupling and Stability in Self On-Policy Distillation. 2026. arXiv preprint. arXiv:2606.03532
[44] Yutong Chen, Guangfu Guo, Zhichao Xu, Kunpeng Liu. DualOPSD: Closing the Feedback Loop in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.26019
[45] Randy Ardywibowo, Arnav Dalal, Jiantao Jiao. A Good Self-Teacher Meets the Student Where They Are: Joint On-Policy Learning and Teaching. 2026. arXiv preprint. arXiv:2610.10447
[46] Zheng Zhang, Xinyue Tan, Lufei Li, Xinyi Zhang, Yexin Li, Kan Ren. Train Ahead, Distill Back: Bootstrapping On-Policy Self-Distillation for Large Language Models. 2026. arXiv preprint. arXiv:2609.37132
[47] Chuanyu Qin, Chenxu Yang, Qingyi Si, et al. Learning from the Near Future: Temporal Self-Distillation for RLVR. 2026. arXiv preprint. arXiv:2604.20733
[48] Leyi Pan, Shuchang Tao, Yunpeng Zhai, et al. RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2606.11709
[49] Gengsheng Li, Tianyu Yang, Junfeng Fang, et al. Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing. 2026. arXiv preprint. arXiv:2604.02288
[50] Yubo Zhang and Xinhong Ma and Zezhong Tan and Ziqiang Dong. I-SDPO: Instance-Level Adaptive Self-Distillation Policy Optimization. 2026. arXiv preprint. arXiv:2608.12957
[51] Tommy He, Jerome Sieber, Matteo Saponati. A Predictive Law for On-Policy Self-Distillation From World Feedback. 2026. arXiv preprint. arXiv:2605.30070
[52] Andrei Liviu Nicolicioiu and Mohammad Pezeshki and Aaron Courville. On-Policy Self-Distillation with Sampled Demonstrations Reduces Output Diversity. 2026. arXiv preprint. arXiv:2606.26091
[53] Jinyang Wu and Shuo Yang and Zhengxi Lu and Fan Zhang and Yuhao Shen and Lang Feng and Haoran Luo and Zheng Lian and Shuai Zhang and Zhengqi Wen and Jianhua Tao. SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2607.14777
[54] Ziyue Wang, Shiqi Huang, Weiwen Xu, Bihan Wen, Xudong Jiang. Video-OPSD: Exploiting Privileged Visual Evidence for On-Policy Self-Distillation in Video Large Language Models. 2026. arXiv preprint. arXiv:2608.27065
[55] Yu Fu, Longxuan Yu, Haz Sameen Shahgir, et al. Reducing the Safety Tax in LLM Safety Alignment with On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2605.15239
[56] Hejian Sang, Yuanda Xu, Zhengze Zhou, Ran He, Zhipeng Wang, Jiachen Sun. CRISP: Compressed Reasoning via Iterative Self-Policy Distillation. 2026. arXiv preprint. arXiv:2603.05433
[57] Zihao Han, Tiangang Zhang, Huaibin Wang, Yilun Sun. Adaptive Teacher Exposure for Self-Distillation in LLM Reasoning. 2026. arXiv preprint. arXiv:2605.11458
[58] Khouloud Saadi and Di Wang. One Teacher, Many Views: Reducing Reference Sensitivity in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.30880
[59] Xuyang Zhao, Liting Zhang, Zichen Xu, et al. Is More Privileged Information Better? From Solution Traces to Problem-Solving Structure in Self-Distilled Reasoning. 2026. arXiv preprint. arXiv:2608.01589
[60] Zhanming Shen, Jintao Tong, Shaotian Yan, et al. Purified OPSD: On-Policy Self-Distillation Without Losing How to Think. 2026. arXiv preprint. arXiv:2607.02234
[61] Kaixiang Zhao, Tianrun Yu, Shangzhe Li, et al. Recovering Reliable Supervision via Critique-Guided On-Policy Distillation. 2026. arXiv preprint. arXiv:2610.20572
[62] Chenglei Shen, Haoyang Yao, Weijie Yu, Song Jin, Xiao Zhang, Jun Xu. Learning from Repaired Reasoning: Root-Cause-Guided On-Policy Distillation. 2026. arXiv preprint. arXiv:2610.03515
[63] Weichen Yu, Xiaomin Li, Yizhou Zhao, et al. Multi-Rollout On-Policy Distillation via Peer Successes and Failures. 2026. arXiv preprint. arXiv:2605.12652
[64] Jiaxin Guo, Yanwei Yue, Xuanbo Fan, Chunyu Yang, Yan Zhang. Learning from Consensus and Disagreement: Unsupervised On-Policy Self-Distillation with Minority-Trajectory Contrast. 2026. arXiv preprint. arXiv:2608.08764
[65] Leon Sick, Lukas Hoyer, Yannick Strümpler, Christian Reisswig, Timo Ropinski, Federico Tombari. On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models. 2026. arXiv preprint. arXiv:2610.32770
[66] Zhiquan Tan, Yinrong Hong. PAINT: Partial-Solution Adaptive Interpolated Training for Self-Distilled Reasoners. 2026. arXiv preprint. arXiv:2604.26573
[67] Yangrong Hu, Xueyu Zhou, Yue Wu, Jian Huang. Self-Privileged Fine-Tuning. 2026. arXiv preprint. arXiv:2611.04632
[68] Samyak Shrestha, Alexander Tessier. Rethinking Privileged Information in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.18271
[69] Mayug Maniparambil, Ayush Rai, Ekansh Verma, Noel E. O'Connor, Fergal Reid. A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning. 2026. arXiv preprint. arXiv:2610.13744
[70] Yafeng Tang, Hao Li, Hongsheng Yu, Qiang Fu. ReTeach: Building a Self-Teacher through Multi-Round Reflection and Retry. 2026. arXiv preprint. arXiv:2610.11529
[71] Wenjie Gan, Zhaoxi Zhang, Jiahui Liang, et al. Enhancing Bug-Exposing Test Generation via Step-Level Credit Assignment and Self-Distillation from Valuable Failures. 2026. arXiv preprint. arXiv:2610.27694
[72] Haoyu Dong. Self-Distillation Policy Optimization via Visual Feedback: Bridging Code and Visual Artifacts. 2026. arXiv preprint. arXiv:2606.10334
[73] Zenghuang Fu, Zhaoyang Li, Qiuyuan Ai, et al. UniOPSD: Unifying Outcome and Hindsight Feedback for Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2609.34810
[74] Thomas Kleine Buening and Jonas Hübotter and Barna Pásztor and Idan Shenfeld and Giorgia Ramponi and Andreas Krause. Aligning Language Models from User Interactions. 2026. arXiv preprint. arXiv:2603.12273
[75] Xuancheng Li, Haitao Li, Yujia Zhou, et al. Different Feedback, Different Updates: Selective Self-Learning from User Interactions for Large Language Models. 2026. arXiv preprint. arXiv:2608.09109
[76] Yuwei Zhang, Sha Li, Changlong Yu, et al. Learning with Rare Success but Rich Feedback via Reflection-Enhanced Self-Distillation. 2026. arXiv preprint. arXiv:2605.12741
[77] Johnny Yu, Cyril Gorlla. How Much Does the Hint Matter? Scope Conditions for Hindsight Self-Distillation in Financial Reasoning. 2026. arXiv preprint. arXiv:2610.36082
[78] Gaetan Narozniak, Gérard Biau, Rémi Munos, Ahmad Rammal, Pierre Marion. Distilling LLM Feedback for Lean Theorem Proving. 2026. arXiv preprint. arXiv:2605.30861
[79] Yang Li, Erik Nijkamp, Semih Yavuz, Shafiq Joty. Learning from Language Feedback via Variational Policy Distillation. 2026. arXiv preprint. arXiv:2605.15113
[80] MohammadHossein Rezaei and Anas Mahmoud and Zihao Wang and Utkarsh Tyagi and Advait Gosai and Razvan-Gabriel Dumitru and Aakash Sabharwal and Bing Liu and Yunzhong He. Rubric-Guided Self-Distillation: Post-Training Without Rubric Verifiers. 2026. arXiv preprint. arXiv:2606.12507
[81] Rui Xu, Yikai Zhang, Aili Chen, Zicheng Zhao, Xu Yinghui, Libo Wu. OSPD: On-Policy Self-Distillation for Persona-Consistent Dialogue. 2026. arXiv preprint. arXiv:2609.34418
[82] Huayi Lai, Jicheng Yang, Min Yi, Chong Meng. MIRROR: From Imitation to Internalization in LLM Personalization. 2026. arXiv preprint. arXiv:2610.09795
[83] Mingfeng Lin, Chengfei Cai, Lin Xu, Chengqian Ma, Yuxiang Wei, Liang Han. PE-OPSD: Internalizing Prompt Enhancement into Flow-matching Models via On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2609.36638
[84] Ming Wen, Yuxuan Liu, Kun Yang, et al. Constitutional On-Policy Safe Distillation. 2026. arXiv preprint. arXiv:2606.03089
[85] Yingzi Ma, Zichen Zhu, Ming Jiang, Chaowei Xiao. One Student, Many Teachers: Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context. 2026. arXiv preprint. arXiv:2607.18293
[86] Wei Fan, Qingyue Yang, Chao-Hong Tan, et al. LoOPSD: On-Policy Self-Distillation with Looped Teachers. 2026. arXiv preprint. arXiv:2610.18162
[87] Aozhe Wang, Zhengxi Lu, Jianze Wang, et al. TTPO: Test-Time Policy Optimization. 2026. arXiv preprint. arXiv:2608.27448
[88] Luke Bailey, Kaiyue Wen, Kefan Dong, Tatsunori Hashimoto, Tengyu Ma. Scaling Self-Play with Self-Guidance. 2026. arXiv preprint. arXiv:2604.20209
[89] Zhenyu Liu, Zhangquan Chen, Keyi Chen, et al. Spatial-OPSD: Self-Improving Spatial Reasoning via Label-Free Self-Distillation. 2026. arXiv preprint. arXiv:2609.37055
[90] Xiaoshu Chen, Sihang Zhou, Ke Liang, Xinwang Liu. SeOPD: Self-Evolving LLMs via Online Policy Distillation from Self-Generated Chain-of-Thought. 2026. arXiv preprint. arXiv:2609.33181
[91] Jinhao Pan, Bowen Wei, Yuqing Zhou, Ziwei Zhu. Learning from Self-Generated Responses: Reliability--Uncertainty Self-Distillation for Reasoning. 2026. arXiv preprint. arXiv:2610.19176
[92] Xiaogeng Liu, Xinyan Wang, Yingzi Ma, Yechao Zhang, Chaowei Xiao. When Are Teacher Tokens Reliable? Position-Weighted On-Policy Self-Distillation for Reasoning. 2026. arXiv preprint. arXiv:2605.21606
[93] Huanxin Sheng, Zhiling Ye, Haonan Wang, Jian Wang, Jinjie Gu and Jian Kang. 1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation. 2026. arXiv preprint. arXiv:2609.24432
[94] Heng Liang, Xinwen Zhang, Hongchang Gao. Learning What to Distill: Bilevel Top-K Token Selection for Self-Distillation in Large Language Models. 2026. arXiv preprint. arXiv:2610.07247
[95] Yifu Luo, Chuang Ma, Zeyu Chen, Enkelejda Kasneci, Qi Chen, Gjergji Kasneci. Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-distillation. 2026. arXiv preprint. arXiv:2610.40574
[96] Duy Nguyen, Hanqi Xiao, Archiki Prasad, et al. AVSD: Adaptive-View Self-Distillation by Balancing Consensus and Teacher-Specific Privileged Signals. 2026. arXiv preprint. arXiv:2605.20643
[97] Xingrun Xing, Haoqing Wang, Boyan Gao, Ziheng Li, Yehui Tang. Trust Region On-Policy Distillation. 2026. arXiv preprint. arXiv:2606.01249
[98] Yifei Liu, Minghao Fang, Xinyu Gu, et al. E-OPSD: Taming Entropy Overshoot in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.05048
[99] Yugu Li, Zehong Cao, Peizhen Li, Yang Zhang, Siyi Hu, Jianglin Qiao. Can We Trust the Teacher? Decoupled Credit Direction-Magnitude for Self-Distillation. 2026. arXiv preprint. arXiv:2609.34848
[100] Meilin Yang, Zixuan Ding (1), Jianhao Nie, et al. Adaptive Supervised Anchoring for On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.07935
[101] Zehao Liu, Yuanpu Cao, Jinghui Chen, Vasant G. Honavar. Restoring the Sweet Spot: Pass-Rate Weighted Self-Distillation for LLM Reasoning. 2026. arXiv preprint. arXiv:2605.27765
[102] Xincheng Wei, Yifan Ding, Yoshua Li, et al. Better Supervision Is Nearby: Neighborhood On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2609.39687
[103] Qiangqiang He, Zhongheng Wu, ZiJian Wang. Not All Tokens Deserve Equal Credit: Counterfactual Sensitivity Credit Reallocation for Long-CoT Reasoning. 2026. arXiv preprint. arXiv:2607.27888
[104] Ilgee Hong, Changlong Yu, Zhenghao Xu, et al. Training LLM Judges from Language Feedback via Position-Selective Self-Distillation. 2026. arXiv preprint. arXiv:2609.38792
[105] Seohyun Lee, Dong-Jun Han, Seyyedali Hosseinalipour, Christopher G. Brinton. Fisher-Informed Recalibration for Feedback-Based On-Policy Self-Distillation of LLMs. 2026. arXiv preprint. arXiv:2609.34009
[106] Xuan-Phi Nguyen, Zeyu Leo Liu, Yang Li, et al. Privileged Likelihood Is Not Automatically Value: Three Checks for Token Credit in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.09263
[107] Zewen Ding, Zezhong Wu, Zhou Tao, et al. VISTA: Verifier-Informed Student-to-Teacher Adaptation for On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.28306
[108] Yangyang Feng, Zhuoyan Feng, and Junlan Chen. PAST: Privileged Adaptation from Complete Student Trajectories for On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.08726
[109] Shufan Shen, Zhongni Hou, Chao Bi, Yufei Zhang, Guojun Yin, Shuhui Wang. On-Policy Self-Distillation with Teacher Evolution. 2026. arXiv preprint. arXiv:2610.38637
[110] Zile Wang, Zijian Li, Haodong Wang, et al. Teach to Learn: Hint Annealing for Self-improving LLM Reasoning. 2026. arXiv preprint. arXiv:2609.34975
[111] Zepeng Zhai, Meilin Chen. Teach Me After You Learn It: Lookahead Self-Distillation for RLVR. 2026. arXiv preprint. arXiv:2610.18256
[112] Cheng Yang, Jiayang Lyu, Shangyuan Liu, et al. iCoder-27B: Recursive AI-Led Development of Frontier Industrial Coding Model. 2026. arXiv preprint. arXiv:2609.29626
[113] Yifeng Liu, Shiyuan Zhang, Yifan Zhang, Quanquan Gu. Self-Distilled Policy Gradient. 2026. arXiv preprint. arXiv:2606.04036
[114] Ahmed Heakl, Abdelrahman M. Shaker, Youssef Mohamed, et al. CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization. 2026. arXiv preprint. arXiv:2605.19436
[115] Zhenrui Yue, Huimin Zeng, Yueqi Wang, et al. SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2609.36742
[116] ZheXu Wang, Mao-Lin Luo, Yankun Hong, et al. Outcome-Guided On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.05070
[117] Suwan Yoon, Seongryong Jung, Changhee Lee. Correctness-Dependent Asymmetric Target Distributions for Self-Distillation Policy Optimization. 2026. arXiv preprint. arXiv:2610.25973
[118] Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang. -OPSD: Deriving with Policy Optimization, Training with Self-Distillation. 2026. arXiv preprint. arXiv:2607.28582
[119] Xuewei Yang, Jiachen Yu, Jie Wu, Shaoning Sun, Junjie Wang, Yujiu Yang. Internalize the Temperature: On-Policy Self-Distillation as Policy Reheater for Reinforcement Learning. 2026. arXiv preprint. arXiv:2606.00755
[120] Junlong Ke, Zichen Wen, Weijia Li, Conghui He, Linfeng Zhang. Respecting Self-Uncertainty in On-Policy Self-Distillation for Efficient LLM Reasoning. 2026. arXiv preprint. arXiv:2605.13255
[121] Shuning Wang, Zhiheng Wu, Xun Zhou, et al. TTRSD: Test-Time Reinforcement Learning with Self-Distillation for Vision-Language Models. 2026. arXiv preprint. arXiv:2609.33414
[122] Jason Ken Adhinarta, Raina Wu, Ashutosh Sharma, et al. Does self-distillation improve reasoning?. 2026. arXiv preprint. arXiv:2610.18613
[123] Jaehoon Kim, Dongha Lee. Hindsight Compacts but Does Not Repair: Rethinking On-Policy Self-Distillation in Reasoning Models. 2026. arXiv preprint. arXiv:2605.06188
[124] Sarthak Harne, Chinmay Karkar, Yash Pandya, Ahmed Awadallah, Akshay Nambi. Privileged, but Biased: How PI-Conditioned Teachers Break Self-Distillation. 2026. arXiv preprint. arXiv:2608.04794
[125] Siqi Zhu, Xuyan Ye, Hongyu Lu, Weiye Shi, Ge Liu. The Many Faces of On-Policy Distillation: Pitfalls, Mechanisms, and Fixes. 2026. arXiv preprint. arXiv:2605.11182
[126] Kaijian Zou, Emiliano Penaloza, MohammadHossein Rezaei, et al. Predicting Privileged Information Effectiveness for On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.22512
[127] Mohammadreza Armandpour, Fatih Ilhan, David Harrison, et al. Unmasking On-Policy Distillation: Where It Helps, Where It Hurts, and Why. 2026. arXiv preprint. arXiv:2605.10889
[128] XiuYu Zhang, Wei Chow, Junfeng Fang, Xingyu Zhu, Zhenkai Liang, Tat-Seng Chua. What Does Privileged Information Add to On-Policy Self-Distillation?. 2026. arXiv preprint. arXiv:2609.20612
[129] Ravenor Davion, Nick Rui. Privileged Context as Drift in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.07842
[130] Keqin Peng, Chen Li, Yuanxin Ouyang, Yancheng Yuan, Liang Ding. Diagnosing and Mitigating Thinking Collapse in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2607.10805
[131] Di Huang, Hao Li, Yixin Chen, Fuhai Li. When Clipping Reverses Correction: Failure Dynamics of Pointwise Forward-KL On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2609.38995
[132] Nicolas Zucchet, Scott W. Linderman. Divergence controls entropy in distillation. 2026. arXiv preprint. arXiv:2610.03529
[133] Anton Baumann, Akmal Ashirmatov, Leo Schmidt-Traub, et al. On Repulsive and Attractive Teachers: Separating Correctness from Behavior in Self-Distillation. 2026. arXiv preprint. arXiv:2609.21561
[134] Shinichi Uemura, Taiji Suzuki. Learning without Overwriting: A Theory of Self-Distillation and Supervised Fine-Tuning in Continual Reasoning. 2026. arXiv preprint. arXiv:2610.05200
[135] Chen Henry Wu and Thomas Zhang and Aditi Raghunathan. Off-Policy Merging Beats On-Policy Self-Distillation for Continual Learning. 2026. arXiv preprint. arXiv:2610.05872
[136] Luis Zuin, Alexis Huet, Dario Rossi, Zied Ben Houidi. Disentangling Self-Distillation: Measuring and Modeling Acquisition and Retention. 2026. arXiv preprint. arXiv:2609.39494
[137] Md. Ismail Hossain, Humaira Kousar and Isidora Chara Tourni. Overcoming Scaling Limits in On-Policy Self-Distillation for LLM Reasoning. 2026. arXiv preprint. arXiv:2609.37915
[138] Lei Zhao, Qichao Zhao, Bowen Zuo, Qishi Zhan. Why On-Policy Distillation Sometimes Fails: Vanishing Learning Signals. 2026. arXiv preprint. arXiv:2610.11247
[139] Karim Abdel Sadek and Federico Di Gennaro and Fanny Yang. Progressive Misalignment Can Emerge from Benign Recursive Self-Distillation. 2026. arXiv preprint. arXiv:2610.22467
[140] Shuo Yang and Jinyang Wu and Zhengxi Lu and Yuhao Shen and Fan Zhang and Lang Feng and Shuai Zhang and Haoran Luo and Zheng Lian and Zhengqi Wen and Jianhua Tao. OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2606.26790
[141] Qirui Liu, Wei Cao, Yu Mi, et al. SCOPE: Selective Critical-Step On-Policy Self-Distillation for Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2610.38391
[142] Woongyeong Yeo, Yumin Choi, Taekyung Ki, Sung Ju Hwang. HINT-SD: Targeted Hindsight Self-Distillation for Long-Horizon Agents. 2026. arXiv preprint. doi:
[143] Changle Qu, Sunhao Dai, Hengyi Cai, et al. TurnSight: Turn-Level Hindsight Self-Distillation for Tool-Integrated Reasoning. 2026. arXiv preprint. arXiv:2608.04007
[144] Yufei Ma, Zihan Liang, Ben Chen, et al. SD-Search: On-Policy Hindsight Self-Distillation for Search-Augmented Reasoning. 2026. arXiv preprint. arXiv:2605.18299
[145] Zhengxi Lu, Zhiyuan Yao, Zhuowen Han, et al. Self-Distilled Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2605.15155
[146] Xingyu Su, Abhishek Kumar, Qing Ping, et al. From Self-Distillation to Self-Practice: Privileged Information for Multi-Turn Agents. 2026. arXiv preprint. arXiv:2609.29051
[147] Fan Yang, Rui Meng, Yuxin Wen. Why Does Feedback-Augmented Self-Distillation Fail to Improve Retrieval-Interleaved Search Agents?. 2026. arXiv preprint. arXiv:2607.17558
[148] Hangxi Guo, Fengyuan Liu, Yue Wang, et al. Environmental Feedback Modeling Matters: Rethinking Feedback Treatment in Agentic Hindsight Self-Distillation. 2026. arXiv preprint. arXiv:2610.11384
[149] Yan Zhang, Daiqing Wu, Huawen Shen, et al. Learn How to Act from Your Own Interactions: On-Policy Self-Distillation for GUI Agents. 2026. arXiv preprint. arXiv:2609.27307
[150] Yong Du, Tongbo Chen, Zhengxi Lu, et al. ComputerSD: Online Self-Distillation from Real-Time Feedback for Computer-Use Agents. 2026. arXiv preprint. arXiv:2609.40253
[151] Yan Zhang, Daiqing Wu, Huawen Shen, Can Ma, Yu Zhou. Learn where to Click from Yourself: On-Policy Self-Distillation for GUI Grounding. 2026. arXiv preprint. arXiv:2605.00642
[152] Chunji Lv, Yangguang Wei, Junlin Liu, et al. PCSD: Persistent Consistency for Self-Distillation in Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2608.01837
[153] Xu Xia, Jinghua Piao, Min Yang, Xiaochong Lan, Jiaju Chen, Yong Li. From Scoring to Acting: Outcome-Verified Comparative Self-Distillation for LLM Agents. 2026. arXiv preprint. arXiv:2607.27937
[154] Haoran Liu, Yuwei Zhang, Xiyao Li, Bohan Lyu, Jingbo Shang. HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation. 2026. arXiv preprint. arXiv:2606.11559
[155] Yuechen Luo, Zhiyi Lai, Miao Ziqi, et al. OPRD: On-Policy Reminder Distillation for Long-Horizon Coding Agents. 2026. arXiv preprint. arXiv:2610.21496
[156] Sijia Li, Yuchen Huang, Zifan Liu, et al. GEAR: Granularity-Adaptive Advantage Reweighting for LLM Agents via Self-Distillation. 2026. arXiv preprint. arXiv:2605.11853
[157] Yuhao Sun, Binrui Wu, Zhuoer Xu, et al. Dense Is Not Enough: Hierarchical Supervision Allocation for Long-Horizon On-Policy Distillation. 2026. arXiv preprint. arXiv:2609.33409
[158] Yan Yu, Zhengxi Lu, Yizhou Liu, et al. RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2609.20784
[159] Tianlang Chen, Shirley Wu, Jure Leskovec. Found in Conversation: LLMs Teach Themselves to Close the Multi-Turn Gap. 2026. arXiv preprint. arXiv:2605.24432
[160] Azure Zhang, Ning Gao, Yuqin Dai, et al. Unlocking Proactivity in Task-Oriented Dialogue. 2026. arXiv preprint. arXiv:2605.22240
[161] Barada Sahu (Cabal AI), Shivesh Pandey (Para AI). Teach it to stop, not just to click. 2026. arXiv preprint. arXiv:2607.17136
[162] Xudong Cai, Zhengxi Lu, Yuchen Yan, et al. SWE-Ladder: Learning to Localize, Reproduce, and Patch via Progressive Privileged Self-Distillation. 2026. arXiv preprint. arXiv:2610.33667
[163] Shengjie Wang, Guanghe Li, Zonghan Yang, Yang Gao. Hindsight Hint Distillation: Scaffolded Reasoning for SWE Agents from CoT-free Answers. 2026. arXiv preprint. arXiv:2605.11556
[164] Taeckyung Lee, Rinat Amankos, Jeonghye Kim, Hyungjun Yoon, Woogyeol Jin, Sung-Ju Lee. TISD: On-Policy Self-Distillation with Trajectory Intervention. 2026. arXiv preprint. arXiv:2609.30878
[165] Wanqi Ren, Jianxiang Wang, Danxuan Liu, Linyi Ding, Huaixiao Tou. Learning from Think-Mode Advantage via On-Policy Distillation. 2026. arXiv preprint. arXiv:2609.37044
[166] Karn Tiwari, Varnith Chordia, Prathosh A P. DiffGate: Difficulty-Gated Teacher Guidance for On-Policy Distillation. 2026. arXiv preprint. arXiv:2610.04596
[167] Yang Li, Semih Yavuz, Shafiq Joty. RISE: Recursive Improvement via Self-Extrapolating Policy Distillation. 2026. arXiv preprint. arXiv:2609.05295
[168] Jiawei Zhou, Jianwei Wang, Chenyu Zhou, Chaojian Shi, Ming Dong, Kai Wang. EvoSQL: Memory-Augmented Critic-Generator Co-Evolution for Text-to-SQL. 2026. arXiv preprint. arXiv:2607.20489
[169] Qihui Zhu, Yuchen Wang, Zijian Wen, et al. RP-OPSD: Resolution-Privileged On-Policy Self-Distillation for Multimodal Large Language Models. 2026. arXiv preprint. arXiv:2607.24447
[170] Yijiang Li, Yijun Liang, Yunjie Tian, et al. Self-Supervised Visual On-Policy Distillation. 2026. arXiv preprint. arXiv:2608.14144
[171] Kaishen Wang, Dongdi Zhao, Yijun Liang, et al. Where to Look Matters: On-Policy Self-Distillation for Long-Video Understanding. 2026. arXiv preprint. arXiv:2608.25356
[172] Kanghui Tian, Siyuan Liu, Ziang Yan, Sheng Xia, Shuai Dong, Yi Wang. ViCuR: Visual Cues as Recoverable Privilege for Multimodal On-Policy Distillation. 2026. arXiv preprint. arXiv:2606.05718
[173] Yunfei Bai, Enrico Chionna, Akash Amol, Kawaljit Singh KC, Joern Tinnemeyer. K-OPSD: Verifiable On-Policy Self-Distillation for Post-Training Vision-Language Models on AEC Drawings. 2026. arXiv preprint. arXiv:2609.34082
[174] Kaixuan Du, Xin Wan, Dai Guan, Ming Chen, Xiaoxi Jiang, Guanjun Jiang. Live-OPSD: On-Policy Self-Distillation for Proactive Streaming Large Video Models. 2026. arXiv preprint. arXiv:2610.36959
[175] Yuwei Miao, Xuesheng Zhang, Wenhao Zou, et al. EGSD: Event-Grounded Self-Distillation for Streaming Video Understanding. 2026. arXiv preprint. arXiv:2609.36803
[176] Keming Wu, Baoyi Wang, Kaichen Zhang, et al. StreamOPD: A Post-Training Recipe with Spatio-Temporal Cue Gating for Streaming Video Understanding. 2026. arXiv preprint. arXiv:2608.16320
[177] Zhaoyu Chen, Yongwei Nie. DTP-OPSD: Reinforcement Learning with Distractor-Aware Temporal-Privilege On-Policy Self-Distillation for Temporal Video Grounding. 2026. arXiv preprint. arXiv:2611.00120
[178] Hongxing Li, Yixin Li, Dingming Li, et al. Distilling Routed 3D Privilege for Spatial Reasoning in Vision-Language Models. 2026. arXiv preprint. arXiv:2610.12355
[179] Haocheng Luo, Jiahui Liu, Ruicheng Zhang, et al. Learning Visual Spatial Planning from Symbolic State via Modality-Gap-Aware Self-Distillation. 2026. arXiv preprint. arXiv:2606.06076
[180] Junming Lin, Yuxuan Wang, Zhenxin Lei, et al. OmniReasoning: Pushing the Limits of Audio-Visual Joint Reasoning. 2026. arXiv preprint. arXiv:2609.39490
[181] Jing Hu, Danxiang Zhu, Xianlong Luo, et al. CORD: Bridging the Audio-Text Reasoning Gap via Weighted On-policy Cross-modal Distillation. 2026. ACL findings 2026. arXiv:2601.16547
[182] Yujie Guo, Hongjie Chen, Jian Kang, Jie Li, Yongxiang Li, Yong Qin. TS-OPD: Reconciling ASR and QA in Speech Language Models via Task-Specific On-Policy Distillation. 2026. arXiv preprint. arXiv:2609.29464
[183] Shiao Xie, Siyu Chen, Jianwei Lv, Xiandong Li, Yujin Wang. Reinforcement Learning with Visually Attributable On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.26856
[184] Wei Zhou, Xiongwei Zhu, Lingdong Kong, et al. On-Policy Self-Distillation in Diffusion Models. 2026. arXiv preprint. arXiv:2608.24646
[185] Hongyu Liu, Chun Wang, Feng Gao, et al. OPSD-V: On-Policy Self-Distillation for Post-Training Few-Step Autoregressive Video Generators. 2026. arXiv preprint. arXiv:2607.08766
[186] Shiyi Zhang, Mushui Liu, Yunze Tong, et al. Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher. 2026. arXiv preprint. arXiv:2608.26872
[187] Yifu Luo, Zeyu Chen, Haoyu Wang, et al. Learning from the Self-future: On-policy Self-distillation for dLLMs. 2026. arXiv preprint. arXiv:2606.18195
[188] Hyeongsoo Lim, Jinyoung Kim, Eunseo Seo, Minho Jang, Jiwon Yoon. SelFusion: Self-distillation for Diffusion Language Models. 2026. ACL 2026. doi:
[189] Xiaohang Tang, Keyue Jiang, Che Liu, et al. GDSD: Reinforcement Learning as Guided Denoiser Self-Distillation for Diffusion Language Models. 2026. arXiv preprint. arXiv:2605.29398
[190] Liangbing Zhao, Le Zhuo, Mohamed Elhoseiny. On-Policy Self-Distillation for Multi-Turn Image Editing. 2026. arXiv preprint. arXiv:2609.35611
[191] Shengxiang Ji, Boyang Wang, Haiyang Xu, et al. LIFT: Layout-In-Future Video Generation under Large Viewpoint Change via On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2609.38146
[192] Shafeef Omar, Sebastian Sanokowski, Elham Daneshmand, et al. DiPLO: Self-distilled Diffusion Planning for Loco-manipulation. 2026. arXiv preprint. arXiv:2610.24847
[193] Ahmed Khaled Khamis, Xiaotong Ji, Hassan Jaber, et al. iSDFT: Information-Proximal Self-Distillation for Continual Learning in LLMs. 2026. arXiv preprint. arXiv:2609.24646
[194] Jiarui Liu, Lechen Zhang, Yongjin Yang, et al. MixSD: Mixed Contextual Self-Distillation for Knowledge Injection. 2026. arXiv preprint. arXiv:2605.16865
[195] Shuaike Li, Kai Zhang, Xianquan Wang, Jiachen Liu, Shengpeng Mo. From Fact Overwriting to Knowledge Evolution: Causal Editing via On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2605.28303
[196] Tianzhu Ye, Li Dong, Qingxiu Dong, Xun Wu, Shaohan Huang, Furu Wei. Online Experiential Learning for Language Models. 2026. arXiv preprint. arXiv:2603.16856
[197] Yuhang Zhou, Yifan Wu, Bo Peng, et al. Self-Evolving Agents through Privileged Retrospective Distillation. 2026. arXiv preprint. arXiv:2610.27495
[198] Shijie Ren, Xiting Wang, Meng Li, et al. Self-Improving Large Language Models via Progressive Experience Evolution. 2026. arXiv preprint. arXiv:2608.02139
[199] Yiqiao Qiu. Replay for LLM Continual Learning with Multi-Teacher On-Policy Distillation. 2026. arXiv preprint. doi:
[200] Yifei Li, Rongman Xu, Lingling Zhang, et al. Self-Specialized Teachers for Domain Post-Training. 2026. arXiv preprint. arXiv:2608.28647
[201] Dian Jin, Jinluan Yang, Kairong Han, et al. MDSKILL: Learning to Internalize Skill Memory through Multi-View Distillation for Efficient Dynamic Agent Self-Evolution. 2026. arXiv preprint. arXiv:2611.05313
[202] Hojun Cho, Kang Eun Jeon, Jaegul Choo. Adaptive-Policy Distillation: Knowledge Injection under Information Asymmetry. 2026. arXiv preprint. arXiv:2611.00852
[203] Ruiyang Qin, Qingzhuo Wang, Dongrui Liu, Qiang Li, Zhihua Wei, Wen Shen. Multilingual Safety Alignment via Self-Distillation. 2026. arXiv preprint. arXiv:2605.02971
[204] Shuo Hong, Jiaxin Ma, Xidi Cai, Qianli Ma. Erase the Injected Region: Multimodal Prompt-Injection Defense with On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.41307
[205] Yilun Qiu, Xiaoyan Zhao, Chengbing Wang, et al. Rubric-Aware On-Policy Self-Distillation for LLM Personalization. 2026. arXiv preprint. arXiv:2609.35262
[206] Dingyao Yu, Tong Zhang, Yutao Mou, Yunxiao Zhang, Wei Ye, Shikun Zhang. Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.14684
[207] Mingxuan Xia, Yuhang Yang, Chao Ye, et al. CriPO: Enhancing Rubric-based RL via Self-Distillation. 2026. arXiv preprint. arXiv:2607.18082
[208] Chengsheng Zhang and Wenshen Xu and Yuchuan Wu and Zhiyuan Yu and Junfeng Fang and Tianlong Wang and Bingxue Qiu and Yongbin Li and Xiang Wang. Co-Evolving Policy and Rubric via Capability Awareness for Open-Ended Generation. 2026. arXiv preprint. arXiv:2610.38566
[209] Jiaxin Zhang, Xiangyu Peng, Qinglin Chen, Qinyuan Ye, Caiming Xiong, Chien-Sheng Wu. The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation. 2026. arXiv preprint. arXiv:2604.16830
[210] Tao Feng and Xinke Jiang and Chao Wu. KbSD: Knowledge Boundary aware Self-Distillation for Behavioral Calibration in Agentic Search. 2026. arXiv preprint. arXiv:2606.29863
[211] Mohammad Sadegh Akhondzadeh, Soroush H. Zargarbashi, Aleksandar Bojchevski. Adversarial Self-Distillation. 2026. arXiv preprint. arXiv:2610.38732
[212] Chang Wu, Junfeng Fang, Houcheng Jiang, et al. PolicyAlign: Direct Policy-Based Safety Alignment for Large Language Models. 2026. arXiv preprint. arXiv:2606.25442
[213] Durgesh Kalwar, Vardhan Palod, Jaya Adithya Pavuluri, Subbarao Kambhampati. Masked Self-Distillation: Internalizing the Chain-of-Thought in Language Models. 2026. arXiv preprint. arXiv:2607.22629
[214] Yishuo Cai, Jiahui Liu, Yuanxin Liu, et al. Thinking Without Images: Internalizing Visual Manipulation with On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2606.08719
[215] Chenjun Xu, Zhennan Zhou, Zhan Su, Bill Howe, Lucy Lu Wang, Bingbing Wen. STOP: Structured On-Policy Pruning of Long-Form Reasoning in Low-Data Regimes. 2026. arXiv preprint. arXiv:2605.13165
[216] Junxian Li, Ruixuan Yang, Tianao Zhang, Tiange Xu, Weisheng Dong, Yulun Zhang. Fewer Tokens, More Self-Teaching: On-Policy Self-Distillation for Extreme Visual Token Reduction. 2026. arXiv preprint. arXiv:2609.32353
[217] Ahmadreza Jeddi, Enming Zhang, Jasper Gerigk, et al. SCOPD: Sparse-Context On-Policy Self-Distillation for Efficient Vision-Language Models. 2026. arXiv preprint. arXiv:2609.34044
[218] John Kirchenbauer, Abhimanyu Hans, Brian Bartoldson, Micah Goldblum, Ashwinee Panda, Tom Goldstein. Multi-Token Prediction via Self-Distillation. 2026. arXiv preprint. arXiv:2602.06019
[219] Shuiyuan Wang, Bingshen Mu, Pengshen Zhang, et al. On-Policy Self-Distillation for Multi-Dialect ASR: Mastering Dialects, Retaining Mandarin. 2026. arXiv preprint. arXiv:2608.11898
[220] Rongfeng Guo, Zhuang Zhuang, Ji Dai, et al. Search-Aware On-Policy Self-Distillation with Sibling Alignment for Generative Recommendation. 2026. arXiv preprint. arXiv:2611.01568
[221] Rui Zhu and Minglong Cao and Chenyu Zhou and Jianghao Lin and Dongdong Ge. Beyond Verified Answers: Solver-Informed Self-Distillation for Bootstrapping Operations Research Language Models. 2026. arXiv preprint. arXiv:2609.09957
[222] Kejing Wang, Toan Nguyen, Minh Hoang Nguyen, Simon Khan, Flora D. Salim. ROAD-VLA: Robust Online Adaptation via Self-Distillation for Vision-Language-Action Models. 2026. arXiv preprint. arXiv:2606.25800
[223] Yuechen Luo, He Chong, Fang Li, et al. Reflect-VLA: Internalizing Reflective Guidance via Dual-Path On-Policy Self-Distillation for Autonomous Driving. 2026. arXiv preprint. arXiv:2610.13453
[224] Hao Dou. FIRE-VLA: Failure-Informed Self-Evolution for Vision-Language-Action Models in Autonomous Driving. 2026. arXiv preprint. arXiv:2608.13395
[225] Bowen Feng, Keqin Wang, Yulong Yang, et al. Training Generalist Navigation Policies via Action Self-Distillation. 2026. arXiv preprint. arXiv:2610.17593
[226] Keyu Chen, Nanfei Ye, Yida Wang, et al. CRAFT: Counterfactual-to-Interactive Reinforcement Fine-Tuning for Driving Policies. 2026. arXiv preprint. arXiv:2605.04470
[227] Dongyue Li and Zebang Cheng and Zhongyi Deng and Hongboxu and Yi Bin and Fei Ma. RPSD: Retrieval-Privileged On-Policy Self-Distillation with Optimal Transport. 2026. arXiv preprint. arXiv:2610.37281
[228] Mingzhou Jiang, Peixi Wu, Hang Cheng, et al. Reason What Matters: Retrieval-Grounded Reasoning for Universal Multimodal Embeddings. 2026. arXiv preprint. arXiv:2609.15296
[229] Minye Shao, Chaohui Yu, Yixuan Wu, et al. From Given to Gathered Evidence: Agentic Learning for Longitudinal Medical Reasoning. 2026. arXiv preprint. arXiv:2609.39566
[230] Yuhan Wang, Zhengxi Lu, Yuchen Yan, et al. PaperGym: Rubric-Centered Evolution for Research-Plan Generation. 2026. arXiv preprint. arXiv:2608.31119
[231] Jie Sun, Mao Zheng, Mingyang Song, et al. EasyOPD: An Easy-to-use On-Policy Distillation Framework for Large Language Models. 2026. arXiv preprint. arXiv:2607.11012
[232] Wonjun Kang, Kevin Galim, Seunghyuk Oh, et al. AsyncOPD: How Stale Can On-Policy Distillation Be?. 2026. arXiv preprint. arXiv:2606.24143
[233] Xianwei Chen, Shimin Zhang, Jibin Wu. -OPD: Stabilizing Long-Horizon On-Policy Distillation with Freshness-Aware Control. 2026. arXiv preprint. arXiv:2605.17862
[234] Dongyang Chen, Shudong Liu, Shubo Li, et al. Branching On-Policy Distillation. 2026. arXiv preprint. arXiv:2610.13481
[235] Shangzhe Li, Yuxiao Yang, Tianrun Yu, et al. An RL View of OPD: Least Square Policy Distillation for Sample-Efficient LLM Reasoning. 2026. arXiv preprint. arXiv:2609.35505
[236] Zihan Chen, Hengguang Zhou, Yuan Kang, et al. BAS-OPD: Budget-Aware Selective On-Policy Self-Distillation for Fine-Grained Multimodal Perception. 2026. arXiv preprint. arXiv:2609.25891
[237] Qirui Liu, Yichen Sun, Yan Wang, et al. EOPSA: Efficient On-Policy Self-Distilled Safety Alignment. 2026. arXiv preprint. arXiv:2609.34519
引用本报告
@misc{parallax-2026-on-policy-self-distillation-survey,
title = {{On-Policy Self-Distillation for Large Language Models: A Survey}},
author = {{Parallax}},
year = {2026},
month = nov,
howpublished = {\url{https://parallax.ink/research/en/on-policy-self-distillation-survey}},
url = {https://parallax.ink/research/en/on-policy-self-distillation-survey},
note = {Parallax Research, Survey}
}