サーベイ

大規模言語モデルのためのオンポリシー自己蒸留:サーベイ

要旨

オンポリシー自己蒸留(OPSD)は、言語モデルを自身のサンプル上で訓練する手法であり、教師役は同一のモデルに学生が見ることのない情報——参照解、環境フィードバック、ルーブリック、入力のより良い見方、あるいは自身の試行の合意——を与えたものである。得られる信号は密でトークンレベルかつオンポリシーであり、別個の教師モデルもプロンプトごとの複数ロールアウトのグループも必要としない。2026年1月以降、このアイデアは少数の報告から数百本の論文へと成長した。本サーベイは、2026年11月3日までに収集した478本の論文を、OPSDパイプラインの構成要素——自己教師が何を見るか、蒸留信号がどのように形作られるか、教師がどのように進化するか、自己蒸留が強化学習とどのように結合されるか——に沿って整理する。第二の軸は、エージェント、マルチモーダルモデル、生成モデル、継続学習、安全性、効率的推論における応用を扱う。本サーベイは144本の論文を全文精読したことに基づく。特権的コンテキストがOPSDの適用可能範囲を決定することが見出される。また、対照研究により、教師の価値の大きな部分が回答固有の知識ではなく、コンテキストに誘発された振る舞いに帰されることが見出される。利得は、教師と学生の差が大きい非思考型の学生に対して頑健であり、長いバジェットで評価される思考型モデルではしばしば逆転する。したがって、近年の支配的な設計では、検証器が更新の方向を定め、自己教師はトークンレベルの大きさ、あるいは少数の標的を絞ったステップにのみ用いられる。最後に、特権情報の測定、崩壊の防止、14Bモデルを超えるスケーリング、自己蒸留の行動的副作用の監査における未解決問題を提示する。

1. はじめに

大規模言語モデルのポストトレーニングは三種類の学習信号に依拠しており、それぞれに馴染み深い弱点がある。教師ありファインチューニングは固定された実演を模倣するためオフポリシーであり、モデルが既に持つ能力を上書きしうる。検証可能報酬による強化学習(RLVR)はモデル自身のサンプル上で訓練するが、シーケンスごとに単一のスカラーを受け取るのみで、すべて正しい、あるいはすべて誤っているロールアウトのグループからは何も学ばない。オンポリシー蒸留(OPD)は二つの強みを組み合わせ、学生自身のサンプル上で密なトークンごとの目標を用いて訓練するが、別個の、通常はより大きな教師モデルを必要とする。オンポリシー自己蒸留はその最後の要件を取り除く。同一の重みが教師と学生を兼ね、教師が学生より優れるのは、学生がテスト時に持たない特権情報ccを与えられるからにすぎない。参照解、実行エラー、ルーブリック、あるいは画像のズームインされたクロップが、モデルを自身の教師へと変えうる。

このアイデアは急速に広まった。本サーベイのために集めたコーパスでは、2025年に7本の関連論文が現れ、2026年1月から4月にかけてさらに31本、2026年5月から11月初頭にかけて440本が現れた。文献は現在、数学・科学推論、マルチターンエージェント、視覚・動画モデル、拡散生成器、知識編集、安全性アラインメント、音声認識に及ぶ。その成長はまた、草創期の論文の前提に疑問を投げかける対照分析も生み出した。すなわち、教師の優位が特権的コンテキストの内容に由来するのか、OPSDが思考型モデルにそもそも役立つのか、そしてRLよりも本当に忘却が少ないのか、という問いである。手法論文と分析論文がこれまで主に並行して発展してきたため、サーベイの時期として適切である。

既存の概観は4つある。それらはオンポリシー蒸留を広く扱い、OPSDについて簡潔な初期概観を与え、1つの式からOPDの変種を導出し、あるいは数学推論における崩壊問題を批判的にレビューする。2.3節でこれらと本サーベイを比較する。これらに対して、本サーベイは(i)損失の式ではなくOPSDパイプラインを中心に構成され、(ii)数学のみならず応用の全範囲を扱い、(iii)分析文献を手法論文と対等に位置づけ、それが提起する基礎的問いに一章を割いている。

範囲。 我々は、教師分布が学生自身の重み(凍結、移動、訓練済み、またはアーキテクチャ改変)によって、学生が見ない文脈または入力の下で生成され、かつ監督が学生自身のサンプルに対して適用される手法を含める。別個のより大きな教師からのオンポリシー蒸留は除外するが、論文の分析が自己蒸留に直接関わる場合は除く。また、トークンレベルの教師信号を伴わないオフポリシー自己訓練も除外する。付録Aに検索経路、締め切り、スクリーニング手順を示す。

構成。 2節では共通の記法、タイムライン、関連サーベイを導入する。3節では分類体系を示す。4〜7節ではパイプラインの4つの構成要素、すなわち特権的文脈、信号の成形、教師の動態、RLとの結合を扱う。8節では6つの基礎的問いを検討する。9節では応用を概観し、10節ではベンチマークとシステムをまとめ、11節では未解決問題を論じ、12節で結論を述べる。

mermaid
flowchart LR X[Prompt x] --> S[Student samples y from p] X --> T[Same weights with privileged context c] S --> T T --> Q[Teacher distribution q on the student's prefixes] S --> P[Student distribution p] Q --> L[Token loss: weighted divergence between p and q] P --> L V[Verifier or reward, optional] --> L L --> U[Update student weights] U -. frozen, EMA, trained or lookahead .-> T

図1. OPSDループ。学生は自身でサンプリングし、同じ重みが特権的文脈ccを与えられて学生のプレフィックスをスコアリングし、トークンごとのダイバージェンスが任意で検証器信号と組み合わされて学生を更新し、教師更新規則が教師の重みがどのように追従するかを決める。4〜7節はそれぞれこのループの1つの構成要素を扱う。

2. 予備

2.1 設定と記法

xxをプロンプト、πθ\pi_\thetaを訓練対象のポリシーとする。学生は応答y∼πθ(⋅∣x)y\sim\pi_\theta(\cdot\mid x)をサンプリングし、位置ttにおいて次トークン分布pt=πθ(⋅∣x,y<t)p_t=\pi_\theta(\cdot\mid x,y_{<t})を持つ。自己教師は同じモデルのコピーπˉ\bar\piであり、同じプレフィックス上で評価されるが、特権的文脈ccを伴う:

qt=πˉ(⋅∣x,c,y<t),πˉ∈{πθ0, EMA(πθ), sg(πθ), …}.q_t=\bar\pi(\cdot\mid x,c,y_{<t}),\qquad \bar\pi\in\{\pi_{\theta_0},\ \mathrm{EMA}(\pi_\theta),\ \mathrm{sg}(\pi_\theta),\ \ldots\}.

一般的なOPSD目的関数は、トークンごとのダイバージェンスの重み付き和である:

L(θ)=Ex Ey∼πθ(⋅∣x)[∑twt D(pt, sg(qt))],\mathcal{L}(\theta)=\mathbb{E}_{x}\,\mathbb{E}_{y\sim\pi_\theta(\cdot\mid x)}\Big[\sum_{t} w_t\,D\big(p_t,\ \mathrm{sg}(q_t)\big)\Big],

ここでsg\mathrm{sg}はstop-gradientを表し、wtw_tはトークン重み(バニラ形式では一様1/∣y∣1/|y|)、DDはダイバージェンス(逆KLKL(pt∥qt)\mathrm{KL}(p_t\Vert q_t)、順KL、またはJensen–Shannon補間)である。DDが逆KLで、サンプリングされたトークンのみを用いる場合、トークンごとの報酬は対数比rt=log⁡qt(yt)−log⁡pt(yt)r_t=\log q_t(y_t)-\log p_t(y_t)である。SDPOは、逆KL目的関数の勾配がまさにこのアドバンテージを持つポリシー勾配であることを示し、これがOPSDをRLに結びつけるものである。検証器報酬r(x,y)∈{0,1}r(x,y)\in\{0,1\}とグループ相対アドバンテージAAは、OPSDがRLVRと組み合わされる場合に現れる(第7章)。

記号意味
xx, yy, y<ty_{<t}プロンプト、学生がサンプリングした応答、トークンttの前の接頭辞
cc教師だけが見る特権的コンテキスト(解答、フィードバック、ルーブリック、ビュー、合意)
πθ\pi_\theta, πˉ\bar\pi学生ポリシー;同一モデルの教師コピー(凍結、EMA、学習済み)
ptp_t, qtq_t学生の接頭辞上における学生と教師の次トークン分布
DD, wtw_t蒸留損失におけるダイバージェンスとトークンごとの重み
rtr_tサンプリングされたトークンの対数比log⁡qt(yt)−log⁡pt(yt)\log q_t(y_t)-\log p_t(y_t)
r(x,y)r(x,y), AAOPSDをRLVRと組み合わせた場合の検証器報酬とRLアドバンテージ

表1. 本サーベイ全体で用いる共通記法。個々の論文は異なる記号を用いているが、我々はそれらの目的関数をこの記法に翻訳する。

OPSDは隣接する手法とは二つの軸で異なる。元来のオフポリシー形式のコンテキスト蒸留とは異なり、監督は学生自身のサンプルに対して適用される。別個の教師を用いるOPDとは異なり、教師の優位性はより多くのパラメータからではなくccから得られる。二つ目の違いには実用的な帰結と概念的帰結がある。実用面では、教師は同一モデルのより長いコンテキストに対する追加のフォワードパスを1回要するだけで、二つ目のモデルを配信する必要はない。概念面では、学生はccが与えられたときにモデルがすでに表現できることしか学習できず、これが達成可能な利得を制限する(8.5節)。

2.2 分野の発展

創始となる報告は2026年1月に互いに数日以内に現れた。Self-Distilled Reasoner(OPSD)は数学推論のための参照解答に凍結教師を条件付けた。SDFTは継続学習のために実演を用いた。SDPOはポリシー勾配の枠組みで環境フィードバックを用いた。2月にはエージェントのための特権情報蒸留、テキストフィードバックからのRL、オンポリシーコンテキスト蒸留が加わった。2026年5月以降、あらゆるパイプライン構成要素の変種、最初の体系的な診断、そして視覚・拡散・エージェントへの最初の応用が数週間のうちに相次いで現れ、論文数は急増した。

mermaid
timeline title Representative OPSD milestones in 2026 January : OPSD with reference solutions [1] : SDFT for continual learning [3] : SDPO with rich feedback [2] February-March : Privileged-information distillation for agents [14] : On-policy context distillation [13] : HDPO hybrid with RL [16] April : Self-Distilled RLVR [17] : SD-Zero self-revision [18] : Skill-SD for agents [19] May : Vision-OPD [20] : Anti-self-distillation [21] : D-OPSD for diffusion [22] June-July : Thinking-model failures [6] : Label-free CANON [23] : dOPSD for diffusion LMs [24] August-November : Mismatched-reference controls [4] : Diagnostic sweeps [7] : Asynchronous OPSD [25]

図2. arXiv投稿月別の代表的なOPSD研究の年表。最も引用された研究ではなく、各主要な系統の最初の出現を示すために選ばれている。

期間(arXiv IDの月)コーパス内の論文数研究の性格
2025年6月–12月7前駆的研究:適応的ガイダンス、自己教師ありRL、自己生成選好、学習考慮型投機的デコーディング
2026年1月–4月31創始的なレシピ、最初のRLハイブリッド、エージェントへの適応
2026年5月–11月440構成要素、応用、分析の急速な多様化

表2. arXiv識別子の月(初回投稿の代理指標)による478件のコーパス論文の分布。2026年11月は一部のみ(最初の3日間)。

2.3 関連サーベイ

表3は、先行する4つの概観と本サーベイを比較したものである。OPDサーベイは、オンポリシー蒸留を、訪問される状態分布、教師の見方、用いられる勾配に分解し、自己蒸留を文脈条件付き教師の一ケースとして扱う。簡潔な概観は、OPSDとOPDを定性的な表と8方向の設計分類体系で比較するが、実験は行っていない。数式駆動型サーベイは、フィードバックから更新への経路の9つの変数を導出し、未検証の変種を提案する。批判的レビューは、数学推論における6か月分の後続研究を、1つの症状(崩壊)と3つのレバーの下に再編成する。

サーベイ締め切り(概算)範囲整理の軸対象となる応用
OPDサーベイ2026年4月すべてのオンポリシー蒸留状態分布、教師の見方、勾配一部
簡潔な概観2026年5月OPSD8つの設計次元なし
数式駆動型サーベイ2026年6月すべてのオンポリシー蒸留9つの数式変数なし
批判的レビュー2026年8月数学推論のためのOPSD1つの症状、3つのレバー除外
本サーベイ2026年11月OPSD、478件の論文パイプライン構成要素と応用エージェント、マルチモーダル、生成、継続、安全性、効率、その他

表3. 関連サーベイ。締め切りはarXiv識別子の月と、各概観が論じる研究から推定したものである。

要点

  • OPSDは、教師が特権的文脈を持つ同一モデルであるオンポリシー蒸留である。その逆KL形式は、トークン単位の対数比アドバンテージを用いたポリシー勾配である。
  • この分野は2026年1月に形成され、コーパスの92%(478件中440件)が2026年4月以降に出現した。
  • 先行する概観は、より広い(すべてのオンポリシー蒸留)か、より狭い(数学のみ、または数式レベル)かのいずれかである。応用の範囲や分析文献を全体として扱うものはない。

3. オンポリシー自己蒸留の分類体系

我々は文献を2つの軸に沿って整理する。メカニズム軸は、図1におけるOPSDループの構成要素に従う。教師が何を見るか、信号がどのように形成されるか、教師がどのように進化するか、自己蒸留がRLとどのように組み合わされるかを問い、さらに2つの横断的カテゴリ、すなわち分析と理論、および訓練システムを加える。応用軸は、論文が対象とする領域を記録する。論文は各軸で複数のラベルを持つことができ、実際にほとんどが持っている。典型的なエージェント論文は、新しい特権的文脈を構築すると同時に、それをGRPOと結合する。図3は代表的な研究とともに上位レベルを示し、表4はコーパスにおける各カテゴリの規模を示す。

mermaid
mindmap root((On-policy self-distillation)) What the teacher sees · Ch. 4 Solutions and demonstrations · 1, 3, 30 Feedback and hindsight · 2, 15, 31 Rubrics skills memory · 32, 33, 34 Label-free privilege · 23, 35, 36 Signal shaping · Ch. 5 Token and step weights · 37, 38 Divergence and estimator · 39, 40, 21 Problem and rollout level · 41, 42 Teacher dynamics · Ch. 6 Frozen and gated refresh · 43 Trained teachers · 44, 45 Lookahead teachers · 46, 47 Coupling with RL · Ch. 7 Additive losses · 16, 18 Ratios in the advantage · 17, 48 Routing · 49, 50 Analyses and debates · Ch. 8 When it helps · 6, 51 What privilege adds · 4, 5 Collapse and forgetting · 52, 8 Applications · Ch. 9 Agents · 19, 53 Multimodal · 20, 54 Generative · 24, 22 Safety and efficiency · 55, 56

図3. 代表的な研究を葉に持つ、オンポリシー自己蒸留の分類体系。

メカニズムのカテゴリ論文数応用カテゴリ論文数
教師コンテキスト (第4.1–4.3章)179一般的推論119
ラベルなし特権 (第4.4章)133エージェントとツール利用107
信号整形 (第5章)195マルチモーダル理解73
教師ダイナミクス (第6章)47継続学習と知識40
RLとの結合 (第7章)158アラインメントと安全性40
分析と理論 (第8章)78生成モデル31
トレーニングシステム (第10章)12推論効率27
サーベイとポジションペーパー4コードとソフトウェアエンジニアリング17
別教師OPD (境界事例)8その他のドメイン19
この軸で不確実40この軸で不確実98

表4. 478論文コーパスにおける両軸のカテゴリサイズ。ラベルはLLMベースのマルチラベル分類器によって割り当てられ、排他的ではないため、列の合計は478にならない。「ラベルなし」のカウントは広義であり、他の場所で何らかの教師あり学習が使用されている場合でも、特権が自己生成された論文を含む。

ラベル分布における三つの規則性が、本サーベイの残りの部分を形作る。第一に、信号整形とRL結合はどちらも教師ダイナミクスより3倍以上大きい。この分野は、どの教師を使うかよりも、教師の分布をどのように使うかに多くの労力を費やしてきた。第二に、コーパスの6分の1が分析と理論であり、1年未満の分野としては異常に高い割合である。これが第8章が手法の章と同じくらいの長さである理由である。第三に、エージェントとマルチモーダルモデルを合わせると、一般的推論よりも多くの論文を占める。OPSDはもはや、いくつかの副次的应用を伴う数学推論の技術ではない。

要点

  • メカニズム軸はOPSDループの4つの構成要素(コンテキスト、信号、教師ダイナミクス、RL結合)に従い、応用軸はドメインを記録する。
  • 研究努力は教師信号の整形と結合に集中している。教師ダイナミクスは比較的未探求である。
  • 分析はコーパスの約6分の1を占め、推論以外の応用は現在、推論のみの研究を上回っている。

4. 自己教師の構築:教師が見るもの

すべてのOPSD手法は、損失を書く前に一つの設計上の問いに答えなければならない。すなわち、どの情報ccが凍結コピーπˉ\bar\piを、次トークン分布qt=πˉ(⋅∣x,c,y<t)q_t=\bar\pi(\cdot\mid x,c,y_{<t})が学生のptp_tより優れた教師に変えるのか?その答えは、手法が必要とするデータ(参照解、検証器、ルーブリック、あるいは何もなし)、教師が学生には知り得ない何を知り得るか、そしてその知識のどれだけがテスト時にccを見ない重みに吸収され得るかを決定する。本章はccの内容によって文献を整理し、最も豊かでラベル依存度の高いコンテキストから、モデルが自ら製造するコンテキストへと移行する。

mermaid
mindmap root((Privileged context c)) Solutions and demonstrations Full reference solution · 1, 3 Partial or masked views · 57, 58, 30 Distilled guidance · 59 Purified targets · 60 Feedback and hindsight Environment or interpreter feedback · 2, 15 Self-reflection and critique · 31, 61 Repaired reasoning · 62 Peer rollouts · 63 Rubrics skills and memory Rubrics · 32 Skill cards · 33 Procedural memory · 34 Extracted experience · 13 Label-free privilege Consensus solutions · 23, 35, 64 Weakened weights · 36 Self-generated data · 65

図4. 第4章のサブツリー:オンポリシー自己蒸留手法が使用する特権コンテキストと代表的な研究(arXiv識別子は本文で解決される引用番号の代わりとなる)。

4.1 参照解とデモンストレーション

OPSDの標準的な形式は、self-teacherを検証済みの解答手順に条件付ける。Self-Distilled Reasoner は、数学推論においてこの構成を具体化した。同じモデルに対して、問題のみを与えて一度プロンプトする場合(student)と、問題に加えて参照チェーンオブソートy⋆y^\starおよび「自分のアプローチでこの問題を解け」という指示を与えてプロンプトする場合(teacher)がある。teacherはトークンを出力せず、studentのロールアウトに対して事前に埋めた一度のフォワードパスが各位置でqtq_tを生成し、studentはそれに対するトークンごとの点単位でクリップされたダイバージェンスを最小化する。この論文における2つの選択が、この系統のデフォルトとなった。すなわち、teacherは初期ポリシーπθ0\pi_{\theta_0}であり、著者らはこれが移動するポリシーよりも安定していることを見出したこと、そしてプロンプトごとに単一の1,024トークンのロールアウトが、GRPOが必要とする長いロールアウトのグループを置き換えることである。これらの設定により、著者らはAIME24/AIME25/HMMT25における平均Avg@12が、Qwen3-1.7Bでは37.1から43.4へ(GRPO: 37.7)、Qwen3-8Bでは61.8から64.8へ(GRPO: 64.0)上昇したと報告しており、これはGRPOのサンプリングトークンのおよそ1/128である。図5はこの構成を示す。

図5. 参照解を特権的コンテキストとして用いるオンポリシー自己蒸留:studentは問題のみのプロンプトからサンプリングし、同じ重みで参照解をプロンプトされたものが、そのサンプルの各プレフィックスをスコアリングする(Self-Distilled Reasoner より再掲)。

同時期に、Self-Distillation Fine-Tuning(SDFT)は同じパターンを一般の教師ありデータに適用した。teacherはクエリごとのデモンストレーションに条件付けられたモデルであり、studentはEMA teacherに対して自身のロールアウトで訓練され、損失は全語彙にわたって合計される。その目的は推論精度ではなく保持であった。知識獲得タスクにおいて、SDFTはstrict/lenient/out-of-distribution精度で89/100/98に達し、SFTの80/95/80と対比される。また3タスクの逐次設定では、SFTに見られる退行なしに各タスクを学習する。これは第8章で繰り返し現れるOPSDの第二の動機を確立した。すなわち、ターゲットが置き換えられるのではなく再重み付けされたstudent自身のトークンであるため、OPSDはSFTよりもモデルを大きく動かさない。

図6. SDFTのメカニズム:デモンストレーションはteacherのコンテキストにのみ置かれ、studentは自身のサンプルから学習する(より再掲)。

参照のうち教師がどれだけを見るべきかを問う大規模な後続研究がある。その答えは「全部より少なく」に収束している。Adaptive Teacher Exposure は参照の推論プレフィックスを割合 α\alpha に切り詰め(常に最終回答は保持する)、α\alpha を訓練状態条件付きの制御変数として学習する。報告されている Avg@12 は 1.7B/4B/8B で 44.35/65.65/67.13 であり、OPSD の 43.4/63.6/64.8 と対比される。PAINT は、ロールアウトがすでに参照のどれだけを再現しているかに依存する長さで参照の接尾辞をマスクし、高エントロピー比の位置の疎な集合上で教師と生徒のエネルギーを補間する。8B では OPSD の 64.8 に対して 66.9 を報告している。粒度に関する系統的研究 は、完全な解答から、名前付きの方略、方法に依存しない枠組み、問題カテゴリ、そして回答のみに至るまで、五つの対応するコンテキストを編纂している。4B と 8B では中間レベルが完全な解答を上回り(64.81 対 63.43;68.24 対 66.67)、しかもヒントトークンの保存量は 17~37 倍少ないが、1.7B では完全な解答がなお僅差で勝る。教師を複数のランダムにマスクされたビューにわたって平均化すること は、どの妥当な参照が与えられたかに対するターゲットの感度を下げ、Problem-Space Guidance は解答を四つのフィールドから抽出した記録に置き換える。Self-Privileged Fine-Tuning はこの考えを教師ありファインチューニングに持ち込む。すなわち、SFT トークンに重みを与える凍結された事前分布それ自体が特権的な結果情報に条件付けられており、これは数学とコードにおいて SFT を上回るが、無条件の事前分布に対して一様に上回るわけではない。これらの研究を通じて提示される説明は同じである。完全な解答は教師を特定の導出の模倣へと引き寄せ、その経路固有の信号は、それを見ることのない生徒には転移しない、というものである。

この説明は直接検証されている。Rethinking Privileged Information は教師と生徒の対数比を「参照」方向と「回復」方向に分解し、8B において NuminaMath 上で非思考型の教師を用いた場合、別の問題からの不一致な参照が正しい参照を上回ること(平均 67.6 対 59.5、対応区間はゼロを除外)を見出す一方、MegaScience 上では両者の差は最大でも 0.3 ポイントである。Purified OPSD は二回の追加の凍結フォワードパス(参照のみ、質問のみ)を用いて教師の対数比のうち質問条件付けられた部分のみを保持し、四つのモデルと二つのデータセットにわたる改善を報告している(DASD-10K 上の Qwen3-8B:標準 OPSD の 60.9 に対して 66.0)。総合すると、これらの結果は、参照解答が少なくとも部分的には、生徒が吸収する回答固有の知識としてではなく、教師の振る舞いを変えるプロンプティング介入として作用することを示唆している。8.2 節でこの問いに戻る。

4.2 フィードバック、批評、後知恵

第二の系列は、何が起きたべきかではなく、何が起きたかを教師に示すことで、教師をより賢くする。SDPO は豊富なフィードバックを用いた強化学習を定式化した。ロールアウトに対する環境のフィードバックff(インタプリタのエラー、失敗したテスト、判定者の所見)が教師のプロンプトに付加され、生徒は∑tKL(pt ∥ sg πθ(⋅∣x,f,y<t))\sum_t \mathrm{KL}(p_t\,\|\,\mathrm{sg}\,\pi_\theta(\cdot\mid x,f,y_{<t}))を最小化する。著者らは、この損失の勾配がトークンレベルのアドバンテージを持つ方策勾配At=log⁡πθ(yt∣x,f,y<t)πθ(yt∣x,y<t)A_t=\log\frac{\pi_\theta(y_t\mid x,f,y_{<t})}{\pi_\theta(y_t\mid x,y_{<t})}であることを示しており、これにより本手法はGRPOのスカラーアドバンテージに対する密なクレジットの代替となる。LiveCodeBench v6において、彼らはSDPOで48.8%を報告しており、これは調整済みGRPOの41.2%に対する値であり、4分の1の生成回数でGRPOの最終精度に到達する。正誤フィードバックのみであっても、集計値は66.6%に対して70.2%である。図7は自己教授ループを示している。

図7. SDPOにおける自己教授:環境が回答に対するフィードバックを返した後、そのフィードバックを条件とした同じモデルが回答を再スコアリングし、トークンレベルの対数比がクレジットを割り当てる(より再掲)。

テキストフィードバックからのRL は、異なる方向から関連する定式化に到達した。すなわち、第二ターンのフィードバック条件付きロールアウトを用いて単一ターンのリターンを最適化し、フィードバックを初回試行の能力へとコンパイルする。その自己蒸留変種(RLTF-SD)は、Shortest Pathにおける単一ターン精度を0.034から0.830へと引き上げ、これはマルチターンGRPOの0.384に対する値であり、バンディット抽象化におけるベースラインのバイアスと信号対雑音に関する証明を伴う。Privileged Information Distillation は同じアイデアをマルチターンのツール使用エージェントに持ち込み、そこではより強力なモデルのトレースから抽出された特権情報が、共同で訓練される方策の教師役に与えられる。9.1節ではこれを他のエージェント研究とともに論じる。

その後の研究は、生のフィードバックを生成された説明に置き換える。ROSD は、誤ったロールアウトを最短の正しい兄弟ロールアウトと対比する短い内省をモデルに書かせ、完全な解法ではなくその内省を条件として教師に与え、最初の誤りを含む文以降からのみ蒸留する。これは3つのバックボーンについてSciKnowEvalとToolAlpacaで最良の平均を報告しており、内省を除去すると4Bの平均が72.83からSDPOの水準(67.56)まで低下する。批判条件付き教師に関する診断研究 は、参照に対するスコアリングのパスは誤りを探索できないのに対し、ロールアウトの逐語的引用を伴う批判を生成することはできると論じる。その定位と訂正のスコアは、参照条件付きスコアリングではほぼゼロか符号が逆であるが、批判条件付けでは強く正である。CriticOPD と RC-OPD はさらに進んで、失敗したロールアウトを修復する。教師が批判し、最後の有効な地点から訂正された継続が生成され、その後に初めて生徒が監督され、誤り段階に対してセグメント固有の後知恵が用いられる。RC-OPDは、1.7B/4B/8Bにおいて平均Avg@4が44.17/66.11/66.94であり、これはOPSDの40.28/62.50/63.33に対する値である。これは外部の診断モデルを用いており、厳密な自己蒸留の境界に位置づけられる。マルチロールアウトOPD は、同じプロンプトの仲間ロールアウトを成功と失敗に分けて教師に与え、Qwen3-8BについてLCBv6で平均@8が61.82であり、これはSDPOの49.49に対する値である。ReTeach は、結果を考慮したサンプル重みを伴う多ラウンドの内省・再試行ループから文脈を構築する。

同じ後知恵のアイデアは、多くのフィードバック源とともに現れる。コードにおけるテスト実行と描画された視覚的成果物、エージェントのための統合された結果と後知恵の信号、ユーザーのインタラクションと訂正、稀な成功と失敗後のヒントについての内省、形式数学における証明アシスタントのフィードバックである。変分的手法による扱いでは、言語フィードバックからの学習を方策蒸留として捉える。

4.3 ルーブリック、スキル、記憶

参照解のないタスクに対して、第三の系統は再利用可能な特権的知識を用いる。RGSDとRuPIは、肯定的基準と否定的基準を伴うプロンプトごとのルーブリックを教師のコンテキストに投入するため、ルーブリックは判定者のスカラー報酬ではなく条件付け文字列となる。RGSDは、RubricHubの医学・科学においてGRPOと同等の性能を報告し(+6.1対+5.9ポイント、+4.9対+4.5)、訓練時の判定者呼び出しが約100万回ではなくゼロ回、ロールアウトが16回ではなく1回、HealthBenchの虚偽主張率の上昇もより小さい(30.5%→35.1%対30.5%→45.1%)。RuPIは、3つのモデル規模でルーブリック報酬GRPOに対するHealthBenchの改善を報告し(例えば14Bで0.347対0.268)、同一のレシピの下で参照解を特権情報として用いる場合を0.034~0.079上回る。これら2つの研究は、柔らかな自然言語の基準が、参照解を用いるOPSDが適用できないオープンエンド生成におけるccとして機能し得ることを確立する。

SKALDは、インスタンスごとの解を、問題間で共有される回答フィルタ済みのスキルカード(タイトル、原則、使用方法、よくある間違い)に置き換え、アニーリングされた交差エントロピー項を加え、そのカードが役立つかどうかのサンプリング推定によって問題ごとに蒸留をゲートする。0.6B/1.7B/4BでGRPOに対するavg@8の改善+2.46/+4.85/+12.01を報告し、等FLOP比較も含む。手続き的記憶蒸留(Procedural Memory Distillation)は、学習者自身のロールアウトから構築されるオンラインの3層記憶(経験、洞察、行動)を維持し、それを教師経路でのみ用いるため、展開される生徒は記憶を持たない。SciKnowEvalのavg@16をSDPOに対して74.4から77.2(Qwen3-8B)、69.5から73.3(OLMo3)へ改善し、凍結方策によるアブレーションでは54.0まで低下する。オン方策コンテキスト蒸留(OPCD)は、ラベルなしの自己生成トレースから経験を抽出することでccを作り出し、逆KLを用いてオン方策で蒸留し、Qwen3-8Bの数学を75.0から79.7へ、Sokobanを9.4から53.9へ改善する。特筆すべきは、その教師–生徒変種が純粋な自己蒸留を上回ることで(Sokobanで53.9対18.8)、同一モデルの教師が常に最良の選択肢とは限らないことを思い起こさせる。

他の研究は同じ機構を用いて、ペルソナ、画像生成器のためのプロンプト強化、安全憲章、タスク固有のソフトプロンプトを重みに内在化する。

4.4 ラベルなしの特権

最後のファミリーは、教師のコンテキストから外部ラベルを完全に取り除く。CANON は32回のロールアウトをサンプリングし、多数決の回答を採用し、多数派集合の中で最も確信度の高い解を凍結した教師のコンテキストに配置する。その後、すべてのロールアウトはJensen–Shannonダイバージェンスを用いてその教師に対して蒸留される。ラベル、報酬モデル、検証器を一切使わずに、Qwen3-4B-InstructのAMC avg@32を66.0から76.5へと引き上げ、テスト時RLベースライン(TTRL 70.3)を上回り、正解で条件付けられたオラクル(76.9)に近づく。u-OPSD は同じ置き換えを行い、擬似解と一致しないロールアウトのみを蒸留する。非思考モードのQwen3-4B/8Bの平均が40.96から49.49へ、43.57から54.31へ上昇し、教師ありOPSD(46.29/52.04)を上回る一方、その擬似ラベルの13.3%は誤りであると報告している。思考モードでは、その利得は教師ありOPSDとの引き分けにまで縮小する。CoDA は少数派の軌跡から構築された補正チャネルを追加し、Qwen3-4Bにおいて教師ありOPSDに匹敵する水準(54.57対54.82)に達する。

図8. ラベルなしOPSD:教師はモデル自身のロールアウトからの多数決擬似解で条件付けられ、一致しないロールアウトのみが蒸留される(u-OPSD より転載)。

さらに二つの構成は、「特権」が情報である必要すらないことを示す。WISD はコンテキストを固定したまま重みを損傷させ(3ビット量子化またはマグニチュードプルーニング)、より弱いモデルを得るπw\pi_w。学生は対数比log⁡π0−log⁡πw\log\pi_0-\log\pi_wに沿って、すなわち弱められたモデルが言うであろうことから遠ざかる方向へ押しやられる。LoOPSD は、層のブロックを二度実行することで同じ重みからより強い教師を得る。極端な例では、On-Policy Self-Training がトピック記述子のみから質問と特権的根拠の両方を生成し、再解答可能性と逆合意ゲートによってそれらをフィルタリングし、反復する。Gemma 4 E2Bにおいて、SFTが40.0に達するのと同じ自己生成データ上で、MMLUを37.5から47.7へと引き上げる。

ラベルなしOPSDは、テスト時ポリシー最適化、自己対戦、ラベルなし空間推論、および自己生成連鎖的思考による訓練へと拡張されている。

要点

  • OPSD手法が必要とするものとその適用範囲を決めるのは、損失ではなくccの内容である。参照は検証可能な推論に適し、フィードバックはインタラクティブなタスクに適し、ルーブリックとスキルはオープンエンドな生成に適し、コンセンサスはラベルを不要にする。
  • 複数の独立した研究が、完全な参照より少ないもの(マスクされた、抽象化された、または平均化されたビュー)が4B–8Bスケールで同等以上に機能することを見出しており、また一つは、不一致な参照が正しい参照を上回りうることを見出している。したがって、教師の利点は単なる答えの漏洩ではない。
  • ラベルなしコンテキストは、非思考モードにおける競技数学での教師あり利得の大部分を回復するが、思考モデルでは利得が縮小する。

5. 信号の整形:どこで、どれだけ強く、どの方向に蒸留するか

自己教師が存在するようになると、バニラ目的関数∑tD(pt,qt)\sum_t D(p_t,q_t)は、あらゆる問題のあらゆるロールアウトのあらゆるトークンに対して、同じダイバージェンスを同じ重みで適用する。コーパス内の手法論文のほとんどは、これらのデフォルトのうちちょうど一つを変更する。本章では、それらを介入するレベルによって分類する。個々のトークンまたはステップ(5.1節)、ダイバージェンスとその安定性(5.2節)、そして問題全体またはロールアウト全体(5.3節)である。これらの研究の多くは、30問の競技ベンチマークにおいて1〜3ポイントの向上を報告しており、しばしば単一実行によるものである。本章末尾の表5は、それぞれが提供する証拠を記録している。

mermaid
mindmap root((Signal shaping)) Token and step weights Semantic spans · 37 Position schedules · 92 Adaptive horizons · 38 Sparse token budgets · 93, 94 Per-token teacher choice · 95, 96 Divergence and stability Control variates · 39, 40 Trust regions · 97 Entropy-aware direction · 98 Sign of the update · 21, 99 Supervised anchors · 100 Problem and rollout level Pass-rate weighting · 41, 101 Correctness filtering · 42 Teacher neighborhoods · 102

図9. 第5章のサブツリー:蒸留シグナルへの介入を、作用するレベルによってグループ化したもの。

5.1 トークンとステップの選択および重み付け

手法の最初のグループは、教師のシグナルはトークンの小さな部分集合においてのみ情報的であると主張する。STEPS は各ロールアウトの意味的スパン(キーステップとエラースパン、多くてもトークンの4分の1)に注釈を付け、キースパンには順方向KLを、エラースパンには逆方向KLを適用し、ステップ40までに蒸留項をゼロに減衰させつつRLを継続する。Qwen3-8Bにおいて、GRPOの78.75に対して5ベンチマーク平均81.51を報告している(ペア付き95%区間[0.41, 4.91])。ただし、ポリシー自身を注釈者とする場合、区間はゼロを含む。位置重み付きOPSD は、トークンごとの損失に正規化位置の単調シグモイドを乗じる。これは、ロールアウトが経路にコミットするにつれて教師の選好がより信頼できるようになるという観察に動機付けられている。著者らは、結果として得られる約1ポイントの向上を控えめなものと表現している。DASH は、定数1/T1/T係数を、局所ダイバージェンスに対するゲート付き後方再帰によって生成される系列条件付き重みで置き換える。一致させた4シードのOPSD再実行に対して、1.7B/4B/8BでマクロAvg@12が45.07/65.00/66.40(OPSD:41.87/63.60/64.80)であることを報告し、そのアブレーションは向上の大部分を、より大きな平均係数ではなく、重みがどこに置かれるかに帰属させている。

図10. DASH におけるダイバージェンス適応型監督ホライズン:学生のロールアウト上の局所的な教師–学生ダイバージェンスが、ゲート付き後方再帰によってトークンごとの係数に変換される(原論文から転載)。

極限まで突き詰めると、選択はトークン予算になる。オン方策蒸留における勾配推定に関する研究は、有用性に加えて勾配推定の信頼性のために選択されたトークンが、トークン予算0.1%(軌跡あたり約1トークン)で信号を担うことができ、選択された部分集合が4つの競技ベンチマークで全トークンOPDを上回ることを示している。この研究は別個の教師を用いているが、その結論は自己教師設定に直接移行できる。BiToK-SDは、双レベル閾値を通じてトークンごとの連続的な重みを学習し、OPSDに対して小さな改善を報告している(1.7Bで41.48対40.85、8Bで64.85対64.64)。2つの手法はトークンごとに異なる教師を構築する。MTA-OPSDは、参照の露出度が異なる教師のプールを構築し、各トークンが投票された監督方向と整合する中でKLが最も遠い教師を選ばせる。AVSDは、特権的ビューの一族(完全な解答、部分的な解答、最終回答、あるいは参照コード、ヒント、実行フィードバック)を、教師固有の残差に上限を設けた幾何学的合意ターゲットに統合し、不正なロールアウトの最大振幅トークンにおける誤った符号のクレジットの割合が12.3%(OPSD)から2.9%に低下することを報告している。

クレジット指向の変種は、同じトークンレベルの量を蒸留ターゲットとしてではなく、RLアドバンテージの再重み付けに用いる。CSCRは、特権的自己条件付けによって尤度が最も大きく変化するトークンを下方重み付けし、各応答内で再正規化して総クレジットを保存し、評価した10のモデル–ベンチマークのセルすべてでGRPOに対する改善を報告している。同じトークン選択の論理は、位置選択的な審査員訓練、フィードバックベースのターゲットのFisher情報に基づく再校正、自己生成応答に対する信頼性重み付き自己蒸留においても繰り返し現れる。

5.2 ダイバージェンスの選択と安定性

第2のグループは、ダイバージェンスそのもの、あるいはその推定量を変更する。OPSDは通常、サンプリングされたトークンの対数比のみを計算するため、トークンごとの報酬log⁡qt(yt)−log⁡pt(yt)\log q_t(y_t)-\log p_t(y_t)は高い分散を持つ。KL-for-a-KLは、その報酬から(上位kk語彙から推定された)切り離された閉形式の値ベースラインを差し引き、全語彙の精度に匹敵する性能(1.7Bで平均33.0対33.1)を、最大57.7%短い実時間と1〜2桁小さい勾配ノルムで報告している。CREDITは、バッチ対比的ベースライン、すなわち同じフィードバックを持つ他のプロンプトの下での同じトークンの教師の対数確率を差し引く。著者らは、生の報酬がベイズフィルタリングの増分であり、応答とフィードバックの間の点ごとの相互情報量に総和されることを証明しており、したがってベースラインは、プロンプトに関係なくフィードバックが割り当てるであろうクレジットを除去する。彼らはQwen3-8BにおけるSDPOについて、ステップ時間を実質的に変えずに67.0対66.0を報告している。

Trust Region OPD は、確率的ゲート min⁡(πT/πS,1)\min(\pi_T/\pi_S,1) を用いてトークンを信頼領域トークン(逆KL)と外れ値(上位kk順方向KL)に分割し、順方向KL項単独では崩壊することを示している。評価には別の教師を用いる。E²-OPSD は、バニラOPSDにおけるエントロピー・オーバーシュートを診断し、教師–生徒間のエントロピー差の符号に基づいてトークンごとに順方向KLか逆方向KLかを選択し、その差の大きさで減衰させる。現在の参照の代わりに検索された実例と組み合わせることで、そのアブレーション連鎖はQwen3-1.7Bの思考モード数学において44.64(OPSD)から48.89へと改善する。Adaptive Supervised Anchoring は、正準解に対する別個の教師強制クロスエントロピーパスを追加し、ロールアウトとターゲットの類似度によってオンラインで重み付けする。これは、生徒のプレフィックスが破損するにつれて教師のターゲットトークン精度が80.4%から3.8%へ低下することを示した上でのことである。したがって、軌道から外れたプレフィックスに対するqtq_tの信頼性を中心的な失敗として扱う。

二つの研究は、更新がそもそも教師の方向へ向かうべきかどうかを疑問視する。Anti-Self-Distillation は、自己教師へのJensen–Shannonダイバージェンスを下降させるのではなく上昇させ、教師エントロピーによってゲートし、その信号を点ごとの相互情報量を通じて解釈する。5つのモデルにおいて、GRPOに対して平均+2.1から+11.5ポイント、および2倍から10倍のステップ高速化を報告する一方、同じパイプラインにおいてデフォルトの下降型自己蒸留はすべてのモデルでGRPOを下回る。DCSD はクレジットの方向を大きさから分離する。ステップクレジットの符号は信念プローブから得られ、大きさは教師以外の量から得られ、明示されたキャリブレーション仮定の下で4つの定理を備える。ある診断論文 は、測定の側面からこの懐疑論を支持する。実装された両側特権スコアは、正しいAIME軌道と誤ったAIME軌道を偶然水準(AUC 0.505)でしか分離できず、それが訓練に用いる5つのトークンスコア構成はすべて、結果のみのGRPOを30–40ポイント下回る一方、元来の設定におけるSDPOは陽性対照として機能する。これらの結果を合わせると、特権対数比は尤度の量であり、結果価値との整合性は仮定するのではなく検証されなければならないことが示される。第8章ではこの点を展開する。

5.3 問題レベルおよびロールアウトレベルの重み付け

第三のグループは、どの問題とロールアウトを蒸留するかに介入する。PACED は、KKの生徒ロールアウトから推定された合格率カーネルw(p)=pα(1−p)βw(p)=p^{\alpha}(1-p)^{\beta}によって各問題を重み付けし、そのモデリング仮定の下でBetaカーネルが少なくとも1−δ21-\delta^2のミニマックス効率を持つことを証明する。その自己蒸留トラックでは、MATH-500/AIME24/AIME25において93.7/31.6/25.1を報告し、これは重み付けなしの逆KLの88.9/25.3/16.9に対するものであり、MMLUにおける忘却は2.2%に対して0.6%である。合格率で重み付けしたSDPO は、キュムラント生成関数の議論からw=p(1−p)w=\sqrt{p(1-p)}に到達し、Qwen3-8BにおいてSDPOに対してmean@16で+3.2を報告する。両論文は、生徒が常に解く問題や決して解かない問題は有用な自己蒸留信号をほとんど持たないという点で一致しており、これはRLVRにおける難易度フィルタリングを動機付けるのと同じ最近接発達領域の議論である。

C-OPSD は、フォワードパスを行う前にロールアウトを除去する。問題ごとに1つの応答をサンプリングし、その答えを記号的に検証し、誤答のうち選択された一部のみを蒸留する。3つのスケールすべてで完全なOPSDと同等の性能を示し(差は−0.19〜+0.23ポイント)、応答の26〜29%のみを蒸留しながらウォールクロック時間を約40%短縮する。これは、バニラOPSDの計算の多くがほとんど寄与しないロールアウトに費やされていることを示している。Neighborhood OPSD は、単一の教師をオフラインで選択された25個の摂動教師のプールに置き換え、学生が訪れた状態ごとに1つをルーティングし、手法ごとに3回の実行でOPSDに対して+1.67〜+2.75 Avg@12を報告している。

手法レベル変更点モデル / タスク報告された比較
STEPS スパン≤25%の注釈付きスパンに対するKL、スパンタイプごとの方向、減衰Qwen3-8B、5つの数学ベンチマーク81.51 対 GRPO 78.75、ペアCIは0を除外
DASH トークン後向き再帰的なトークンごとの係数Qwen3 1.7B–8B、AIME/HMMT8Bで66.40 対 OPSD 64.80、OPSDは4シード
BiToK-SD トークンバイレベルの連続トークン重みQwen3 1.7B–8B、AIME/HMMT8Bで64.85 対 OPSD 64.64、分散なし
AVSD トークン複数の特権ビュー間のコンセンサスQwen3-8B、数学とコード62.1 対 OPSD 59.2
KL-for-a-KL 推定量閉形式の値ベースライン1.7B学生、別個の教師33.0 対 33.1 全語彙、最大57.7%のウォールクロック削減
CREDIT 推定量バッチ対照ベースラインQwen3-8B、科学とコード67.0 対 SDPO 66.0
E²-OPSD ダイバージェンスエントロピーギャップに導かれた順方向/逆方向KLQwen3-1.7B thinking、数学48.89 対 OPSD 44.64
AntiSD 方向ダイバージェンスを下降ではなく上昇5つのモデル、数学Qwen3-8B 65.7 対 GRPO 57.4
PACED 問題パスレートBetaカーネルQwen2.5-Math-7B、MATH/AIMEAIME25 25.1 対 非重み付け 16.9
C-OPSD ロールアウト選択された誤答ロールアウトのみを蒸留Qwen3 1.7B–8B、AIME/HMMT約40%少ないウォールクロックでOPSDと同等

表5. 代表的な信号整形手法。「報告された比較」は、著者が自身の設定で最も近いベースラインに対して報告した主要な数値を示す。ベンチマーク、予算、チェックポイント選択の規則は行ごとに異なるため、値は行間で比較可能ではない。

要点

  • 素の一様目的関数には、どのトークンか、どのダイバージェンスか、どの問題かという3つの軸に改善の余地が残されている。報告されている改善のほとんどは、小規模な競技ベンチマークにおける1〜3ポイントの範囲に収まる。
  • 信号を集中させる手法(スパン、後方位置、情報量の多いトークン、中程度難易度の問題)は、ほとんどのトークンとほとんどの問題の寄与が小さいという点で一致している。C-OPSDは、応答の26〜29%のみを蒸留しても精度が損なわれないことを示している。
  • 複数の研究が、特権的対数比は結果価値と信頼できる形で整合していないことを見出している。このことが、分散を低減するベースライン、方向と大きさの分離、そして一例では更新の反転を動機づけている。

6. 教師のダイナミクス:凍結、移動、訓練、先行

教師と生徒が重みを共有するため、OPSDはどの重みが教師役を担うかを決めなければならない。θ0\theta_0で凍結された教師は決して改善しないため、生徒は初期モデルが特権的コンテキスト下ですでに表現している内容を吸収するのが精一杯である。生徒に追従する教師は生徒とともに改善するが、同時に生徒のドリフトを引き継ぎ、自身の誤りを強化しうる。文献はこれらの両極の間の全範囲を探究しており、図11は主な選択肢を1つの軸上に配置している。

mermaid
flowchart LR F[Frozen initial teacher] --> E[EMA or trust-region teacher] E --> G[State-gated refresh] G --> T[Teacher trained by its own objective] T --> L[Lookahead or future teacher] F -.-> A[Architectural variant: looped layers]

図11. OPSDにおける教師更新戦略。生徒の軌跡との結合度が低い順から高い順に並べている。矢印は結合度の増大を示すものであり、時系列順ではない。

6.1 凍結された教師とゆっくり移動する教師

2つの創始的なレシピは相反する選択をした。Self-Distilled Reasoner は安定性と暗黙的正則化のために教師をθ0\theta_0で凍結し、一方SDFT とSDPO は生徒のEMAを用い、SDPOはさらに現在の教師と初期教師の間の閉形式の信頼領域補間を導出している。時間的結合に関する研究はこの変数を分離している。50ステップという固定の更新周期では、最良の100ステップ時点のスコア(0.755)の後、300ステップ実行の189ステップ目に崩壊が生じる。状態ゲート付き更新規則(CGTR)は、分離ゲート、報酬ラチェット、長さテールゲートのすべてが一致した場合にのみ教師を更新するもので、3回の更新で0.806に達し、3シードで崩壊は生じなかった(固定更新:3シードで3回の崩壊)。この論文のより広い主張は、教師がいつ動くかは安定性の変数であり、実装の詳細ではないということである。

図12. 時間的結合の研究で比較された教師更新戦略(原論文から再掲)。

6.2 独自の目的関数で訓練された教師

第2の系統は、教師を生徒の副産物として扱うのをやめ、教師に独自の学習信号を与える。VISTA は、別途パラメータ化された教師を追加し、それを生徒の分布へと引き寄せるが、それは検証済みで正しいロールアウトに対してのみ、かつ生徒が自信を持っている箇所に限られる。8BではOPSDの64.8に対して66.9を報告しており、1.7Bと4Bでは差がより小さい。DualOPSD は、各生徒ステップの後に教師LoRAを訓練し、初期モデルの特権的対数確率残差だけシフトした更新済みの生徒に一致させる。これにより教師は生徒に従いつつ、その特権的優位を保つ。OPSDに対する報告された改善幅は4Bと8Bで大きく(12.3ポイントと15.7ポイント)、測定された計算量の同等性のもとでも持続するが、それらは数学における非思考モードのQwen3に限られる。PAST は、各サイクルで完全に正しい生徒軌跡と失敗した生徒軌跡の両方で自己教師を訓練してからそれを凍結して生徒を監督させ、1.7BにおいてバニラOPSDに対してマクロAvg@12で+5.6、95%区間[2.6, 8.3]を報告している。

他の研究では教師をRL学習者にする。TESD は教師に独自のロールアウトと報酬を与え、GRPO形式の目的関数で最適化し、クエリごとの生徒の蒸留を教師の平均報酬でゲートする。GRPOに対する小さな改善(Qwen3-4Bで74.32対73.40)を報告しており、その素朴なSDPO+GRPOの和は2つの成分の間に収まる。JOLT は両方の役割を1つの共有モデルで最適化し、教師のロールアウトには結果報酬を、非特権の生徒にはKLを課し、GRPOの68.36に対してMATH 72.59を報告しつつ、63.44%の精度に到達するのに必要な補完トークン数は13.0倍少ない。HATCH は、方策が後に消費するヒントを生成することを学習させ、報酬のコントラストが現れるにつれてヒント付きアドバンテージをアニーリングし、解決と衝突するヒント生成の勾配を射影して除去する。

6.3 ルックアヘッドと未来の教師

第3の選択肢は、教師を生徒の未来のバージョンにすることである。B-OPSD は50回の一時的なOPSD更新を実行してπF\pi_Fを得て、それを凍結し、π0\pi_0から生徒を再起動してπF\pi_Fから蒸留する。ロールアウトに基づく特権情報を用いることで、単一の実行において、一致させたベースラインの平均をQwen3-4Bで27.50から41.30へ、Qwen3-8Bで48.80から64.44へ引き上げる。Near-Future Policy Optimization は数十ステップ先のチェックポイントをガイドとして用い、適応的コントローラで更新し、同一の継続RLの後に近未来の教師(63.23)が遠未来の教師(61.92)より優れていることを見出した。LEAD は、モデルが他のオンポリシーロールアウトから何を学ぶかで各インスタンスをスコア付けするルックアヘッド教師を構築し、SDPOが劣化する設定において分布外性能をGRPOの近くに保つ。LoOPSD は重みを保つが計算を変える。すなわち、2回実行する連続した層のブロックを探索し、厳格な検証改善があった場合にのみループを採用し、Qwen3-4Bで1,200回の更新後に標準経路の26.38%に対してループ教師で50.87%を報告している。

この系統の広がりには、言語フィードバックのためのEMA教師と変分教師、エージェントおよび産業用コードモデルのための自己進化する教師、移動する教師を用いたラベルなし空間推論が含まれる。

要点

  • 固定された初期教師は安定したデフォルトだが、生徒が学習できる内容を、特権的コンテキストの下で初期モデルが表現するものに制限してしまう。
  • 教師を動かすことが助けになるのは、更新が制御されている場合のみである:ゲート付きリフレッシュ、検証でフィルタリングされた、または残差を保持する教師更新、あるいは別個の教師目的。無条件の定期的リフレッシュは、唯一の制御された複数シード研究において崩壊した。
  • 未来チェックポイント教師はコーパス内で最大級のゲインの一部を報告しており、そのほとんどはQwen3 mathに関する単一実行によるものである。シードとモデルファミリーをまたいだ再現が未解決の課題である。

7. 自己蒸留と強化学習の結合

純粋なOPSDには結果シグナルがない:生徒は、その選好が正しい答えにつながるかどうかに関わらず、特権的教師が好むものに向かって動く。RLVRは逆のプロファイルを持つ。その報酬は疎であり、そのアドバンテージは一様に解かれたグループや一様に失敗したグループでは消失するが、検証器にアンカーされている。分類がRL結合軸上に置く158本の論文のほとんどは、検証器を方向の源として保ち、自己教師を密度のために使おうとする。結果として得られる設計は、主に二つのシグナルが出会う場所によって異なる:損失において、アドバンテージにおいて、あるいはどちらかが計算される前に行われるルーティング決定においてである(図13)。

mermaid
flowchart TB R[Rollout group with verifier rewards] --> S{Where do the signals meet} S --> L[Loss level: RL loss plus distillation term] S --> A[Advantage level: teacher ratio rescales or shifts the RL advantage] S --> RT[Routing level: each rollout or prompt gets one signal] L --> L1[HDPO, SDPG] A --> A1[RLSD, RLCSD, CEPO, SIPO] RT --> R1[SRPO, I-SDPO]

図13. 検証器報酬と自己教師を結合する三つの方法。セクション7.1~7.3の代表的な手法を示す。

7.1 加法的損失

最も直接的な結合は、RL損失に蒸留項を加えるものである。HDPO はそれを、KK個の標準ロールアウトがすべて失敗する「崖」プロンプトにのみ適用し、教師を正解で条件付け、スコア1を獲得した教師ロールアウトのみを保持し、GRPOにtop-kk JSD項を加える。ゲインは小さく、互いにトレードオフの関係にある:重み0.1で、pass@8は1.4~1.7%改善する一方、pass@1は2.3~2.8%低下する。Self-Distilled Policy Gradient は、完全な語彙全体の逆KL蒸留を補助損失として正確に保ち、正のアドバンテージを持つロールアウトにゲートし、アニーリングし、純粋なOPSDベースラインが1.7Bで崩壊する(最後のチェックポイントでAIME24 0.017)のに対し、結合手法では崩壊しないと報告している。Self-Distillation Zero はまずリバイザーを訓練する:フィルタリングされた自己修正トレースに対する教師ありフェーズが、1ビットの正誤シグナルを与えられたときにモデルが自身の試行を改善することを教え、そのリバイザーが次に特権的教師として機能する。Qwen3-4B-Instructで平均は49.8から60.3に上昇し、同程度の生成予算でRFT(54.3)とGRPO(53.1)を上回る。

7.2 アドバンテージ内部の教師比率

第二の設計は、教師と生徒の比率を、符号が検証器から来るRLアドバンテージのトークンレベルの変調として扱う。Self-Distilled RLVR(RLSD)はその動機を直接述べている。特権的教師への分布マッチングは答え固有の振る舞いを漏洩させる:漏洩カウントはOPSDの100ステップにわたって単調に増加する一方、検証精度は10~20ステップでピークに達し、その後低下する。したがってRLSDは、クリップされたstop-gradient証拠比率qt(yt)/pt(yt)q_t(y_t)/p_t(y_t)を検証器アドバンテージに対する大きさの乗数としてのみ使用し、マルチモーダル推論で平均精度56.18を報告しているのに対し、GRPOは53.86、OPSDは52.49である。

図14. Self-Distilled RLVRは環境報酬を更新方向の源として保ち、特権的教師をトークンごとの大きさの設定にのみ使用する(から再掲)。

対照的変種はその後、その比率から生徒モデルを取り除く。RLCSD は、正しいヒントで条件付けられた凍結教師モデルと、KK 個の誤ったヒントで条件付けられた同じ教師モデルの平均とを対比させることで、答えに依存しない選好が相殺されるようにする。これは、テストした4つのバックボーンすべてにおいて、両方のタスクファミリーの平均でGRPOと4つのOPSDベースラインを上回る(例えば、4BでKnights-and-Knavesは68.2対63.1)。CEPO は、受理された答えと拒否された答えで条件付けられた教師間の比率 PT+(yt)/PT−(yt)P_T^+(y_t)/P_T^-(y_t) を用い、この比率が更新方向を固定することを証明するとともにRLSDを特殊ケースとして含むことを示し、その短い幾何学的実行においてOPSDとSDPOが未学習のベースラインを下回ることを見いだす。SIPO は、2つの自己教師評価(参照答え対グループ内の誤り)のクリップされた差分をグループアドバンテージに加え、数学、科学、コードにおいてGRPOとRLSDを上回る利益を報告する。Outcome-guided OPSD は、正しい軌跡には順方向KLを、切り詰められた誤った軌跡には逆方向KLを用い、APSD は、成功後には教師へと補間し、失敗後には教師を超えて外挿する、正しさ条件付きのエキスパート積をターゲットとする(8BでSDPOのLCBv6 49.62対45.04)。β-OPSD は、バニラOPSDが β=1\beta=1 に対応するKL正則化付き方策最適化目的からOPSDを導出し、参照と教師の間の幾何学的経路上のスケジュールされた補間値に向けて学習する。これは1.7BでバニラOPSDに対して5.74ポイントの向上を報告する。

7.3 ルーティング

第3の設計は、ロールアウトごとまたはプロンプトごとに、どのシグナルを適用するかを決定する。SRPO は、正しいロールアウトをGRPOへ、使用可能な教師を持つ誤ったロールアウトをSDPOへ送り、蒸留ブランチを教師の信頼度で再重み付けする。そのアブレーションは、ルーティングの代わりにアドバンテージレベルで混合すると3.3ポイント失うことを示し、8Bでの5ベンチマーク平均は77.4で、GRPOの74.0およびSDPOの71.1に対して、どちらよりも低いステップあたり時間で達成される。I-SDPO はプロンプトレベルでルーティングする。利用可能な正解を持つ全誤りグループには蒸留を適用し、成功を1つでも含むグループには純粋なGRPOを適用する。これはSciKnowEvalで平均mean@16が70.31%であり、GRPOの56.67およびSDPOの65.74に対して、バイアス下限と自己アニーリングに関する命題を伴い、それが局所的にのみ成り立つと述べている。Policy reheating は、異なる目的で短いOPSD段階を用いる。すなわち、RLがエントロピーを崩壊させた後にそれを回復させることであり、サンプリング温度を上げる代わりに平滑化された分布を方策のデフォルトにする。

図15. SRPOにおけるサンプルルーティング:正しいロールアウトはグループ相対アドバンテージを受け取り、使用可能な教師を持つ失敗ロールアウトは自己蒸留を受ける( から再掲)。

RL結合軸はコーパスの中で最大である。さらなるハイブリッドは、検証器の信頼度または不確実性によって蒸留を重み付けし 、テスト時RLと自己蒸留を組み合わせ 、ステップレベルのクレジットで単体テスト生成をターゲットとし 、エージェントのための結果フィードバックと後知恵フィードバックを統合する 。

手法組み合わせレベル教師コンテキスト検証器の役割報告された主要比較
HDPO 損失正解崖プロンプトを選択し、教師ロールアウトをフィルタリングpass@8 +1.4–1.7%、pass@1 −2.3–2.8% vs GRPO
SD-Zero 損失(リバイザーSFT後)自身の試行 + 正誤ビットビットを付与60.3 vs GRPO 53.1(Qwen3-4B)
RLSD アドバンテージの大きさ参照方向を設定56.18 vs GRPO 53.86
RLCSD アドバンテージの大きさ正しいヒント vs 誤ったヒント方向を設定K&K 68.2 vs 63.1(4B)
SIPO アドバンテージのシフト参照 vs グループ内の誤り方向を設定数学 59.4 vs GRPO 57.3
APSD ターゲット構築フィードバック補間 vs 外挿を選択LCBv6 49.62 vs SDPO 45.04(8B)
SRPO ロールアウトのルーティング正しい兄弟ロールアウトをルーティング77.4 vs GRPO 74.0(8B)
I-SDPO プロンプトのルーティング正解プロンプトをルーティング70.31 vs GRPO 56.67

表6. 代表的なOPSD–RLハイブリッド。比較は各論文自身の主要設定であり、行間で比較可能ではない。

要点

  • 支配的なパターンでは、検証器が更新の方向を設定し、自己教師がトークンレベルの大きさを設定する。いくつかの論文は、純粋な分布マッチングが答え固有の振る舞いを漏らし、初期のピーク後に劣化することを示すことで、この設計を動機づけている。
  • 対照的教師(正しいコンテキスト対誤ったコンテキスト)は、答えに依存しない選好を相殺し、最近の設計として最も一般的である。
  • ロールアウトやプロンプトをちょうど1つのシグナルにルーティングすることは、アドバンテージを混合するよりも単純であり、SRPOのアブレーションではより優れていた。

8. 基礎的な問い

手法の章は主に肯定的な結果を報告している。これは手法論文がそうなりがちだからである。それと並んで、本コーパスには異例に大規模な統制分析の集合が含まれている。78本の論文が分析・理論のラベルを持ち、その多くは手法論文が共有する仮定を検証するために書かれている。本章はその証拠を6つの問いを中心に整理する。それぞれについて、命題を述べ、両側の証拠をその条件とともに提示し、現時点で均衡がどこにあるかを述べる。

8.1 OPSDはそもそもいつ役立つのか?

画期的な結果は、非思考モードのinstructモデルで、短いロールアウト(約1,024トークン)と短い学習実行によって得られた。いくつかのグループがそのレジーム外で公開レシピを再実行し、損失を報告した。Rethinking OPSD for Thinking Models は、元のレシピで5つのthinkingモデルを学習し、38,912トークンの予算で評価する。5つすべてがavg@16を低下させ、例えばQwen3-1.7Bは0.372から0.308に落ちる(ペア付き95%区間[−0.095, −0.037])。同じ生徒モデル上で、より大きな外部教師を用いたvanilla OPDは低下しないため、問題はon-policy蒸留そのものではなくprivileged教師にあると特定される。100回超の実行による広範な診断スイープは、生徒と教師の推論モードを揃えた条件下ではOPSDが主に損失を生むことを見出す。Qwen3-4B-Thinkingは75.4から65.8 Avg@8に低下し、出力長は22.8kから43.4kトークンに増加し、Qwen3.5-4Bは完全に崩壊する。利得は主に、thinking教師が非thinkingの生徒を監督する場合に現れる。コードでは、未見の問題と未見のテストケースを分離する分割により、SDPOはホールドアウトのLiveCodeBench問題で0.5〜9.9ポイント低下する一方、GRPOは利得を得ることが分かり、またそれが測定する24のOPSD変種すべてで、勾配がホールドアウトの数学方策勾配と負に整合している。

図16。あるQwen3-8Bのthinkingトレースに沿ったprivileged教師の次トークン確率。で、自己教師の選好が生徒の推論からどこで乖離するかを示すために用いられた(原論文から再掲)。

さらに二つの研究が条件を絞り込む。Hindsight Compacts but Does Not Repair は、thinkingモデルの正解のみまたは不正解のみのロールアウトにOPSDを適用する。正解のみの学習は小さな精度損失で出力を18〜29%短縮し、不正解のみの学習は6.6〜10.0ポイントを失い、いかなる変種もpass@8を高めない。著者らはthinkingモデルへのOPSDを修復ではなく圧縮と読む。Privileged-but-Biased は、元のSciKnowEvalレジームにおけるSDPOの利得を再現するが、より難しいエージェントタスクと一般QAタスクでは損失が下がる一方で検証性能が上がらず、OPSDレシピの20セル中18セルが非正であることを見出す。それは失敗を、forward-passのみの診断で採点される、PI条件付き教師の測定可能なバイアスに帰する。The Many Faces of OPD はそのバイアスの一成分を切り分ける。単独のQwen3-14B教師はGPQA-Diamondで62.1%を記録するが、生徒のプレフィックスを継続しなければならない場合は46.0%にとどまる。したがって、単独では強い教師が、軌道から外れた状態では弱い監督者になり得る。

肯定的な側面も空ではない。予測法則は、ccの6つの構成にわたり、生徒と自己教師の間の学習前の精度差が学習後の利得を線形に予測することを示す(R2=0.977R^2=0.977は4つのQwen3サイズにわたり、leave-one-out R2R^2はコンテキスト種別ごとに0.949と0.996)。エージェントのためのPI選択に関する研究も同様に、9つすべての生徒設定で学習後のpass@1と相関するオフライン診断を見出す。ノードごとの勾配整合分析は、蒸留勾配が理想の成功ベース勾配と整合するのは主に不正解ロールアウトにおいてであり、最良の教師は生徒の容量とともに反転することを示す。これらの結果は、OPSDが、privilegedコンテキストが同じモデルを生徒自身のプレフィックス上でどれだけ改善するかに応じて、またおおよそその程度に比例して、助けとなることを含意する。それらはまた、長く自己整合的なthinkingトレースが教師に付け加える余地をほとんど残さない場合に、なぜ失敗するのかも説明する。

8.2 特権情報は実際に何を付加するのか?

特権的な文脈が答えに関連する知識を明かすことで機能しているのなら、それを無関係な解答に置き換えれば、その利得は失われるはずである。3つの研究がこれを実施し、反対の結果を見出した。OP²SD は教師に別の訓練例から取った問題と解答を与える。それは9つのモデル–ベンチマーク群のうち8つで最高の点推定値を持ち、Qwen3-8Bでは3つのベンチマークすべてでベースモデルとOPSDの両方を上回る(AIME 2024:OPSDの45.00、ベースモデルの28.47に対して55.83)。また、単一の固定例を用いた場合でも利得は持続する。Shuffled OPSD は、無関係な参照と単語をシャッフルした問題文が、3つすべてのスケールで標準のOPSDを上回る一方、参照自体を単語シャッフルしても上回らないことを見出した。Rethinking Privileged Information は方向分解(4.1節)を通じて同じ結論に達する。参照なしの対照を含む答え整合型のスイート はより慎重である。思考する教師が直接応答のロールアウトを監督する場合、参照なしの対照はドメイン内で+1.80ポイントに達するのに対し、クリーンな解答では+3.10であり、1.30ポイントの差は多重比較補正を生き残らない。

mermaid
flowchart LR C[Privileged context c] --> B[Changes teacher behavior: length, mode, style] C --> K[Adds problem-specific knowledge] B --> G[Student gain] K --> G B -. tested by .-> U[Unrelated or shuffled references] K -. tested by .-> M[Mismatched or wrong-answer controls]

図17. 特権的な文脈が助けとなり得る2つの経路と、 でそれらを分離するために用いられた対照。

ドリフト分析 は行動的な解釈を支持する。cc の内容(実演、フィードバック、言い換え)を変えることは、そのソースを変えるよりもはるかに学生を動かす。トークンあたりの逆KL比の中央値は7.2対1.4であり、内容を共有するLoRA更新は(コサイン0.571で)ソースを共有する更新(0.255)よりも類似している。総合すると、対照された証拠は、少なくともQwen3モデルを用いた競技数学において、OPSDの利得の多くが文脈が教師の振る舞いを変えること(例えば、より熟慮的なモードや異なる長さプロファイルを引き出すこと)に由来し、問題固有の情報の転移に由来する度合いはより小さいことを示している。答え固有の経路は実在するが、創設期の論文が示唆したよりも小さく、その大きさは学生–教師のモードの組み合わせに依存する。

8.3 崩壊、多様性、エントロピー

繰り返し生じる失敗は、出力分布の狭まりである。SDSD分析は、サンプリングされたデモンストレーションを用いたオンポリシー自己蒸留の最適解を導出する。報酬によってベースポリシーを傾ける代わりに、デモンストレーションとの期待点別条件付き相互情報量によって傾けるため、同等に正しいロールアウトであっても不均等な重みを受け取る。実証的には、この手法はPass@1でGRPOを上回るが、Pass@16では劣り、これは多様性喪失の特徴である。思考崩壊(Thinking collapse)は、探索的トークンの密度の低下を特定し、高エントロピーのトークン「サンドボックス」内で凍結されたベース事前分布に向けて補間することでそれを修復する(1.7BにおいてOPSDの47.7に対して51.8)。クリッピングに関する研究は、クリップあり/なしの双子をマッチさせ、2つの証明された命題を用いて、順方向KLの点別クリッピングが補正を逆転させ得ること、そして25~450倍多くの終端反復ループを生み出し得ることを示す。ダイバージェンスとエントロピーの理論は、ソフトマックスヘッドを持つ順方向KLの局所最適点において、生徒のエントロピーが教師のエントロピーに残余KLを加えたものに等しいことを証明する。したがって、エントロピーが膨張するか収縮するかを支配するのは、オンポリシーかオフポリシーかという選択ではなく、ダイバージェンスの選択である。RL損失を完全に除去する研究は、解条件付き教師から生徒を反発させることは、ハイブリッド思考モードを再活性化することによってのみ精度を向上させ、常に長さの爆発とトランケーション崩壊に行き着くことを観察する。の批判的レビューは、これらの失敗を1つの症状(崩壊)と3つのレバー、すなわち信号の幾何学、特権情報の性質、そして何が生徒を固定するか、として整理する。その枠組みは上記の証拠と一致する。

8.4 忘却と継続学習

SDFTはOPSDを継続学習手法として動機づけ、理論論文は理想化された設定でそれを支持する。クラスタ化された思考連鎖グラフ上の1ステップソフトマックスモデルにおいて、エッジレベルのヒントを用いた自己蒸留は、その後のタスク更新が何回あっても旧タスクの成功を証明可能に保持する一方、SFTは証明可能に忘却する。実証的な状況はより混在している。Denser ≠ Betterは、4つのドメインにわたる逐次ポストトレーニングにおいて、GRPOが平均69.90で終わるのに対しベースモデルは61.60、SDPOは52.55で終わり、ある変種は崩壊することを見出す。それは、教師が投影したトークン目標が、マッチした成功率において最小ドリフトポリシーに対して過剰なKLを被ることを証明する。著者らは、オンポリシーサンプリングはどの履歴が教師あり学習されるかを決めるが、それ自体ではRLの保守的バイアスを付与しないと論じる。オフポリシー接ぎ木は、より早いチェックポイント上で更新を学習し、そのマスクされたコピーを適用することにより、新規対旧タスクの軸においてSFTとOPSDの両方をパレート支配する。三軸分解(ロールアウト源、教師結合、KL方向)は、教師を生徒に結合することがピークの後に崩壊をもたらすことを示す。これらの結果が示唆する解決は条件的である。OPSDは、目標タスクがモデルがすでに行っていることに近い場合にはSFTよりもよく保持するが、RLよりも自動的に忘却が少ないわけではなく、同等の成功においてより大きくドリフトし得る。

8.5 信号強度とスケーリング

モデル規模が大きくなるとなぜ利得は縮小するのか?OASIS は回復を直接測定している。失敗したプレフィックス上で、gold-context teacherは1.7Bでは77%の確率で正解に復帰するのに対し、student単独では37%であるが、4Bではその差は17ポイントに縮小する。その修正法である、モデル自身の別のロールアウトをコンテキストとして用いて検証済み軌跡を教師する手法は、規模が大きくなるにつれてOPSDに対して+0.6〜+3.1ポイントを回復する。動的解析 は損失減衰率を学習信号と占有率因子に分解する。RLによって得られた自己教師はteacher–studentギャップの71〜77%を埋めるが、より大きな外部教師はわずか13〜48%であり、著者らは消失する学習信号が制限因子となる局所収束限界を証明している。両論文は同じ制約を指摘している。自己教師は、モデルが cc を用いた場合と用いない場合の能力の間にギャップが残っている限りにおいてのみ有効であり、そのギャップはモデルと訓練が進むにつれて閉じていく。

8.6 アラインメントリスク

自己蒸留は、誰も測定していない特性を動かすこともある。良性のデータと良性のキューを用いた再帰的自己蒸留 は、GSM8KとIFEvalには影響を与えずに、SORRY-Benchのコンプライアンスを26%から94%へ(Phi-4 14B)、31%から97%へ(Qwen3 14B)引き上げる。同じ安全な回答と凍結した教師に対するSFTではコンプライアンスは動かず、この効果は規模とともに増大する。この設定は通常の単一パスのOPSDではなくオフポリシーかつ再帰的であるが、自己教師が反復を重ねることでコンテキスト誘発の行動変化を増幅しうることを示している。この知見は8.2節に直接つながる。すなわち、コンテキストが主に教師の行動を変えるのであれば、コンテキストが誘発する行動こそが蒸留されるものとなる。

問いOPSDが主張どおりに機能する証拠反証または条件を限定する証拠現在の均衡
役に立つのか?非思考型の数学・科学における基盤的利得 ;予測的法則 思考型モデルおよびホールドアウト問題での損失 studentプレフィックス上の自己教師ギャップが大きい場合に役立つ;適合する思考型モデルではしばしば害になる
cc は何を付加するのか?一部の設定で正しい参照が誤答対照を上回る 無関係またはシャッフルされた参照が正しい参照と同等以上 4B〜8Bの数学では主に行動的;知識の共有はより小さく設定依存
多様性低いサンプリングコストで密な信号 Pass@kの損失と思考の崩壊 ;クリッピングループ 崩壊はよく起こり、明示的なアンカリングが必要
忘却SDFTの保持 ;グラフモデル理論 逐次訓練におけるGRPOよりも大きなドリフト ;グラフティングが支配的 SFTよりは良いが、RLより確実に良いとは言えない

表7. 四つの基礎的問いに関する証拠のまとめ。「現在の均衡」は引用された証拠に対する本サーベイの解釈であり、主に14BまでのQwenファミリーモデルに限られている。

要点

  • OPSDの利得は条件付きである。特権的な文脈によって同じモデルが学生自身のプレフィックス上で明らかに良くなる場合(非思考型の学生、短いロールアウト)に最も強く、長いバジェットで評価される思考型モデルではしばしば逆転する。
  • 対照研究は、無関係な、またはシャッフルされた特権的文脈が正しい参照と同等になり得ることを示している。教師の価値の多くは答えに特有のものではなく、振る舞いに関するものである。
  • 多様性の崩壊、クリッピングに誘発されるループ、継続訓練におけるドリフトは繰り返し現れる失敗モードであり、ベース事前分布や結果シグナルへのアンカリングが共通の対策である。

9. 応用

OPSDは数か月のうちに競技数学の枠を超えて広がった。それぞれの新しい領域は、第4章の問いを独自の言葉で答えなければならなかった。すなわち、展開されるモデルには見えないが訓練時の教師には見えるものは何か、という問いである。エージェントは軌跡に関する後知恵で、視覚モデルは入力のより良い見え方で、拡散モデルは自身のノイズ除去のより後の状態で、安全性訓練は安全性志向の文脈で、それぞれ答える。本章はそれらの適応を概観し、各領域について推論のレシピと比較して何が変わったかを述べる。

9.1 エージェントとマルチターンのツール利用

マルチターンのエージェントはコーパス内で最大の応用領域である(107本の論文)。なぜなら環境との相互作用は事後に豊富な特権的情報を生み出すからである。どのツール呼び出しが失敗したか、どの観測が重要だったか、どのターンがエピソードを脱線させたか、といった情報である。Privileged Information Distillation は早くに、その状況がモデル依存であることを示した。τ-BenchとTravel Plannerにおいて、その共同の教師–学生訓練はTravel PlannerでQwen3-8Bを用いてSFT+RLの32.3%に対して44.1%に達する一方、OPSDは分布外のairline分割でのみ最良であり、他のバックボーンでは結果は混在している。Skill-SD は完了した軌跡を自然言語のスキルに要約し、それを教師のみの条件付けとし、教師を学生から再同期し、AppWorldで64.9%、Sokobanで62.5%をGRPOの50.9%と51.6%に対して報告している。そのアブレーションは、凍結した教師が12–16ポイント低いところで頭打ちになることを示している。

図18. マルチターンエージェントのためのスキル条件付き自己蒸留:学生自身の軌跡から要約されたスキルは教師のプロンプトにのみ入る(Skill-SD から再掲)。

Skill-SD以降の主要なエージェントのレシピは、特権的文脈がどこから来るか、そしてどのステップがそれを受け取るかにおいて異なる。OPID は各完了軌跡から最大5つの重要なタイムステップにおいて、ワークフローレベルの規則とステップレベルの助言を抽出する。SEED は現在のポリシー自身にスキルを書かせ、更新のたびにそれを再生成し、ALFWorldで3BにおいてGRPOの75.0%に対して91.8%を報告している。SCOPE は有界の対数比を用いて重要なエラーステップのみを蒸留し、3BでALFWorldの成功率97.7%、32Bで未見の94.0%を報告している。HINT-SD とTurnSight は後知恵を失敗に関連するターンに限定するか、ツールターンごとに集約する。HINT-SDはBFCL v3のAvg@4を31.56(最良のベースライン)から41.88へと引き上げ、しかも全軌跡を使う代替手法の1ステップあたりの時間の半分未満でそれを達成している。SD-Search はGRPOの上に検索クエリのトークンにおいてのみ後知恵のJSDを適用し、5つのシードにわたる平均EMでAutoRefineの0.404±0.008に対して0.428±0.008を報告している。SDAR はGRPOを変えずに、シグモイドゲート付きの補助損失としてOPSDを加える。そのゲートがなければ、報告によれば、素朴なOPSDはSearch-QAで崩壊し、GRPO+OPSDは1.7Bで崩壊する。

これらの崩壊は孤立したものではない。Self-Practice は、純粋なOPSDがAppWorldとSWE-benchにおいて4つの設定すべてで未学習のベースラインを下回ることを見出し、特権情報を損失からサンプラーへと移している。すなわち、ロールアウトのグループがどのコンテキストの下で抽出されるかを決めるだけで、すべてのグループはGRPOで学習される。検索インターリーブ型検索エージェントに関する研究 は、フィードバック拡張自己蒸留が決して利得を持続させないことを見出している。たとえフィードバック条件付き教師が推論時に強いとしてもである。EMA正則化を用いても、平均EMは0.206に達するのに対し、GRPOでは0.348である。SELF は実現された環境フィードバックを教師コンテキストとして、また予測ターゲットとして二度用い、τ-benchとAppWorldの両方でGRPOとSDPOの双方を上回る利得を報告している。共通する糸は、蒸留が少数のステップに標的化され、結果シグナルによってゲートされるときにエージェントが最も多くを得るということである。軌跡全体のOPSDは、長ホライズン設定ではしばしば有害である。

手法特権コンテキスト蒸留されるステップRLとの結合代表的な結果
Skill-SD 学生軌跡からのスキルすべてのアクショントークン重要度重み付き逆KLとGRPOAppWorld 64.9 対 GRPO 50.9
SDAR 後知恵コンテキストトークンごとにゲート変更なしのGRPOへの補助損失WebShop 82.8 対 72.6 (7B)
SD-Search クエリに関する後知恵検索クエリトークンのみGRPOへの補助JSDEM 0.428 対 0.404 (5シード)
HINT-SD アナライザーフィードバック失敗に関連するターン補助BFCL v3 41.88 対 31.56
OPID 抽出されたワークフロー+ステップ助言≤5の重要ステップ補助ALFWorld 84.3 対 75.0 (3B)
SEED 自己執筆スキル、更新される軌跡補助ALFWorld 91.8 対 75.0 (3B)
SCOPE ステップ固有スキル重要なエラーステップ有界補助ALFWorld 未見 89.6 対 66.4
Self-Practice アナライザーガイダンスなし(サンプラーのみ)GRPOのみAppWorld 16.7 対 10.6 (4B)

表8. エージェント向けの代表的なOPSD手法。結果は各論文の見出しとなる比較であり、それぞれ自身のGRPOベースラインに対するものであり、行間で比較可能ではない。

GUIおよびコンピュータ操作エージェントはサブ系列を形成する。GUI-SD は、教師をステップレベルの推論とメモリ特権に条件付け、AndroidWorldのPass@1でGRPOの52.6に対して67.2を報告している。ComputerSD は、実行された各ステップの後に行動前後のスクリーンショットからガイダンスを再生成し、アナライザの価値スコアによって蒸留をゲートする(OSWorld-Verifiedで39.8対37.9)。GUIグラウンディング は、正解座標を視覚的特権、すなわちソフトズーム付きで描画されたバウンディングボックスに変換し、ScreenSpot-ProでGRPOの訓練時間の約4分の1で60.7%を報告している。さらなるエージェント研究は、持続的一貫性正則化 、比較的な結果検証済み自己蒸留 、環境観測からの後知恵 、コーディングエージェント向けのリマインダー蒸留 、粒度適応型アドバンテージ 、長いホライズン向けの階層的監督割り当て 、自己引退型蒸留 、マルチターン会話のギャップの解消 、能動的対話 、GUIエージェントの停止行動 を扱っている。

9.2 コードとソフトウェア工学

コードは豊かで構造化されたフィードバックを提供するため、SDPOの最も強い結果がLiveCodeBench で得られた。リポジトリレベルのソフトウェア工学では、SWE-Ladder が、検証済みの修正のうち現在の段階に一致するスライスのみ(ローカライゼーションには変更ファイル、再現にはfail-to-passテスト、パッチ適用には差分)を教師に提示し、それらのビューを段階的に導入する。R2E-Gymでは、単一実行においてpass@1を9.6%から16.4%へ引き上げ、これは完全パッチを用いたGRPO+OPSDの12.4%に対する結果である。Hindsight Hint Distillation は、それ以外は自己生成された軌跡の先頭に一文の後知恵ヒントを置き、72BモデルでSWE-bench Verifiedの51.2%を、単純な棄却ファインチューニングの44.0%に対して報告している。その他のコード研究には、軌跡介入 、思考モードのアドバンテージ 、難易度でゲートされた教師ガイダンス 、自己外挿型方策蒸留 、メモリ拡張型text-to-SQL が含まれる。

9.3 マルチモーダル理解

視覚言語モデルにおいて、特権チャネルは通常知覚的である。すなわち、教師は入力をよりよく見る。Vision-OPD は、モデルのクロップ条件付き分布に全画像分布を監督させ、ズーミングを単一パスに内部化する。9Bモデルで平均79.68を、そのベースの73.37と同系列の397Bモデルの77.44に対して報告し、テストした両スケールでSFT、GRPO、DAPO、OPSDを上回る。RP-OPSD は、生徒に半分の解像度の画像を、教師に元の画像を与えることで特権を得ており、必要なのは画像と質問のペアのみである。S²VOPD は、教師のビューを豊かにするのではなく生徒のビューを破損させ、アノテーションを必要とせず、6つの知覚ベンチマークで4Bモデルを70.68%から77.44%へ引き上げる。

図19. Vision-OPD:ズームされたクロップに条件付けられた同じモデルが、その全画像予測のための教師として機能する(より再掲)。

同じ設計が時間やその他のモダリティにも再び現れる。Video-OPSD は、注釈付きの証拠フレームのみを教師に提示し、15 のバックボーン–ベンチマークのセルすべてで標準的な OPSD を上回り、訓練時間は GRPO より 60% 少ない。Clue-OPSD は、長い動画の短い手がかり区間に特権を与える。ViCuR は、答えのヒントを、画像自体から復元可能な視覚的証拠のテキスト記述に置き換え、答えに基づく OPSD より約 1.2 ポイント上回る。K-OPSD は、プロセスレベルの検証器を用いてこのアプローチを工学図面に適応させる。この系統の広がりは、ストリーミングおよびプロアクティブ動画 、妨害物を考慮した時間的特権 、3D および空間的特権 、音声–視覚および音声推論 、テスト時適応 、視覚的に帰属可能な自己蒸留 に及ぶ。

9.4 生成モデル

OPSD は、自己回帰型言語モデルではない生成器にも持ち込まれている。拡散言語モデルに対して、dOPSD は学生自身のノイズ除去軌跡のより後段の、よりデコードされた状態を特権情報として用いる。これは比較対象の中で、両方のバックボーンについてすべてのベンチマークでベースモデルを上回る唯一の手法である(例えば Dream 上の MATH500 は 38.97 から 42.20 へ)。画像拡散に対して、D-OPSD は、目標画像を教師の条件にのみ置くことでステップ蒸留モデルのチューニングを継続し、SFT が FID を 82.20 に悪化させる状況で、FID を 48.69 から 40.49 に改善する。DiffusionOPSD は、画像レベルの報酬を中間クリーン出力予測のための有界な目標に変換し、DiffusionNFT より 40–63% 少ない GPU 時間で、報酬を一致させた 20 設定中 19 設定で最良のホールドアウトスコアを報告する。OPSD-V は、数ステップの自己回帰型動画生成器に対する特権として、よりクリーンな時間キャッシュを用いる。

図 20. 拡散言語モデルのためのオンポリシー自己蒸留:教師は同じノイズ除去軌跡のよりデコードされた状態を見て、学生はよりノイズの多い状態から学ぶ(dOPSD より再掲)。

さらなる生成に関する研究は、教師なしのフローマッチングモデル 、拡散 LM のための自己未来蒸留 、ガイド付きデノイザ自己蒸留 、マルチターン画像編集 、視点変化動画 、ロボットのための拡散プランナー を扱っている。

9.5 継続学習と知識注入

継続学習は SDFT の動機であり、8.4 節では OPSD が古いスキルを保持する条件について論じた。この領域の手法研究は、教師がどれだけ遠くまで引っ張るかを制約する。iSDFT は、各プレフィックスにおいて、教師に向かう予算付きの情報利得を達成しつつ学生に最も近い分布を選択する。これは 8 つのセルのうち 7 つで SDFT よりタスクスキルを改善しつつ、より多くのベンチマークを 0.5 ポイント以内に保持する。MixSD は、専門家条件付きと素朴なベースモデルのロールアウトのトークンレベルの混合で、知識注入のために通常の NLL を用いて訓練し、SFT が 46.1 に低下する状況で、ホールドアウト精度をベースレベル(72.4 対 72.2)に保つ。CODE は、オープンブックの自己教師を通じて因果的編集を教え、静的編集ベースラインの一般能力損失を回避する。関連研究は、経験的および自己進化型エージェント 、マルチ教師リプレイ 、自己特化型ドメイン教師 、スキル記憶の内部化 、情報非対称性下での知識注入 を扱っている。

9.6 アラインメント、安全性、パーソナライゼーション

安全のため、特権コンテキストはモデルがどのように振る舞うべきかの記述であり、OPSDはできるだけ少ないトークンに触れながらそれを蒸留する。OPSA は、凍結された自己教師をタイプ固有の安全コンテキストで条件付けし、そのコンテキストを選択するための訓練不要の教師フリップ率基準を追加する。これは、一致したデータを用いたThinkSafeと比較して、複合安全スコアが4.0ポイント向上し、推論スコアが3.0ポイント向上した、すなわちより小さな「安全税」を報告している。

図21. オンポリシー自己蒸留による安全アライメント:タイプ固有の安全コンテキストを与えられた凍結された自己教師が、学生自身の応答を監督する(OPSA より再掲)。

自己蒸留による多言語安全 は、並行する英語クエリを特権として用い、LLaMA-3-8Bにおける10言語の攻撃成功率を21.21%から2.03%に削減しつつ、MMMLUは変化させない。ERASE は、同じ入力のインジェクションを消去したビューを教師に与えることで、マルチモーダルプロンプトインジェクションに対抗する。パーソナライゼーションに関しては、GRASP がユーザーごとのルーブリック項目を特権として用い、4つのバックボーンでLaMP-QAにおいて5つのベースラインを上回る。より広範な系統には、判定者訓練 、ルーブリックベースのRL 、キャリブレーション 、敵対的自己蒸留 、ポリシーベースの安全アライメント 、ユーザーとの対話からの学習 が含まれる。セクション8.6では、対応するリスクについて論じた:再帰的自己蒸留は安全を侵食することもある。

9.7 効率的推論

特権コンテキストが情報ではなく指示である場合、OPSDは圧縮手法となる。CRISP は、簡潔性の指示で教師を条件付けし、それを学生から定期的に更新する。Qwen3-14BのMATH-500精度は93.0%から96.3%に上昇しつつ推論トークンが56.3%減少し、AIME 2024ではトークンが37.5%減少するも精度はわずかに低下する(75.0から73.8)。EGRSD は、RLSD形式の更新に教師エントロピーによる信頼度ゲートを追加し、6つのベンチマークで精度と長さのトレードオフを改善する。思考モデルに対する正解のみのOPSDも、同様に圧縮器として機能する 。さらなる研究では、思考連鎖や視覚的操作の内部化 、長文推論の枝刈り 、視覚トークンの削減 、および自己蒸留によるマルチトークン予測 と投機的ドラフター の訓練が行われている。

9.8 その他の領域

このレシピは言語推論の外にある領域にも到達している。多方言ASR は、教師強制クロスエントロピーを、金標準トランスクリプトで条件付けされた自己教師へのOPSDに置き換え、方言誤り率を改善しつつ標準中国語の誤り率を低減する(3.40%から3.27%)が、継続的なSFTではそれが4.43%に上昇する。生成的推薦において、SA-OPSD は学生自身のビーム探索の親状態で自己教師に問い合わせ、密な代替手法と比較して訓練コストを17.77 GPU時間から5.79 GPU時間に削減する。SOLID は、オペレーションズリサーチのモデリングのためにテスト時RLと選択的OPSDを組み合わせ、ベンチマーク間で混合した結果を示す。応用には、視覚–言語–行動ロボット 、ナビゲーション 、運転ポリシー 、検索と埋め込み 、医療エージェント 、金融推論 、研究計画生成 も含まれる。

要点

  • 各ドメインは特権を再定義する。エージェントにとっては軌跡の後知恵、視覚と動画にとっては入力へのより良い視野、拡散にとってはより後のデノイジング状態、安全性にとっては行動仕様、効率性にとっては指示である。
  • 長距離ホライズンのエージェントでは、軌跡全体を用いるOPSDはしばしば有害である。成功するレシピは少数の重要なステップを対象とし、結果ベースのRL目的関数を主導権として維持する。
  • 知覚的特権(クロップ、解像度、証拠フレーム)は、マルチモーダル設計の中で最も一貫して肯定的な設計であり、答えのラベルを必要としない。

10. リソース:ベンチマーク、フレームワーク、システム

OPSD論文は少数の評価設定を共有しており、この分野における見かけ上の意見の相違の多くは、手法間の差異ではなく、それら設定間の差異を反映している。本章では、調査対象論文で繰り返し現れる設定と訓練インフラストラクチャを収集する。

10.1 評価設定

表9は、精読した論文の中で繰り返し現れるベンチマークを、それぞれが表すレジームとともに示している。このリストの2つの特徴は、結果を解釈する上で重要である。第一に、最も一般的な推論設定であるAIME 2024/2025およびHMMT 2025は、ベンチマークあたり30問を含む。したがって、Avg@12の1点または2点の差は、シード変動が生み出しうる範囲内であり、複数の論文が単一の実行を報告している。第二に、創設期の科学/ツール設定(SciKnowEval、ToolAlpaca、LiveCodeBench v6)はSDPOスタイルの豊富なフィードバックに有利である一方、長予算の思考モデル評価は、複数の分析がOPSDの敗北を見出す領域である(第8章)。これらのレジームをまたぐ比較には注意が必要である。

設定レジーム代表的な指標使用例
AIME 2024/2025、HMMT 2025(各30問)競技数学、短いロールアウト、non-thinkingの生徒Avg@12またはmean@16
MATH-500、AMC 2023、GPQA-Diamond数学と科学、ラベルなしおよびテスト時設定avg@k、pass@k
SciKnowEval L3(4領域)豊富なフィードバックを伴う科学QAmean@16
ToolAlpaca単一ターンのツール使用精度
LiveCodeBench v6テストフィードバックを伴うコード精度、pass@k
τ-Bench、Travel Planner、BFCL v3マルチターンのツール使用成功率、Avg@4
ALFWorld、WebShop、Search-QA身体化・ウェブ・検索エージェント成功、スコア、EM
AppWorld、SWE-bench、R2E-Gym長期的ソフトウェアエージェントタスク目標達成、pass@1
OSWorld-Verified、AndroidWorld、ScreenSpot-Proコンピュータ使用とGUIグラウンディングPass@1、精度
HealthBench、RubricHub、ResearchQAルーブリックで採点される自由記述生成ルーブリックスコア
V*、動画QAスイート(MLVU、Video-MME)細粒度および時間的知覚精度

表9. 精読論文の間で繰り返し現れる評価設定。採用規則:少なくとも2本の調査対象論文によって主要ベンチマークとして使用された設定。「使用例」列は例示であり、網羅的な調査ではない。

10.2 フレームワークとトレーニングシステム

コーパス内のほとんどのOPSD実装は、vLLMロールアウトを伴うverlの上に構築されている。公開されたコードは例外であり原則ではない。精読した手法論文のうち、Self-Distilled Reasoner とROSD は公開リポジトリを指し示しているが、多くのカードにはコード、データ、チェックポイントの公開が記録されていない。EasyOPD は、その結果生じる断片化に対処している。ユーザー設定層、手法ローカルの監督モジュール、verl実行層を分離し、5つのディスパッチフックで接続することで、手法を名前とYAMLで選択できるようにしている。その比較自体も第8章のレジーム依存性を例示している。SDPOはSciKnowEval ChemistryでGRPOを上回る(1時間後で70.4対51.2)が、GSM8Kでは負ける(87.7対91.8)。

図22. EasyOPDの3層アーキテクチャ。共通の設定インターフェースの背後で複数のオンポリシー手法と自己蒸留手法をホストする(より転載)。

OPSDのコスト特性はRLVRのものとは異なる。プロンプトごとにグループではなく1回または少数回のロールアウトを必要とするが、より長い特権的コンテキスト上での教師のフォワードパスが追加され、全語彙版ではロジットも移動させる必要がある。非同期トレーニングが主要なシステム的対応である。AsyncOPSD はバッファされたロールアウト上で学習器内部で教師の監督を再計算し、経過時間のカットオフで陳腐化を制限し、同期OPSDよりわずかに高い精度で1.96~2.25倍の受理サンプルスループットを報告するとともに、非同期と同期の目的関数の差に関する境界を示す。別個の教師によるOPDを研究したAsyncOPD は、逆KL目的が順KL目的より陳腐化に対して速く劣化すること、および重要度補正された学習器再計算サロゲートが最も頑健であることを見出した。効率は蒸留量を減らすことによっても得られる。C-OPSDは同等の精度で応答の約4分の1を蒸留し 、0.1%のトークン予算で十分な場合もある 。関連するシステム研究は、長いホライズンに対する新鮮なロールアウト 、分岐ロールアウト 、最小二乗方策蒸留 、予算認識型の選択的蒸留 、効率的な自己蒸留による安全性アラインメント を扱っている。

要点

  • 競技数学の結果は30問のベンチマークに基づいており、多くの論文が単一実行を報告している。1~2ポイントの差は暫定的なものとして読むべきである。
  • 結果は評価レジーム(豊富なフィードバックを持つ科学とツール 対 長い予算の思考)に強く依存し、それが文献における見かけ上の不一致の多くを説明する。
  • 共有インフラはまだ発展途上である。非同期パイプラインはスループットをほぼ2倍にし、選択的蒸留は教師のコストの大部分を取り除く。

11. 今後の方向性

前章は、研究課題として述べるのに十分具体的な未解決問題を指し示している。それぞれに、それを示唆する初期の研究を併記する。

トレーニング前に特権情報を測定する。 あるコンテキストが役立つかどうかは現在、トレーニングによって発見される。2つの研究は、安価なオフライン量が結果を予測することを示している。すなわち、事前トレーニング時の生徒と教師の精度差 と、エージェントコンテキストのための誤り局在化診断 である。フォワードパスのみのバイアススコアが有害なコンテキストを検出し 、教師反転率が安全性コンテキストを選択する 。ホールドアウトプロンプト上で候補コンテキストを採点するための共有され検証されたプロトコルがあれば、第4章の設計空間は逸話的なものではなく探索可能なものになるだろう。

行動的特権と情報的特権を分離する。 8.2節の対照実験は、無関係な参照やシャッフルされた参照が正しい参照と同様に機能しうることを示している 。教師の価値が主に行動的なものであるならば、コンテキストは簡潔性の指示 やスキルカード のように行動仕様として直接設計でき、答えの漏洩 は構造的に回避できる。2つのチャネルを明示的に因数分解する手法、例えばマッチしたコンテキストを対比するもの は、自然な次の一歩である。

思考モデルのためのOPSD。 この分野で最も明確な否定的結果は、OPSDが長い予算で評価される思考モデルをしばしば損なうことである 。候補となる改善策には、高エントロピー領域でベース事前分布にアンカーすること 、検証済みの軌跡のみを監督すること 、ミスマッチモードの教師などが含まれる。長い予算の思考モデルに対してOPSDを信頼できる改善に変えることを示したものは、まだ一つもない。

崩壊耐性のある目的関数。 多様性の喪失、クリッピングに誘発されるループ、ダイバージェンスによって支配されるエントロピーシフトは、現在それぞれ個別に理解されている。欠けているのは、保証されたカバレッジを持つ目的関数、たとえばRLがそうであるように、等しく正しい応答の相対的な重みをその最適解が保持するような目的関数であり、かつPass@1だけでなくPass@kでも評価されるものである。

制御問題としての教師ダイナミクス。 ゲート付きリフレッシュ、訓練済み教師、ルックアヘッド教師は、それぞれの設定において凍結教師よりも改善するが、計算量を揃えた条件やモデルファミリーをまたいだ比較は行われていない。測定された教師–生徒ギャップに適応する教師更新ポリシーは、未解決の設計課題である。

スケーリングと再現。 検討された証拠のほとんどすべては、14Bパラメータ以下のモデル、多くの場合Qwen3によるもので、30問のベンチマークにおける単一実行に基づいている(第10章)。第5〜7章の1〜3ポイントの改善を順位付けするには、より大規模なモデル、他のファミリー、複数シードでの報告が必要である。

長期的エージェント。 エージェントに関する結果は、軌跡全体に対するOPSDよりも的を絞ったゲート付き蒸留を支持しており、フィードバックで拡張された自己蒸留は検索エージェントでは完全に失敗し得る。どのステップが特権的なターゲットに値するか、そしてそれらを選択するアナライザをどのように検証するかについての原理的な説明は、多くのエージェント固有のレシピを統一するだろう。

行動上の副作用と安全性。 再帰的自己蒸留は、無害な文脈を有害な遵守における大きな変化へと増幅し得る。OPSDが安全性やパーソナライゼーションのために用いられるにつれ、拒否行動やキャリブレーションといった、訓練ターゲットの外側にある性質の定期的な監査が評価の一部となるべきである。

mermaid
flowchart LR M[Measure privilege offline] --> D[Design context as behavior or information] D --> O[Collapse-resistant objective] O --> T[Adaptive teacher dynamics] T --> S[Scale and replicate] S --> A[Audit side effects] A -. feedback .-> M

図23. 未解決問題を結ぶ研究ループ:オフライン測定が文脈設計に情報を与え、文脈設計が目的関数と教師ダイナミクスを制約する。その後、結果は大規模に再現され、副作用について監査されなければならない。

12. 結論

オンポリシー自己蒸留は、一方のコピーに他方が持たない情報を与えることで、言語モデルをそれ自身の教師に変える。10か月のうちに、このアイデアはパイプラインのレベルで一貫した大規模な文献を生み出した。すべての手法は、特権的な文脈、トークンレベルの信号を形作る方法、教師更新規則、そして検証器との関係を選択する。文脈の選択は、その手法がどこに適用されるかを決める。検証可能な推論には参照解、インタラクティブなタスクにはフィードバックと後知恵、オープンエンドな生成にはルーブリックとスキル、マルチモーダルモデルには知覚的ビュー、拡散モデルには後段のノイズ除去状態、そしてラベルが存在しない場合にはコンセンサスである。

証拠はまた、創設期の論文が提示できなかったよりも具体的な結論も支持している。OPSDが最も信頼できるのは、特権的なコンテキストによって、同じモデルが学生自身のプレフィックス上で明らかに優れている場合である。これは特に、非思考型の学生、短いロールアウト、豊富な環境フィードバックの場合に明確に当てはまり、長いバジェットで評価される思考型モデルではしばしば失敗する。教師の利益のかなりの割合は、回答に固有のものではなく行動的なものであるように見える。一様分布マッチングは出力分布を狭める傾向があり、継続的な訓練ではドリフトする可能性がある。最も広く普及した設計は、これらの知見に応じて、検証器または結果シグナルに更新の方向を設定させ、トークンレベルの大きさや少数の的を絞ったステップのために自己教師を用いる。未解決のまま残っているのは、訓練前に特権的コンテキストの価値を測定する方法、崩壊に対して証明可能に耐性のある目的関数、そしてこれまでに研究された範囲を超えたスケールおよびモデルファミリーにおける証拠である。

付録A. 範囲、検索、スクリーニング

締め切りと情報源。 コーパスは2026年11月3日までのarXiv投稿を対象とし、検索は2026年11月4日にarXivベースの論文ライブラリ上で実行された。2つの経路を組み合わせた。タイトルまたはアブストラクトにself-distillationまたはon-policy self-distillationの語とon-policy trainingの語を必要とするキーワード経路(366論文)と、トピック記述に最も近く2025年6月1日以降に投稿された700論文を返す意味経路である。それらの和集合には822論文が含まれる。意味ランキングの末尾は主に別教師によるon-policy蒸留と一般的な知識蒸留で構成されており、これが停止基準となった。

スクリーニング。 各候補は包含基準に照らして判定された。教師分布は、学生が見ない情報または入力の下で学生自身の重みから得られなければならず、監督は学生自身のサンプルに適用されなければならない。この基準はサンプル上で較正された後、LLMベースの判定器によって全822候補に適用された。判定器は475論文を含み、検索で見逃された既知の関連論文3件が手動で追加され、478論文のコーパスとなった。少数の包含論文は手法の一部に別の教師を用いており、それらは境界事例としてラベル付けされ、その知見が自己蒸留に関係する場合にのみ引用される。

分類と読解の深さ。 論文はLLMベースのマルチラベル分類器によって第3章の2つの軸で分類された。合計144論文が全文読解され、機構、設定、主要な証拠、限界、図表を網羅する構造化カードにまとめられた。それらは創設的な研究、各リーフの最も代表的な手法、対照分析、主要な応用論文として選ばれた。本文中の機構と結果の記述はこれらの論文に限定される。残りの論文はアブストラクトから引用され、各論文が自ら行うと述べている内容のみを記すグループ化された文で示される。

限界。 コーパスはarXivプレプリントに限定され、その大半は締め切り時点で査読を受けていなかった。一部の結果は後のバージョンで変わりうる。LLM支援によるスクリーニングと分類は個々の論文を誤ってラベル付けする可能性がある。報告された数値は著者自身のものであり、異質な設定に由来するため、本文がそう述べない限り論文間で比較可能ではない。

References

[1] Siyan Zhao, Zhihui Xie, Mengchen Liu, et al. Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models. 2026. arXiv preprint. arXiv:2601.18734

[2] Jonas Hübotter, Frederike Lübeck, Lejs Behric, et al. Reinforcement Learning via Self-Distillation. 2026. arXiv preprint. arXiv:2601.20802

[3] Idan Shenfeld, Mehul Damani, Jonas Hübotter and Pulkit Agrawal. Self-Distillation Enables Continual Learning. 2026. arXiv preprint. arXiv:2601.19897

[4] Yuki Ichihara, Naoto Iwase, Mohammad Atif Quamar, Junpei Komiyama. Privileged Solutions or Context-Induced Teacher Behavior? Dissecting On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.09228

[5] Qingyuan Zheng, Zhihao Dou. Shuffled OPSD: When Semantic Consistency Hurts On-Policy Self-Distillation?. 2026. arXiv preprint. arXiv:2611.04958

[6] Simran Kaur and Narutatsu Ri and Yinghui He and Liam Fowl and Sanjeev Arora. Rethinking On-Policy Self-Distillation for Thinking Models. 2026. arXiv preprint. arXiv:2607.05184

[7] Yang Li, Gongle Xue, Yuheng Yuan, et al. Diagnosing On-Policy Self-Distillation for Reasoning Language Models. 2026. arXiv preprint. arXiv:2609.39118

[8] Meng Wang, Haohan Zhao, Wenzhuo Liu, et al. Denser ≠\neq Better: Limits of On-Policy Self-Distillation for Continual Post-Training. 2026. arXiv preprint. arXiv:2607.01763

[9] Mingyang Song, Mao Zheng. A Survey of On-Policy Distillation for Large Language Models. 2026. arXiv preprint. arXiv:2604.00626

[10] Fangming Cui, Sunan Li, Jiahong Li. A Brief Overview: On-Policy Self-Distillation In Large Language Models. 2026. arXiv preprint. arXiv:2605.18141

[11] Bowen Zhang. A Formula-Driven Survey and Research Agenda for On-Policy Distillation. 2026. arXiv preprint. arXiv:2606.22793

[12] Justin Robert, Raheel Qader. One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.25936

[13] Tianzhu Ye, Li Dong, Xun Wu, Shaohan Huang, Furu Wei. On-Policy Context Distillation for Language Models. 2026. arXiv preprint. arXiv:2602.12275

[14] Emiliano Penaloza, Dheeraj Vattikonda, Nicolas Gontier, Alexandre Lacoste, Laurent Charlin, Massimo Caccia. Privileged Information Distillation for Language Models. 2026. arXiv preprint. arXiv:2602.04942

[15] Yuda Song, Lili Chen, Fahim Tajwar, et al. Expanding the Capabilities of Reinforcement Learning via Text Feedback. 2026. arXiv preprint. arXiv:2602.02482

[16] Ken Ding. HDPO: Hybrid Distillation Policy Optimization via Privileged Self-Distillation. 2026. arXiv preprint. arXiv:2603.23871

[17] Chenxu Yang, Chuanyu Qin, Qingyi Si, et al. Self-Distilled RLVR. 2026. arXiv preprint. arXiv:2604.03128

[18] Yinghui He, Simran Kaur, Adithya Bhaskar, et al. Self-Distillation Zero: Self-Revision Turns Binary Rewards into Dense Supervision. 2026. arXiv preprint. arXiv:2604.12002

[19] Hao Wang, Guozhi Wang, Han Xiao, et al. Skill-SD: Skill-Conditioned Self-Distillation for Multi-turn LLM Agents. 2026. arXiv preprint. arXiv:2604.10674

[20] Qianhao Yuan, Jie Lou, Xing Yu, et al. Vision-OPD: Learning to See Fine Details for Multimodal LLMs via On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2605.18740

[21] Guobin Shen, Xiang Cheng, Chenxiao Zhao, et al. Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information. 2026. arXiv preprint. arXiv:2605.11609

[22] Dengyang Jiang, Xin Jin, Dongyang Liu, et al. D-OPSD: On-Policy Self-Distillation for Continuously Tuning Step-Distilled Diffusion Models. 2026. arXiv preprint. arXiv:2605.05204

[23] John Gkountouras, Josip Juki'c, Ivan Titov. Consensus as Privileged Context for Label-Free Self-Distillation. 2026. arXiv preprint. arXiv:2607.13643

[24] Phuong Tuan Dat, Qi Li, Xinchao Wang. dOPSD: On-Policy Self-Distillation for Diffusion Language Models. 2026. arXiv preprint. arXiv:2607.04428

[25] Xidong Wu, Qi Qi, Yuqiong Ji, Shangqian Gao. Asynchronous On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.25880

[26] Vaskar Nath, Elaine Lau, Anisha Gunjal, Manasi Sharma, Nikhil Baharte, Sean Hendryx. Adaptive Guidance Accelerates Reinforcement Learning of Reasoning Models. 2025. arXiv preprint. arXiv:2506.13923

[27] Zizhuo Zhang, Jianing Zhu, Xinmu Ge, et al. Co-rewarding: Stable Self-supervised RL for Eliciting Reasoning in Large Language Models. 2025. arXiv preprint. arXiv:2508.00410

[28] Hyeonji Lee, Daejin Jo, Seohwan Yun, Sungwoong Kim. SGPO: Self-Generated Preference Optimization based on Self-Improver. 2025. ACM Trans. Intell. Syst. Technol. 2026. arXiv:2507.20181

[29] Shrenik Bhansali, Larry Heck. Draft, Verify, and Improve: Toward Training-Aware Speculative Decoding. 2025. arXiv preprint. arXiv:2510.05421

[30] Kanghui Tian, Siyuan Liu, Tianxiang Jiang, et al. What Should a Self-Teacher See? Privileged Context Design for On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2609.25623

[31] Ziqi Zhao, Xinyu Ma, Liu Yang, et al. Beyond Imitation: Reflective On-Policy Self-Distillation for LLM Reasoning. 2026. arXiv preprint. arXiv:2605.28014

[32] Deepika Bablani, Ajay Gupta, Wanming Chen. Rubrics as Privileged Information for Open-Ended Generation. 2026. arXiv preprint. arXiv:2608.02948

[33] Yubo Jiang, Fengying Xie, Zhiguo Jiang, Haopeng Zhang. Distill Skills into Weights, Not Prompts: Abstract Skills as Privileged Signals for On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.09826

[34] Ye Liu, Srijan Bansal, Bo Pang, et al. Procedural Memory Distillation: Online Reflection for Self-Improving Language Models. 2026. arXiv preprint. arXiv:2607.01480

[35] Yijiang Li, Bingyang Wang, Yijun Liang, Yunjie Tian, Di Fu, Nuno Vasconcelos. On-Policy Self-Distillation without Any Supervision. 2026. arXiv preprint. arXiv:2608.06296

[36] Yecheng Wu, Song Han, Han Cai. Weaken to Strengthen: Weakening-Induced On-Policy Self-Distillation for Large Reasoning Models. 2026. arXiv preprint. arXiv:2610.38681

[37] Jiaxuan Wang, Xuan Ouyang, Zhiyu Chen, Yulan Hu, Lan-Zhe Guo. STEPS: Selective On-Policy Self-Distillation for Reasoning. 2026. arXiv preprint. arXiv:2605.10194

[38] ZhiYan Hou, Xinyu Tang, Hongyan An, et al. DASH: Divergence-Adaptive Supervision Horizons for On-Policy Self-Distillation of Reasoning Models. 2026. arXiv preprint. arXiv:2608.06243

[39] Minjae Oh, Sangjun Song, Gyubin Choi, Yunho Choi, Yohan Jo. KL for a KL: On-Policy Distillation with Control Variate Baseline. 2026. arXiv preprint. arXiv:2605.07865

[40] Guobin Shen, Lei Huang, Xiang Cheng, et al. From Generic Correlation to Input-Specific Credit in On-Policy Self Distillation. 2026. arXiv preprint. arXiv:2605.11613

[41] Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He and Zhipeng Wang. PACED: Distillation and On-Policy Self-Distillation at the Frontier of Student Competence. 2026. arXiv preprint. arXiv:2603.11178

[42] Harrison Zhao, Lei Huang, Zhiyuan Zhao, Fei Liu, Wen Shi, Zijian Jin. Not Every Rollout Needs Distillation: Correctness-Filtered On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.25842

[43] Haowei Guo, Baolong Bi, Ruicheng Zhang, Cong Li, Bingqian Sun, Zhonghai Wu. When Should the Teacher Move? Temporal Coupling and Stability in Self On-Policy Distillation. 2026. arXiv preprint. arXiv:2606.03532

[44] Yutong Chen, Guangfu Guo, Zhichao Xu, Kunpeng Liu. DualOPSD: Closing the Feedback Loop in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.26019

[45] Randy Ardywibowo, Arnav Dalal, Jiantao Jiao. A Good Self-Teacher Meets the Student Where They Are: Joint On-Policy Learning and Teaching. 2026. arXiv preprint. arXiv:2610.10447

[46] Zheng Zhang, Xinyue Tan, Lufei Li, Xinyi Zhang, Yexin Li, Kan Ren. Train Ahead, Distill Back: Bootstrapping On-Policy Self-Distillation for Large Language Models. 2026. arXiv preprint. arXiv:2609.37132

[47] Chuanyu Qin, Chenxu Yang, Qingyi Si, et al. Learning from the Near Future: Temporal Self-Distillation for RLVR. 2026. arXiv preprint. arXiv:2604.20733

[48] Leyi Pan, Shuchang Tao, Yunpeng Zhai, et al. RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2606.11709

[49] Gengsheng Li, Tianyu Yang, Junfeng Fang, et al. Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing. 2026. arXiv preprint. arXiv:2604.02288

[50] Yubo Zhang and Xinhong Ma and Zezhong Tan and Ziqiang Dong. I-SDPO: Instance-Level Adaptive Self-Distillation Policy Optimization. 2026. arXiv preprint. arXiv:2608.12957

[51] Tommy He, Jerome Sieber, Matteo Saponati. A Predictive Law for On-Policy Self-Distillation From World Feedback. 2026. arXiv preprint. arXiv:2605.30070

[52] Andrei Liviu Nicolicioiu and Mohammad Pezeshki and Aaron Courville. On-Policy Self-Distillation with Sampled Demonstrations Reduces Output Diversity. 2026. arXiv preprint. arXiv:2606.26091

[53] Jinyang Wu and Shuo Yang and Zhengxi Lu and Fan Zhang and Yuhao Shen and Lang Feng and Haoran Luo and Zheng Lian and Shuai Zhang and Zhengqi Wen and Jianhua Tao. SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2607.14777

[54] Ziyue Wang, Shiqi Huang, Weiwen Xu, Bihan Wen, Xudong Jiang. Video-OPSD: Exploiting Privileged Visual Evidence for On-Policy Self-Distillation in Video Large Language Models. 2026. arXiv preprint. arXiv:2608.27065

[55] Yu Fu, Longxuan Yu, Haz Sameen Shahgir, et al. Reducing the Safety Tax in LLM Safety Alignment with On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2605.15239

[56] Hejian Sang, Yuanda Xu, Zhengze Zhou, Ran He, Zhipeng Wang, Jiachen Sun. CRISP: Compressed Reasoning via Iterative Self-Policy Distillation. 2026. arXiv preprint. arXiv:2603.05433

[57] Zihao Han, Tiangang Zhang, Huaibin Wang, Yilun Sun. Adaptive Teacher Exposure for Self-Distillation in LLM Reasoning. 2026. arXiv preprint. arXiv:2605.11458

[58] Khouloud Saadi and Di Wang. One Teacher, Many Views: Reducing Reference Sensitivity in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.30880

[59] Xuyang Zhao, Liting Zhang, Zichen Xu, et al. Is More Privileged Information Better? From Solution Traces to Problem-Solving Structure in Self-Distilled Reasoning. 2026. arXiv preprint. arXiv:2608.01589

[60] Zhanming Shen, Jintao Tong, Shaotian Yan, et al. Purified OPSD: On-Policy Self-Distillation Without Losing How to Think. 2026. arXiv preprint. arXiv:2607.02234

[61] Kaixiang Zhao, Tianrun Yu, Shangzhe Li, et al. Recovering Reliable Supervision via Critique-Guided On-Policy Distillation. 2026. arXiv preprint. arXiv:2610.20572

[62] Chenglei Shen, Haoyang Yao, Weijie Yu, Song Jin, Xiao Zhang, Jun Xu. Learning from Repaired Reasoning: Root-Cause-Guided On-Policy Distillation. 2026. arXiv preprint. arXiv:2610.03515

[63] Weichen Yu, Xiaomin Li, Yizhou Zhao, et al. Multi-Rollout On-Policy Distillation via Peer Successes and Failures. 2026. arXiv preprint. arXiv:2605.12652

[64] Jiaxin Guo, Yanwei Yue, Xuanbo Fan, Chunyu Yang, Yan Zhang. Learning from Consensus and Disagreement: Unsupervised On-Policy Self-Distillation with Minority-Trajectory Contrast. 2026. arXiv preprint. arXiv:2608.08764

[65] Leon Sick, Lukas Hoyer, Yannick Strümpler, Christian Reisswig, Timo Ropinski, Federico Tombari. On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models. 2026. arXiv preprint. arXiv:2610.32770

[66] Zhiquan Tan, Yinrong Hong. PAINT: Partial-Solution Adaptive Interpolated Training for Self-Distilled Reasoners. 2026. arXiv preprint. arXiv:2604.26573

[67] Yangrong Hu, Xueyu Zhou, Yue Wu, Jian Huang. Self-Privileged Fine-Tuning. 2026. arXiv preprint. arXiv:2611.04632

[68] Samyak Shrestha, Alexander Tessier. Rethinking Privileged Information in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.18271

[69] Mayug Maniparambil, Ayush Rai, Ekansh Verma, Noel E. O'Connor, Fergal Reid. A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning. 2026. arXiv preprint. arXiv:2610.13744

[70] Yafeng Tang, Hao Li, Hongsheng Yu, Qiang Fu. ReTeach: Building a Self-Teacher through Multi-Round Reflection and Retry. 2026. arXiv preprint. arXiv:2610.11529

[71] Wenjie Gan, Zhaoxi Zhang, Jiahui Liang, et al. Enhancing Bug-Exposing Test Generation via Step-Level Credit Assignment and Self-Distillation from Valuable Failures. 2026. arXiv preprint. arXiv:2610.27694

[72] Haoyu Dong. Self-Distillation Policy Optimization via Visual Feedback: Bridging Code and Visual Artifacts. 2026. arXiv preprint. arXiv:2606.10334

[73] Zenghuang Fu, Zhaoyang Li, Qiuyuan Ai, et al. UniOPSD: Unifying Outcome and Hindsight Feedback for Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2609.34810

[74] Thomas Kleine Buening and Jonas Hübotter and Barna Pásztor and Idan Shenfeld and Giorgia Ramponi and Andreas Krause. Aligning Language Models from User Interactions. 2026. arXiv preprint. arXiv:2603.12273

[75] Xuancheng Li, Haitao Li, Yujia Zhou, et al. Different Feedback, Different Updates: Selective Self-Learning from User Interactions for Large Language Models. 2026. arXiv preprint. arXiv:2608.09109

[76] Yuwei Zhang, Sha Li, Changlong Yu, et al. Learning with Rare Success but Rich Feedback via Reflection-Enhanced Self-Distillation. 2026. arXiv preprint. arXiv:2605.12741

[77] Johnny Yu, Cyril Gorlla. How Much Does the Hint Matter? Scope Conditions for Hindsight Self-Distillation in Financial Reasoning. 2026. arXiv preprint. arXiv:2610.36082

[78] Gaetan Narozniak, Gérard Biau, Rémi Munos, Ahmad Rammal, Pierre Marion. Distilling LLM Feedback for Lean Theorem Proving. 2026. arXiv preprint. arXiv:2605.30861

[79] Yang Li, Erik Nijkamp, Semih Yavuz, Shafiq Joty. Learning from Language Feedback via Variational Policy Distillation. 2026. arXiv preprint. arXiv:2605.15113

[80] MohammadHossein Rezaei and Anas Mahmoud and Zihao Wang and Utkarsh Tyagi and Advait Gosai and Razvan-Gabriel Dumitru and Aakash Sabharwal and Bing Liu and Yunzhong He. Rubric-Guided Self-Distillation: Post-Training Without Rubric Verifiers. 2026. arXiv preprint. arXiv:2606.12507

[81] Rui Xu, Yikai Zhang, Aili Chen, Zicheng Zhao, Xu Yinghui, Libo Wu. OSPD: On-Policy Self-Distillation for Persona-Consistent Dialogue. 2026. arXiv preprint. arXiv:2609.34418

[82] Huayi Lai, Jicheng Yang, Min Yi, Chong Meng. MIRROR: From Imitation to Internalization in LLM Personalization. 2026. arXiv preprint. arXiv:2610.09795

[83] Mingfeng Lin, Chengfei Cai, Lin Xu, Chengqian Ma, Yuxiang Wei, Liang Han. PE-OPSD: Internalizing Prompt Enhancement into Flow-matching Models via On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2609.36638

[84] Ming Wen, Yuxuan Liu, Kun Yang, et al. Constitutional On-Policy Safe Distillation. 2026. arXiv preprint. arXiv:2606.03089

[85] Yingzi Ma, Zichen Zhu, Ming Jiang, Chaowei Xiao. One Student, Many Teachers: Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context. 2026. arXiv preprint. arXiv:2607.18293

[86] Wei Fan, Qingyue Yang, Chao-Hong Tan, et al. LoOPSD: On-Policy Self-Distillation with Looped Teachers. 2026. arXiv preprint. arXiv:2610.18162

[87] Aozhe Wang, Zhengxi Lu, Jianze Wang, et al. TTPO: Test-Time Policy Optimization. 2026. arXiv preprint. arXiv:2608.27448

[88] Luke Bailey, Kaiyue Wen, Kefan Dong, Tatsunori Hashimoto, Tengyu Ma. Scaling Self-Play with Self-Guidance. 2026. arXiv preprint. arXiv:2604.20209

[89] Zhenyu Liu, Zhangquan Chen, Keyi Chen, et al. Spatial-OPSD: Self-Improving Spatial Reasoning via Label-Free Self-Distillation. 2026. arXiv preprint. arXiv:2609.37055

[90] Xiaoshu Chen, Sihang Zhou, Ke Liang, Xinwang Liu. SeOPD: Self-Evolving LLMs via Online Policy Distillation from Self-Generated Chain-of-Thought. 2026. arXiv preprint. arXiv:2609.33181

[91] Jinhao Pan, Bowen Wei, Yuqing Zhou, Ziwei Zhu. Learning from Self-Generated Responses: Reliability--Uncertainty Self-Distillation for Reasoning. 2026. arXiv preprint. arXiv:2610.19176

[92] Xiaogeng Liu, Xinyan Wang, Yingzi Ma, Yechao Zhang, Chaowei Xiao. When Are Teacher Tokens Reliable? Position-Weighted On-Policy Self-Distillation for Reasoning. 2026. arXiv preprint. arXiv:2605.21606

[93] Huanxin Sheng, Zhiling Ye, Haonan Wang, Jian Wang, Jinjie Gu and Jian Kang. 1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation. 2026. arXiv preprint. arXiv:2609.24432

[94] Heng Liang, Xinwen Zhang, Hongchang Gao. Learning What to Distill: Bilevel Top-K Token Selection for Self-Distillation in Large Language Models. 2026. arXiv preprint. arXiv:2610.07247

[95] Yifu Luo, Chuang Ma, Zeyu Chen, Enkelejda Kasneci, Qi Chen, Gjergji Kasneci. Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-distillation. 2026. arXiv preprint. arXiv:2610.40574

[96] Duy Nguyen, Hanqi Xiao, Archiki Prasad, et al. AVSD: Adaptive-View Self-Distillation by Balancing Consensus and Teacher-Specific Privileged Signals. 2026. arXiv preprint. arXiv:2605.20643

[97] Xingrun Xing, Haoqing Wang, Boyan Gao, Ziheng Li, Yehui Tang. Trust Region On-Policy Distillation. 2026. arXiv preprint. arXiv:2606.01249

[98] Yifei Liu, Minghao Fang, Xinyu Gu, et al. E2^2-OPSD: Taming Entropy Overshoot in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.05048

[99] Yugu Li, Zehong Cao, Peizhen Li, Yang Zhang, Siyi Hu, Jianglin Qiao. Can We Trust the Teacher? Decoupled Credit Direction-Magnitude for Self-Distillation. 2026. arXiv preprint. arXiv:2609.34848

[100] Meilin Yang, Zixuan Ding (1), Jianhao Nie, et al. Adaptive Supervised Anchoring for On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.07935

[101] Zehao Liu, Yuanpu Cao, Jinghui Chen, Vasant G. Honavar. Restoring the Sweet Spot: Pass-Rate Weighted Self-Distillation for LLM Reasoning. 2026. arXiv preprint. arXiv:2605.27765

[102] Xincheng Wei, Yifan Ding, Yoshua Li, et al. Better Supervision Is Nearby: Neighborhood On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2609.39687

[103] Qiangqiang He, Zhongheng Wu, ZiJian Wang. Not All Tokens Deserve Equal Credit: Counterfactual Sensitivity Credit Reallocation for Long-CoT Reasoning. 2026. arXiv preprint. arXiv:2607.27888

[104] Ilgee Hong, Changlong Yu, Zhenghao Xu, et al. Training LLM Judges from Language Feedback via Position-Selective Self-Distillation. 2026. arXiv preprint. arXiv:2609.38792

[105] Seohyun Lee, Dong-Jun Han, Seyyedali Hosseinalipour, Christopher G. Brinton. Fisher-Informed Recalibration for Feedback-Based On-Policy Self-Distillation of LLMs. 2026. arXiv preprint. arXiv:2609.34009

[106] Xuan-Phi Nguyen, Zeyu Leo Liu, Yang Li, et al. Privileged Likelihood Is Not Automatically Value: Three Checks for Token Credit in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.09263

[107] Zewen Ding, Zezhong Wu, Zhou Tao, et al. VISTA: Verifier-Informed Student-to-Teacher Adaptation for On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.28306

[108] Yangyang Feng, Zhuoyan Feng, and Junlan Chen. PAST: Privileged Adaptation from Complete Student Trajectories for On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.08726

[109] Shufan Shen, Zhongni Hou, Chao Bi, Yufei Zhang, Guojun Yin, Shuhui Wang. On-Policy Self-Distillation with Teacher Evolution. 2026. arXiv preprint. arXiv:2610.38637

[110] Zile Wang, Zijian Li, Haodong Wang, et al. Teach to Learn: Hint Annealing for Self-improving LLM Reasoning. 2026. arXiv preprint. arXiv:2609.34975

[111] Zepeng Zhai, Meilin Chen. Teach Me After You Learn It: Lookahead Self-Distillation for RLVR. 2026. arXiv preprint. arXiv:2610.18256

[112] Cheng Yang, Jiayang Lyu, Shangyuan Liu, et al. iCoder-27B: Recursive AI-Led Development of Frontier Industrial Coding Model. 2026. arXiv preprint. arXiv:2609.29626

[113] Yifeng Liu, Shiyuan Zhang, Yifan Zhang, Quanquan Gu. Self-Distilled Policy Gradient. 2026. arXiv preprint. arXiv:2606.04036

[114] Ahmed Heakl, Abdelrahman M. Shaker, Youssef Mohamed, et al. CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization. 2026. arXiv preprint. arXiv:2605.19436

[115] Zhenrui Yue, Huimin Zeng, Yueqi Wang, et al. SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2609.36742

[116] ZheXu Wang, Mao-Lin Luo, Yankun Hong, et al. Outcome-Guided On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.05070

[117] Suwan Yoon, Seongryong Jung, Changhee Lee. Correctness-Dependent Asymmetric Target Distributions for Self-Distillation Policy Optimization. 2026. arXiv preprint. arXiv:2610.25973

[118] Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang. β\beta-OPSD: Deriving with Policy Optimization, Training with Self-Distillation. 2026. arXiv preprint. arXiv:2607.28582

[119] Xuewei Yang, Jiachen Yu, Jie Wu, Shaoning Sun, Junjie Wang, Yujiu Yang. Internalize the Temperature: On-Policy Self-Distillation as Policy Reheater for Reinforcement Learning. 2026. arXiv preprint. arXiv:2606.00755

[120] Junlong Ke, Zichen Wen, Weijia Li, Conghui He, Linfeng Zhang. Respecting Self-Uncertainty in On-Policy Self-Distillation for Efficient LLM Reasoning. 2026. arXiv preprint. arXiv:2605.13255

[121] Shuning Wang, Zhiheng Wu, Xun Zhou, et al. TTRSD: Test-Time Reinforcement Learning with Self-Distillation for Vision-Language Models. 2026. arXiv preprint. arXiv:2609.33414

[122] Jason Ken Adhinarta, Raina Wu, Ashutosh Sharma, et al. Does self-distillation improve reasoning?. 2026. arXiv preprint. arXiv:2610.18613

[123] Jaehoon Kim, Dongha Lee. Hindsight Compacts but Does Not Repair: Rethinking On-Policy Self-Distillation in Reasoning Models. 2026. arXiv preprint. arXiv:2605.06188

[124] Sarthak Harne, Chinmay Karkar, Yash Pandya, Ahmed Awadallah, Akshay Nambi. Privileged, but Biased: How PI-Conditioned Teachers Break Self-Distillation. 2026. arXiv preprint. arXiv:2608.04794

[125] Siqi Zhu, Xuyan Ye, Hongyu Lu, Weiye Shi, Ge Liu. The Many Faces of On-Policy Distillation: Pitfalls, Mechanisms, and Fixes. 2026. arXiv preprint. arXiv:2605.11182

[126] Kaijian Zou, Emiliano Penaloza, MohammadHossein Rezaei, et al. Predicting Privileged Information Effectiveness for On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.22512

[127] Mohammadreza Armandpour, Fatih Ilhan, David Harrison, et al. Unmasking On-Policy Distillation: Where It Helps, Where It Hurts, and Why. 2026. arXiv preprint. arXiv:2605.10889

[128] XiuYu Zhang, Wei Chow, Junfeng Fang, Xingyu Zhu, Zhenkai Liang, Tat-Seng Chua. What Does Privileged Information Add to On-Policy Self-Distillation?. 2026. arXiv preprint. arXiv:2609.20612

[129] Ravenor Davion, Nick Rui. Privileged Context as Drift in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.07842

[130] Keqin Peng, Chen Li, Yuanxin Ouyang, Yancheng Yuan, Liang Ding. Diagnosing and Mitigating Thinking Collapse in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2607.10805

[131] Di Huang, Hao Li, Yixin Chen, Fuhai Li. When Clipping Reverses Correction: Failure Dynamics of Pointwise Forward-KL On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2609.38995

[132] Nicolas Zucchet, Scott W. Linderman. Divergence controls entropy in distillation. 2026. arXiv preprint. arXiv:2610.03529

[133] Anton Baumann, Akmal Ashirmatov, Leo Schmidt-Traub, et al. On Repulsive and Attractive Teachers: Separating Correctness from Behavior in Self-Distillation. 2026. arXiv preprint. arXiv:2609.21561

[134] Shinichi Uemura, Taiji Suzuki. Learning without Overwriting: A Theory of Self-Distillation and Supervised Fine-Tuning in Continual Reasoning. 2026. arXiv preprint. arXiv:2610.05200

[135] Chen Henry Wu and Thomas Zhang and Aditi Raghunathan. Off-Policy Merging Beats On-Policy Self-Distillation for Continual Learning. 2026. arXiv preprint. arXiv:2610.05872

[136] Luis Zuin, Alexis Huet, Dario Rossi, Zied Ben Houidi. Disentangling Self-Distillation: Measuring and Modeling Acquisition and Retention. 2026. arXiv preprint. arXiv:2609.39494

[137] Md. Ismail Hossain, Humaira Kousar and Isidora Chara Tourni. Overcoming Scaling Limits in On-Policy Self-Distillation for LLM Reasoning. 2026. arXiv preprint. arXiv:2609.37915

[138] Lei Zhao, Qichao Zhao, Bowen Zuo, Qishi Zhan. Why On-Policy Distillation Sometimes Fails: Vanishing Learning Signals. 2026. arXiv preprint. arXiv:2610.11247

[139] Karim Abdel Sadek and Federico Di Gennaro and Fanny Yang. Progressive Misalignment Can Emerge from Benign Recursive Self-Distillation. 2026. arXiv preprint. arXiv:2610.22467

[140] Shuo Yang and Jinyang Wu and Zhengxi Lu and Yuhao Shen and Fan Zhang and Lang Feng and Shuai Zhang and Haoran Luo and Zheng Lian and Zhengqi Wen and Jianhua Tao. OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2606.26790

[141] Qirui Liu, Wei Cao, Yu Mi, et al. SCOPE: Selective Critical-Step On-Policy Self-Distillation for Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2610.38391

[142] Woongyeong Yeo, Yumin Choi, Taekyung Ki, Sung Ju Hwang. HINT-SD: Targeted Hindsight Self-Distillation for Long-Horizon Agents. 2026. arXiv preprint. doi:10.18653/2026.findings-emnlp.153 arXiv:2605.17873

[143] Changle Qu, Sunhao Dai, Hengyi Cai, et al. TurnSight: Turn-Level Hindsight Self-Distillation for Tool-Integrated Reasoning. 2026. arXiv preprint. arXiv:2608.04007

[144] Yufei Ma, Zihan Liang, Ben Chen, et al. SD-Search: On-Policy Hindsight Self-Distillation for Search-Augmented Reasoning. 2026. arXiv preprint. arXiv:2605.18299

[145] Zhengxi Lu, Zhiyuan Yao, Zhuowen Han, et al. Self-Distilled Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2605.15155

[146] Xingyu Su, Abhishek Kumar, Qing Ping, et al. From Self-Distillation to Self-Practice: Privileged Information for Multi-Turn Agents. 2026. arXiv preprint. arXiv:2609.29051

[147] Fan Yang, Rui Meng, Yuxin Wen. Why Does Feedback-Augmented Self-Distillation Fail to Improve Retrieval-Interleaved Search Agents?. 2026. arXiv preprint. arXiv:2607.17558

[148] Hangxi Guo, Fengyuan Liu, Yue Wang, et al. Environmental Feedback Modeling Matters: Rethinking Feedback Treatment in Agentic Hindsight Self-Distillation. 2026. arXiv preprint. arXiv:2610.11384

[149] Yan Zhang, Daiqing Wu, Huawen Shen, et al. Learn How to Act from Your Own Interactions: On-Policy Self-Distillation for GUI Agents. 2026. arXiv preprint. arXiv:2609.27307

[150] Yong Du, Tongbo Chen, Zhengxi Lu, et al. ComputerSD: Online Self-Distillation from Real-Time Feedback for Computer-Use Agents. 2026. arXiv preprint. arXiv:2609.40253

[151] Yan Zhang, Daiqing Wu, Huawen Shen, Can Ma, Yu Zhou. Learn where to Click from Yourself: On-Policy Self-Distillation for GUI Grounding. 2026. arXiv preprint. arXiv:2605.00642

[152] Chunji Lv, Yangguang Wei, Junlin Liu, et al. PCSD: Persistent Consistency for Self-Distillation in Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2608.01837

[153] Xu Xia, Jinghua Piao, Min Yang, Xiaochong Lan, Jiaju Chen, Yong Li. From Scoring to Acting: Outcome-Verified Comparative Self-Distillation for LLM Agents. 2026. arXiv preprint. arXiv:2607.27937

[154] Haoran Liu, Yuwei Zhang, Xiyao Li, Bohan Lyu, Jingbo Shang. HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation. 2026. arXiv preprint. arXiv:2606.11559

[155] Yuechen Luo, Zhiyi Lai, Miao Ziqi, et al. OPRD: On-Policy Reminder Distillation for Long-Horizon Coding Agents. 2026. arXiv preprint. arXiv:2610.21496

[156] Sijia Li, Yuchen Huang, Zifan Liu, et al. GEAR: Granularity-Adaptive Advantage Reweighting for LLM Agents via Self-Distillation. 2026. arXiv preprint. arXiv:2605.11853

[157] Yuhao Sun, Binrui Wu, Zhuoer Xu, et al. Dense Is Not Enough: Hierarchical Supervision Allocation for Long-Horizon On-Policy Distillation. 2026. arXiv preprint. arXiv:2609.33409

[158] Yan Yu, Zhengxi Lu, Yizhou Liu, et al. RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2609.20784

[159] Tianlang Chen, Shirley Wu, Jure Leskovec. Found in Conversation: LLMs Teach Themselves to Close the Multi-Turn Gap. 2026. arXiv preprint. arXiv:2605.24432

[160] Azure Zhang, Ning Gao, Yuqin Dai, et al. Unlocking Proactivity in Task-Oriented Dialogue. 2026. arXiv preprint. arXiv:2605.22240

[161] Barada Sahu (Cabal AI), Shivesh Pandey (Para AI). Teach it to stop, not just to click. 2026. arXiv preprint. arXiv:2607.17136

[162] Xudong Cai, Zhengxi Lu, Yuchen Yan, et al. SWE-Ladder: Learning to Localize, Reproduce, and Patch via Progressive Privileged Self-Distillation. 2026. arXiv preprint. arXiv:2610.33667

[163] Shengjie Wang, Guanghe Li, Zonghan Yang, Yang Gao. Hindsight Hint Distillation: Scaffolded Reasoning for SWE Agents from CoT-free Answers. 2026. arXiv preprint. arXiv:2605.11556

[164] Taeckyung Lee, Rinat Amankos, Jeonghye Kim, Hyungjun Yoon, Woogyeol Jin, Sung-Ju Lee. TISD: On-Policy Self-Distillation with Trajectory Intervention. 2026. arXiv preprint. arXiv:2609.30878

[165] Wanqi Ren, Jianxiang Wang, Danxuan Liu, Linyi Ding, Huaixiao Tou. Learning from Think-Mode Advantage via On-Policy Distillation. 2026. arXiv preprint. arXiv:2609.37044

[166] Karn Tiwari, Varnith Chordia, Prathosh A P. DiffGate: Difficulty-Gated Teacher Guidance for On-Policy Distillation. 2026. arXiv preprint. arXiv:2610.04596

[167] Yang Li, Semih Yavuz, Shafiq Joty. RISE: Recursive Improvement via Self-Extrapolating Policy Distillation. 2026. arXiv preprint. arXiv:2609.05295

[168] Jiawei Zhou, Jianwei Wang, Chenyu Zhou, Chaojian Shi, Ming Dong, Kai Wang. EvoSQL: Memory-Augmented Critic-Generator Co-Evolution for Text-to-SQL. 2026. arXiv preprint. arXiv:2607.20489

[169] Qihui Zhu, Yuchen Wang, Zijian Wen, et al. RP-OPSD: Resolution-Privileged On-Policy Self-Distillation for Multimodal Large Language Models. 2026. arXiv preprint. arXiv:2607.24447

[170] Yijiang Li, Yijun Liang, Yunjie Tian, et al. Self-Supervised Visual On-Policy Distillation. 2026. arXiv preprint. arXiv:2608.14144

[171] Kaishen Wang, Dongdi Zhao, Yijun Liang, et al. Where to Look Matters: On-Policy Self-Distillation for Long-Video Understanding. 2026. arXiv preprint. arXiv:2608.25356

[172] Kanghui Tian, Siyuan Liu, Ziang Yan, Sheng Xia, Shuai Dong, Yi Wang. ViCuR: Visual Cues as Recoverable Privilege for Multimodal On-Policy Distillation. 2026. arXiv preprint. arXiv:2606.05718

[173] Yunfei Bai, Enrico Chionna, Akash Amol, Kawaljit Singh KC, Joern Tinnemeyer. K-OPSD: Verifiable On-Policy Self-Distillation for Post-Training Vision-Language Models on AEC Drawings. 2026. arXiv preprint. arXiv:2609.34082

[174] Kaixuan Du, Xin Wan, Dai Guan, Ming Chen, Xiaoxi Jiang, Guanjun Jiang. Live-OPSD: On-Policy Self-Distillation for Proactive Streaming Large Video Models. 2026. arXiv preprint. arXiv:2610.36959

[175] Yuwei Miao, Xuesheng Zhang, Wenhao Zou, et al. EGSD: Event-Grounded Self-Distillation for Streaming Video Understanding. 2026. arXiv preprint. arXiv:2609.36803

[176] Keming Wu, Baoyi Wang, Kaichen Zhang, et al. StreamOPD: A Post-Training Recipe with Spatio-Temporal Cue Gating for Streaming Video Understanding. 2026. arXiv preprint. arXiv:2608.16320

[177] Zhaoyu Chen, Yongwei Nie. DTP-OPSD: Reinforcement Learning with Distractor-Aware Temporal-Privilege On-Policy Self-Distillation for Temporal Video Grounding. 2026. arXiv preprint. arXiv:2611.00120

[178] Hongxing Li, Yixin Li, Dingming Li, et al. Distilling Routed 3D Privilege for Spatial Reasoning in Vision-Language Models. 2026. arXiv preprint. arXiv:2610.12355

[179] Haocheng Luo, Jiahui Liu, Ruicheng Zhang, et al. Learning Visual Spatial Planning from Symbolic State via Modality-Gap-Aware Self-Distillation. 2026. arXiv preprint. arXiv:2606.06076

[180] Junming Lin, Yuxuan Wang, Zhenxin Lei, et al. OmniReasoning: Pushing the Limits of Audio-Visual Joint Reasoning. 2026. arXiv preprint. arXiv:2609.39490

[181] Jing Hu, Danxiang Zhu, Xianlong Luo, et al. CORD: Bridging the Audio-Text Reasoning Gap via Weighted On-policy Cross-modal Distillation. 2026. ACL findings 2026. arXiv:2601.16547

[182] Yujie Guo, Hongjie Chen, Jian Kang, Jie Li, Yongxiang Li, Yong Qin. TS-OPD: Reconciling ASR and QA in Speech Language Models via Task-Specific On-Policy Distillation. 2026. arXiv preprint. arXiv:2609.29464

[183] Shiao Xie, Siyu Chen, Jianwei Lv, Xiandong Li, Yujin Wang. Reinforcement Learning with Visually Attributable On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.26856

[184] Wei Zhou, Xiongwei Zhu, Lingdong Kong, et al. On-Policy Self-Distillation in Diffusion Models. 2026. arXiv preprint. arXiv:2608.24646

[185] Hongyu Liu, Chun Wang, Feng Gao, et al. OPSD-V: On-Policy Self-Distillation for Post-Training Few-Step Autoregressive Video Generators. 2026. arXiv preprint. arXiv:2607.08766

[186] Shiyi Zhang, Mushui Liu, Yunze Tong, et al. Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher. 2026. arXiv preprint. arXiv:2608.26872

[187] Yifu Luo, Zeyu Chen, Haoyu Wang, et al. Learning from the Self-future: On-policy Self-distillation for dLLMs. 2026. arXiv preprint. arXiv:2606.18195

[188] Hyeongsoo Lim, Jinyoung Kim, Eunseo Seo, Minho Jang, Jiwon Yoon. SelFusion: Self-distillation for Diffusion Language Models. 2026. ACL 2026. doi:10.18653/v1/2026.acl-long.1008 arXiv:2608.22898

[189] Xiaohang Tang, Keyue Jiang, Che Liu, et al. GDSD: Reinforcement Learning as Guided Denoiser Self-Distillation for Diffusion Language Models. 2026. arXiv preprint. arXiv:2605.29398

[190] Liangbing Zhao, Le Zhuo, Mohamed Elhoseiny. On-Policy Self-Distillation for Multi-Turn Image Editing. 2026. arXiv preprint. arXiv:2609.35611

[191] Shengxiang Ji, Boyang Wang, Haiyang Xu, et al. LIFT: Layout-In-Future Video Generation under Large Viewpoint Change via On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2609.38146

[192] Shafeef Omar, Sebastian Sanokowski, Elham Daneshmand, et al. DiPLO: Self-distilled Diffusion Planning for Loco-manipulation. 2026. arXiv preprint. arXiv:2610.24847

[193] Ahmed Khaled Khamis, Xiaotong Ji, Hassan Jaber, et al. iSDFT: Information-Proximal Self-Distillation for Continual Learning in LLMs. 2026. arXiv preprint. arXiv:2609.24646

[194] Jiarui Liu, Lechen Zhang, Yongjin Yang, et al. MixSD: Mixed Contextual Self-Distillation for Knowledge Injection. 2026. arXiv preprint. arXiv:2605.16865

[195] Shuaike Li, Kai Zhang, Xianquan Wang, Jiachen Liu, Shengpeng Mo. From Fact Overwriting to Knowledge Evolution: Causal Editing via On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2605.28303

[196] Tianzhu Ye, Li Dong, Qingxiu Dong, Xun Wu, Shaohan Huang, Furu Wei. Online Experiential Learning for Language Models. 2026. arXiv preprint. arXiv:2603.16856

[197] Yuhang Zhou, Yifan Wu, Bo Peng, et al. Self-Evolving Agents through Privileged Retrospective Distillation. 2026. arXiv preprint. arXiv:2610.27495

[198] Shijie Ren, Xiting Wang, Meng Li, et al. Self-Improving Large Language Models via Progressive Experience Evolution. 2026. arXiv preprint. arXiv:2608.02139

[199] Yiqiao Qiu. Replay for LLM Continual Learning with Multi-Teacher On-Policy Distillation. 2026. arXiv preprint. doi:10.5281/zenodo.23906641 arXiv:2611.02746

[200] Yifei Li, Rongman Xu, Lingling Zhang, et al. Self-Specialized Teachers for Domain Post-Training. 2026. arXiv preprint. arXiv:2608.28647

[201] Dian Jin, Jinluan Yang, Kairong Han, et al. MDSKILL: Learning to Internalize Skill Memory through Multi-View Distillation for Efficient Dynamic Agent Self-Evolution. 2026. arXiv preprint. arXiv:2611.05313

[202] Hojun Cho, Kang Eun Jeon, Jaegul Choo. Adaptive-Policy Distillation: Knowledge Injection under Information Asymmetry. 2026. arXiv preprint. arXiv:2611.00852

[203] Ruiyang Qin, Qingzhuo Wang, Dongrui Liu, Qiang Li, Zhihua Wei, Wen Shen. Multilingual Safety Alignment via Self-Distillation. 2026. arXiv preprint. arXiv:2605.02971

[204] Shuo Hong, Jiaxin Ma, Xidi Cai, Qianli Ma. Erase the Injected Region: Multimodal Prompt-Injection Defense with On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.41307

[205] Yilun Qiu, Xiaoyan Zhao, Chengbing Wang, et al. Rubric-Aware On-Policy Self-Distillation for LLM Personalization. 2026. arXiv preprint. arXiv:2609.35262

[206] Dingyao Yu, Tong Zhang, Yutao Mou, Yunxiao Zhang, Wei Ye, Shikun Zhang. Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.14684

[207] Mingxuan Xia, Yuhang Yang, Chao Ye, et al. CriPO: Enhancing Rubric-based RL via Self-Distillation. 2026. arXiv preprint. arXiv:2607.18082

[208] Chengsheng Zhang and Wenshen Xu and Yuchuan Wu and Zhiyuan Yu and Junfeng Fang and Tianlong Wang and Bingxue Qiu and Yongbin Li and Xiang Wang. Co-Evolving Policy and Rubric via Capability Awareness for Open-Ended Generation. 2026. arXiv preprint. arXiv:2610.38566

[209] Jiaxin Zhang, Xiangyu Peng, Qinglin Chen, Qinyuan Ye, Caiming Xiong, Chien-Sheng Wu. The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation. 2026. arXiv preprint. arXiv:2604.16830

[210] Tao Feng and Xinke Jiang and Chao Wu. KbSD: Knowledge Boundary aware Self-Distillation for Behavioral Calibration in Agentic Search. 2026. arXiv preprint. arXiv:2606.29863

[211] Mohammad Sadegh Akhondzadeh, Soroush H. Zargarbashi, Aleksandar Bojchevski. Adversarial Self-Distillation. 2026. arXiv preprint. arXiv:2610.38732

[212] Chang Wu, Junfeng Fang, Houcheng Jiang, et al. PolicyAlign: Direct Policy-Based Safety Alignment for Large Language Models. 2026. arXiv preprint. arXiv:2606.25442

[213] Durgesh Kalwar, Vardhan Palod, Jaya Adithya Pavuluri, Subbarao Kambhampati. Masked Self-Distillation: Internalizing the Chain-of-Thought in Language Models. 2026. arXiv preprint. arXiv:2607.22629

[214] Yishuo Cai, Jiahui Liu, Yuanxin Liu, et al. Thinking Without Images: Internalizing Visual Manipulation with On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2606.08719

[215] Chenjun Xu, Zhennan Zhou, Zhan Su, Bill Howe, Lucy Lu Wang, Bingbing Wen. STOP: Structured On-Policy Pruning of Long-Form Reasoning in Low-Data Regimes. 2026. arXiv preprint. arXiv:2605.13165

[216] Junxian Li, Ruixuan Yang, Tianao Zhang, Tiange Xu, Weisheng Dong, Yulun Zhang. Fewer Tokens, More Self-Teaching: On-Policy Self-Distillation for Extreme Visual Token Reduction. 2026. arXiv preprint. arXiv:2609.32353

[217] Ahmadreza Jeddi, Enming Zhang, Jasper Gerigk, et al. SCOPD: Sparse-Context On-Policy Self-Distillation for Efficient Vision-Language Models. 2026. arXiv preprint. arXiv:2609.34044

[218] John Kirchenbauer, Abhimanyu Hans, Brian Bartoldson, Micah Goldblum, Ashwinee Panda, Tom Goldstein. Multi-Token Prediction via Self-Distillation. 2026. arXiv preprint. arXiv:2602.06019

[219] Shuiyuan Wang, Bingshen Mu, Pengshen Zhang, et al. On-Policy Self-Distillation for Multi-Dialect ASR: Mastering Dialects, Retaining Mandarin. 2026. arXiv preprint. arXiv:2608.11898

[220] Rongfeng Guo, Zhuang Zhuang, Ji Dai, et al. Search-Aware On-Policy Self-Distillation with Sibling Alignment for Generative Recommendation. 2026. arXiv preprint. arXiv:2611.01568

[221] Rui Zhu and Minglong Cao and Chenyu Zhou and Jianghao Lin and Dongdong Ge. Beyond Verified Answers: Solver-Informed Self-Distillation for Bootstrapping Operations Research Language Models. 2026. arXiv preprint. arXiv:2609.09957

[222] Kejing Wang, Toan Nguyen, Minh Hoang Nguyen, Simon Khan, Flora D. Salim. ROAD-VLA: Robust Online Adaptation via Self-Distillation for Vision-Language-Action Models. 2026. arXiv preprint. arXiv:2606.25800

[223] Yuechen Luo, He Chong, Fang Li, et al. Reflect-VLA: Internalizing Reflective Guidance via Dual-Path On-Policy Self-Distillation for Autonomous Driving. 2026. arXiv preprint. arXiv:2610.13453

[224] Hao Dou. FIRE-VLA: Failure-Informed Self-Evolution for Vision-Language-Action Models in Autonomous Driving. 2026. arXiv preprint. arXiv:2608.13395

[225] Bowen Feng, Keqin Wang, Yulong Yang, et al. Training Generalist Navigation Policies via Action Self-Distillation. 2026. arXiv preprint. arXiv:2610.17593

[226] Keyu Chen, Nanfei Ye, Yida Wang, et al. CRAFT: Counterfactual-to-Interactive Reinforcement Fine-Tuning for Driving Policies. 2026. arXiv preprint. arXiv:2605.04470

[227] Dongyue Li and Zebang Cheng and Zhongyi Deng and Hongboxu and Yi Bin and Fei Ma. RPSD: Retrieval-Privileged On-Policy Self-Distillation with Optimal Transport. 2026. arXiv preprint. arXiv:2610.37281

[228] Mingzhou Jiang, Peixi Wu, Hang Cheng, et al. Reason What Matters: Retrieval-Grounded Reasoning for Universal Multimodal Embeddings. 2026. arXiv preprint. arXiv:2609.15296

[229] Minye Shao, Chaohui Yu, Yixuan Wu, et al. From Given to Gathered Evidence: Agentic Learning for Longitudinal Medical Reasoning. 2026. arXiv preprint. arXiv:2609.39566

[230] Yuhan Wang, Zhengxi Lu, Yuchen Yan, et al. PaperGym: Rubric-Centered Evolution for Research-Plan Generation. 2026. arXiv preprint. arXiv:2608.31119

[231] Jie Sun, Mao Zheng, Mingyang Song, et al. EasyOPD: An Easy-to-use On-Policy Distillation Framework for Large Language Models. 2026. arXiv preprint. arXiv:2607.11012

[232] Wonjun Kang, Kevin Galim, Seunghyuk Oh, et al. AsyncOPD: How Stale Can On-Policy Distillation Be?. 2026. arXiv preprint. arXiv:2606.24143

[233] Xianwei Chen, Shimin Zhang, Jibin Wu. f\boldsymbol{f}-OPD: Stabilizing Long-Horizon On-Policy Distillation with Freshness-Aware Control. 2026. arXiv preprint. arXiv:2605.17862

[234] Dongyang Chen, Shudong Liu, Shubo Li, et al. Branching On-Policy Distillation. 2026. arXiv preprint. arXiv:2610.13481

[235] Shangzhe Li, Yuxiao Yang, Tianrun Yu, et al. An RL View of OPD: Least Square Policy Distillation for Sample-Efficient LLM Reasoning. 2026. arXiv preprint. arXiv:2609.35505

[236] Zihan Chen, Hengguang Zhou, Yuan Kang, et al. BAS-OPD: Budget-Aware Selective On-Policy Self-Distillation for Fine-Grained Multimodal Perception. 2026. arXiv preprint. arXiv:2609.25891

[237] Qirui Liu, Yichen Sun, Yan Wang, et al. EOPSA: Efficient On-Policy Self-Distilled Safety Alignment. 2026. arXiv preprint. arXiv:2609.34519

このレポートを引用

bibtex
@misc{parallax-2026-on-policy-self-distillation-survey, title = {{On-Policy Self-Distillation for Large Language Models: A Survey}}, author = {{Parallax}}, year = {2026}, month = nov, howpublished = {\url{https://parallax.ink/research/en/on-policy-self-distillation-survey}}, url = {https://parallax.ink/research/en/on-policy-self-distillation-survey}, note = {Parallax Research, Survey} }

続きを読む