서베이

대규모 언어 모델을 위한 온-폴리시 자기 증류: 서베이

초록

On-policy self-distillation(OPSD)은 언어 모델을 자기 자신의 샘플로 훈련시키되, 교사는 동일한 모델이 학생이 보지 못하는 정보—참조 해답, 환경 피드백, 루브릭, 입력에 대한 더 나은 시각, 또는 자기 시도의 합의—를 부여받은 것으로 설정한다. 그 결과 생성되는 신호는 조밀하고 토큰 수준이며 on-policy이고, 별도의 교사 모델도, 프롬프트당 여러 번의 롤아웃도 필요로 하지 않는다. 2026년 1월 이후 이 아이디어는 소수의 보고에서 수백 편의 논문으로 성장했다. 본 설문조사는 2026년 11월 3일까지 수집된 478편의 논문을 OPSD 파이프라인의 구성 요소—자기 교사가 무엇을 보는지, 증류 신호가 어떻게 형성되는지, 교사가 어떻게 진화하는지, 자기 증류가 강화학습과 어떻게 결합되는지—를 축으로 정리한다. 두 번째 축은 에이전트, 멀티모달 모델, 생성 모델, 지속 학습, 안전성, 효율적 추론에서의 응용을 다룬다. 본 설문조사는 144편의 논문을 전문 정독하여 작성되었다. OPSD가 적용되는 범위는 특권 컨텍스트가 결정한다는 점을 발견한다. 또한 통제된 연구들이 교사의 가치 중 상당 부분을 답변 특정적 지식이 아니라 컨텍스트가 유도한 행동에 귀속시킨다는 점도 발견한다. 교사–학생 격차가 큰 비사고형 학생에게는 이득이 견고하지만, 긴 예산으로 평가된 사고형 모델에서는 종종 역전된다. 따라서 최근의 지배적 설계는 검증기가 업데이트의 방향을 정하게 하고, 자기 교사는 토큰 수준의 크기 조정이나 소수의 표적화된 단계에만 사용한다. 마지막으로 특권 정보의 측정, 붕괴 방지, 14B 모델을 넘어선 확장, 자기 증류의 행동적 부작용 감사에 관한 미해결 문제를 제시하며 마무리한다.

1. 서론

대규모 언어 모델의 사후 훈련은 세 가지 종류의 학습 신호에 의존하며, 각각은 익숙한 약점을 지닌다. 지도 미세조정은 고정된 시연을 모방하므로 off-policy이고, 모델이 이미 지닌 능력을 덮어쓸 수 있다. 검증 가능한 보상 기반 강화학습(RLVR)은 모델 자체의 샘플로 훈련하지만, 시퀀스당 하나의 스칼라만 받으며 모두 맞거나 모두 틀린 롤아웃 그룹으로부터는 아무것도 배우지 못한다. On-policy distillation(OPD)은 두 강점을 결합하여 학생 자체의 샘플로 조밀한 토큰별 목표를 가지고 훈련하지만, 별도의—보통은 더 큰—교사 모델을 필요로 한다. On-policy self-distillation은 그 마지막 요구 조건을 제거한다. 동일한 가중치가 교사와 학생 역할을 하며, 교사가 학생보다 나아지는 유일한 이유는 학생이 테스트 시점에 갖지 못할 특권 정보 cc를 부여받기 때문이다. 참조 해답, 실행 오류, 루브릭, 또는 이미지의 확대 크롭이 모델을 자기 자신의 교사로 만들 수 있다 .

이 아이디어는 빠르게 확산되었다. 본 설문조사를 위해 수집된 코퍼스에서 관련 논문은 2025년에 7편, 2026년 1월에서 4월 사이에 31편, 2026년 5월에서 11월 초 사이에 440편이 등장했다. 문헌은 이제 수학 및 과학 추론, 멀티턴 에이전트, 비전 및 비디오 모델, 확산 생성기, 지식 편집, 안전 정렬, 음성 인식을 아우른다. 그 성장은 또한 창립 논문들의 가정에 의문을 제기하는 통제된 분석들을 낳았다: 교사의 우위가 특권 컨텍스트의 내용에서 비롯되는지 , OPSD가 사고형 모델에 전혀 도움이 되는지 , 그리고 정말로 RL보다 덜 망각하는지 에 관한 것이다. 방법론 논문과 분석 논문이 지금까지 대체로 병행하여 발전해 왔다는 점에서 설문조사는 시의적절하다.

네 편의 선행 개요가 존재한다. 이들은 on-policy 증류를 폭넓게 다루고 , OPSD에 대한 간략한 초기 개요를 제시하며 , 하나의 공식에서 OPD 변형들을 도출하거나 , 수학 추론에서의 붕괴 문제를 비판적으로 검토한다 . 2.3절에서 이들을 본 서베이와 비교한다. 이들에 비해, 본 서베이는 (i) 손실 공식 대신 OPSD 파이프라인을 중심으로 구성되어 있고, (ii) 수학에 국한되지 않고 전체 응용 범위를 다루며, (iii) 분석 문헌을 방법론 논문과 동등한 위치에 두고, 그것이 제기하는 근본적 질문들에 한 장을 할애한다.

범위. 우리는 교사 분포가 학생이 보지 못하는 맥락 또는 입력 하에서 학생 자신의 가중치(동결, 이동, 학습 또는 구조적으로 수정된)에 의해 생성되고, 감독이 학생 자신의 샘플에 적용되는 방법들을 포함한다. 우리는 별도의 더 큰 교사로부터의 on-policy 증류를 제외하되, 한 논문의 분석이 자기-증류에 직접적으로 관련되는 경우는 예외로 한다. 또한 토큰 수준의 교사 신호가 없는 off-policy 자기-훈련은 제외한다. 부록 A는 검색 경로, 기준 시점 및 선별 절차를 제시한다.

구성. 2절은 공통 표기법, 타임라인 및 관련 서베이를 소개한다. 3절은 분류 체계를 제시한다. 4–7절은 네 가지 파이프라인 구성 요소, 즉 특권 맥락, 신호 형성, 교사 역학 및 RL과의 결합을 다룬다. 8절은 여섯 가지 근본적 질문을 검토한다. 9절은 응용을 조사하고, 10절은 벤치마크와 시스템을 수집하며, 11절은 미해결 문제를 논의하고 12절은 결론을 맺는다.

mermaid
flowchart LR X[Prompt x] --> S[Student samples y from p] X --> T[Same weights with privileged context c] S --> T T --> Q[Teacher distribution q on the student's prefixes] S --> P[Student distribution p] Q --> L[Token loss: weighted divergence between p and q] P --> L V[Verifier or reward, optional] --> L L --> U[Update student weights] U -. frozen, EMA, trained or lookahead .-> T

그림 1. OPSD 루프. 학생은 스스로 샘플링한다. 동일한 가중치가 특권 맥락 cc을 부여받아 학생의 접두사들을 점수화한다. 토큰별 발산은 선택적으로 검증기 신호와 결합되어 학생을 갱신한다. 그리고 교사 갱신 규칙이 교사의 가중치가 어떻게 뒤따를지를 결정한다. 4–7절은 각각 이 루프의 한 구성 요소를 다룬다.

2. 예비 사항

2.1 설정 및 표기법

xx을 프롬프트라 하고 πθ\pi_\theta를 훈련 중인 정책이라 하자. 학생은 응답 y∼πθ(⋅∣x)y\sim\pi_\theta(\cdot\mid x)을 샘플링하고, 위치 tt에서 다음 토큰 분포 pt=πθ(⋅∣x,y<t)p_t=\pi_\theta(\cdot\mid x,y_{<t})을 가진다. 자기-교사는 동일한 모델의 복사본 πˉ\bar\pi으로, 동일한 접두사에서 평가되지만 특권 맥락 cc을 함께 부여받는다:

qt=πˉ(⋅∣x,c,y<t),πˉ∈{πθ0, EMA(πθ), sg(πθ), …}.q_t=\bar\pi(\cdot\mid x,c,y_{<t}),\qquad \bar\pi\in\{\pi_{\theta_0},\ \mathrm{EMA}(\pi_\theta),\ \mathrm{sg}(\pi_\theta),\ \ldots\}.

일반적인 OPSD 목적함수는 토큰별 발산들의 가중 합이며,

L(θ)=Ex Ey∼πθ(⋅∣x)[∑twt D(pt, sg(qt))],\mathcal{L}(\theta)=\mathbb{E}_{x}\,\mathbb{E}_{y\sim\pi_\theta(\cdot\mid x)}\Big[\sum_{t} w_t\,D\big(p_t,\ \mathrm{sg}(q_t)\big)\Big],

여기서 sg\mathrm{sg}은 정지-기울기를 나타내고, wtw_t은 토큰 가중치(기본 형태에서는 균일 1/∣y∣1/|y|)이며, DD은 발산, 즉 역방향 KL KL(pt∥qt)\mathrm{KL}(p_t\Vert q_t), 순방향 KL 또는 젠슨–섀넌 보간이다. DD이 역방향 KL이고 샘플링된 토큰만 사용될 때, 토큰별 보상은 로그 비율 rt=log⁡qt(yt)−log⁡pt(yt)r_t=\log q_t(y_t)-\log p_t(y_t)이다. SDPO는 역방향-KL 목적함수의 기울기가 정확히 이 이점을 갖는 정책 기울기임을 보였으며 , 이것이 OPSD를 RL과 연결시키는 것이다. 검증기 보상 r(x,y)∈{0,1}r(x,y)\in\{0,1\}과 그룹 상대 이점 AA은 OPSD가 RLVR과 결합될 때 등장한다(7장).

기호의미
xx, yy, y<ty_{<t}프롬프트, 학생이 샘플링한 응답, 토큰 tt 이전의 접두사
cc교사만 보는 특권적 맥락(해답, 피드백, 루브릭, 뷰, 합의)
πθ\pi_\theta, πˉ\bar\pi학생 정책; 동일 모델의 교사 사본(동결, EMA, 학습됨)
ptp_t, qtq_t학생의 접두사에 대한 학생 및 교사의 다음 토큰 분포
DD, wtw_t증류 손실에서의 발산과 토큰별 가중치
rtr_t샘플링된 토큰 로그비 log⁡qt(yt)−log⁡pt(yt)\log q_t(y_t)-\log p_t(y_t)
r(x,y)r(x,y), AAOPSD가 RLVR과 결합될 때의 검증자 보상과 RL 이점

표 1. 본 조사 전반에서 사용되는 공통 표기법. 개별 논문은 서로 다른 기호를 사용하므로, 우리는 그들의 목적 함수를 이 표기법으로 옮긴다.

OPSD는 두 축에서 인접 방법들과 다르다. 원래의 오프-폴리시 형태인 맥락 증류 와 달리, 감독은 학생 자신의 샘플에 적용된다. 별도의 교사를 사용하는 OPD와 달리, 교사의 이점은 더 많은 파라미터가 아니라 cc에서 나온다. 두 번째 차이는 실용적 결과와 개념적 결과를 하나씩 갖는다. 실용적으로, 교사는 동일 모델의 더 긴 맥락에 대한 추가 순전파 한 번의 비용이 들 뿐이며, 두 번째 모델을 서빙할 필요가 없다 . 개념적으로, 학생은 cc이 주어졌을 때 모델이 이미 표현할 수 있는 것만 학습할 수 있으며, 이는 달성 가능한 이득을 제한한다(8.5절).

2.2 분야의 발전

창립 보고서들은 2026년 1월에 서로 며칠 간격을 두고 나타났다. Self-Distilled Reasoner(OPSD)는 수학 추론을 위한 참조 해답에 동결된 교사를 조건화했다 . SDFT는 연속 학습을 위해 시연을 사용했다 . SDPO는 정책-그래디언트 틀에서 환경 피드백을 사용했다 . 2월에는 에이전트를 위한 특권 정보 증류 , 텍스트 피드백으로부터의 RL , 온-폴리시 맥락 증류 가 추가되었다. 2026년 5월부터 분량이 급격히 늘어났으며, 모든 파이프라인 구성 요소의 변형들, 최초의 체계적 진단, 그리고 비전, 확산, 에이전트에 대한 최초의 응용들이 서로 몇 주 간격으로 등장했다.

mermaid
timeline title Representative OPSD milestones in 2026 January : OPSD with reference solutions [1] : SDFT for continual learning [3] : SDPO with rich feedback [2] February-March : Privileged-information distillation for agents [14] : On-policy context distillation [13] : HDPO hybrid with RL [16] April : Self-Distilled RLVR [17] : SD-Zero self-revision [18] : Skill-SD for agents [19] May : Vision-OPD [20] : Anti-self-distillation [21] : D-OPSD for diffusion [22] June-July : Thinking-model failures [6] : Label-free CANON [23] : dOPSD for diffusion LMs [24] August-November : Mismatched-reference controls [4] : Diagnostic sweeps [7] : Asynchronous OPSD [25]

그림 2. arXiv 제출 월별 대표적 OPSD 연구들의 타임라인. 가장 많이 인용된 연구가 아니라 각 주요 계열의 최초 등장을 표시하도록 선택되었다.

기간 (arXiv ID 월)코퍼스 내 논문 수연구의 성격
2025년 6월–12월7선구자들: 적응적 안내, 자기-감독 RL, 자기 생성 선호도 및 학습 인식 추측 디코딩
2026년 1월–4월31창립적 레시피, 최초의 RL 하이브리드 및 에이전트 적응
2026년 5월–11월440구성 요소, 응용 및 분석의 급속한 다각화

표 2. arXiv 식별자 월(최초 제출의 대리 지표)에 따른 478편 코퍼스 논문의 분포. 2026년 11월은 부분적이다(첫 3일).

2.3 관련 서베이

표 3은 네 편의 선행 개요와 이 서베이를 비교한다. OPD 서베이 는 온-폴리시 증류를 방문 상태 분포, 교사의 관점, 사용된 그래디언트로 분해하고, 자기-증류를 문맥 조건부 교사의 한 사례로 취급한다. 간략 개요 는 OPSD와 OPD를 정성적 표와 여덟 가지 설계 분류체계로 비교하며, 실험은 포함하지 않는다. 공식 중심 서베이 는 피드백-업데이트 경로의 아홉 개 변수를 도출하고 검증되지 않은 변형들을 제안한다. 비판적 리뷰 는 수학 추론 분야의 6개월간 후속 연구를 하나의 증상(붕괴)과 세 가지 지렛대로 재분류한다.

서베이기준 시점 (대략)범위조직 축다룬 응용 분야
OPD 서베이 2026년 4월모든 온-폴리시 증류상태 분포, 교사 관점, 그래디언트부분적
간략 개요 2026년 5월OPSD여덟 가지 설계 차원없음
공식 중심 서베이 2026년 6월모든 온-폴리시 증류아홉 가지 공식 변수없음
비판적 리뷰 2026년 8월수학 추론을 위한 OPSD하나의 증상, 세 가지 지렛대제외
이 서베이2026년 11월OPSD, 478편 논문파이프라인 구성요소 및 응용 분야에이전트, 멀티모달, 생성, 지속, 안전, 효율, 기타

표 3. 관련 서베이. 기준 시점은 arXiv 식별자 월과 각 개요가 논의하는 연구들로부터 추정되었다.

핵심 요점

  • OPSD는 교사가 특권적 문맥을 가진 동일 모델인 온-폴리시 증류이다. 그 역-KL 형태는 토큰 수준 로그비 이점을 갖는 정책 그래디언트이다.
  • 이 분야는 2026년 1월에 형성되었으며, 코퍼스의 92%(478편 중 440편)가 2026년 4월 이후에 등장했다.
  • 선행 개요들은 더 넓거나(모든 온-폴리시 증류) 더 좁다(수학에 한정되거나 공식 수준). 어느 것도 응용 범위나 분석 문헌 전체를 다루지 않는다.

3. 온-폴리시 자기-증류의 분류체계

우리는 문헌을 두 축을 따라 조직한다. 메커니즘 축은 그림 1의 OPSD 루프 구성요소를 따른다. 그것은 교사가 무엇을 보는지, 신호가 어떻게 형성되는지, 교사가 어떻게 진화하는지, 그리고 자기-증류가 RL과 어떻게 결합되는지를 묻고, 두 가지 교차 범주인 분석과 이론, 그리고 훈련 시스템을 추가한다. 응용 축은 논문이 대상으로 하는 영역을 기록한다. 논문은 각 축에서 여러 레이블을 가질 수 있으며, 대부분이 그렇다. 전형적인 에이전트 논문은 새로운 특권적 문맥을 구성하고 그것을 GRPO와 결합한다. 그림 3은 대표 연구들과 함께 최상위 수준을 보여주고, 표 4는 코퍼스에서 각 범주의 규모를 제시한다.

mermaid
mindmap root((On-policy self-distillation)) What the teacher sees · Ch. 4 Solutions and demonstrations · 1, 3, 30 Feedback and hindsight · 2, 15, 31 Rubrics skills memory · 32, 33, 34 Label-free privilege · 23, 35, 36 Signal shaping · Ch. 5 Token and step weights · 37, 38 Divergence and estimator · 39, 40, 21 Problem and rollout level · 41, 42 Teacher dynamics · Ch. 6 Frozen and gated refresh · 43 Trained teachers · 44, 45 Lookahead teachers · 46, 47 Coupling with RL · Ch. 7 Additive losses · 16, 18 Ratios in the advantage · 17, 48 Routing · 49, 50 Analyses and debates · Ch. 8 When it helps · 6, 51 What privilege adds · 4, 5 Collapse and forgetting · 52, 8 Applications · Ch. 9 Agents · 19, 53 Multimodal · 20, 54 Generative · 24, 22 Safety and efficiency · 55, 56

그림 3. 잎 노드에 대표 연구들이 있는 온-폴리시 자기-증류의 분류체계.

메커니즘 범주논문 수응용 범주논문 수
교사 맥락 (4.1–4.3장)179일반 추론119
레이블 없는 특권 (4.4장)133에이전트 및 도구 사용107
신호 형성 (5장)195멀티모달 이해73
교사 역학 (6장)47지속 학습 및 지식40
RL과의 결합 (7장)158정렬 및 안전40
분석 및 이론 (8장)78생성 모델31
훈련 시스템 (10장)12추론 효율성27
서베이 및 입장 논문4코드 및 소프트웨어 공학17
분리 교사 OPD (경계 사례)8기타 도메인19
이 축에서 불확실40이 축에서 불확실98

표 4. 478편 논문 코퍼스에 대한 두 축의 범주 크기. 레이블은 LLM 기반 다중 레이블 분류기에 의해 할당되었으며 배타적이지 않으므로 열의 합은 478이 되지 않는다. "레이블 없는" 집계는 광의적이다: 다른 곳에서 일부 지도가 사용되더라도 특권이 자기 생성된 논문을 포함한다.

레이블 분포의 세 가지 규칙성이 이 서베이의 나머지 부분을 형성한다. 첫째, 신호 형성과 RL 결합은 모두 교사 역학보다 3배 이상 크다. 이 분야는 어떤 교사를 사용할지보다 교사의 분포를 어떻게 사용할지에 더 많은 노력을 기울여 왔다. 둘째, 코퍼스의 6분의 1이 분석 및 이론으로, 1년 미만의 분야로서는 이례적으로 높은 비중이며, 이것이 8장이 방법 장들과 맞먹는 길이인 이유이다. 셋째, 에이전트와 멀티모달 모델을 합치면 일반 추론보다 많은 논문을 차지한다. OPSD는 더 이상 몇 가지 부수적 응용을 가진 수학 추론 기법이 아니다.

핵심 요점

  • 메커니즘 축은 OPSD 루프의 네 구성요소(맥락, 신호, 교사 역학, RL 결합)를 따르며, 응용 축은 도메인을 기록한다.
  • 연구 노력은 교사 신호를 형성하고 결합하는 데 집중된다. 교사 역학은 상대적으로 덜 탐구되었다.
  • 분석은 코퍼스의 약 6분의 1을 차지하며, 추론 외의 응용은 이제 추론 전용 연구보다 많다.

4. 자기 교사의 구성: 교사가 보는 것

모든 OPSD 방법은 어떤 손실을 작성하기 전에 한 가지 설계 질문에 답해야 한다: 어떤 정보 cc가 동결된 복사본 πˉ\bar\pi을, 다음 토큰 분포 qt=πˉ(⋅∣x,c,y<t)q_t=\bar\pi(\cdot\mid x,c,y_{<t})가 학생의 분포 ptp_t보다 우수한 교사로 만드는가? 그 답은 방법이 어떤 데이터를 필요로 하는지(참조 해답, 검증기, 루브릭, 아니면 아무것도 아닌지), 교사가 학생이 알 수 없는 무엇을 알 수 있는지, 그리고 그 지식 중 얼마나가 테스트 시점에 cc를 보지 않는 가중치로 흡수될 수 있는지를 결정한다. 이 장은 cc의 내용에 따라 문헌을 조직하며, 가장 풍부하고 레이블 의존적인 맥락에서부터 모델이 스스로 제조하는 맥락으로 나아간다.

mermaid
mindmap root((Privileged context c)) Solutions and demonstrations Full reference solution · 1, 3 Partial or masked views · 57, 58, 30 Distilled guidance · 59 Purified targets · 60 Feedback and hindsight Environment or interpreter feedback · 2, 15 Self-reflection and critique · 31, 61 Repaired reasoning · 62 Peer rollouts · 63 Rubrics skills and memory Rubrics · 32 Skill cards · 33 Procedural memory · 34 Extracted experience · 13 Label-free privilege Consensus solutions · 23, 35, 64 Weakened weights · 36 Self-generated data · 65

그림 4. 4장의 하위 트리: 정책 내 자기 증류 방법들이 사용하는 특권 맥락과 대표 연구들(arXiv 식별자는 본문에서 해석된 인용 번호를 대신한다).

4.1 참조 해답 및 시연

OPSD의 정규 형식은 자기 교사(self-teacher)를 검증된 풀이 과정(worked solution)에 조건화한다. Self-Distilled Reasoner 는 수학 추론에서 이 구성을 구체화했다. 동일한 모델에 문제만 주어 프롬프트하는 경우(학생)와, 문제, 참조 사고 사슬 y⋆y^\star 및 "자신만의 접근 방식으로 이 문제를 풀어라"라는 지시를 함께 주어 프롬프트하는 경우(교사)가 있다. 교사는 토큰을 생성하지 않는다. 학생의 롤아웃에 대해 미리 채워진(prefilled) 단일 순방향 패스가 모든 위치에서 qtq_t을 산출하며, 학생은 이에 대한 토큰별, 점별 클리핑된(pointwise-clipped) 발산(divergence)을 최소화한다. 해당 논문의 두 가지 선택은 이 계열의 기본값이 되었다. 교사는 초기 정책 πθ0\pi_{\theta_0}이며, 저자들은 이것이 이동하는 정책보다 더 안정적임을 발견했다. 또한 프롬프트당 단일 1,024토큰 롤아웃이 GRPO에 필요한 긴 롤아웃 그룹을 대체한다. 이러한 설정으로 저자들은 Qwen3-1.7B의 경우 AIME24/AIME25/HMMT25에서 평균 Avg@12가 37.1에서 43.4로(GRPO: 37.7), Qwen3-8B의 경우 61.8에서 64.8로(GRPO: 64.0) 상승했다고 보고하며, 이는 GRPO가 샘플링한 토큰의 약 1/128에 해당한다 . 그림 5는 이 구성을 보여준다.

그림 5. 참조 해법을 특권 컨텍스트(privileged context)로 사용하는 온폴리시 자기 증류: 학생은 문제만 있는 프롬프트에서 샘플링하고, 참조 해법으로 프롬프트된 동일한 가중치가 해당 샘플의 모든 접두사(prefix)를 채점한다(Self-Distilled Reasoner 에서 재현).

동시에, Self-Distillation Fine-Tuning(SDFT) 은 동일한 패턴을 일반적인 지도 데이터에 적용했다. 교사는 쿼리별 시연(demonstration)에 조건화된 모델이고, 학생은 EMA 교사를 상대로 자신의 롤아웃으로 훈련하며, 손실은 전체 어휘에 걸쳐 합산된다. 그 목표는 추론 정확도가 아니라 보존(retention)이었다. 지식 습득 과제에서 SDFT는 엄격/관대/분포 외(strict/lenient/out-of-distribution) 정확도 89/100/98에 도달한 반면 SFT는 80/95/80이었으며, 세 과제 순차 설정에서 SFT가 보이는 성능 퇴행 없이 각 과제를 학습한다 . 이는 8장에서 반복되는 OPSD의 두 번째 동기를 확립했다. 목표가 대체되는 것이 아니라 재가중된 학생 자신의 토큰이기 때문에, OPSD는 SFT보다 모델을 덜 이동시킨다.

그림 6. SDFT 메커니즘: 시연은 교사의 컨텍스트에만 배치되고, 학생은 자신의 샘플로부터 학습한다(에서 재현).

참조문을 교사가 얼마나 보아야 하는지에 관한 대규모 후속 연구 문헌이 존재한다. 그 답들은 "전부보다는 적게"로 수렴한다. Adaptive Teacher Exposure 는 참조문의 추론 접두부를 비율 α\alpha로 잘라내고(항상 최종 답은 유지) α\alpha을 훈련 상태 조건화된 제어 변수로 학습하며, OPSD의 43.4/63.6/64.8에 대하여 1.7B/4B/8B에서 Avg@12 44.35/65.65/67.13을 보고한다. PAINT 는 롤아웃이 이미 참조문의 어느 정도를 재현했는지에 따라 길이가 달라지는 참조문의 접미부를 마스킹하고, 높은 엔트로피 비율 위치의 희소 집합에서 교사와 학생의 에너지를 보간하며, 8B에서 OPSD의 64.8에 대하여 66.9를 보고한다. 세분성에 관한 체계적 연구 는 전체 해법에서부터 명명된 전략, 방법 독립적 프레이밍, 문제 범주, 답만으로 이어지는 다섯 가지 정합된 맥락을 정리한다. 4B와 8B에서는 중간 수준이 전체 해법을 능가하며(64.81 대 63.43; 68.24 대 66.67) 힌트 토큰을 17–37배 적게 저장하지만, 1.7B에서는 전체 해법이 여전히 근소하게 우세하다. 여러 무작위로 마스킹된 뷰에 걸쳐 교사를 평균화하는 것 은 목표가 어떤 유효한 참조문이 제공되었는지에 대한 민감도를 낮추며, Problem-Space Guidance 는 해법을 네 필드로 추출된 기록으로 대체한다. Self-Privileged Fine-Tuning 는 이 아이디어를 지도 미세조정으로 이어간다: SFT 토큰에 가중치를 부여하는 동결된 사전이 그 자체로 특권적 결과 정보에 조건화되며, 이는 수학과 코드에서 SFT보다 개선되지만 무조건화된 사전보다 일률적으로 개선되지는 않는다. 이 연구들 전반에 걸쳐 제시되는 설명은 동일하다: 전체 해법은 교사를 특정 유도 과정의 모방 쪽으로 끌어당기며, 그 경로 특정적 신호는 그것을 결코 보지 못하는 학생에게 전이되지 않는다.

그 설명은 직접적으로 검증되었다. Rethinking Privileged Information 는 교사–학생 로그 비율을 "참조" 방향과 "회복" 방향으로 분해하고, 비사고 교사와 함께 NuminaMath에서 8B일 때 다른 문제로부터의 불일치 참조문이 올바른 참조문을 능가하며(평균 67.6 대 59.5, 쌍별 구간이 0을 배제), MegaScience에서는 둘이 최대 0.3점 차이에 그친다는 것을 발견한다. Purified OPSD 는 두 번의 추가 동결 순전파(참조문만, 질문만)를 사용하여 교사 로그 비율 중 질문 조건화된 부분만을 유지하고, 네 모델과 두 데이터셋에 걸쳐 이득을 보고한다(DASD-10K에서 Qwen3-8B: 표준 OPSD의 60.9에 대하여 66.0). 종합하면, 이 결과들은 참조 해법이 학생이 흡수하는 답 특정적 지식이라기보다 적어도 부분적으로는 교사의 행동을 변화시키는 프롬프팅 개입으로 작용함을 시사한다; 8.2절에서 이 질문으로 돌아간다.

4.2 피드백, 비평 그리고 사후 분석

두 번째 계열은 교사에게 무슨 일이 일어나야 했는지가 아니라 무슨 일이 실제로 일어났는지를 보여줌으로써 교사를 더 현명하게 만든다. SDPO 는 풍부한 피드백을 활용한 강화 학습을 정식화했다. 롤아웃에 대한 환경의 피드백 ff(인터프리터 오류, 실패한 테스트, 심판의 지적)이 교사의 프롬프트에 덧붙여지고, 학생은 ∑tKL(pt ∥ sg πθ(⋅∣x,f,y<t))\sum_t \mathrm{KL}(p_t\,\|\,\mathrm{sg}\,\pi_\theta(\cdot\mid x,f,y_{<t}))을 최소화한다. 저자들은 이 손실의 기울기가 토큰 수준 이점 At=log⁡πθ(yt∣x,f,y<t)πθ(yt∣x,y<t)A_t=\log\frac{\pi_\theta(y_t\mid x,f,y_{<t})}{\pi_\theta(y_t\mid x,y_{<t})}을 갖는 정책 기울기임을 보이며, 이는 이 방법을 GRPO의 스칼라 이점에 대한 밀집 신용 대체물로 만든다. LiveCodeBench v6에서 그들은 SDPO에 대해 48.8%를 보고했으며, 이는 튜닝된 GRPO의 41.2%에 대비되고, GRPO의 최종 정확도에 4배 적은 생성으로 도달한다. 심지어 정확성 피드백만으로도 집계는 66.6%에 대비되는 70.2%이다 . 그림 7은 자기 교수 루프를 보여준다.

그림 7. SDPO에서의 자기 교수: 환경이 답변에 대한 피드백을 반환한 후, 그 피드백에 조건화된 동일한 모델이 답변을 다시 채점하고, 토큰 수준 로그 비율이 신용을 할당한다(에서 재현됨).

텍스트 피드백으로부터의 RL 은 다른 방향에서 관련된 정식화에 도달했다. 그것은 두 번째 턴의 피드백 조건화된 롤아웃을 사용하여 단일 턴 수익을 최적화하며, 피드백을 첫 시도 역량으로 컴파일한다. 그 자기 증류 변형(RLTF-SD)은 Shortest Path에서 단일 턴 정확도를 0.034에서 0.830으로 높이며, 이는 다중 턴 GRPO의 0.384에 대비되고, 밴딧 추상화에서 기준선 편향과 신호 대 잡음비에 관한 증명이 동반된다 . 특권 정보 증류 는 같은 아이디어를 다중 턴 도구 사용 에이전트에 가져왔으며, 여기서 더 강한 모델의 흔적으로부터 채굴된 특권 정보가 공동 훈련된 정책의 교사 역할에 주어진다. 9.1절은 이를 다른 에이전트 연구와 함께 논의한다.

후속 연구는 원시 피드백을 생성된 설명으로 대체한다. ROSD 는 모델이 잘못된 롤아웃을 가장 짧은 정답 형제와 대조하는 짧은 성찰을 작성하게 하고, 교사를 전체 해법이 아닌 그 성찰에 조건화하며, 첫 번째 오류 문장부터만 증류한다. 그것은 세 가지 백본에 대해 SciKnowEval과 ToolAlpaca에서 최고 평균을 보고하며, 성찰을 제거하면 4B 평균이 72.83에서 SDPO 수준(67.56)으로 다시 떨어진다. 비평 조건화된 교사에 대한 진단 연구 는 참조에 대한 채점 패스가 오류를 탐색할 수 없는 반면, 롤아웃의 축어적 인용을 포함한 비평을 생성하는 것은 가능하다고 주장한다. 그 국소화 및 교정 점수는 참조 조건화 채점에서는 거의 0이거나 잘못된 부호인 반면, 비평 조건화에서는 강하게 양수이다. CriticOPD 와 RC-OPD 는 더 나아가 실패한 롤아웃을 수리한다. 교사가 비평하고, 마지막 유효 지점에서 교정된 연속이 생성되며, 그런 다음에야 학생이 오류 단계에 대한 세그먼트별 사후 통찰과 함께 지도된다. RC-OPD는 1.7B/4B/8B에서 평균 Avg@4가 44.17/66.11/66.94로, OPSD의 40.28/62.50/63.33에 대비된다고 보고한다. 그것은 외부 진단 모델을 사용하므로 엄격한 자기 증류의 경계에 위치한다. 다중 롤아웃 OPD 는 교사에게 동일한 프롬프트의 동료 롤아웃을 제공하며, 이를 성공과 실패로 나누고, Qwen3-8B에 대해 LCBv6에서 평균@8이 61.82로, SDPO의 49.49에 대비된다고 보고한다. ReTeach 는 결과 인식 샘플 가중치를 갖는 다중 라운드 성찰 및 재시도 루프로부터 맥락을 구축한다.

동일한 사후 통찰(hindsight) 아이디어는 여러 피드백 원천과 함께 등장한다: 코드에서의 테스트 실행 및 렌더링된 시각적 산출물 , 에이전트를 위한 통합된 결과 및 사후 통찰 신호 , 사용자 상호작용 및 수정 , 드문 성공과 실패 후 힌트에 대한 성찰 , 형식 수학에서의 증명 보조기 피드백 ; 변분적 처리(variational treatment)는 언어 피드백으로부터의 학습을 정책 증류(policy distillation)로 해석한다 .

4.3 루브릭, 스킬 및 메모리

참조 해답이 없는 과제의 경우, 세 번째 계열은 재사용 가능한 특권 지식을 사용한다. RGSD 와 RuPI 는 긍정 및 부정 기준을 포함한 프롬프트별 루브릭을 교사의 컨텍스트에 넣음으로써, 루브릭이 판정자의 스칼라 보상 대신 조건화 문자열이 되도록 한다. RGSD는 RubricHub 의료 및 과학 분야에서 GRPO와 동등한 성능을 보고하며(+6.1 대 +5.9 포인트; +4.9 대 +4.5), 약 백만 회 대신 학습 시 판정자 호출이 전혀 없고, 16회 대신 1회 롤아웃을 사용하며, HealthBench 허위 주장 비율의 상승 폭이 더 낮다(30.5%→35.1% 대 30.5%→45.1%). RuPI는 세 가지 모델 규모에서 루브릭 보상 GRPO 대비 HealthBench 향상을 보고하며(예: 14B에서 0.347 대 0.268), 동일한 레시피 하에서 참조 답변을 특권 정보로 사용하는 것 대비 0.034–0.079의 향상을 보고한다 . 이 두 연구는 참조 해답을 사용하는 OPSD가 적용되지 않는 개방형 생성에서 소프트하고 자연어적인 기준이 cc 역할을 할 수 있음을 확립한다.

SKALD 는 인스턴스별 해답을 답변으로 필터링된 스킬 카드(제목, 원리, 사용법, 흔한 실수)로 대체하여 문제들 간에 공유하고, 어닐링된 교차 엔트로피 항을 추가하며, 카드가 도움이 되는지에 대한 샘플링된 추정을 통해 문제별로 증류를 게이팅한다. 이는 0.6B/1.7B/4B에서 GRPO 대비 avg@8 향상 +2.46/+4.85/+12.01을 보고하며, 동일 FLOP 비교를 포함한다. 절차적 메모리 증류(Procedural Memory Distillation) 는 학습자 자신의 롤아웃으로부터 구축된 온라인 3단계 메모리(경험, 통찰, 행동)를 유지하고 이를 교사 경로에서만 사용하므로, 배포된 학생은 메모리가 없다; 이는 SciKnowEval avg@16을 SDPO 대비 74.4에서 77.2로(Qwen3-8B), 69.5에서 73.3으로(OLMo3) 향상시키며, 동결 정책 절제(frozen-policy ablation)에서는 54.0으로 떨어진다. 온-정책 컨텍스트 증류(On-Policy Context Distillation, OPCD) 는 레이블이 없는 자기 생성 트레이스로부터 경험을 추출하여 cc을 만들어내고, 역 KL로 온-정책 증류하여 Qwen3-8B 수학을 75.0에서 79.7로, Sokoban을 9.4에서 53.9로 향상시킨다; 특히, 그 교사–학생 변형은 순수 자기 증류를 능가하는데(Sokoban에서 53.9 대 18.8), 이는 동일 모델 교사가 항상 가장 강력한 선택지는 아님을 상기시킨다.

다른 연구들은 동일한 메커니즘을 사용하여 페르소나 , 이미지 생성기를 위한 프롬프트 개선 , 안전 헌법 및 과제별 소프트 프롬프트 를 가중치로 내면화한다.

4.4 레이블 없는 특권

마지막 계열은 교사의 문맥에서 외부 레이블을 완전히 제거한다. CANON 은 32개의 롤아웃을 샘플링하고 다수 답을 취한 뒤, 다수 집합에서 가장 확신도가 높은 해답을 동결된 교사의 문맥에 배치한다; 그런 다음 모든 롤아웃을 Jensen–Shannon 발산을 사용하여 그 교사에 대해 증류한다. 레이블, 보상 모델 또는 검증기가 없이, 이 방법은 Qwen3-4B-Instruct의 AMC avg@32를 66.0에서 76.5로 끌어올리며, 이는 테스트 시점 RL 기준선(TTRL 70.3)을 능가하고 정답 조건 오라클(76.9)에 근접한다. u-OPSD 은 동일한 대체를 수행하고 의사 해답과 불일치하는 롤아웃만을 증류한다; 이는 비사고(non-thinking) Qwen3-4B/8B 평균이 40.96에서 49.49로, 43.57에서 54.31로 상승한다고 보고하며, 이는 지도 OPSD(46.29/52.04)를 능가하는 수치인데, 의사 레이블의 13.3%가 틀렸음에도 그러하다. 사고(thinking) 모드에서는 이득이 줄어들어 지도 OPSD와 동률이 된다. CoDA 은 소수 궤적으로부터 구축된 교정 채널을 추가하고 Qwen3-4B에서 지도 OPSD에 필적하는 수준(54.57 대 54.82)에 도달한다.

그림 8. 레이블 없는 OPSD: 교사는 모델 자체 롤아웃의 다수결 의사 해답에 조건화되며, 불일치하는 롤아웃만 증류된다(u-OPSD 에서 재현).

두 가지 추가 구성은 "특권"이 전혀 정보일 필요가 없음을 보여준다. WISD 은 문맥을 고정하고 더 약한 모델을 얻기 위해 가중치를 손상시키며(3비트 양자화 또는 크기 가지치기) πw\pi_w; 학생은 로그 비율 log⁡π0−log⁡πw\log\pi_0-\log\pi_w을 따라, 즉 약화된 모델이 말할 것에서 멀어지도록 밀린다. LoOPSD 는 층 블록을 두 번 실행함으로써 동일한 가중치로부터 더 강한 교사를 얻는다. 가장 극단에서는 On-Policy Self-Training 이 주제 기술자만으로 질문과 특권적 근거를 모두 생성하고, 재해결 가능성과 역합의 게이트로 이를 필터링하며 반복한다; Gemma 4 E2B에서 이는 SFT가 40.0에 도달하는 동일한 자기 생성 데이터로 MMLU를 37.5에서 47.7로 끌어올린다.

레이블 없는 OPSD는 테스트 시점 정책 최적화 , 자기 대국(self-play) , 레이블 없는 공간 추론 , 그리고 자기 생성 사고 연쇄에 대한 훈련 으로 확장되었다.

핵심 요점

  • OPSD 방법이 무엇을 필요로 하고 어디에 적용되는지를 결정하는 것은 손실이 아니라 cc의 내용이다. 참조는 검증 가능한 추론에, 피드백은 상호작용 과제에, 루브릭과 기술은 개방형 생성에 적합하며, 합의는 레이블을 제거한다.
  • 여러 독립적 연구는 전체 참조보다 적은 참조(마스킹되거나, 추상화되거나, 평균화된 뷰)가 4B–8B 규모에서 동등하거나 더 잘 작동함을 발견하며, 한 연구는 불일치하는 참조가 올바른 참조를 능가할 수 있음을 발견한다. 따라서 교사의 이점은 단순히 답 유출이 아니다.
  • 레이블 없는 문맥은 비사고 모드에서 경쟁 수학에 대한 지도 이득의 대부분을 회복하며, 사고 모델의 경우 이득이 줄어든다.

5. 신호 형성하기: 어디서, 얼마나 강하게, 어느 방향으로 증류할 것인가

자기 교사(self-teacher)가 존재하게 되면, 바닐라 목적 함수 ∑tD(pt,qt)\sum_t D(p_t,q_t)는 모든 문제의 모든 롤아웃의 모든 토큰에 동일한 발산(divergence)을 동일한 가중치로 적용한다. 코퍼스에 수록된 대부분의 방법론 논문들은 이러한 기본값 중 정확히 하나를 변경한다. 이 장에서는 이를 개입하는 수준에 따라 분류한다: 개별 토큰 또는 단계(5.1절), 발산과 그 안정성(5.2절), 그리고 전체 문제 또는 롤아웃(5.3절)이다. 이들 연구 중 다수는 30문제 경쟁 벤치마크에서 1~3점의 향상을 보고하는데, 흔히 단일 실행에서 얻은 결과이다. 이 장 말미의 표 5는 각 연구가 제공하는 증거를 기록한다.

mermaid
mindmap root((Signal shaping)) Token and step weights Semantic spans · 37 Position schedules · 92 Adaptive horizons · 38 Sparse token budgets · 93, 94 Per-token teacher choice · 95, 96 Divergence and stability Control variates · 39, 40 Trust regions · 97 Entropy-aware direction · 98 Sign of the update · 21, 99 Supervised anchors · 100 Problem and rollout level Pass-rate weighting · 41, 101 Correctness filtering · 42 Teacher neighborhoods · 102

그림 9. 5장의 하위 트리: 개입이 작용하는 수준에 따라 분류된 증류 신호에 대한 개입.

5.1 토큰 및 단계의 선택과 가중치 부여

첫 번째 방법군은 교사의 신호가 소수 토큰 부분집합에서만 유용하다고 주장한다. STEPS 는 각 롤아웃의 의미적 구간(핵심 단계와 오류 구간, 최대 전체 토큰의 4분의 1)을 주석 처리하고, 핵심 구간에는 순방향 KL을, 오류 구간에는 역방향 KL을 적용하며, 40단계까지 증류 항을 0으로 감쇠시키면서 RL은 계속 진행한다; Qwen3-8B에서 5개 벤치마크 평균 81.51을 보고하는데, 이는 GRPO의 78.75에 대비한 수치이다(쌍별 95% 구간 [0.41, 4.91]). 다만 정책 자체를 주석자로 사용하는 경우 이 구간은 0을 포함한다. 위치 가중 OPSD 는 정규화된 위치의 단조 시그모이드를 토큰별 손실에 곱하는데, 이는 롤아웃이 하나의 경로에 확정될수록 교사의 선호가 더 신뢰할 만해진다는 관찰에 근거한다. 저자들은 그로 인한 약 1점의 향상을 미미한 것으로 묘사한다. DASH 는 상수 1/T1/T 계수를 국소 발산들에 대한 게이트 순방향·역방향 재귀(gated backward recursion)로 생성된 시퀀스 조건부 가중치로 대체한다. 동일 조건의 4시드 OPSD 재실행과 비교하여 1.7B/4B/8B에서 매크로 Avg@12 45.07/65.00/66.40(OPSD: 41.87/63.60/64.80)을 보고하며, 그 절제 실험은 이득의 대부분을 더 큰 평균 계수보다는 가중치가 어디에 배치되는지에 기인한다고 본다.

그림 10. DASH 의 발산 적응형 감독 지평: 학생의 롤아웃에 대한 국소 교사–학생 발산이 게이트 역방향 재귀에 의해 토큰별 계수로 변환된다(원 논문에서 재현).

극한까지 밀어붙이면, 선택은 토큰 예산이 된다. 온-폴리시 증류에서의 그래디언트 추정에 관한 연구 는 유용성에 더해 그래디언트 추정 신뢰성을 기준으로 선택된 토큰들이 토큰의 0.1% 예산(궤적당 약 한 토큰)으로도 신호를 전달할 수 있음을 보여주며, 여기서 선택된 부분집합은 네 개의 경쟁 벤치마크에서 전체 토큰 OPD를 능가한다. 이 연구는 별도의 교사를 사용하지만, 그 결론은 자기-교사 설정에 직접 전이된다. BiToK-SD 는 이중 수준 임계값을 통해 연속적인 토큰별 가중치를 학습하고 OPSD 대비 작은 이득을 보고한다(1.7B에서 41.48 대 40.85; 8B에서 64.85 대 64.64). 두 방법은 토큰별로 다른 교사를 구성한다. MTA-OPSD 는 참조의 노출 정도가 다른 교사 풀을 구축하고, 각 토큰이 투표된 감독 방향과 일치하는 KL-최원 교사를 선택하도록 한다. AVSD 는 특권적 뷰들의 집합(전체 풀이, 부분 풀이, 최종 답; 또는 참조 코드, 힌트, 실행 피드백)을 경계가 있는 교사별 잔차를 갖는 기하학적 합의 목표로 결합하며, 부정확한 롤아웃의 최대 크기 토큰들 사이에서 잘못된 부호 크레딧의 비중이 12.3%(OPSD)에서 2.9%로 감소한다고 보고한다.

크레딧 지향 변형들은 동일한 토큰 수준 양을 증류 목표로 사용하는 대신 RL 어드밴티지를 재가중하는 데 사용한다. CSCR 는 특권적 자기-조건화가 가장 크게 변화시키는 가능도를 가진 토큰들의 가중치를 낮추고, 각 응답 내에서 재정규화하여 총 크레딧을 보존하며, 평가한 열 개의 모델–벤치마크 셀 모두에서 GRPO 대비 이득을 보고한다. 동일한 토큰 선택 논리는 위치 선택적 판사 훈련 , 피드백 기반 목표의 피셔 정보 기반 재보정 , 그리고 자기 생성 응답에 대한 신뢰성 가중 자기-증류 에서 되풀이된다.

5.2 발산 선택과 안정성

두 번째 그룹은 발산 자체 또는 그 추정량을 변경한다. OPSD는 보통 샘플링된 토큰 로그비만 계산하므로, 토큰별 보상 log⁡qt(yt)−log⁡pt(yt)\log q_t(y_t)-\log p_t(y_t)은 높은 분산을 갖는다. KL-for-a-KL 은 분리된, 닫힌 형식의 값 기준선(상위-kk 어휘에서 추정됨)을 해당 보상에서 빼고, 전체 어휘 정확도와 동등한 성능(1.7B에서 평균 33.0 대 33.1)을 보고하면서 벽시계 시간은 최대 57.7% 더 짧고 그래디언트 노름은 한두 자릿수 더 작다고 보고한다. CREDIT 는 배치 대조 기준선, 즉 동일한 피드백을 가진 다른 프롬프트들 아래에서 동일한 토큰에 대한 교사의 로그 확률을 뺀다. 저자들은 원시 보상이 응답과 피드백 사이의 점별 상호 정보량으로 합산되는 베이지안 필터링 증분임을 증명하므로, 기준선은 피드백이 프롬프트와 무관하게 부여할 크레딧을 제거한다. 그들은 Qwen3-8B에서 SDPO에 대해 67.0 대 66.0을 보고하며 스텝 시간은 사실상 변하지 않는다.

Trust Region OPD 는 확률적 게이트 min⁡(πT/πS,1)\min(\pi_T/\pi_S,1)로 토큰을 신뢰 영역 토큰(reverse KL)과 이상치(top-kk forward KL)로 분할하며, forward-KL 항만으로는 붕괴한다는 것을 보여준다. 평가에는 별도의 교사가 사용된다. E²-OPSD 는 vanilla OPSD에서의 엔트로피 오버슈트를 진단하고, 교사–학생 엔트로피 격차의 부호로부터 토큰별로 forward KL 또는 reverse KL을 선택하며, 그 크기로 감쇠시킨다. 현재 참조 대신 검색된 예시를 결합했을 때, 그 ablation 연쇄는 Qwen3-1.7B 사고 모드 수학에서 44.64(OPSD)에서 48.89로 향상된다. Adaptive Supervised Anchoring 는 정답 풀이에 대해 별도의 교사 강제 교차 엔트로피 패스를 추가하고, 이를 롤아웃–목표 유사도로 온라인 가중하며, 학생 접두사가 손상됨에 따라 교사의 목표 토큰 정확도가 80.4%에서 3.8%로 떨어진다는 것을 보여준 뒤 이를 제시한다. 따라서 이는 벗어난 접두사에 대한 qtq_t의 신뢰성을 핵심 실패로 취급한다.

두 연구는 업데이트가 과연 교사를 향해 향해야 하는지에 의문을 제기한다. Anti-Self-Distillation 는 자기 교사에 대한 Jensen–Shannon 발산을 하강하는 대신 상승시키며, 교사 엔트로피로 게이팅하고, 그 신호를 점별 상호 정보량을 통해 해석한다. 다섯 모델에서 GRPO 대비 평균 +2.1에서 +11.5 포인트와 2배에서 10배의 스텝 속도 향상을 보고하는 한편, 같은 파이프라인에서 기본 하강 자기 증류는 모든 모델에서 GRPO에 뒤처진다. DCSD 는 크레딧 방향을 크기로부터 분리한다. 스텝 크레딧의 부호는 신념 프로브에서 오고 크기는 교사가 아닌 양에서 오며, 명시된 보정 가정 아래 네 개의 정리를 제시한다. 진단 논문 는 측정 측면에서 이러한 회의론을 뒷받침한다. 구현된 양측 특권 점수는 정답 AIME 궤적과 오답 AIME 궤적을 우연 수준(AUC 0.505)에서만 분리하며, 이 논문이 훈련에 사용하는 다섯 가지 토큰 점수 구성 모두 결과만 사용하는 GRPO보다 30–40 포인트 낮고, 반면 원래 설정에서의 SDPO는 양성 대조군 역할을 한다. 종합하면 이 결과들은 특권 로그비가 우도 양이며 결과 가치와의 정합성은 가정되어서가 아니라 검증되어야 함을 시사한다. 8장에서 이 점을 전개한다.

5.3 문제 및 롤아웃 수준 가중

세 번째 그룹은 어떤 문제와 롤아웃을 증류할지에 개입한다. PACED 는 KK개의 학생 롤아웃으로부터 추정된 통과율 커널 w(p)=pα(1−p)βw(p)=p^{\alpha}(1-p)^{\beta}로 각 문제에 가중치를 부여하고, Beta 커널이 그 모델링 가정 아래 최소 1−δ21-\delta^2의 미니맥스 효율을 가짐을 증명한다. 자기 증류 트랙에서 MATH-500/AIME24/AIME25에 대해 93.7/31.6/25.1을 보고하며, 이는 가중치 없는 reverse KL의 88.9/25.3/16.9와 대조되고, MMLU에서의 망각은 0.6%로 2.2%와 대조된다. 통과율 가중 SDPO 는 누율 생성 함수 논증으로부터 w=p(1−p)w=\sqrt{p(1-p)}에 도달하며, Qwen3-8B에서 SDPO 대비 mean@16 +3.2를 보고한다. 두 논문은 학생이 항상 푸는 문제나 결코 풀지 못하는 문제는 유용한 자기 증류 신호를 거의 담지 않는다는 데 동의하며, 이는 RLVR에서 난이도 필터링을 정당화하는 것과 동일한 근접발달영역 논증이다.

C-OPSD 는 순전파 전에 롤아웃을 제거한다. 문제당 하나의 응답을 샘플링하고, 그 답을 기호적으로 검사하며, 선별된 오답 부분집합만을 증류한다. 세 가지 규모 모두에서 전체 OPSD와 동등하며(차이 −0.19~+0.23점), 응답의 26–29%만 증류하고 실제 경과 시간을 약 40% 단축하는데, 이는 바닐라 OPSD의 연산 중 상당 부분이 기여가 적은 롤아웃에 소비됨을 보여준다. Neighborhood OPSD 는 단일 교사를 오프라인으로 선별된 25개의 섭동 교사 풀로 대체하고, 학생이 방문한 상태마다 하나씩 배정하며, 방법당 세 번의 실행에서 OPSD 대비 +1.67~+2.75 Avg@12를 보고한다.

방법수준변경 사항모델 / 과제보고된 비교
STEPS span≤25% 주석 span에 대한 KL, span 유형별 방향, 감쇠 적용Qwen3-8B, 다섯 개 수학 벤치마크81.51 vs GRPO 78.75; 쌍별 CI가 0을 배제
DASH token역방향 재귀적 토큰별 계수Qwen3 1.7B–8B, AIME/HMMT8B에서 66.40 vs OPSD 64.80; OPSD에 4개 시드
BiToK-SD token이중 수준 연속 토큰 가중치Qwen3 1.7B–8B, AIME/HMMT8B에서 64.85 vs OPSD 64.64; 분산 없음
AVSD token다중 특권 뷰에 대한 합의Qwen3-8B, 수학 및 코드62.1 vs OPSD 59.2
KL-for-a-KL estimator닫힌 형식 가치 기준선1.7B 학생, 별도 교사33.0 vs 전체 어휘 33.1, 최대 57.7% 실제 경과 시간 감소
CREDIT estimator배치 대조 기준선Qwen3-8B, 과학 및 코드67.0 vs SDPO 66.0
E²-OPSD divergence엔트로피 격차 기반 순방향/역방향 KLQwen3-1.7B thinking, 수학48.89 vs OPSD 44.64
AntiSD direction발산을 하강하지 않고 상승다섯 개 모델, 수학Qwen3-8B 65.7 vs GRPO 57.4
PACED problem통과율 Beta 커널Qwen2.5-Math-7B, MATH/AIMEAIME25 25.1 vs 비가중 16.9
C-OPSD rollout선별된 오답 롤아웃만 증류Qwen3 1.7B–8B, AIME/HMMT약 40% 적은 실제 경과 시간으로 OPSD와 동등

표 5. 대표적인 신호 형성 방법. "보고된 비교"는 저자들이 자신들의 설정에서 가장 가까운 기준선과 비교하여 보고한 핵심 수치를 제시한다. 벤치마크, 예산 및 체크포인트 선택 규칙은 행마다 다르므로, 값은 행 간에 비교할 수 없다.

핵심 요점

  • 기본적인 균일 목표는 세 가지 축에서 여지를 남긴다: 어떤 토큰, 어떤 발산, 그리고 어떤 문제. 보고된 개선의 대부분은 소규모 경쟁 벤치마크에서 1~3점 범위에 속한다.
  • 신호를 집중시키는 방법들(스팬, 후반 위치, 정보량이 많은 토큰 또는 중간 난이도 문제)은 대부분의 토큰과 대부분의 문제가 거의 기여하지 않는다는 데 동의한다. C-OPSD는 응답의 26~29%만 증류해도 정확도 손실이 없음을 보여준다.
  • 여러 연구는 특권 로그비가 결과 가치와 신뢰성 있게 정렬되지 않는다는 것을 발견한다. 이는 분산을 줄이는 베이스라인, 방향과 크기의 분리, 그리고 한 경우에는 업데이트의 역전을 동기 부여한다.

6. 교사 역학: 고정, 이동, 훈련 및 선행

교사와 학생이 가중치를 공유하기 때문에, OPSD는 어떤 가중치가 교사 역할을 할지 결정해야 한다. θ0\theta_0에서 고정된 교사는 결코 개선되지 않으므로, 학생은 초기 모델이 특권 맥락 아래에서 이미 표현하는 것만 흡수할 수 있다. 학생을 추적하는 교사는 학생과 함께 개선되지만, 학생의 드리프트를 물려받고 자신의 오류를 강화할 수 있다. 문헌은 이 두 극 사이의 전체 범위를 탐구했으며, 그림 11은 주요 옵션을 하나의 축에 배치한다.

mermaid
flowchart LR F[Frozen initial teacher] --> E[EMA or trust-region teacher] E --> G[State-gated refresh] G --> T[Teacher trained by its own objective] T --> L[Lookahead or future teacher] F -.-> A[Architectural variant: looped layers]

그림 11. OPSD에서의 교사 업데이트 전략으로, 학생의 궤적에 대한 결합도가 낮은 것에서 높은 것 순으로 정렬. 화살표는 연대기가 아니라 결합도의 증가를 나타낸다.

6.1 고정 및 느리게 이동하는 교사

두 창시적 레시피는 반대 선택을 했다: Self-Distilled Reasoner 는 안정성과 암묵적 정규화를 위해 교사를 θ0\theta_0에서 고정하는 반면, SDFT 와 SDPO 는 학생의 EMA를 사용하며, SDPO는 또한 현재 교사와 초기 교사 사이의 폐쇄형 신뢰 영역 보간을 도출한다. 시간적 결합에 관한 연구 는 이 변수를 분리한다. 50스텝의 고정 갱신 주기로, 최고 100스텝 점수(0.755)는 300스텝 실행의 189스텝에서 붕괴로 이어진다. 격리 게이트, 보상 래칫 및 길이 꼬리 게이트가 모두 동의할 때만 교사를 업데이트하는 상태 게이트 갱신 규칙(CGTR)은 세 번의 갱신으로 0.806에 도달하고 세 시드에서 붕괴가 없다(고정 갱신: 세 시드에서 세 번의 붕괴). 이 논문의 더 넓은 요점은 교사가 언제 이동하는지가 구현 세부 사항이 아니라 안정성 변수라는 것이다.

그림 12. 시간적 결합 연구 에서 비교된 교사 업데이트 전략(원 논문에서 재현).

6.2 자체 목표로 훈련된 교사

두 번째 계열은 교사를 학생의 부산물로 취급하지 않고 교사에게 자체적인 학습 신호를 부여한다. VISTA 는 별도로 매개변수화된 교사를 추가하여 학생의 분포 쪽으로 끌어당기되, 검증된 정답 롤아웃에서만 그리고 학생이 확신하는 부분에서만 그렇게 한다. 8B에서 OPSD 대비 66.9 대 64.8을 보고하며, 1.7B와 4B에서는 차이가 더 작다. DualOPSD 는 각 학생 스텝 이후 교사 LoRA를 훈련시켜 갱신된 학생에 초기 모델의 특권 로그 확률 잔차를 더한 것과 일치시키므로, 교사는 학생을 따라가면서도 자신의 특권적 이점을 유지한다. OPSD 대비 보고된 이득은 4B와 8B에서 크며(12.3 및 15.7 포인트), 측정된 연산 동등성에서도 지속되지만, 수학에서 비사고 모드의 Qwen3에 국한된다. PAST 는 각 주기에서 완전한 정답 및 실패 학생 궤적에 대해 자기 교사를 훈련한 뒤 이를 동결하여 학생을 감독하게 하고, 1.7B에서 바닐라 OPSD 대비 매크로 Avg@12 +5.6을 95% 구간 [2.6, 8.3]과 함께 보고한다.

다른 연구들은 교사를 RL 학습자로 만든다. TESD 는 교사에게 자체 롤아웃과 보상을 부여하고, GRPO 방식 목적함수로 최적화하며, 교사의 평균 보상으로 쿼리별 학생 증류를 게이팅한다. GRPO 대비 작은 이득(Qwen3-4B에서 74.32 대 73.40)을 보고하며, 순진한 SDPO+GRPO 합은 두 구성 요소 사이에 위치한다. JOLT 는 하나의 공유 모델에서 두 역할을 모두 최적화하며, 교사 롤아웃에는 결과 보상을, 비특권 학생 쪽에는 KL을 적용하고, GRPO 대비 MATH 72.59 대 68.36을 보고하면서 63.44% 정확도에 도달하는 데 완료 토큰을 13.0배 적게 사용한다. HATCH 는 정책이 나중에 소비할 힌트를 생성하는 법을 학습하게 하고, 보상 대비가 나타남에 따라 힌트가 주어진 이점을 어닐링하며, 문제 해결과 충돌할 힌트 생성 기울기를 투영 제거한다.

6.3 전망과 미래 교사

세 번째 선택지는 교사를 학생의 미래 버전으로 만든다. B-OPSD 는 50회의 임시 OPSD 갱신을 실행하여 πF\pi_F을 얻고, 이를 동결한 뒤 학생을 π0\pi_0에서 재시작하여 πF\pi_F으로부터 증류한다. 롤아웃 기반 특권 정보를 사용하여 단일 실행에서 Qwen3-4B의 일치 기준선 평균을 27.50에서 41.30으로, Qwen3-8B에서 48.80에서 64.44로 높인다. Near-Future Policy Optimization 은 수십 스텝 앞선 체크포인트를 가이드로 사용하고 적응형 컨트롤러로 갱신하며, 동일한 계속 RL 후에 근미래 교사(63.23)가 원미래 교사(61.92)보다 낫다는 것을 발견한다. LEAD 는 모델이 다른 온폴리시 롤아웃으로부터 무엇을 배울지로 각 인스턴스를 점수화하는 전망 교사를 구축하고, SDPO가 저하되는 설정에서도 분포 외 성능을 GRPO에 가깝게 유지한다. LoOPSD 는 가중치는 유지하되 계산을 변경한다. 즉, 두 번 실행할 연속 레이어 블록을 탐색하고, 엄격한 검증 개선에서만 루프를 채택하며, Qwen3-4B에서 1,200회 갱신 후 루프 교사가 50.87%로 표준 경로의 26.38%에 대비된다고 보고한다.

이 계열의 폭은 언어 피드백을 위한 EMA 및 변분 교사 , 에이전트 및 산업용 코드 모델을 위한 자기 진화 교사 , 움직이는 교사를 통한 레이블 없는 공간 추론 를 포함한다.

핵심 요점

  • 고정된 초기 교사는 안정적인 기본값이지만, 학생이 배울 수 있는 것을 초기 모델이 특권적 문맥 아래에서 표현하는 것으로 제한한다.
  • 교사를 움직이는 것은 업데이트가 통제될 때만 도움이 된다: 게이트 방식 새로고침, 검증 필터링 또는 잔차 보존 교사 업데이트, 또는 별도의 교사 목표. 무조건적인 주기적 새로고침은 하나의 통제된 다중 시드 연구에서 붕괴했다.
  • 미래 체크포인트 교사는 코퍼스에서 가장 큰 이득 중 일부를 보고하며, 대부분 Qwen3 수학에 대한 단일 실행에서 나온 것이다. 시드와 모델 계열에 걸친 재현이 남은 과제다.

7. 자기 증류와 강화 학습의 결합

순수 OPSD에는 결과 신호가 없다: 학생은 그 선호가 정답으로 이어지든 아니든 특권적 교사가 선호하는 쪽으로 움직인다. RLVR은 반대의 특성을 지닌다. 그 보상은 희소하고 균일하게 해결되거나 균일하게 실패한 그룹에서는 어드밴티지가 사라지지만, 검증기에 고정되어 있다. 분류가 RL 결합 축에 배치한 158편의 논문 대부분은 검증기를 방향의 원천으로 유지하고 자기 교사를 밀도를 위해 사용하려 한다. 그 결과로 나온 설계들은 주로 두 신호가 만나는 지점에서差异를 보인다: 손실에서, 어드밴티지에서, 또는 둘 중 어느 것이 계산되기 전에 내려지는 라우팅 결정에서 (그림 13).

mermaid
flowchart TB R[Rollout group with verifier rewards] --> S{Where do the signals meet} S --> L[Loss level: RL loss plus distillation term] S --> A[Advantage level: teacher ratio rescales or shifts the RL advantage] S --> RT[Routing level: each rollout or prompt gets one signal] L --> L1[HDPO, SDPG] A --> A1[RLSD, RLCSD, CEPO, SIPO] RT --> R1[SRPO, I-SDPO]

그림 13. 검증기 보상과 자기 교사를 결합하는 세 가지 방식과 7.1–7.3절의 대표적 방법들.

7.1 가산적 손실

가장 직접적인 결합은 RL 손실에 증류 항을 추가한다. HDPO 는 모든 KK 표준 롤아웃이 실패하는 "절벽" 프롬프트에만 이를 적용하고, 교사를 정답에 조건화하며, 점수 1을 받은 교사 롤아웃만 유지하고, GRPO에 top-kk JSD 항을 추가한다. 이득은 작고 서로 상쇄된다: 가중치 0.1에서 pass@8은 1.4–1.7% 개선되지만 pass@1은 2.3–2.8% 하락한다. Self-Distilled Policy Gradient 는 정확한 전체 어휘 역-KL 증류를 보조 손실로 유지하며, 긍정적 어드밴티지를 가진 롤아웃에만 게이트하고 어닐링하며, 순수 OPSD 기준선은 1.7B에서 붕괴하지만(마지막 체크포인트에서 AIME24 0.017) 결합 방법은 그렇지 않다고 보고한다. Self-Distillation Zero 는 먼저 수정자를 훈련한다: 필터링된 자기 수정 추적에 대한 지도 학습 단계가 모델에게 1비트 정확성 신호가 주어졌을 때 자신의 시도를 개선하는 법을 가르치고, 그 수정자가 이후 특권적 교사로 기능한다. Qwen3-4B-Instruct에서 평균은 49.8에서 60.3으로 상승하여, 비슷한 생성 예산에서 RFT(54.3)와 GRPO(53.1)를 능가한다.

7.2 어드밴티지 내부의 교사 비율

두 번째 설계는 교사–학생 비율을 검증기에서 부호가 나오는 RL 어드밴티지의 토큰 수준 변조로 취급한다. Self-Distilled RLVR (RLSD) 는 동기를 직접 진술한다. 특권적 교사에 대한 분포 매칭은 답변 특정적 행동을 유출한다: 유출 횟수는 OPSD의 100 스텝에 걸쳐 단조롭게 증가하는 반면 검증 정확도는 10–20 스텝에서 정점을 찍은 뒤 하락한다. 따라서 RLSD는 클리핑된 정지-그래디언트 증거 비율 qt(yt)/pt(yt)q_t(y_t)/p_t(y_t)을 검증기 어드밴티지에 대한 크기 승수로만 사용하며, 멀티모달 추론에서 평균 정확도 56.18을 GRPO의 53.86과 OPSD의 52.49에 대비하여 보고한다.

그림 14. Self-Distilled RLVR은 환경 보상을 업데이트 방향의 원천으로 유지하고 특권적 교사는 토큰별 크기를 설정하는 데만 사용한다 (에서 재현).

대조적 변형들은 그런 다음 비율에서 학생을 제거한다. RLCSD 는 올바른 힌트로 조건화된 동결된 교사와 KK개의 잘못된 힌트로 조건화된 동일한 교사의 평균을 대조하여, 정답과 무관한 선호가 상쇄되게 한다. 그것은 테스트한 네 가지 백본 모두에 대해 두 과제군의 평균에서 GRPO와 네 가지 OPSD 베이스라인을 능가한다(예를 들어 Knights-and-Knaves에서 4B에서 68.2 대 63.1). CEPO 는 수용된 답변과 거부된 답변으로 조건화된 교사들 사이의 비율 PT+(yt)/PT−(yt)P_T^+(y_t)/P_T^-(y_t)을 사용하고, 이것이 업데이트 방향을 고정함을 증명하며 RLSD를 특수한 경우로 포함하고, 짧은 기하 실험에서 OPSD와 SDPO가 훈련되지 않은 베이스라인 아래에 있음을 발견한다. SIPO 는 두 자기-교사 평가(참조 답변 대 그룹 내 실수)의 클리핑된 차이를 그룹 이점에 더하고 수학, 과학, 코드에서 GRPO와 RLSD 대비 이득을 보고한다. 결과-유도 OPSD 는 올바른 궤적에는 순방향 KL을, 잘린 잘못된 궤적에는 역방향 KL을 사용하며, APSD 는 목표를 정답성-조건부 전문가 곱으로 만들어 성공 후에는 교사 쪽으로 보간하고 실패 후에는 교사 너머로 외삽한다(8B에서 SDPO의 경우 LCBv6 49.62 대 45.04). β-OPSD 는 바닐라 OPSD가 β=1\beta=1에 해당하는 KL-정규화 정책-최적화 목적함수로부터 OPSD를 유도하고, 참조와 교사 사이의 기하 경로 위에서 예정된 보간점 쪽으로 훈련한다. 그것은 1.7B에서 바닐라 OPSD 대비 5.74포인트 이득을 보고한다.

7.3 라우팅

세 번째 설계는 롤아웃별 또는 프롬프트별로 어떤 신호가 적용되는지를 결정한다. SRPO 는 올바른 롤아웃을 GRPO로 보내고 사용 가능한 교사가 있는 잘못된 롤아웃을 SDPO로 보내며, 증류 분기를 교사 신뢰도로 재가중한다. 그 절제 실험은 라우팅 대신 이점 수준에서 혼합하면 3.3포인트를 잃음을 보여주며, 8B에서 그 다섯 벤치마크 평균은 77.4로 GRPO의 74.0과 SDPO의 71.1에 맞서고, 단계당 시간은 둘 중 어느 것보다도 적다. I-SDPO 는 프롬프트 수준에서 라우팅한다: 정답이 모두 잘못된 그룹에 사용 가능한 정답이 있으면 증류를 받고, 성공이 있는 그룹은 순수 GRPO를 받는다. 그것은 SciKnowEval에서 평균 mean@16 70.31%를 GRPO의 56.67과 SDPO의 65.74에 맞서 보고하며, 편향 하한과 자기-어닐링에 관한 명제는 국소적으로만 성립한다고 밝힌다. 정책 재가열 은 다른 목적을 위해 짧은 OPSD 단계를 사용한다: RL이 엔트로피를 붕괴시킨 후 이를 복원하여, 샘플링 온도를 높이는 대신 평활화된 분포를 정책의 기본값으로 만든다.

그림 15. SRPO에서의 샘플 라우팅: 올바른 롤아웃은 그룹-상대 이점을 받고, 사용 가능한 교사가 있는 실패한 롤아웃은 자기-증류를 받는다(에서 재현).

RL-결합 축은 코퍼스에서 가장 크다. 추가 하이브리드들은 검증기 신뢰도나 불확실성으로 증류를 가중하고 , 테스트-시간 RL과 자기-증류를 결합하고 , 단계 수준 크레딧으로 단위 테스트 생성을 목표로 하고 , 에이전트를 위한 결과 및 사후 피드백을 통합한다 .

방법결합 수준교사 맥락검증자 역할보고된 대표 비교
HDPO 손실정답절벽 프롬프트 선택, 교사 롤아웃 필터링pass@8 +1.4–1.7%, pass@1 −2.3–2.8% vs GRPO
SD-Zero 손실 (수정자 SFT 후)자체 시도 + 정답 비트비트 제공60.3 vs GRPO 53.1 (Qwen3-4B)
RLSD 이점 크기참조방향 설정56.18 vs GRPO 53.86
RLCSD 이점 크기정답 vs 오답 힌트방향 설정K&K 68.2 vs 63.1 (4B)
SIPO 이점 이동참조 vs 그룹 내 실수방향 설정수학 59.4 vs GRPO 57.3
APSD 목표 구성피드백보간 vs 외삽 선택LCBv6 49.62 vs SDPO 45.04 (8B)
SRPO 롤아웃 라우팅정답 형제롤아웃 라우팅77.4 vs GRPO 74.0 (8B)
I-SDPO 프롬프트 라우팅정답프롬프트 라우팅70.31 vs GRPO 56.67

표 6. 대표적인 OPSD–RL 하이브리드. 비교는 각 논문의 자체 대표 설정이며 행 간에 비교 가능하지 않다.

핵심 요점

  • 지배적인 패턴은 검증자가 업데이트의 방향을 설정하고 자기 교사가 토큰 수준의 크기를 설정하도록 하는 것이다. 여러 논문은 순수 분포 매칭이 답변 특정 행동을 누출하고 초기 피크 이후 성능이 저하됨을 보여 이를 동기로 삼는다.
  • 대조 교사(정답 대 오답 맥락)는 답변에 의존하지 않는 선호를 상쇄하며, 최근 가장 흔한 설계이다.
  • 롤아웃이나 프롬프트를 정확히 하나의 신호로 라우팅하는 것은 이점을 혼합하는 것보다 단순하며, SRPO의 절제 실험에서도 더 우수했다.

8. 기초 질문

방법 장들은 대체로 긍정적인 결과를 보고하는데, 방법 논문들은 그런 경향이 있기 때문이다. 그와 함께, 코퍼스에는 통제된 분석이 비정상적으로 많이 포함되어 있다: 78편의 논문이 분석 및 이론 라벨을 가지며, 그중 다수는 방법 논문들이 공유하는 가정을 검증하기 위해 작성되었다. 이 장은 그 증거를 여섯 가지 질문을 중심으로 조직한다. 각 질문에 대해 우리는 명제를 진술하고, 양측의 증거를 그 조건과 함께 제시하며, 현재 균형이 어디에 있는지 말한다.

8.1 OPSD는 언제 조금이라도 도움이 되는가?

최초의 결과들은 비사고 모드의 인스트럭트 모델에서, 짧은 롤아웃(약 1,024 토큰)과 짧은 학습 실행으로 얻어졌다. 여러 그룹이 그 체제 밖에서 공개된 레시피를 다시 실행했고 손실을 보고했다. Rethinking OPSD for Thinking Models 는 다섯 개의 사고 모델을 원래 레시피로 학습시키고 38,912토큰 예산에서 평가한다. 다섯 개 모두 avg@16이 하락하며, 예를 들어 Qwen3-1.7B는 0.372에서 0.308로 떨어진다(대응 95% 구간 [−0.095, −0.037]). 같은 학생 모델에서 더 큰 외부 교사와 함께한 바닐라 OPD는 손실이 없으며, 이는 문제를 정책 내 증류 자체가 아니라 특권 교사에 국한시킨다. 100회 이상의 실행에 대한 광범위한 진단 스윕 은 학생과 교사의 추론 모드가 일치할 때 OPSD가 대체로 손실을 낸다는 것을 발견한다. Qwen3-4B-Thinking은 75.4에서 65.8 Avg@8로 하락하는 반면 출력 길이는 22.8k에서 43.4k 토큰으로 증가하고, Qwen3.5-4B는 완전히 붕괴한다. 이득은 주로 사고 교사가 비사고 학생을 감독할 때 나타난다. 코드에서는 보지 못한 문제와 보지 못한 테스트 케이스를 분리하는 분할 에서 SDPO가 홀드아웃 LiveCodeBench 문제에서 0.5–9.9포인트 손실을 내는 반면 GRPO는 이득을 얻으며, 측정된 24개 OPSD 변형 모두 홀드아웃 수학 정책 그래디언트와 음으로 정렬된 그래디언트를 가진다.

그림 16. 하나의 Qwen3-8B 사고 추적을 따라 측정한 특권 교사의 다음 토큰 확률로, 에서 자기 교사의 선호가 학생의 추론과 어디서 발산하는지 보여주는 데 사용되었다(원 논문에서 재현).

두 개의 추가 연구가 조건을 더 좁힌다. Hindsight Compacts but Does Not Repair 은 OPSD를 사고 모델의 정답만 있는 롤아웃 또는 오답만 있는 롤아웃에 적용한다. 정답만 학습은 작은 정확도 비용으로 출력을 18–29% 단축하고, 오답만 학습은 6.6–10.0포인트를 소모하며, 어떤 변형도 pass@8을 높이지 못한다. 저자들은 사고 모델에 대한 OPSD를 수리가 아닌 압축으로 읽는다. Privileged-but-Biased 는 원래의 SciKnowEval 체제에서 SDPO의 이득을 재현하지만, 더 어려운 에이전트 및 일반 QA 과제에서는 손실은 떨어지는데 검증 성능은 오르지 않으며, 20개 OPSD 레시피 셀 중 18개가 비양수임을 발견한다. 이는 순전파 전용 진단으로 점수화된 PI 조건화 교사의 측정 가능한 편향으로 실패를 추적한다. The Many Faces of OPD 는 그 편향의 한 요소를 분리한다. 독립 실행형 Qwen3-14B 교사는 GPQA-Diamond에서 62.1%를 기록하지만, 학생의 접두사를 이어받아야 할 때는 46.0%에 그치므로, 단독으로 강한 교사가 궤도를 벗어난 상태에서는 약한 감독자가 될 수 있다.

긍정적인 측면도 비어 있지 않다. 예측 법칙 은 cc의 여섯 가지 구성 전반에서 학생과 자기 교사 사이의 사전 학습 정확도 격차가 사후 학습 이득을 선형적으로 예측함을 보여준다(R2=0.977R^2=0.977 네 가지 Qwen3 크기 전반; 문맥 유형 전반에서 leave-one-out R2R^2 0.949 및 0.996). 에이전트를 위한 PI 선택 연구 역시 아홉 개 학생 설정 모두에서 사후 학습 pass@1과 상관관계가 있는 오프라인 진단을 발견한다. 노드별 그래디언트 정렬 분석 은 증류 그래디언트가 이상적인 성공 기반 그래디언트와 주로 오답 롤아웃에서 정렬되며, 최적의 교사가 학생 용량에 따라 뒤바뀐다는 것을 보여준다. 이러한 결과들은 OPSD가 특권 문맥이 동일한 모델을 학생 자신의 접두사에서 더 낫게 만드는 경우, 그리고 대략 그 정도에 비례하여 도움이 된다는 것을 함의한다. 이는 또한 길고 자기 일관적인 사고 추적이 교사에게 더할 여지를 거의 남기지 않을 때 왜 실패하는지도 설명한다.

8.2 특권 정보는 실제로 무엇을 더하는가?

특권적 맥락이 정답과 관련된 지식을 드러냄으로써 작동했다면, 이를 무관한 해답으로 대체할 경우 이득이 사라져야 한다. 세 연구가 이를 수행했으나 반대의 결과를 발견했다. OP²SD 는 교사에게 다른 훈련 예제의 문제와 해답을 제공한다. 이는 9개 모델–벤치마크 그룹 중 8개에서 가장 높은 점 추정치를 가지며, Qwen3-8B에서 세 벤치마크 모두에서 기본 모델과 OPSD를 능가한다(AIME 2024: OPSD의 45.00 및 기본 모델의 28.47에 대해 55.83). 또한 단일 고정 예제를 사용할 때도 이득이 유지된다. Shuffled OPSD 는 무관한 참조와 단어가 뒤섞인 문제 진술이 세 규모 모두에서 표준 OPSD를 능가하는 반면, 참조 자체를 단어 뒤섞기하는 것은 그렇지 않음을 발견한다. Rethinking Privileged Information 는 방향 분해(Section 4.1)를 통해 동일한 결론에 도달한다. 참조 없는 통제를 갖춘 정답 일치 스위트 는 더 신중하다. 사고 교사가 직접 응답 롤아웃을 감독할 때, 참조 없는 통제는 도메인 내에서 +1.80점에 도달한 반면 깨끗한 해답은 +3.10점이며, 1.30점 차이는 다중 비교 보정 후에도 유지되지 않는다.

mermaid
flowchart LR C[Privileged context c] --> B[Changes teacher behavior: length, mode, style] C --> K[Adds problem-specific knowledge] B --> G[Student gain] K --> G B -. tested by .-> U[Unrelated or shuffled references] K -. tested by .-> M[Mismatched or wrong-answer controls]

그림 17. 특권적 맥락이 도움이 될 수 있는 두 가지 경로와 에서 이를 분리하기 위해 사용된 통제.

드리프트 분석 은 행동적 해석을 뒷받침한다. cc의 내용(시연, 피드백, 바꿔 말하기)을 변화시키는 것은 그 출처를 변화시키는 것보다 학생을 훨씬 더 많이 움직인다: 토큰당 역-KL 비율의 중앙값은 7.2 대 1.4이며, 내용을 공유하는 LoRA 업데이트는 출처를 공유하는 업데이트(0.255)보다 더 유사하다(코사인 0.571). 종합하면, 통제된 증거는 적어도 Qwen3 모델을 사용한 경쟁 수학에서 OPSD 이득의 상당 부분이 맥락이 교사의 행동 방식을 변화시키는 것(예를 들어 더 신중한 모드를 이끌어내거나 다른 길이 프로파일을 유도하는 것)에서 비롯되며, 문제별 정보를 전달하는 것에서는 덜 비롯된다는 것을 나타낸다. 정답별 채널은 실재하지만 창립 논문들이 암시한 것보다 작으며, 그 크기는 학생–교사 모드 짝짓기에 달려 있다.

8.3 붕괴, 다양성 및 엔트로피

반복적으로 나타나는 실패는 출력 분포의 협소화이다. SDSD 분석 은 샘플링된 시연을 사용한 온-폴리시 자기 증류의 최적점을 도출한다. 보상으로 기본 정책을 기울이는 대신, 시연과의 기대 점별 조건부 상호정보량으로 기울이므로, 동등하게 정답인 롤아웃들이 서로 다른 가중치를 받는다. 경험적으로 이 방법은 Pass@1에서는 GRPO를 능가하지만 Pass@16에서는 뒤처지는데, 이는 다양성 손실의 특징이다. 사고 붕괴(Thinking collapse) 는 탐색적 토큰의 밀도 감소를 식별하고, 고엔트로피 "샌드박스" 토큰 내부에서 동결된 기본 사전분포를 향해 보간함으로써 이를 복구한다(1.7B에서 OPSD의 47.7 대비 51.8). 클리핑에 관한 연구 는 클리핑된/클리핑되지 않은 쌍둥이를 매칭하고 두 개의 명제를 증명함으로써, 순방향 KL의 점별 클리핑이 보정을 역전시켜 25–450배 더 많은 종결 반복 루프를 생성할 수 있음을 보여준다. 발산과 엔트로피에 관한 이론 는 소프트맥스 헤드를 가진 순방향 KL의 국소 최적점에서 학생 엔트로피가 교사 엔트로피에 잔차 KL을 더한 것과 같음을 증명하므로, 엔트로피가 팽창하는지 수축하는지를 지배하는 것은 온/오프-폴리시 선택이 아니라 발산의 선택이다. RL 손실을 완전히 제거한 연구 는 해답 조건화된 교사로부터 학생을 밀어내는 것이 하이브리드 사고 모드를 재활성화함으로써만 정확도를 높이며, 항상 길이 폭발과 절단 붕괴로 끝난다는 것을 관찰한다. 의 비판적 검토는 이러한 실패들을 하나의 증상(붕괴)과 세 가지 지렛대—신호의 기하학, 특권 정보의 성질, 그리고 무엇이 학생을 고정하는가—로 조직한다. 그 틀은 위의 증거와 일치한다.

8.4 망각과 지속 학습

SDFT 는 OPSD를 지속 학습 방법으로 동기 부여했으며, 이론 논문 은 이상화된 설정에서 이를 뒷받침한다. 클러스터화된 사고 연쇄 그래프 위의 단일 단계 소프트맥스 모델에서, 간선 수준 힌트를 사용한 자기 증류는 이후 과제 업데이트가 몇 번 이루어지든 이전 과제 성공을 증명 가능하게 유지하는 반면, SFT는 증명 가능하게 망각한다. 경험적 그림은 더 혼재되어 있다. Denser ≠ Better 는 네 개 도메인에 걸친 순차적 사후 훈련에서 GRPO가 평균 69.90으로 끝나 기본 모델의 61.60을 앞서는 반면, SDPO는 52.55로 끝나고 한 변형은 붕괴함을 발견한다. 이는 동일한 성공률에서 교사 투영 토큰 목표가 최소 표류 정책 대비 초과 KL을 초래함을 증명한다. 저자들은 온-폴리시 샘플링이 어떤 이력이 감독되는지를 결정하지만 그 자체로 RL의 보수적 편향을 부여하지는 않는다고 주장한다. 오프-폴리시 접목 은 이전 체크포인트에서 업데이트를 학습하고 그 마스킹된 복사본을 적용함으로써 신규 대 기존 과제 축에서 SFT와 OPSD 모두를 파레토 지배한다. 삼축 분해 (롤아웃 출처, 교사 결합, KL 방향)는 교사를 학생에 결합하면 정점 이후 붕괴가 발생함을 보여준다. 이러한 결과들이 시사하는 해결책은 조건부적이다. OPSD는 목표 과제가 모델이 이미 수행하는 것에 가까울 때 SFT보다 더 잘 유지하지만, 자동으로 RL보다 덜 망각하는 것은 아니며 동일한 성공률에서 더 표류할 수 있다.

8.5 신호 강도와 스케일링

모델 크기가 커지면 왜 이득이 줄어드는가? OASIS 는 회복률을 직접 측정한다: 실패한 접두사에서 정답 문맥 교사는 1.7B에서 77%의 확률로 정답을 재개하지만 학생 단독은 37%이며, 4B에서는 격차가 17포인트로 줄어든다. 그 해법인, 모델 자체의 또 다른 롤아웃을 문맥으로 삼아 검증된 궤적을 감독하는 방식은 규모가 커질수록 OPSD 대비 +0.6에서 +3.1포인트를 회복한다. 동역학 분석 은 손실 감쇠율을 학습 신호와 점유 요인으로 분해한다. RL로 얻은 자기 교사는 교사–학생 격차의 71–77%를 메우는 반면, 더 큰 외부 교사는 13–48%만 메운다. 그리고 저자들은 학습 신호의 소멸이 제한 요인인 국소 수렴 한계를 증명한다. 두 논문 모두 같은 제약을 가리킨다: 자기 교사는 모델이 cc을 갖고 할 수 있는 것과 그것 없이 할 수 있는 것 사이에 격차가 남아 있는 동안에만 도움이 되며, 그 격차는 모델과 훈련이 진전됨에 따라 닫힌다.

8.6 정렬 위험

자기 증류는 아무도 측정하지 않은 속성도 움직일 수 있다. 무해한 데이터에 무해한 단서를 붙인 재귀적 자기 증류 는 GSM8K와 IFEval에는 영향이 없으면서 SORRY-Bench 준수율을 26%에서 94%로(Phi-4 14B), 31%에서 97%로(Qwen3 14B) 높인다. 동일한 안전한 답변과 동결된 교사에 대한 SFT는 준수율을 움직이지 않으며, 이 효과는 규모가 커질수록 증가한다. 이 설정은 흔한 단일 패스 OPSD가 아니라 오프폴리시이자 재귀적이지만, 자기 교사가 반복을 거치며 문맥이 유발한 행동 변화를 증폭할 수 있음을 보여준다. 이 발견은 8.2절과 직접 연결된다: 문맥이 주로 교사의 행동을 바꾼다면, 문맥이 유발하는 행동이 바로 증류되는 것이다.

질문OPSD가 주장대로 작동한다는 증거반대 또는 한정 증거현재 균형
도움이 되는가?비사고 수학 및 과학에서의 창시적 이득 ; 예측 법칙 사고 모델 및 홀드아웃 문제에서의 손실 학생 접두사에 대한 자기 교사 격차가 클 때 도움이 됨; 일치된 사고 모델에서는 흔히 해로움
cc는 무엇을 더하는가?일부 설정에서 정답 참조가 오답 대조군을 능가함 무관하거나 섞인 참조가 정답 참조와 동등하거나 능가함 4B–8B 수학에서는 대체로 행동적; 지식 공유는 더 작고 설정 의존적
다양성낮은 샘플링 비용의 밀집 신호 Pass@k 손실 및 사고 붕괴 ; 클리핑 루프 붕괴는 흔하며 명시적 앵커링이 필요
망각SDFT 보존 ; 그래프 모델 이론 순차 훈련에서 GRPO보다 큰 드리프트 ; 그래프팅이 지배함 SFT보다 낫지만 RL보다 안정적으로 낫지는 않음

표 7. 네 가지 근본 질문에 대한 증거 요약. "현재 균형"은 인용된 증거에 대한 이 설문의 해석이며, 주로 최대 14B의 Qwen 계열 모델로 제한된다.

핵심 요점

  • OPSD의 이득은 조건부다. 특권 맥락이 동일한 모델을 학생 자신의 접두사(비사고 학생, 짧은 롤아웃)에서 명확히 더 낫게 만들 때 가장 강하며, 긴 예산으로 평가된 사고 모델에서는 종종 역전된다.
  • 통제된 연구들은 무관하거나 뒤섞인 특권 맥락이 올바른 참조와 동등할 수 있음을 보여준다. 교사의 가치 중 상당 부분은 답변 특정적이라기보다 행동적이다.
  • 다양성 붕괴, 클리핑으로 인한 루프, 연속 학습에서의 드리프트는 반복되는 실패 양상이며, 기저 사전 또는 결과 신호에 고정하는 것이 일반적인 해결책이다.

9. 응용

OPSD는 몇 달 만에 경쟁 수학을 넘어 확산되었다. 각각의 새로운 영역은 4장의 질문에 자신의 방식으로 답해야 했다. 즉, 학습 시점의 교사는 배포된 모델이 볼 수 없는 무엇을 볼 수 있는가? 에이전트는 궤적에 대한 사후 통찰로, 비전 모델은 입력에 대한 더 나은 시야로, 확산 모델은 자체 노이징의 더 나중 상태로, 안전 학습은 안전 지향적 맥락으로 답한다. 이 장은 그러한 적응들과, 각 영역에서 추론 레시피 대비 무엇이 바뀌었는지를 조사한다.

9.1 에이전트와 다중 턴 도구 사용

다중 턴 에이전트는 코퍼스에서 가장 큰 응용 영역이며(107편), 환경 상호작용이 사후에 풍부한 특권 정보를 생성하기 때문이다. 어떤 도구 호출이 실패했는지, 어떤 관찰이 중요했는지, 어느 턴이 에피소드를 탈선시켰는지 등이다. Privileged Information Distillation 은 일찍이 그 양상이 모델에 의존함을 보여주었다. τ-Bench와 Travel Planner에서 이의 공동 교사–학생 학습은 Qwen3-8B로 Travel Planner에서 SFT-plus-RL의 32.3%에 대해 44.1%에 도달하지만, OPSD는 분포 외 항공사 분할에서만 최선이며 다른 백본에서는 결과가 혼재한다. Skill-SD 은 완료된 궤적을 교사만을 조건화하는 자연어 스킬로 요약하고, 학생으로부터 교사를 재동기화하며, AppWorld에서 64.9%, Sokoban에서 62.5%를 GRPO의 50.9%와 51.6%에 대해 보고한다. 이의 절제 실험은 동결된 교사가 12–16점 더 낮은 수준에서 정체함을 보여준다.

그림 18. 다중 턴 에이전트를 위한 스킬 조건화 자기 증류: 학생 자신의 궤적에서 요약된 스킬이 교사 프롬프트에만 입력된다(Skill-SD 에서 재현).

Skill-SD 이후의 주요 에이전트 레시피들은 특권 맥락이 어디서 오는지와 어느 단계가 이를 받는지에서 다르다. OPID 는 각 완료된 궤적에서 최대 다섯 개의 중요한 타임스텝에서 워크플로 수준 규칙과 단계 수준 조언을 추출한다. SEED 는 현재 정책이 스킬을 직접 작성하게 하고 매 업데이트마다 재생성하며, 3B에서 ALFWorld 91.8%를 GRPO의 75.0%에 대해 보고한다. SCOPE 은 경계된 로그 비율로 중요한 오류 단계만 증류하며, 3B에서 ALFWorld 성공률 97.7%, 32B에서 미학습 94.0%를 보고한다. HINT-SD 와 TurnSight 는 사후 통찰을 실패 관련 턴으로 제한하거나 도구 턴별로 집계한다. HINT-SD는 BFCL v3 Avg@4를 31.56(최고 기준선)에서 41.88로 끌어올리며, 전체 궤적 대안의 단계당 시간의 절반 미만을 소요한다. SD-Search 은 GRPO 위에 검색 쿼리 토큰에서만 사후 통찰 JSD를 적용하고, 다섯 시드에 걸쳐 평균 EM 0.428±0.008을 AutoRefine의 0.404±0.008에 대해 보고한다. SDAR 은 GRPO를 변경하지 않고 OPSD를 시그모이드 게이트 보조 손실로 추가한다. 그 게이트가 없으면 순진한 OPSD는 Search-QA에서 붕괴하고 GRPO+OPSD는 1.7B에서 붕괴한다고 보고한다.

이러한 붕괴는 고립된 사례가 아니다. Self-Practice 는 순수 OPSD가 AppWorld와 SWE-bench에서 네 가지 설정 모두에서 훈련되지 않은 베이스보다 아래로 떨어짐을 발견하고, 특권 정보를 손실에서 샘플러로 옮긴다. 즉, 샘플러는 롤아웃 그룹이 어떤 컨텍스트 아래에서 추출되는지만 결정하며, 모든 그룹은 GRPO로 훈련된다. 검색-인터리브 탐색 에이전트에 관한 연구 는 피드백 증강 자기 증류가 추론 시점에서 피드백 조건화된 교사가 더 강함에도 불구하고 결코 이득을 지속하지 못함을 발견한다. EMA 정규화를 적용하면 평균 EM 0.206에 도달하는데, GRPO의 0.348과 대비된다. SELF 는 실현된 환경 피드백을 교사 컨텍스트와 예측 대상으로 두 번 사용하며, τ-bench와 AppWorld에서 GRPO와 SDPO 모두에 비해 이득을 보고한다. 공통된 맥락은 에이전트가 증류를 몇 단계에 겨냥하고 결과 신호로 게이팅할 때 가장 큰 이득을 얻는다는 것이다. 전체 궤적 OPSD는 장기 지평 설정에서 종종 해롭다.

방법특권 컨텍스트증류되는 단계RL과의 결합대표적 결과
Skill-SD 학생 궤적에서 얻은 스킬모든 행동 토큰중요도 가중 역 KL 및 GRPOAppWorld 64.9 vs GRPO 50.9
SDAR 사후 컨텍스트토큰별 게이팅변경되지 않은 GRPO에 보조 손실WebShop 82.8 vs 72.6 (7B)
SD-Search 쿼리에 대한 사후 분석검색 쿼리 토큰만GRPO에 보조 JSDEM 0.428 vs 0.404 (5 시드)
HINT-SD 분석기 피드백실패 관련 턴보조BFCL v3 41.88 vs 31.56
OPID 추출된 워크플로 + 단계 조언≤5 중요 단계보조ALFWorld 84.3 vs 75.0 (3B)
SEED 갱신되는 자기 작성 스킬궤적보조ALFWorld 91.8 vs 75.0 (3B)
SCOPE 단계별 스킬중요 오류 단계경계된 보조ALFWorld 미학습 89.6 vs 66.4
Self-Practice 분석기 지침없음 (샘플러만)GRPO만AppWorld 16.7 vs 10.6 (4B)

표 8. 에이전트를 위한 대표적 OPSD 방법. 결과는 각 논문의 자체 GRPO 베이스라인에 대한 대표적 비교이며, 행 간 비교는 불가하다.

GUI 및 컴퓨터 사용 에이전트는 하나의 하위 계열을 이룬다. GUI-SD 는 교사 모델을 단계 수준의 추론과 메모리 권한에 조건화하고, AndroidWorld Pass@1에서 GRPO의 52.6에 대비하여 67.2를 보고한다. ComputerSD 는 실행된 각 단계 이후 행동 전후 스크린샷으로부터 안내를 재생성하고, 분석기 가치 점수로 증류를 게이팅한다(OSWorld-Verified 39.8 대 37.9). GUI 그라운딩 은 정답 좌표를 시각적 권한, 즉 소프트 줌이 적용된 그려진 경계 상자로 전환하고, GRPO 훈련 시간의 약 4분의 1로 ScreenSpot-Pro 60.7%를 보고한다. 추가적인 에이전트 연구는 지속적 일관성 정규화 , 비교적 결과 검증 자기 증류 , 환경 관찰로부터의 사후 통찰 , 코딩 에이전트를 위한 리마인더 증류 , 세분성 적응형 이점 , 장기 지평을 위한 계층적 감독 할당 , 자기 은퇴 증류 , 다중 턴 대화 격차 해소 , 능동적 대화 , 그리고 GUI 에이전트의 중지 행동 을 다룬다.

9.2 코드 및 소프트웨어 공학

코드는 풍부하고 구조화된 피드백을 제공하며, 이것이 SDPO의 가장 강력한 결과가 LiveCodeBench 에서 나온 이유이다. 저장소 수준 소프트웨어 공학의 경우, SWE-Ladder 는 검증된 수리의 현재 단계와 일치하는 부분만(로컬라이제이션을 위한 변경된 파일, 재현을 위한 실패-대-통과 테스트, 패칭을 위한 diff) 교사에게 보여주고, 그 뷰들을 점진적으로 도입한다. R2E-Gym에서 단일 실행 기준으로 pass@1을 9.6%에서 16.4%로 높이며, 이는 전체 패치 GRPO+OPSD의 12.4%와 대비된다. Hindsight Hint Distillation 는 그 외에는 자기 생성 궤적인 경로의 시작 부분에 한 문장짜리 사후 통찰 힌트를 배치하고, 72B 모델에 대해 SWE-bench Verified 51.2%를 보고하며, 이는 단순 거부 파인튜닝의 44.0%와 대비된다. 다른 코드 연구로는 궤적 개입 , 사고 모드 이점 , 난이도 게이팅 교사 안내 , 자기 외삽 정책 증류 , 메모리 증강 텍스트-투-SQL 이 있다.

9.3 멀티모달 이해

비전–언어 모델에서 권한 채널은 보통 지각적이다. 즉 교사는 입력을 더 잘 본다. Vision-OPD 는 모델의 크롭 조건 분포가 전체 이미지 분포를 감독하도록 하여, 줌을 단일 패스로 내면화한다. 9B 모델에 대해 평균 79.68을 보고하며, 이는 기반 모델의 73.37과 같은 계열의 397B 모델의 77.44와 대비된다. 또한 테스트된 두 규모 모두에서 SFT, GRPO, DAPO, OPSD를 능가한다. RP-OPSD 는 학생에게 절반 해상도 이미지를, 교사에게 원본을 제공하여 권한을 얻으며, 이는 이미지–질문 쌍만 필요로 한다. S²VOPD 는 교사의 뷰를 풍부하게 하는 대신 학생의 뷰를 손상시키며, 주석이 필요 없고, 6개 지각 벤치마크에서 4B 모델을 70.68%에서 77.44%로 끌어올린다.

그림 19. Vision-OPD: 줌된 크롭에 조건화된 동일한 모델이 전체 이미지 예측을 위한 교사 역할을 한다(에서 재현).

시간 및 기타 양식에서도 동일한 설계가 다시 나타난다. Video-OPSD 는 교사에게 주석이 달린 증거 프레임만 보여주며, 15개의 모든 백본–벤치마크 셀에서 표준 OPSD를 능가하고 GRPO보다 훈련 시간이 60% 적다. Clue-OPSD 는 긴 영상의 짧은 단서 구간에 우선권을 부여한다. ViCuR 는 답변 힌트를 이미지 자체에서 복구 가능한 시각적 증거에 대한 텍스트 설명으로 대체하여, 답변 기반 OPSD보다 약 1.2포인트를 추가한다. K-OPSD 는 프로세스 수준 검증기를 갖춘 엔지니어링 도면에 이 접근법을 적용한다. 이 계열의 폭은 스트리밍 및 사전적 비디오 , 방해물 인식 시간적 우선권 , 3D 및 공간적 우선권 , 오디오–시각 및 음성 추론 , 테스트 시점 적응 , 시각적 귀속 자기 증류 에 걸쳐 있다.

9.4 생성 모델

OPSD는 자기회귀 언어 모델이 아닌 생성기로도 이어져 왔다. 확산 언어 모델의 경우, dOPSD 는 학생 자신의 노이즈 제거 궤적에서 더 나중의, 더 많이 디코딩된 상태를 특권 정보로 사용한다. 이는 비교 내에서 두 백본 모두에 대해 모든 벤치마크에서 기본 모델을 능가하는 유일한 방법이다(예를 들어 Dream에서 MATH500이 38.97에서 42.20으로). 이미지 확산의 경우, D-OPSD 는 대상 이미지를 교사의 조건에만 배치하여 단계 증류 모델의 튜닝을 계속하며, SFT가 FID를 82.20으로 저하시키는 반면 FID를 48.69에서 40.49로 개선한다. DiffusionOPSD 는 이미지 수준 보상을 중간 클린 출력 예측에 대한 경계된 목표로 전환하고, DiffusionNFT보다 40–63% 적은 GPU 시간으로 20개의 보상 매칭 설정 중 19개에서 최고의 홀드아웃 점수를 보고한다. OPSD-V 는 더 깨끗한 시간적 캐시를 소수 단계 자기회귀 비디오 생성기의 특권으로 사용한다.

그림 20. 확산 언어 모델을 위한 온-정책 자기 증류: 교사는 동일한 노이즈 제거 궤적의 더 많이 디코딩된 상태를 보고, 학생은 더 노이즈가 많은 상태로부터 학습한다(dOPSD 에서 재현).

추가 생성 연구는 교사 없는 흐름 매칭 모델 , 확산 LM을 위한 자기-미래 증류 , 유도된 노이즈 제거기 자기 증류 , 다중 턴 이미지 편집 , 시점 변화 비디오 , 로봇을 위한 확산 플래너 을 다룬다.

9.5 지속 학습 및 지식 주입

지속 학습은 SDFT 의 동기였으며, 8.4절은 OPSD가 이전 기술을 유지하는 조건을 논의했다. 이 영역의 방법 연구는 교사가 얼마나 멀리 끌어당기는지를 제약한다. iSDFT 는 각 접두사에서 교사를 향한 예산화된 정보 이득을 달성하는 학생에 가장 가까운 분포를 선택한다. 이는 8개 셀 중 7개에서 SDFT보다 과제 기술을 개선하면서 더 많은 벤치마크를 0.5포인트 이내로 유지한다. MixSD 는 지식 주입을 위해 전문가 조건 및 순수 기본 모델 롤아웃의 토큰 수준 혼합에 대해 일반 NLL로 훈련하며, SFT가 46.1로 떨어지는 반면 홀드아웃 정확도를 기본 수준(72.4 대 72.2)으로 유지한다. CODE 는 개방형 자기 교사를 통해 인과적 편집을 가르치고 정적 편집 기준선의 일반 능력 손실을 피한다. 관련 연구는 경험적 및 자기 진화 에이전트 , 다중 교사 재생 , 자기 전문화 도메인 교사 , 기술 기억 내면화 , 정보 비대칭 하의 지식 주입 을 다룬다.

9.6 정렬, 안전 및 개인화

안전을 위해, 특권 컨텍스트는 모델이 어떻게 행동해야 하는지에 대한 설명이며, OPSD는 가능한 한 적은 토큰을 건드리면서 이를 증류한다. OPSA 는 동결된 자기-교사를 유형별 안전 컨텍스트에 조건화하고, 그 컨텍스트를 선택하기 위한 학습-불필요 교사-플립-율 기준을 추가한다. 이는 일치된 데이터의 ThinkSafe 대비 복합 안전 이득 4.0점과 추론 이득 3.0점, 즉 더 작은 "안전 세금"을 보고한다.

그림 21. 온-폴리시 자기-증류에 의한 안전 정렬: 유형별 안전 컨텍스트가 주어진 동결된 자기-교사가 학생 자신의 응답을 감독한다(OPSA 에서 재현).

자기-증류를 통한 다국어 안전 은 병렬 영어 질의를 특권으로 사용하여 LLaMA-3-8B에서 10개 언어 공격 성공률을 21.21%에서 2.03%로 낮추면서 MMMLU는 변화시키지 않는다. ERASE 는 교사에게 동일한 입력의 주입-제거된 뷰를 제공함으로써 다중모달 프롬프트 주입에 방어한다. 개인화의 경우, GRASP 는 사용자별 루브릭 측면을 특권으로 사용하여 네 개의 백본에서 LaMP-QA의 다섯 가지 기준선을 능가한다. 더 넓은 계열에는 판사 훈련 , 루브릭 기반 RL , 캘리브레이션 , 적대적 자기-증류 , 정책 기반 안전 정렬 및 사용자 상호작용으로부터의 학습 이 포함된다. 8.6절에서는 해당 위험을 논의했다: 재귀적 자기-증류는 안전을 침식할 수도 있다.

9.7 효율적 추론

특권 컨텍스트가 정보가 아닌 지시일 때, OPSD는 압축 방법이 된다. CRISP 는 교사를 간결성 지시에 조건화하고 주기적으로 학생으로부터 이를 새로 고친다. Qwen3-14B MATH-500 정확도는 추론 토큰이 56.3% 더 적으면서 93.0%에서 96.3%로 상승하고, AIME 2024에서는 토큰이 37.5% 더 적은 상태에서 정확도가 약간 하락한다(75.0에서 73.8). EGRSD 는 RLSD 스타일 업데이트에 교사-엔트로피 신뢰 게이트를 추가하고 여섯 개 벤치마크에서 정확도–길이 트레이드오프를 개선한다. 사고 모델에 대한 정답-전용 OPSD는 유사하게 압축기로 작동한다 . 추가 연구는 사고 연쇄 또는 시각적 조작을 내면화하고 , 장문 추론을 가지치기하며 , 시각 토큰을 줄이고 , 자기-증류를 통해 다중 토큰 예측 및 추측 초안 작성기 를 훈련한다.

9.8 기타 영역

이 레시피는 언어 추론을 훨씬 벗어난 영역에도 도달했다. 다중 방언 ASR 은 교사-강제 교차 엔트로피를 정답 전사-조건화된 자기-교사를 향한 OPSD로 대체하여 방언 오류율을 개선하면서 만다린 오류를 감소시키는 반면(3.40%에서 3.27%), 지속적 SFT는 이를 4.43%로 높인다. 생성적 추천에서 SA-OPSD 는 학생 자신의 빔 탐색의 부모 상태에서 자기-교사에게 질의하고, 밀집 대안 대비 훈련 비용을 17.77에서 5.79 GPU-시간으로 줄인다. SOLID 는 운영 연구 모델링을 위해 테스트-시간 RL과 선택적 OPSD를 결합하며, 벤치마크 전반에 걸쳐 혼합된 결과를 보인다. 응용은 또한 비전–언어–행동 로봇 , 내비게이션 , 주행 정책 , 검색 및 임베딩 , 의료 에이전트 , 금융 추론 및 연구-계획 생성 을 포함한다.

핵심 요점

  • 각 도메인은 특권을 재정의한다: 에이전트에게는 궤적 회고, 비전과 비디오에게는 입력에 대한 더 나은 시야, 디퓨전에게는 더 나중의 노이즈 제거 상태, 안전에게는 행동 명세, 효율성에게는 지시.
  • 장기 지평 에이전트에서 전체 궤적 OPSD는 흔히 해롭다. 성공적인 레시피는 소수의 결정적 단계를 겨냥하고 결과 기반 RL 목표를 계속 주도하게 둔다.
  • 지각적 특권(크롭, 해상도, 증거 프레임)은 가장 일관되게 긍정적인 멀티모달 설계이며, 정답 레이블이 필요 없다.

10. 리소스: 벤치마크, 프레임워크 및 시스템

OPSD 논문들은 소수의 평가 설정 집합을 공유하며, 이 분야에서 나타나는 겉보기 불일치의 상당 부분은 방법 간의 차이라기보다 그 설정들 간의 차이를 반영한다. 이 장은 조사된 논문들에서 반복되는 설정과 훈련 인프라를 모은다.

10.1 평가 설정

표 9는 심층적으로 읽은 논문들 사이에서 반복적으로 등장하는 벤치마크와 각 벤치마크가 대표하는 체제를 나열한다. 이 목록의 두 가지 특징은 결과를 해석하는 데 중요하다. 첫째, 가장 흔한 추론 설정인 AIME 2024/2025와 HMMT 2025는 벤치마크당 30개의 문제를 포함한다. 따라서 1~2 Avg@12 포인트의 차이는 시드 변동이 만들어낼 수 있는 범위 내에 있으며, 여러 논문이 단일 실행을 보고한다 . 둘째, 창립 과학/도구 설정(SciKnowEval, ToolAlpaca, LiveCodeBench v6)은 SDPO 스타일의 풍부한 피드백을 선호하는 반면, 긴 예산의 사고 모델 평가는 여러 분석이 OPSD가 패배하는 곳으로 찾아낸 지점이다(8장). 이 체제들을 가로지르는 비교에는 주의가 필요하다.

설정체제일반적 지표사용 사례 (예시)
AIME 2024/2025, HMMT 2025 (각 30문제)경시 수학, 짧은 롤아웃, 비사고형 학생Avg@12 또는 mean@16
MATH-500, AMC 2023, GPQA-Diamond수학 및 과학, 레이블 없음 및 테스트 시간 설정avg@k, pass@k
SciKnowEval L3 (4개 영역)풍부한 피드백이 있는 과학 QAmean@16
ToolAlpaca단일 턴 도구 사용정확도
LiveCodeBench v6테스트 피드백이 있는 코드정확도, pass@k
τ-Bench, Travel Planner, BFCL v3다중 턴 도구 사용성공률, Avg@4
ALFWorld, WebShop, Search-QA구현형, 웹 및 검색 에이전트성공, 점수, EM
AppWorld, SWE-bench, R2E-Gym장기 지평 소프트웨어 에이전트작업 목표 완료, pass@1
OSWorld-Verified, AndroidWorld, ScreenSpot-Pro컴퓨터 사용 및 GUI 그라운딩Pass@1, 정확도
HealthBench, RubricHub, ResearchQA루브릭으로 채점되는 개방형 생성루브릭 점수
V*, 비디오 QA 모음 (MLVU, Video-MME)세밀 및 시간적 지각정확도

표 9. 심층 검토 논문들에서 반복적으로 나타난 평가 설정. 포함 규칙: 최소 두 편의 검토 논문에서 대표 벤치마크로 사용된 설정; "사용 사례" 열은 예시를 나열한 것이며, 완전한 전수 조사가 아니다.

10.2 프레임워크 및 훈련 시스템

코퍼스에 있는 대부분의 OPSD 구현은 vLLM 롤아웃과 함께 verl을 기반으로 한다. 공개된 코드는 예외라기보다 드문 경우이다. 심층 검토한 방법론 논문들 중 Self-Distilled Reasoner 와 ROSD 는 공개 저장소를 가리키며, 많은 카드에는 코드, 데이터 또는 체크포인트 공개가 기록되어 있지 않다. EasyOPD 는 그로 인해 발생하는 파편화를 해결한다. 이는 사용자 구성 계층, 방법론-로컬 감독 모듈 및 verl 실행 계층을 분리하고, 다섯 개의 디스패치 훅으로 연결하여, 방법이 이름과 YAML로 선택되도록 한다. EasyOPD의 자체 비교는 또한 8장의 체제 의존성을 보여준다. SDPO는 SciKnowEval Chemistry에서 GRPO를 능가하지만(1시간 후 70.4 대 51.2), GSM8K에서는 뒤진다(87.7 대 91.8).

그림 22. EasyOPD의 3계층 아키텍처로, 여러 온-폴리시 및 자기-증류 방법을 공통 구성 인터페이스 뒤에서 호스팅한다(에서 재현).

OPSD의 비용 프로파일은 RLVR의 그것과 다르다. 프롬프트당 그룹 대신 한 번 또는 몇 번의 롤아웃이 필요하지만, 더 길고 특권적인 컨텍스트에 대한 교사 순전파를 추가하며, 전체 어휘 변형은 로짓도 이동시켜야 한다. 비동기 학습이 주요 시스템적 대응이다. AsyncOPSD 는 버퍼링된 롤아웃에 대해 학습기 내부에서 교사 감독을 재계산하고, 나이 컷오프로 지연(staleness)을 제한하며, 동기식 OPSD보다 약간 더 높은 정확도와 함께 1.96–2.25×의 수용 샘플 처리량을 보고하고, 비동기–동기 목적함수 격차에 대한 경계도 함께 제시한다. 별도 교사 OPD를 연구한 AsyncOPD 는 역-KL 목적함수가 순방향-KL 목적함수보다 지연에 따라 더 빠르게 저하된다는 점과, 중요도 보정되고 학습기에서 재계산된 대리 목적함수가 가장 견고하다는 점을 발견한다. 효율성은 덜 증류함으로써도 얻어진다: C-OPSD는 동등한 정확도에서 응답의 약 4분의 1을 증류하며 , 0.1%의 토큰 예산으로도 충분할 수 있다 . 관련 시스템 연구는 긴 지평을 위한 신선한 롤아웃 , 분기 롤아웃 , 최소제곱 정책 증류 , 예산 인식 선택적 증류 , 효율적인 자기 증류 안전 정렬 을 연구한다.

핵심 요점

  • 경쟁 수학 결과는 30문제 벤치마크에 기반하며, 많은 논문이 단일 실행을 보고한다. 1~2점의 격차는 잠정적으로 읽어야 한다.
  • 결과는 평가 체제(풍부한 피드백 과학 및 도구 대 긴 예산 사고)에 강하게 의존하며, 이는 문헌에서 나타나는 겉보기 불일치의 상당 부분을 설명한다.
  • 공유 인프라는 아직 등장 중이다. 비동기 파이프라인은 처리량을 대략 두 배로 늘리며, 선택적 증류는 교사 비용의 대부분을 제거한다.

11. 향후 방향

앞선 장들은 연구 질문으로 진술하기에 충분히 구체적인 미해결 문제들을 가리킨다. 각각은 그것을 가리키는 초기 연구들과 함께 나열된다.

훈련 전에 특권 정보를 측정하기. 컨텍스트가 도움이 되는지는 현재 훈련을 통해 발견된다. 두 연구는 저렴한 오프라인 양이 결과를 예측함을 보여준다: 사전 훈련 학생–교사 정확도 격차 와 에이전트 컨텍스트에 대한 오류 위치 진단 이다. 순전파만으로 계산하는 편향 점수는 해로운 컨텍스트를 표시하며 , 교사 뒤집힘 비율은 안전 컨텍스트를 선택한다 . 홀드아웃 프롬프트에서 후보 컨텍스트를 점수화하기 위한 공유되고 검증된 프로토콜은 4장의 설계 공간을 일화적이지 않고 탐색 가능하게 만들 것이다.

행동적 특권과 정보적 특권 분리하기. 8.2절의 통제들은 무관하거나 섞인 참조가 올바른 참조만큼 잘 작동할 수 있음을 보여준다 . 교사의 가치가 대체로 행동적이라면, 컨텍스트는 간결성 지시 나 기술 카드 에서처럼 행동 명세로 직접 설계될 수 있으며, 답안 누출 은 구성에 의해 회피될 수 있다. 두 채널을 명시적으로 분해하는 방법, 예를 들어 짝지은 컨텍스트를 대조하는 방법 이 자연스러운 다음 단계이다.

사고 모델을 위한 OPSD. 이 분야에서 가장 명확한 부정적 결과는 OPSD가 긴 예산에서 평가된 사고 모델을 종종 해친다는 것이다 . 후보 해결책으로는 고엔트로피 영역에서 기본 사전에 고정하기 , 검증된 궤적만 감독하기 , 불일치 모드 교사가 있다. 아직 어느 것도 OPSD를 긴 예산 사고 모델에 대한 신뢰할 수 있는 개선으로 바꾼다는 것이 입증되지 않았다.

붕괴 저항 목표. 다양성 손실 , 클리핑으로 인한 루프 , 발산에 의해 제어되는 엔트로피 변화 는 이제 개별적으로 이해되고 있다. 빠진 것은 보장된 커버리지를 갖는 목표, 예를 들어 RL이 그러하듯 동등하게 옳은 응답들의 상대적 가중치를 그 최적점이 보존하며, Pass@1뿐 아니라 Pass@k로도 평가되는 목표이다.

제어 문제로서의 교사 역학. 게이트 갱신 , 훈련된 교사 , 전방 탐색 교사 는 각자의 설정에서 고정된 교사보다 개선되지만, 동일한 연산량 조건이나 모델 계열 전반에 걸쳐 비교된 적은 없다. 측정된 교사–학생 격차 에 적응하는 교사 갱신 정책은 미해결된 설계 과제이다.

스케일링과 재현. 검토된 증거의 거의 전부는 14B 파라미터 이하의 모델, 흔히 Qwen3에서 나온 것이며, 30개 문제 벤치마크에 대한 단일 실행이다(10장). 5–7장의 1~3포인트 개선을 순위화하려면 더 큰 모델, 다른 계열, 다중 시드 보고가 필요하다.

장기 지평 에이전트. 에이전트 결과는 전체 궤적 OPSD 보다 표적화된 게이트 증류를 선호하며, 피드백 증강 자기 증류는 검색 에이전트에서 완전히 실패할 수 있다 . 어떤 단계가 특권적 목표를 받을 자격이 있는지, 그리고 이를 선택하는 분석기를 어떻게 검증할지에 대한 원리적 설명은 많은 에이전트 특화 레시피를 통합할 것이다.

행동 부작용과 안전. 재귀적 자기 증류는 무해한 맥락을 유해 준수 행동의 큰 변화로 증폭시킬 수 있다 . OPSD가 안전 과 개인화 에 사용됨에 따라, 거부 행동과 캘리브레이션 처럼 훈련 목표 외부의 속성에 대한 정기적 감사가 평가의 일부가 되어야 한다.

mermaid
flowchart LR M[Measure privilege offline] --> D[Design context as behavior or information] D --> O[Collapse-resistant objective] O --> T[Adaptive teacher dynamics] T --> S[Scale and replicate] S --> A[Audit side effects] A -. feedback .-> M

그림 23. 미해결 문제들을 연결하는 연구 루프: 오프라인 측정이 맥락 설계에 정보를 주고, 이는 목표와 교사 역학을 제약한다. 그런 다음 결과는 규모에 맞게 재현되고 부작용에 대해 감사되어야 한다.

12. 결론

온-폴리시 자기 증류는 한 복사본에 다른 복사본이 갖지 못할 정보를 부여함으로써 언어 모델을 스스로의 교사로 만든다. 열 달 만에 이 아이디어는 파이프라인 수준에서 일관된 방대한 문헌을 낳았다. 모든 방법은 특권적 맥락, 토큰 수준 신호를 형성하는 방식, 교사 갱신 규칙, 검증기와의 관계를 선택한다. 맥락의 선택은 방법이 적용되는 곳을 결정한다: 검증 가능한 추론을 위한 참조 해답, 상호작용 과제를 위한 피드백과 사후 분석, 개방형 생성을 위한 루브릭과 스킬, 멀티모달 모델을 위한 지각적 뷰, 확산 모델을 위한 이후 디노이징 상태, 그리고 레이블이 존재하지 않을 때의 합의.

이 증거는 창립 논문들이 제시할 수 없었던 더 구체적인 결론들도 뒷받침한다. OPSD는 특권적 맥락(privileged context)이 학생 자신의 접두사(prefix)에서 동일한 모델을 명확히 더 우수하게 만들 때 가장 신뢰할 수 있다. 이는 특히 사고(thinking)를 하지 않는 학생, 짧은 롤아웃(rollout), 풍부한 환경 피드백에서 분명하게 성립하며, 긴 예산(long budget)에서 평가되는 사고 모델(thinking model)에서는 종종 실패한다. 교사(teacher)의 이점 중 상당 부분은 정답 특정적이라기보다 행동적(behavioral)인 것으로 보인다. 균등 분포 매칭(uniform distribution matching)은 출력 분포를 좁히는 경향이 있으며 지속적 학습(continual training)에서 표류(drift)할 수 있다. 가장 널리 퍼진 설계들은 이러한 발견에 대응하여 검증기(verifier)나 결과 신호(outcome signal)가 업데이트의 방향을 설정하도록 하고, 자기 교사(self-teacher)를 토큰 수준의 크기(token-level magnitude)나 소수의 표적화된 단계에 사용한다. 여전히 미해결로 남은 것은 훈련 전에 특권적 맥락의 가치를 측정하는 방법, 붕괴(collapse)에 대해 증명 가능하게 저항하는 목적 함수(objective), 그리고 지금까지 연구된 범위를 넘어선 규모와 모델 계열에서의 증거이다.

부록 A. 범위, 검색 및 선별

기준 시점 및 출처. 코퍼스는 2026년 11월 3일까지의 arXiv 제출물을 포함하며, 검색은 2026년 11월 4일에 arXiv 기반 논문 라이브러리에서 수행되었다. 두 경로가 결합되었다: 제목이나 초록에 self-distillation 또는 on-policy self-distillation 용어와 on-policy training 용어를 함께 요구하는 키워드 경로(366편), 그리고 주제 설명에 가장 가까우면서 2025년 6월 1일 이후 제출된 700편을 반환하는 의미론적 경로. 이들의 합집합은 822편을 포함한다. 의미론적 순위의 꼬리 부분은 대부분 별도 교사(separate-teacher) on-policy 증류와 일반적 지식 증류로 구성되었으며, 이것이 중단 기준이 되었다.

선별. 각 후보는 포함 기준에 비추어 판정되었다: 교사 분포는 학생이 보지 못하는 정보나 입력 하에서 학생 자신의 가중치로부터 나와야 하며, 감독(supervision)은 학생 자신의 샘플에 적용되어야 한다. 이 기준은 표본에서 보정된 후 LLM 기반 판정자(judge)에 의해 822개 후보 전체에 적용되었다. 판정자는 475편을 포함시켰고, 검색에서 누락된 주제 관련 논문 3편이 수동으로 추가되어 478편의 코퍼스가 되었다. 소수의 포함 논문은 방법의 일부에 별도 교사를 사용하며, 이들은 경계 사례(boundary case)로 표시되고 그 발견이 자기 증류와 관련되는 경우에만 인용된다.

분류 및 읽기 깊이. 논문들은 LLM 기반 다중 레이블 분류기(multi-label classifier)에 의해 3장의 두 축으로 분류되었다. 총 144편이 전문 정독되어 메커니즘, 설정, 핵심 증거, 한계, 그림을 다루는 구조화된 카드로 요약되었다. 이들은 창립 연구, 각 리프(leaf)의 가장 대표적인 방법, 통제된 분석, 주요 응용 논문으로 선정되었으며, 본문의 메커니즘 및 결과 설명은 이 논문들로 제한된다. 나머지 논문들은 초록에서 인용되며, 각 논문이 스스로 한다고 밝힌 내용만을 진술하는 묶음 문장으로 제시된다.

한계. 코퍼스는 arXiv 프리프린트로 제한되며, 대부분은 기준 시점에 동료 심사를 거치지 않았으므로 일부 결과는 이후 버전에서 바뀔 수 있다. LLM 지원 선별 및 분류는 개별 논문을 잘못 표시할 수 있다. 보고된 수치는 저자 자신의 것이며 이질적인 설정에서 비롯된 것이므로, 본문에서 그렇게 명시하지 않는 한 논문 간에 비교 가능하지 않다.

References

[1] Siyan Zhao, Zhihui Xie, Mengchen Liu, et al. Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models. 2026. arXiv preprint. arXiv:2601.18734

[2] Jonas Hübotter, Frederike Lübeck, Lejs Behric, et al. Reinforcement Learning via Self-Distillation. 2026. arXiv preprint. arXiv:2601.20802

[3] Idan Shenfeld, Mehul Damani, Jonas Hübotter and Pulkit Agrawal. Self-Distillation Enables Continual Learning. 2026. arXiv preprint. arXiv:2601.19897

[4] Yuki Ichihara, Naoto Iwase, Mohammad Atif Quamar, Junpei Komiyama. Privileged Solutions or Context-Induced Teacher Behavior? Dissecting On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.09228

[5] Qingyuan Zheng, Zhihao Dou. Shuffled OPSD: When Semantic Consistency Hurts On-Policy Self-Distillation?. 2026. arXiv preprint. arXiv:2611.04958

[6] Simran Kaur and Narutatsu Ri and Yinghui He and Liam Fowl and Sanjeev Arora. Rethinking On-Policy Self-Distillation for Thinking Models. 2026. arXiv preprint. arXiv:2607.05184

[7] Yang Li, Gongle Xue, Yuheng Yuan, et al. Diagnosing On-Policy Self-Distillation for Reasoning Language Models. 2026. arXiv preprint. arXiv:2609.39118

[8] Meng Wang, Haohan Zhao, Wenzhuo Liu, et al. Denser ≠\neq Better: Limits of On-Policy Self-Distillation for Continual Post-Training. 2026. arXiv preprint. arXiv:2607.01763

[9] Mingyang Song, Mao Zheng. A Survey of On-Policy Distillation for Large Language Models. 2026. arXiv preprint. arXiv:2604.00626

[10] Fangming Cui, Sunan Li, Jiahong Li. A Brief Overview: On-Policy Self-Distillation In Large Language Models. 2026. arXiv preprint. arXiv:2605.18141

[11] Bowen Zhang. A Formula-Driven Survey and Research Agenda for On-Policy Distillation. 2026. arXiv preprint. arXiv:2606.22793

[12] Justin Robert, Raheel Qader. One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.25936

[13] Tianzhu Ye, Li Dong, Xun Wu, Shaohan Huang, Furu Wei. On-Policy Context Distillation for Language Models. 2026. arXiv preprint. arXiv:2602.12275

[14] Emiliano Penaloza, Dheeraj Vattikonda, Nicolas Gontier, Alexandre Lacoste, Laurent Charlin, Massimo Caccia. Privileged Information Distillation for Language Models. 2026. arXiv preprint. arXiv:2602.04942

[15] Yuda Song, Lili Chen, Fahim Tajwar, et al. Expanding the Capabilities of Reinforcement Learning via Text Feedback. 2026. arXiv preprint. arXiv:2602.02482

[16] Ken Ding. HDPO: Hybrid Distillation Policy Optimization via Privileged Self-Distillation. 2026. arXiv preprint. arXiv:2603.23871

[17] Chenxu Yang, Chuanyu Qin, Qingyi Si, et al. Self-Distilled RLVR. 2026. arXiv preprint. arXiv:2604.03128

[18] Yinghui He, Simran Kaur, Adithya Bhaskar, et al. Self-Distillation Zero: Self-Revision Turns Binary Rewards into Dense Supervision. 2026. arXiv preprint. arXiv:2604.12002

[19] Hao Wang, Guozhi Wang, Han Xiao, et al. Skill-SD: Skill-Conditioned Self-Distillation for Multi-turn LLM Agents. 2026. arXiv preprint. arXiv:2604.10674

[20] Qianhao Yuan, Jie Lou, Xing Yu, et al. Vision-OPD: Learning to See Fine Details for Multimodal LLMs via On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2605.18740

[21] Guobin Shen, Xiang Cheng, Chenxiao Zhao, et al. Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information. 2026. arXiv preprint. arXiv:2605.11609

[22] Dengyang Jiang, Xin Jin, Dongyang Liu, et al. D-OPSD: On-Policy Self-Distillation for Continuously Tuning Step-Distilled Diffusion Models. 2026. arXiv preprint. arXiv:2605.05204

[23] John Gkountouras, Josip Juki'c, Ivan Titov. Consensus as Privileged Context for Label-Free Self-Distillation. 2026. arXiv preprint. arXiv:2607.13643

[24] Phuong Tuan Dat, Qi Li, Xinchao Wang. dOPSD: On-Policy Self-Distillation for Diffusion Language Models. 2026. arXiv preprint. arXiv:2607.04428

[25] Xidong Wu, Qi Qi, Yuqiong Ji, Shangqian Gao. Asynchronous On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.25880

[26] Vaskar Nath, Elaine Lau, Anisha Gunjal, Manasi Sharma, Nikhil Baharte, Sean Hendryx. Adaptive Guidance Accelerates Reinforcement Learning of Reasoning Models. 2025. arXiv preprint. arXiv:2506.13923

[27] Zizhuo Zhang, Jianing Zhu, Xinmu Ge, et al. Co-rewarding: Stable Self-supervised RL for Eliciting Reasoning in Large Language Models. 2025. arXiv preprint. arXiv:2508.00410

[28] Hyeonji Lee, Daejin Jo, Seohwan Yun, Sungwoong Kim. SGPO: Self-Generated Preference Optimization based on Self-Improver. 2025. ACM Trans. Intell. Syst. Technol. 2026. arXiv:2507.20181

[29] Shrenik Bhansali, Larry Heck. Draft, Verify, and Improve: Toward Training-Aware Speculative Decoding. 2025. arXiv preprint. arXiv:2510.05421

[30] Kanghui Tian, Siyuan Liu, Tianxiang Jiang, et al. What Should a Self-Teacher See? Privileged Context Design for On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2609.25623

[31] Ziqi Zhao, Xinyu Ma, Liu Yang, et al. Beyond Imitation: Reflective On-Policy Self-Distillation for LLM Reasoning. 2026. arXiv preprint. arXiv:2605.28014

[32] Deepika Bablani, Ajay Gupta, Wanming Chen. Rubrics as Privileged Information for Open-Ended Generation. 2026. arXiv preprint. arXiv:2608.02948

[33] Yubo Jiang, Fengying Xie, Zhiguo Jiang, Haopeng Zhang. Distill Skills into Weights, Not Prompts: Abstract Skills as Privileged Signals for On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.09826

[34] Ye Liu, Srijan Bansal, Bo Pang, et al. Procedural Memory Distillation: Online Reflection for Self-Improving Language Models. 2026. arXiv preprint. arXiv:2607.01480

[35] Yijiang Li, Bingyang Wang, Yijun Liang, Yunjie Tian, Di Fu, Nuno Vasconcelos. On-Policy Self-Distillation without Any Supervision. 2026. arXiv preprint. arXiv:2608.06296

[36] Yecheng Wu, Song Han, Han Cai. Weaken to Strengthen: Weakening-Induced On-Policy Self-Distillation for Large Reasoning Models. 2026. arXiv preprint. arXiv:2610.38681

[37] Jiaxuan Wang, Xuan Ouyang, Zhiyu Chen, Yulan Hu, Lan-Zhe Guo. STEPS: Selective On-Policy Self-Distillation for Reasoning. 2026. arXiv preprint. arXiv:2605.10194

[38] ZhiYan Hou, Xinyu Tang, Hongyan An, et al. DASH: Divergence-Adaptive Supervision Horizons for On-Policy Self-Distillation of Reasoning Models. 2026. arXiv preprint. arXiv:2608.06243

[39] Minjae Oh, Sangjun Song, Gyubin Choi, Yunho Choi, Yohan Jo. KL for a KL: On-Policy Distillation with Control Variate Baseline. 2026. arXiv preprint. arXiv:2605.07865

[40] Guobin Shen, Lei Huang, Xiang Cheng, et al. From Generic Correlation to Input-Specific Credit in On-Policy Self Distillation. 2026. arXiv preprint. arXiv:2605.11613

[41] Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He and Zhipeng Wang. PACED: Distillation and On-Policy Self-Distillation at the Frontier of Student Competence. 2026. arXiv preprint. arXiv:2603.11178

[42] Harrison Zhao, Lei Huang, Zhiyuan Zhao, Fei Liu, Wen Shi, Zijian Jin. Not Every Rollout Needs Distillation: Correctness-Filtered On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.25842

[43] Haowei Guo, Baolong Bi, Ruicheng Zhang, Cong Li, Bingqian Sun, Zhonghai Wu. When Should the Teacher Move? Temporal Coupling and Stability in Self On-Policy Distillation. 2026. arXiv preprint. arXiv:2606.03532

[44] Yutong Chen, Guangfu Guo, Zhichao Xu, Kunpeng Liu. DualOPSD: Closing the Feedback Loop in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.26019

[45] Randy Ardywibowo, Arnav Dalal, Jiantao Jiao. A Good Self-Teacher Meets the Student Where They Are: Joint On-Policy Learning and Teaching. 2026. arXiv preprint. arXiv:2610.10447

[46] Zheng Zhang, Xinyue Tan, Lufei Li, Xinyi Zhang, Yexin Li, Kan Ren. Train Ahead, Distill Back: Bootstrapping On-Policy Self-Distillation for Large Language Models. 2026. arXiv preprint. arXiv:2609.37132

[47] Chuanyu Qin, Chenxu Yang, Qingyi Si, et al. Learning from the Near Future: Temporal Self-Distillation for RLVR. 2026. arXiv preprint. arXiv:2604.20733

[48] Leyi Pan, Shuchang Tao, Yunpeng Zhai, et al. RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2606.11709

[49] Gengsheng Li, Tianyu Yang, Junfeng Fang, et al. Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing. 2026. arXiv preprint. arXiv:2604.02288

[50] Yubo Zhang and Xinhong Ma and Zezhong Tan and Ziqiang Dong. I-SDPO: Instance-Level Adaptive Self-Distillation Policy Optimization. 2026. arXiv preprint. arXiv:2608.12957

[51] Tommy He, Jerome Sieber, Matteo Saponati. A Predictive Law for On-Policy Self-Distillation From World Feedback. 2026. arXiv preprint. arXiv:2605.30070

[52] Andrei Liviu Nicolicioiu and Mohammad Pezeshki and Aaron Courville. On-Policy Self-Distillation with Sampled Demonstrations Reduces Output Diversity. 2026. arXiv preprint. arXiv:2606.26091

[53] Jinyang Wu and Shuo Yang and Zhengxi Lu and Fan Zhang and Yuhao Shen and Lang Feng and Haoran Luo and Zheng Lian and Shuai Zhang and Zhengqi Wen and Jianhua Tao. SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2607.14777

[54] Ziyue Wang, Shiqi Huang, Weiwen Xu, Bihan Wen, Xudong Jiang. Video-OPSD: Exploiting Privileged Visual Evidence for On-Policy Self-Distillation in Video Large Language Models. 2026. arXiv preprint. arXiv:2608.27065

[55] Yu Fu, Longxuan Yu, Haz Sameen Shahgir, et al. Reducing the Safety Tax in LLM Safety Alignment with On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2605.15239

[56] Hejian Sang, Yuanda Xu, Zhengze Zhou, Ran He, Zhipeng Wang, Jiachen Sun. CRISP: Compressed Reasoning via Iterative Self-Policy Distillation. 2026. arXiv preprint. arXiv:2603.05433

[57] Zihao Han, Tiangang Zhang, Huaibin Wang, Yilun Sun. Adaptive Teacher Exposure for Self-Distillation in LLM Reasoning. 2026. arXiv preprint. arXiv:2605.11458

[58] Khouloud Saadi and Di Wang. One Teacher, Many Views: Reducing Reference Sensitivity in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.30880

[59] Xuyang Zhao, Liting Zhang, Zichen Xu, et al. Is More Privileged Information Better? From Solution Traces to Problem-Solving Structure in Self-Distilled Reasoning. 2026. arXiv preprint. arXiv:2608.01589

[60] Zhanming Shen, Jintao Tong, Shaotian Yan, et al. Purified OPSD: On-Policy Self-Distillation Without Losing How to Think. 2026. arXiv preprint. arXiv:2607.02234

[61] Kaixiang Zhao, Tianrun Yu, Shangzhe Li, et al. Recovering Reliable Supervision via Critique-Guided On-Policy Distillation. 2026. arXiv preprint. arXiv:2610.20572

[62] Chenglei Shen, Haoyang Yao, Weijie Yu, Song Jin, Xiao Zhang, Jun Xu. Learning from Repaired Reasoning: Root-Cause-Guided On-Policy Distillation. 2026. arXiv preprint. arXiv:2610.03515

[63] Weichen Yu, Xiaomin Li, Yizhou Zhao, et al. Multi-Rollout On-Policy Distillation via Peer Successes and Failures. 2026. arXiv preprint. arXiv:2605.12652

[64] Jiaxin Guo, Yanwei Yue, Xuanbo Fan, Chunyu Yang, Yan Zhang. Learning from Consensus and Disagreement: Unsupervised On-Policy Self-Distillation with Minority-Trajectory Contrast. 2026. arXiv preprint. arXiv:2608.08764

[65] Leon Sick, Lukas Hoyer, Yannick Strümpler, Christian Reisswig, Timo Ropinski, Federico Tombari. On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models. 2026. arXiv preprint. arXiv:2610.32770

[66] Zhiquan Tan, Yinrong Hong. PAINT: Partial-Solution Adaptive Interpolated Training for Self-Distilled Reasoners. 2026. arXiv preprint. arXiv:2604.26573

[67] Yangrong Hu, Xueyu Zhou, Yue Wu, Jian Huang. Self-Privileged Fine-Tuning. 2026. arXiv preprint. arXiv:2611.04632

[68] Samyak Shrestha, Alexander Tessier. Rethinking Privileged Information in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.18271

[69] Mayug Maniparambil, Ayush Rai, Ekansh Verma, Noel E. O'Connor, Fergal Reid. A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning. 2026. arXiv preprint. arXiv:2610.13744

[70] Yafeng Tang, Hao Li, Hongsheng Yu, Qiang Fu. ReTeach: Building a Self-Teacher through Multi-Round Reflection and Retry. 2026. arXiv preprint. arXiv:2610.11529

[71] Wenjie Gan, Zhaoxi Zhang, Jiahui Liang, et al. Enhancing Bug-Exposing Test Generation via Step-Level Credit Assignment and Self-Distillation from Valuable Failures. 2026. arXiv preprint. arXiv:2610.27694

[72] Haoyu Dong. Self-Distillation Policy Optimization via Visual Feedback: Bridging Code and Visual Artifacts. 2026. arXiv preprint. arXiv:2606.10334

[73] Zenghuang Fu, Zhaoyang Li, Qiuyuan Ai, et al. UniOPSD: Unifying Outcome and Hindsight Feedback for Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2609.34810

[74] Thomas Kleine Buening and Jonas Hübotter and Barna Pásztor and Idan Shenfeld and Giorgia Ramponi and Andreas Krause. Aligning Language Models from User Interactions. 2026. arXiv preprint. arXiv:2603.12273

[75] Xuancheng Li, Haitao Li, Yujia Zhou, et al. Different Feedback, Different Updates: Selective Self-Learning from User Interactions for Large Language Models. 2026. arXiv preprint. arXiv:2608.09109

[76] Yuwei Zhang, Sha Li, Changlong Yu, et al. Learning with Rare Success but Rich Feedback via Reflection-Enhanced Self-Distillation. 2026. arXiv preprint. arXiv:2605.12741

[77] Johnny Yu, Cyril Gorlla. How Much Does the Hint Matter? Scope Conditions for Hindsight Self-Distillation in Financial Reasoning. 2026. arXiv preprint. arXiv:2610.36082

[78] Gaetan Narozniak, Gérard Biau, Rémi Munos, Ahmad Rammal, Pierre Marion. Distilling LLM Feedback for Lean Theorem Proving. 2026. arXiv preprint. arXiv:2605.30861

[79] Yang Li, Erik Nijkamp, Semih Yavuz, Shafiq Joty. Learning from Language Feedback via Variational Policy Distillation. 2026. arXiv preprint. arXiv:2605.15113

[80] MohammadHossein Rezaei and Anas Mahmoud and Zihao Wang and Utkarsh Tyagi and Advait Gosai and Razvan-Gabriel Dumitru and Aakash Sabharwal and Bing Liu and Yunzhong He. Rubric-Guided Self-Distillation: Post-Training Without Rubric Verifiers. 2026. arXiv preprint. arXiv:2606.12507

[81] Rui Xu, Yikai Zhang, Aili Chen, Zicheng Zhao, Xu Yinghui, Libo Wu. OSPD: On-Policy Self-Distillation for Persona-Consistent Dialogue. 2026. arXiv preprint. arXiv:2609.34418

[82] Huayi Lai, Jicheng Yang, Min Yi, Chong Meng. MIRROR: From Imitation to Internalization in LLM Personalization. 2026. arXiv preprint. arXiv:2610.09795

[83] Mingfeng Lin, Chengfei Cai, Lin Xu, Chengqian Ma, Yuxiang Wei, Liang Han. PE-OPSD: Internalizing Prompt Enhancement into Flow-matching Models via On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2609.36638

[84] Ming Wen, Yuxuan Liu, Kun Yang, et al. Constitutional On-Policy Safe Distillation. 2026. arXiv preprint. arXiv:2606.03089

[85] Yingzi Ma, Zichen Zhu, Ming Jiang, Chaowei Xiao. One Student, Many Teachers: Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context. 2026. arXiv preprint. arXiv:2607.18293

[86] Wei Fan, Qingyue Yang, Chao-Hong Tan, et al. LoOPSD: On-Policy Self-Distillation with Looped Teachers. 2026. arXiv preprint. arXiv:2610.18162

[87] Aozhe Wang, Zhengxi Lu, Jianze Wang, et al. TTPO: Test-Time Policy Optimization. 2026. arXiv preprint. arXiv:2608.27448

[88] Luke Bailey, Kaiyue Wen, Kefan Dong, Tatsunori Hashimoto, Tengyu Ma. Scaling Self-Play with Self-Guidance. 2026. arXiv preprint. arXiv:2604.20209

[89] Zhenyu Liu, Zhangquan Chen, Keyi Chen, et al. Spatial-OPSD: Self-Improving Spatial Reasoning via Label-Free Self-Distillation. 2026. arXiv preprint. arXiv:2609.37055

[90] Xiaoshu Chen, Sihang Zhou, Ke Liang, Xinwang Liu. SeOPD: Self-Evolving LLMs via Online Policy Distillation from Self-Generated Chain-of-Thought. 2026. arXiv preprint. arXiv:2609.33181

[91] Jinhao Pan, Bowen Wei, Yuqing Zhou, Ziwei Zhu. Learning from Self-Generated Responses: Reliability--Uncertainty Self-Distillation for Reasoning. 2026. arXiv preprint. arXiv:2610.19176

[92] Xiaogeng Liu, Xinyan Wang, Yingzi Ma, Yechao Zhang, Chaowei Xiao. When Are Teacher Tokens Reliable? Position-Weighted On-Policy Self-Distillation for Reasoning. 2026. arXiv preprint. arXiv:2605.21606

[93] Huanxin Sheng, Zhiling Ye, Haonan Wang, Jian Wang, Jinjie Gu and Jian Kang. 1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation. 2026. arXiv preprint. arXiv:2609.24432

[94] Heng Liang, Xinwen Zhang, Hongchang Gao. Learning What to Distill: Bilevel Top-K Token Selection for Self-Distillation in Large Language Models. 2026. arXiv preprint. arXiv:2610.07247

[95] Yifu Luo, Chuang Ma, Zeyu Chen, Enkelejda Kasneci, Qi Chen, Gjergji Kasneci. Every Token Needs Its Own Teacher: Multi-teacher Adaptive On-policy Self-distillation. 2026. arXiv preprint. arXiv:2610.40574

[96] Duy Nguyen, Hanqi Xiao, Archiki Prasad, et al. AVSD: Adaptive-View Self-Distillation by Balancing Consensus and Teacher-Specific Privileged Signals. 2026. arXiv preprint. arXiv:2605.20643

[97] Xingrun Xing, Haoqing Wang, Boyan Gao, Ziheng Li, Yehui Tang. Trust Region On-Policy Distillation. 2026. arXiv preprint. arXiv:2606.01249

[98] Yifei Liu, Minghao Fang, Xinyu Gu, et al. E2^2-OPSD: Taming Entropy Overshoot in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.05048

[99] Yugu Li, Zehong Cao, Peizhen Li, Yang Zhang, Siyi Hu, Jianglin Qiao. Can We Trust the Teacher? Decoupled Credit Direction-Magnitude for Self-Distillation. 2026. arXiv preprint. arXiv:2609.34848

[100] Meilin Yang, Zixuan Ding (1), Jianhao Nie, et al. Adaptive Supervised Anchoring for On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.07935

[101] Zehao Liu, Yuanpu Cao, Jinghui Chen, Vasant G. Honavar. Restoring the Sweet Spot: Pass-Rate Weighted Self-Distillation for LLM Reasoning. 2026. arXiv preprint. arXiv:2605.27765

[102] Xincheng Wei, Yifan Ding, Yoshua Li, et al. Better Supervision Is Nearby: Neighborhood On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2609.39687

[103] Qiangqiang He, Zhongheng Wu, ZiJian Wang. Not All Tokens Deserve Equal Credit: Counterfactual Sensitivity Credit Reallocation for Long-CoT Reasoning. 2026. arXiv preprint. arXiv:2607.27888

[104] Ilgee Hong, Changlong Yu, Zhenghao Xu, et al. Training LLM Judges from Language Feedback via Position-Selective Self-Distillation. 2026. arXiv preprint. arXiv:2609.38792

[105] Seohyun Lee, Dong-Jun Han, Seyyedali Hosseinalipour, Christopher G. Brinton. Fisher-Informed Recalibration for Feedback-Based On-Policy Self-Distillation of LLMs. 2026. arXiv preprint. arXiv:2609.34009

[106] Xuan-Phi Nguyen, Zeyu Leo Liu, Yang Li, et al. Privileged Likelihood Is Not Automatically Value: Three Checks for Token Credit in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.09263

[107] Zewen Ding, Zezhong Wu, Zhou Tao, et al. VISTA: Verifier-Informed Student-to-Teacher Adaptation for On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.28306

[108] Yangyang Feng, Zhuoyan Feng, and Junlan Chen. PAST: Privileged Adaptation from Complete Student Trajectories for On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.08726

[109] Shufan Shen, Zhongni Hou, Chao Bi, Yufei Zhang, Guojun Yin, Shuhui Wang. On-Policy Self-Distillation with Teacher Evolution. 2026. arXiv preprint. arXiv:2610.38637

[110] Zile Wang, Zijian Li, Haodong Wang, et al. Teach to Learn: Hint Annealing for Self-improving LLM Reasoning. 2026. arXiv preprint. arXiv:2609.34975

[111] Zepeng Zhai, Meilin Chen. Teach Me After You Learn It: Lookahead Self-Distillation for RLVR. 2026. arXiv preprint. arXiv:2610.18256

[112] Cheng Yang, Jiayang Lyu, Shangyuan Liu, et al. iCoder-27B: Recursive AI-Led Development of Frontier Industrial Coding Model. 2026. arXiv preprint. arXiv:2609.29626

[113] Yifeng Liu, Shiyuan Zhang, Yifan Zhang, Quanquan Gu. Self-Distilled Policy Gradient. 2026. arXiv preprint. arXiv:2606.04036

[114] Ahmed Heakl, Abdelrahman M. Shaker, Youssef Mohamed, et al. CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization. 2026. arXiv preprint. arXiv:2605.19436

[115] Zhenrui Yue, Huimin Zeng, Yueqi Wang, et al. SIPO: Unifying Reinforcement Learning with On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2609.36742

[116] ZheXu Wang, Mao-Lin Luo, Yankun Hong, et al. Outcome-Guided On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.05070

[117] Suwan Yoon, Seongryong Jung, Changhee Lee. Correctness-Dependent Asymmetric Target Distributions for Self-Distillation Policy Optimization. 2026. arXiv preprint. arXiv:2610.25973

[118] Jiawei Xu, Minghui Liu, Juzheng Zhang, Tom Goldstein, Furong Huang. β\beta-OPSD: Deriving with Policy Optimization, Training with Self-Distillation. 2026. arXiv preprint. arXiv:2607.28582

[119] Xuewei Yang, Jiachen Yu, Jie Wu, Shaoning Sun, Junjie Wang, Yujiu Yang. Internalize the Temperature: On-Policy Self-Distillation as Policy Reheater for Reinforcement Learning. 2026. arXiv preprint. arXiv:2606.00755

[120] Junlong Ke, Zichen Wen, Weijia Li, Conghui He, Linfeng Zhang. Respecting Self-Uncertainty in On-Policy Self-Distillation for Efficient LLM Reasoning. 2026. arXiv preprint. arXiv:2605.13255

[121] Shuning Wang, Zhiheng Wu, Xun Zhou, et al. TTRSD: Test-Time Reinforcement Learning with Self-Distillation for Vision-Language Models. 2026. arXiv preprint. arXiv:2609.33414

[122] Jason Ken Adhinarta, Raina Wu, Ashutosh Sharma, et al. Does self-distillation improve reasoning?. 2026. arXiv preprint. arXiv:2610.18613

[123] Jaehoon Kim, Dongha Lee. Hindsight Compacts but Does Not Repair: Rethinking On-Policy Self-Distillation in Reasoning Models. 2026. arXiv preprint. arXiv:2605.06188

[124] Sarthak Harne, Chinmay Karkar, Yash Pandya, Ahmed Awadallah, Akshay Nambi. Privileged, but Biased: How PI-Conditioned Teachers Break Self-Distillation. 2026. arXiv preprint. arXiv:2608.04794

[125] Siqi Zhu, Xuyan Ye, Hongyu Lu, Weiye Shi, Ge Liu. The Many Faces of On-Policy Distillation: Pitfalls, Mechanisms, and Fixes. 2026. arXiv preprint. arXiv:2605.11182

[126] Kaijian Zou, Emiliano Penaloza, MohammadHossein Rezaei, et al. Predicting Privileged Information Effectiveness for On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.22512

[127] Mohammadreza Armandpour, Fatih Ilhan, David Harrison, et al. Unmasking On-Policy Distillation: Where It Helps, Where It Hurts, and Why. 2026. arXiv preprint. arXiv:2605.10889

[128] XiuYu Zhang, Wei Chow, Junfeng Fang, Xingyu Zhu, Zhenkai Liang, Tat-Seng Chua. What Does Privileged Information Add to On-Policy Self-Distillation?. 2026. arXiv preprint. arXiv:2609.20612

[129] Ravenor Davion, Nick Rui. Privileged Context as Drift in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.07842

[130] Keqin Peng, Chen Li, Yuanxin Ouyang, Yancheng Yuan, Liang Ding. Diagnosing and Mitigating Thinking Collapse in On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2607.10805

[131] Di Huang, Hao Li, Yixin Chen, Fuhai Li. When Clipping Reverses Correction: Failure Dynamics of Pointwise Forward-KL On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2609.38995

[132] Nicolas Zucchet, Scott W. Linderman. Divergence controls entropy in distillation. 2026. arXiv preprint. arXiv:2610.03529

[133] Anton Baumann, Akmal Ashirmatov, Leo Schmidt-Traub, et al. On Repulsive and Attractive Teachers: Separating Correctness from Behavior in Self-Distillation. 2026. arXiv preprint. arXiv:2609.21561

[134] Shinichi Uemura, Taiji Suzuki. Learning without Overwriting: A Theory of Self-Distillation and Supervised Fine-Tuning in Continual Reasoning. 2026. arXiv preprint. arXiv:2610.05200

[135] Chen Henry Wu and Thomas Zhang and Aditi Raghunathan. Off-Policy Merging Beats On-Policy Self-Distillation for Continual Learning. 2026. arXiv preprint. arXiv:2610.05872

[136] Luis Zuin, Alexis Huet, Dario Rossi, Zied Ben Houidi. Disentangling Self-Distillation: Measuring and Modeling Acquisition and Retention. 2026. arXiv preprint. arXiv:2609.39494

[137] Md. Ismail Hossain, Humaira Kousar and Isidora Chara Tourni. Overcoming Scaling Limits in On-Policy Self-Distillation for LLM Reasoning. 2026. arXiv preprint. arXiv:2609.37915

[138] Lei Zhao, Qichao Zhao, Bowen Zuo, Qishi Zhan. Why On-Policy Distillation Sometimes Fails: Vanishing Learning Signals. 2026. arXiv preprint. arXiv:2610.11247

[139] Karim Abdel Sadek and Federico Di Gennaro and Fanny Yang. Progressive Misalignment Can Emerge from Benign Recursive Self-Distillation. 2026. arXiv preprint. arXiv:2610.22467

[140] Shuo Yang and Jinyang Wu and Zhengxi Lu and Yuhao Shen and Fan Zhang and Lang Feng and Shuai Zhang and Haoran Luo and Zheng Lian and Zhengqi Wen and Jianhua Tao. OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2606.26790

[141] Qirui Liu, Wei Cao, Yu Mi, et al. SCOPE: Selective Critical-Step On-Policy Self-Distillation for Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2610.38391

[142] Woongyeong Yeo, Yumin Choi, Taekyung Ki, Sung Ju Hwang. HINT-SD: Targeted Hindsight Self-Distillation for Long-Horizon Agents. 2026. arXiv preprint. doi:10.18653/2026.findings-emnlp.153 arXiv:2605.17873

[143] Changle Qu, Sunhao Dai, Hengyi Cai, et al. TurnSight: Turn-Level Hindsight Self-Distillation for Tool-Integrated Reasoning. 2026. arXiv preprint. arXiv:2608.04007

[144] Yufei Ma, Zihan Liang, Ben Chen, et al. SD-Search: On-Policy Hindsight Self-Distillation for Search-Augmented Reasoning. 2026. arXiv preprint. arXiv:2605.18299

[145] Zhengxi Lu, Zhiyuan Yao, Zhuowen Han, et al. Self-Distilled Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2605.15155

[146] Xingyu Su, Abhishek Kumar, Qing Ping, et al. From Self-Distillation to Self-Practice: Privileged Information for Multi-Turn Agents. 2026. arXiv preprint. arXiv:2609.29051

[147] Fan Yang, Rui Meng, Yuxin Wen. Why Does Feedback-Augmented Self-Distillation Fail to Improve Retrieval-Interleaved Search Agents?. 2026. arXiv preprint. arXiv:2607.17558

[148] Hangxi Guo, Fengyuan Liu, Yue Wang, et al. Environmental Feedback Modeling Matters: Rethinking Feedback Treatment in Agentic Hindsight Self-Distillation. 2026. arXiv preprint. arXiv:2610.11384

[149] Yan Zhang, Daiqing Wu, Huawen Shen, et al. Learn How to Act from Your Own Interactions: On-Policy Self-Distillation for GUI Agents. 2026. arXiv preprint. arXiv:2609.27307

[150] Yong Du, Tongbo Chen, Zhengxi Lu, et al. ComputerSD: Online Self-Distillation from Real-Time Feedback for Computer-Use Agents. 2026. arXiv preprint. arXiv:2609.40253

[151] Yan Zhang, Daiqing Wu, Huawen Shen, Can Ma, Yu Zhou. Learn where to Click from Yourself: On-Policy Self-Distillation for GUI Grounding. 2026. arXiv preprint. arXiv:2605.00642

[152] Chunji Lv, Yangguang Wei, Junlin Liu, et al. PCSD: Persistent Consistency for Self-Distillation in Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2608.01837

[153] Xu Xia, Jinghua Piao, Min Yang, Xiaochong Lan, Jiaju Chen, Yong Li. From Scoring to Acting: Outcome-Verified Comparative Self-Distillation for LLM Agents. 2026. arXiv preprint. arXiv:2607.27937

[154] Haoran Liu, Yuwei Zhang, Xiyao Li, Bohan Lyu, Jingbo Shang. HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation. 2026. arXiv preprint. arXiv:2606.11559

[155] Yuechen Luo, Zhiyi Lai, Miao Ziqi, et al. OPRD: On-Policy Reminder Distillation for Long-Horizon Coding Agents. 2026. arXiv preprint. arXiv:2610.21496

[156] Sijia Li, Yuchen Huang, Zifan Liu, et al. GEAR: Granularity-Adaptive Advantage Reweighting for LLM Agents via Self-Distillation. 2026. arXiv preprint. arXiv:2605.11853

[157] Yuhao Sun, Binrui Wu, Zhuoer Xu, et al. Dense Is Not Enough: Hierarchical Supervision Allocation for Long-Horizon On-Policy Distillation. 2026. arXiv preprint. arXiv:2609.33409

[158] Yan Yu, Zhengxi Lu, Yizhou Liu, et al. RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning. 2026. arXiv preprint. arXiv:2609.20784

[159] Tianlang Chen, Shirley Wu, Jure Leskovec. Found in Conversation: LLMs Teach Themselves to Close the Multi-Turn Gap. 2026. arXiv preprint. arXiv:2605.24432

[160] Azure Zhang, Ning Gao, Yuqin Dai, et al. Unlocking Proactivity in Task-Oriented Dialogue. 2026. arXiv preprint. arXiv:2605.22240

[161] Barada Sahu (Cabal AI), Shivesh Pandey (Para AI). Teach it to stop, not just to click. 2026. arXiv preprint. arXiv:2607.17136

[162] Xudong Cai, Zhengxi Lu, Yuchen Yan, et al. SWE-Ladder: Learning to Localize, Reproduce, and Patch via Progressive Privileged Self-Distillation. 2026. arXiv preprint. arXiv:2610.33667

[163] Shengjie Wang, Guanghe Li, Zonghan Yang, Yang Gao. Hindsight Hint Distillation: Scaffolded Reasoning for SWE Agents from CoT-free Answers. 2026. arXiv preprint. arXiv:2605.11556

[164] Taeckyung Lee, Rinat Amankos, Jeonghye Kim, Hyungjun Yoon, Woogyeol Jin, Sung-Ju Lee. TISD: On-Policy Self-Distillation with Trajectory Intervention. 2026. arXiv preprint. arXiv:2609.30878

[165] Wanqi Ren, Jianxiang Wang, Danxuan Liu, Linyi Ding, Huaixiao Tou. Learning from Think-Mode Advantage via On-Policy Distillation. 2026. arXiv preprint. arXiv:2609.37044

[166] Karn Tiwari, Varnith Chordia, Prathosh A P. DiffGate: Difficulty-Gated Teacher Guidance for On-Policy Distillation. 2026. arXiv preprint. arXiv:2610.04596

[167] Yang Li, Semih Yavuz, Shafiq Joty. RISE: Recursive Improvement via Self-Extrapolating Policy Distillation. 2026. arXiv preprint. arXiv:2609.05295

[168] Jiawei Zhou, Jianwei Wang, Chenyu Zhou, Chaojian Shi, Ming Dong, Kai Wang. EvoSQL: Memory-Augmented Critic-Generator Co-Evolution for Text-to-SQL. 2026. arXiv preprint. arXiv:2607.20489

[169] Qihui Zhu, Yuchen Wang, Zijian Wen, et al. RP-OPSD: Resolution-Privileged On-Policy Self-Distillation for Multimodal Large Language Models. 2026. arXiv preprint. arXiv:2607.24447

[170] Yijiang Li, Yijun Liang, Yunjie Tian, et al. Self-Supervised Visual On-Policy Distillation. 2026. arXiv preprint. arXiv:2608.14144

[171] Kaishen Wang, Dongdi Zhao, Yijun Liang, et al. Where to Look Matters: On-Policy Self-Distillation for Long-Video Understanding. 2026. arXiv preprint. arXiv:2608.25356

[172] Kanghui Tian, Siyuan Liu, Ziang Yan, Sheng Xia, Shuai Dong, Yi Wang. ViCuR: Visual Cues as Recoverable Privilege for Multimodal On-Policy Distillation. 2026. arXiv preprint. arXiv:2606.05718

[173] Yunfei Bai, Enrico Chionna, Akash Amol, Kawaljit Singh KC, Joern Tinnemeyer. K-OPSD: Verifiable On-Policy Self-Distillation for Post-Training Vision-Language Models on AEC Drawings. 2026. arXiv preprint. arXiv:2609.34082

[174] Kaixuan Du, Xin Wan, Dai Guan, Ming Chen, Xiaoxi Jiang, Guanjun Jiang. Live-OPSD: On-Policy Self-Distillation for Proactive Streaming Large Video Models. 2026. arXiv preprint. arXiv:2610.36959

[175] Yuwei Miao, Xuesheng Zhang, Wenhao Zou, et al. EGSD: Event-Grounded Self-Distillation for Streaming Video Understanding. 2026. arXiv preprint. arXiv:2609.36803

[176] Keming Wu, Baoyi Wang, Kaichen Zhang, et al. StreamOPD: A Post-Training Recipe with Spatio-Temporal Cue Gating for Streaming Video Understanding. 2026. arXiv preprint. arXiv:2608.16320

[177] Zhaoyu Chen, Yongwei Nie. DTP-OPSD: Reinforcement Learning with Distractor-Aware Temporal-Privilege On-Policy Self-Distillation for Temporal Video Grounding. 2026. arXiv preprint. arXiv:2611.00120

[178] Hongxing Li, Yixin Li, Dingming Li, et al. Distilling Routed 3D Privilege for Spatial Reasoning in Vision-Language Models. 2026. arXiv preprint. arXiv:2610.12355

[179] Haocheng Luo, Jiahui Liu, Ruicheng Zhang, et al. Learning Visual Spatial Planning from Symbolic State via Modality-Gap-Aware Self-Distillation. 2026. arXiv preprint. arXiv:2606.06076

[180] Junming Lin, Yuxuan Wang, Zhenxin Lei, et al. OmniReasoning: Pushing the Limits of Audio-Visual Joint Reasoning. 2026. arXiv preprint. arXiv:2609.39490

[181] Jing Hu, Danxiang Zhu, Xianlong Luo, et al. CORD: Bridging the Audio-Text Reasoning Gap via Weighted On-policy Cross-modal Distillation. 2026. ACL findings 2026. arXiv:2601.16547

[182] Yujie Guo, Hongjie Chen, Jian Kang, Jie Li, Yongxiang Li, Yong Qin. TS-OPD: Reconciling ASR and QA in Speech Language Models via Task-Specific On-Policy Distillation. 2026. arXiv preprint. arXiv:2609.29464

[183] Shiao Xie, Siyu Chen, Jianwei Lv, Xiandong Li, Yujin Wang. Reinforcement Learning with Visually Attributable On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.26856

[184] Wei Zhou, Xiongwei Zhu, Lingdong Kong, et al. On-Policy Self-Distillation in Diffusion Models. 2026. arXiv preprint. arXiv:2608.24646

[185] Hongyu Liu, Chun Wang, Feng Gao, et al. OPSD-V: On-Policy Self-Distillation for Post-Training Few-Step Autoregressive Video Generators. 2026. arXiv preprint. arXiv:2607.08766

[186] Shiyi Zhang, Mushui Liu, Yunze Tong, et al. Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher. 2026. arXiv preprint. arXiv:2608.26872

[187] Yifu Luo, Zeyu Chen, Haoyu Wang, et al. Learning from the Self-future: On-policy Self-distillation for dLLMs. 2026. arXiv preprint. arXiv:2606.18195

[188] Hyeongsoo Lim, Jinyoung Kim, Eunseo Seo, Minho Jang, Jiwon Yoon. SelFusion: Self-distillation for Diffusion Language Models. 2026. ACL 2026. doi:10.18653/v1/2026.acl-long.1008 arXiv:2608.22898

[189] Xiaohang Tang, Keyue Jiang, Che Liu, et al. GDSD: Reinforcement Learning as Guided Denoiser Self-Distillation for Diffusion Language Models. 2026. arXiv preprint. arXiv:2605.29398

[190] Liangbing Zhao, Le Zhuo, Mohamed Elhoseiny. On-Policy Self-Distillation for Multi-Turn Image Editing. 2026. arXiv preprint. arXiv:2609.35611

[191] Shengxiang Ji, Boyang Wang, Haiyang Xu, et al. LIFT: Layout-In-Future Video Generation under Large Viewpoint Change via On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2609.38146

[192] Shafeef Omar, Sebastian Sanokowski, Elham Daneshmand, et al. DiPLO: Self-distilled Diffusion Planning for Loco-manipulation. 2026. arXiv preprint. arXiv:2610.24847

[193] Ahmed Khaled Khamis, Xiaotong Ji, Hassan Jaber, et al. iSDFT: Information-Proximal Self-Distillation for Continual Learning in LLMs. 2026. arXiv preprint. arXiv:2609.24646

[194] Jiarui Liu, Lechen Zhang, Yongjin Yang, et al. MixSD: Mixed Contextual Self-Distillation for Knowledge Injection. 2026. arXiv preprint. arXiv:2605.16865

[195] Shuaike Li, Kai Zhang, Xianquan Wang, Jiachen Liu, Shengpeng Mo. From Fact Overwriting to Knowledge Evolution: Causal Editing via On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2605.28303

[196] Tianzhu Ye, Li Dong, Qingxiu Dong, Xun Wu, Shaohan Huang, Furu Wei. Online Experiential Learning for Language Models. 2026. arXiv preprint. arXiv:2603.16856

[197] Yuhang Zhou, Yifan Wu, Bo Peng, et al. Self-Evolving Agents through Privileged Retrospective Distillation. 2026. arXiv preprint. arXiv:2610.27495

[198] Shijie Ren, Xiting Wang, Meng Li, et al. Self-Improving Large Language Models via Progressive Experience Evolution. 2026. arXiv preprint. arXiv:2608.02139

[199] Yiqiao Qiu. Replay for LLM Continual Learning with Multi-Teacher On-Policy Distillation. 2026. arXiv preprint. doi:10.5281/zenodo.23906641 arXiv:2611.02746

[200] Yifei Li, Rongman Xu, Lingling Zhang, et al. Self-Specialized Teachers for Domain Post-Training. 2026. arXiv preprint. arXiv:2608.28647

[201] Dian Jin, Jinluan Yang, Kairong Han, et al. MDSKILL: Learning to Internalize Skill Memory through Multi-View Distillation for Efficient Dynamic Agent Self-Evolution. 2026. arXiv preprint. arXiv:2611.05313

[202] Hojun Cho, Kang Eun Jeon, Jaegul Choo. Adaptive-Policy Distillation: Knowledge Injection under Information Asymmetry. 2026. arXiv preprint. arXiv:2611.00852

[203] Ruiyang Qin, Qingzhuo Wang, Dongrui Liu, Qiang Li, Zhihua Wei, Wen Shen. Multilingual Safety Alignment via Self-Distillation. 2026. arXiv preprint. arXiv:2605.02971

[204] Shuo Hong, Jiaxin Ma, Xidi Cai, Qianli Ma. Erase the Injected Region: Multimodal Prompt-Injection Defense with On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2610.41307

[205] Yilun Qiu, Xiaoyan Zhao, Chengbing Wang, et al. Rubric-Aware On-Policy Self-Distillation for LLM Personalization. 2026. arXiv preprint. arXiv:2609.35262

[206] Dingyao Yu, Tong Zhang, Yutao Mou, Yunxiao Zhang, Wei Ye, Shikun Zhang. Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2608.14684

[207] Mingxuan Xia, Yuhang Yang, Chao Ye, et al. CriPO: Enhancing Rubric-based RL via Self-Distillation. 2026. arXiv preprint. arXiv:2607.18082

[208] Chengsheng Zhang and Wenshen Xu and Yuchuan Wu and Zhiyuan Yu and Junfeng Fang and Tianlong Wang and Bingxue Qiu and Yongbin Li and Xiang Wang. Co-Evolving Policy and Rubric via Capability Awareness for Open-Ended Generation. 2026. arXiv preprint. arXiv:2610.38566

[209] Jiaxin Zhang, Xiangyu Peng, Qinglin Chen, Qinyuan Ye, Caiming Xiong, Chien-Sheng Wu. The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation. 2026. arXiv preprint. arXiv:2604.16830

[210] Tao Feng and Xinke Jiang and Chao Wu. KbSD: Knowledge Boundary aware Self-Distillation for Behavioral Calibration in Agentic Search. 2026. arXiv preprint. arXiv:2606.29863

[211] Mohammad Sadegh Akhondzadeh, Soroush H. Zargarbashi, Aleksandar Bojchevski. Adversarial Self-Distillation. 2026. arXiv preprint. arXiv:2610.38732

[212] Chang Wu, Junfeng Fang, Houcheng Jiang, et al. PolicyAlign: Direct Policy-Based Safety Alignment for Large Language Models. 2026. arXiv preprint. arXiv:2606.25442

[213] Durgesh Kalwar, Vardhan Palod, Jaya Adithya Pavuluri, Subbarao Kambhampati. Masked Self-Distillation: Internalizing the Chain-of-Thought in Language Models. 2026. arXiv preprint. arXiv:2607.22629

[214] Yishuo Cai, Jiahui Liu, Yuanxin Liu, et al. Thinking Without Images: Internalizing Visual Manipulation with On-Policy Self-Distillation. 2026. arXiv preprint. arXiv:2606.08719

[215] Chenjun Xu, Zhennan Zhou, Zhan Su, Bill Howe, Lucy Lu Wang, Bingbing Wen. STOP: Structured On-Policy Pruning of Long-Form Reasoning in Low-Data Regimes. 2026. arXiv preprint. arXiv:2605.13165

[216] Junxian Li, Ruixuan Yang, Tianao Zhang, Tiange Xu, Weisheng Dong, Yulun Zhang. Fewer Tokens, More Self-Teaching: On-Policy Self-Distillation for Extreme Visual Token Reduction. 2026. arXiv preprint. arXiv:2609.32353

[217] Ahmadreza Jeddi, Enming Zhang, Jasper Gerigk, et al. SCOPD: Sparse-Context On-Policy Self-Distillation for Efficient Vision-Language Models. 2026. arXiv preprint. arXiv:2609.34044

[218] John Kirchenbauer, Abhimanyu Hans, Brian Bartoldson, Micah Goldblum, Ashwinee Panda, Tom Goldstein. Multi-Token Prediction via Self-Distillation. 2026. arXiv preprint. arXiv:2602.06019

[219] Shuiyuan Wang, Bingshen Mu, Pengshen Zhang, et al. On-Policy Self-Distillation for Multi-Dialect ASR: Mastering Dialects, Retaining Mandarin. 2026. arXiv preprint. arXiv:2608.11898

[220] Rongfeng Guo, Zhuang Zhuang, Ji Dai, et al. Search-Aware On-Policy Self-Distillation with Sibling Alignment for Generative Recommendation. 2026. arXiv preprint. arXiv:2611.01568

[221] Rui Zhu and Minglong Cao and Chenyu Zhou and Jianghao Lin and Dongdong Ge. Beyond Verified Answers: Solver-Informed Self-Distillation for Bootstrapping Operations Research Language Models. 2026. arXiv preprint. arXiv:2609.09957

[222] Kejing Wang, Toan Nguyen, Minh Hoang Nguyen, Simon Khan, Flora D. Salim. ROAD-VLA: Robust Online Adaptation via Self-Distillation for Vision-Language-Action Models. 2026. arXiv preprint. arXiv:2606.25800

[223] Yuechen Luo, He Chong, Fang Li, et al. Reflect-VLA: Internalizing Reflective Guidance via Dual-Path On-Policy Self-Distillation for Autonomous Driving. 2026. arXiv preprint. arXiv:2610.13453

[224] Hao Dou. FIRE-VLA: Failure-Informed Self-Evolution for Vision-Language-Action Models in Autonomous Driving. 2026. arXiv preprint. arXiv:2608.13395

[225] Bowen Feng, Keqin Wang, Yulong Yang, et al. Training Generalist Navigation Policies via Action Self-Distillation. 2026. arXiv preprint. arXiv:2610.17593

[226] Keyu Chen, Nanfei Ye, Yida Wang, et al. CRAFT: Counterfactual-to-Interactive Reinforcement Fine-Tuning for Driving Policies. 2026. arXiv preprint. arXiv:2605.04470

[227] Dongyue Li and Zebang Cheng and Zhongyi Deng and Hongboxu and Yi Bin and Fei Ma. RPSD: Retrieval-Privileged On-Policy Self-Distillation with Optimal Transport. 2026. arXiv preprint. arXiv:2610.37281

[228] Mingzhou Jiang, Peixi Wu, Hang Cheng, et al. Reason What Matters: Retrieval-Grounded Reasoning for Universal Multimodal Embeddings. 2026. arXiv preprint. arXiv:2609.15296

[229] Minye Shao, Chaohui Yu, Yixuan Wu, et al. From Given to Gathered Evidence: Agentic Learning for Longitudinal Medical Reasoning. 2026. arXiv preprint. arXiv:2609.39566

[230] Yuhan Wang, Zhengxi Lu, Yuchen Yan, et al. PaperGym: Rubric-Centered Evolution for Research-Plan Generation. 2026. arXiv preprint. arXiv:2608.31119

[231] Jie Sun, Mao Zheng, Mingyang Song, et al. EasyOPD: An Easy-to-use On-Policy Distillation Framework for Large Language Models. 2026. arXiv preprint. arXiv:2607.11012

[232] Wonjun Kang, Kevin Galim, Seunghyuk Oh, et al. AsyncOPD: How Stale Can On-Policy Distillation Be?. 2026. arXiv preprint. arXiv:2606.24143

[233] Xianwei Chen, Shimin Zhang, Jibin Wu. f\boldsymbol{f}-OPD: Stabilizing Long-Horizon On-Policy Distillation with Freshness-Aware Control. 2026. arXiv preprint. arXiv:2605.17862

[234] Dongyang Chen, Shudong Liu, Shubo Li, et al. Branching On-Policy Distillation. 2026. arXiv preprint. arXiv:2610.13481

[235] Shangzhe Li, Yuxiao Yang, Tianrun Yu, et al. An RL View of OPD: Least Square Policy Distillation for Sample-Efficient LLM Reasoning. 2026. arXiv preprint. arXiv:2609.35505

[236] Zihan Chen, Hengguang Zhou, Yuan Kang, et al. BAS-OPD: Budget-Aware Selective On-Policy Self-Distillation for Fine-Grained Multimodal Perception. 2026. arXiv preprint. arXiv:2609.25891

[237] Qirui Liu, Yichen Sun, Yan Wang, et al. EOPSA: Efficient On-Policy Self-Distilled Safety Alignment. 2026. arXiv preprint. arXiv:2609.34519

이 보고서 인용하기

bibtex
@misc{parallax-2026-on-policy-self-distillation-survey, title = {{On-Policy Self-Distillation for Large Language Models: A Survey}}, author = {{Parallax}}, year = {2026}, month = nov, howpublished = {\url{https://parallax.ink/research/en/on-policy-self-distillation-survey}}, url = {https://parallax.ink/research/en/on-policy-self-distillation-survey}, note = {Parallax Research, Survey} }

계속 읽기