리서치

사후 학습

보고서 2개

서베이

대규모 언어 모델을 위한 온-폴리시 자기 증류: 서베이

자기 증류(on-policy self-distillation)에 관한 478편의 논문을 조사한 서베이로, 언어 모델이 특권적 맥락(privileged context)이 주어진 상태에서 자기 자신으로부터 학습하는 방식을 다룬다. 이 서베이는 교사가 무엇을 보는지, 신호 형성(signal shaping), 교사 역학(teacher dynamics), 강화학습과의 결합, OPSD가 언제 도움이 되는지와 특권적 정보가 무엇을 더하는지에 관한 논쟁, 그리고 에이전트에서 확산 모델에 이르는 응용을 포괄한다.

서베이

테스트 시점 학습 서베이: 자기지도학습에서 메모리 계층, LLM, 에이전트까지의 추론 시 학습

테스트 시점 훈련은 모델이 배포 이후에도 테스트 입력, 문맥, 문제 또는 스트림에 대해 명시적 목표를 최적화함으로써 계속 학습할 수 있게 한다. 605편의 논문을 다룬 이 서베이는 테스트 시점에 무엇을 어떤 신호로부터 학습하는지를 기준으로 분야를 조직한다 — 자기지도 TTT, TTT 레이어와 테스트 시점 메모리, LLM 테스트 시점 훈련, 테스트 시점 강화학습, 그리고 에이전트와 로봇 — 이들을 하나의 표기법으로 서술하고, 다섯 가지 미해결 논쟁을 검토한다.