リサーチ

ポストトレーニング

2件のレポート

サーベイ

大規模言語モデルのためのオンポリシー自己蒸留:サーベイ

オンポリシー自己蒸留に関する478本の論文の調査。オンポリシー自己蒸留とは、言語モデルが特権的な文脈を与えられた上で自身から学習する手法である。この調査は、教師が見るもの、信号の形成、教師の動態、強化学習との結合、オンポリシー自己蒸留がいつ役立つかおよび特権情報が何を付加するかについての議論、そしてエージェントから拡散モデルに至る応用を扱う。

サーベイ

テスト時学習のサーベイ:自己教師あり学習からメモリ層、LLM、エージェントまでの推論時学習

テスト時訓練とは、テスト入力・文脈・問題・ストリーム上で明示的な目的関数を最適化することにより、モデルが配備後も学習を続けられるようにするものである。605本の論文を対象とした本サーベイは、テスト時に何を、どの信号から学習するかという観点でこの分野を整理する——自己教師ありTTT、TTT層とテスト時メモリ、LLMのテスト時訓練、テスト時RL、エージェントとロボット——そしてそれらを単一の記法で記述し、5つの未解決の論争を検討する。