LLMの「睡眠」が知識保持と推論を強化！Googleが提唱する継続学習の新パラダイム
LLMの「睡眠」フェーズとは？
Google ResearchのAli Behrouz氏とVahab Mirrokni氏が、大規模言語モデル（LLM）が継続的に知識を統合し、推論能力を向上させるための新しい学習パラダイム「The sleep framework」を発表しました。これは、人間の脳が休息中に記憶を処理・安定化させるメカニズムに着想を得たものです。
従来のLLMは、一度デプロイされると知識の更新が難しく、新しい情報を長期的に学習したり適応したりすることができませんでした。パラメータを継続的に更新すると「壊滅的忘却（catastrophic forgetting）」という問題が発生し、以前学習したタスクのパフォーマンスが著しく低下します。また、インコンテキスト学習（ICL）に頼るだけでは、知識の保持が一時的なコンテキストウィンドウに限定され、セッション終了後には情報が失われてしまいます。
この「sleep framework」では、LLMが「アクティブ（覚醒）フェーズ」と「スリープフェーズ」を交互に繰り返すことで、短期的なコンテキストを安定した長期的なパラメータに統合し、継続的な学習を可能にします。
アクティブフェーズとスリープフェーズの役割
このパラダイムでは、LLMは主に2つの状態を切り替えて動作します。
- アクティブ（覚醒）フェーズ: モデルは入力の受信、処理、対話を行い、一時的な情報を高速な短期記憶コンポーネントに保存します。
- スリープフェーズ: モデルは新しい入力の処理を一時停止し、内部計算を記憶の統合と自己改善に向けます。このオフラインのスリープフェーズ中に、モデルは事前に割り当てられたMixture-of-Experts（MoE）メモリブロックをアンロックし、自己生成された練習例を使用して数値重みを更新します。これにより、デプロイされたモデルは新しい事実を吸収し、推論精度を高めながら、コアコードベースと設計は変更されません。
スリーププロセスの主要コンポーネント
スリープパラダイムは、「記憶の統合」と「夢見（dreaming）」という2つの段階を通じて、壊滅的忘却と継続的な適応に対処します。
1. 記憶の統合
人間の脳のノンレム睡眠中の徐波睡眠が、脆弱な記憶を抽象化と蒸留を通じて長期構造に統合するのと同様に、このフレームワークも以下のメカニズムでこれを模倣します。
- パラメータ拡張と連続体記憶階層: 壊滅的忘却を防ぐため、モデルはスリープ中に動的に容量を拡張します。Mixture of Experts（MoE）とHopeアーキテクチャを使用し、新しくアンロックされた低ランクのエキスパートが安定した低周波数メモリブロックに統合され、古いパラメータを妨害することなく新しい知識を保存します。
- 知識シード（上方蒸留）: 高周波数層（例：インコンテキストメモリ）に保存された脆弱な短期記憶は、新しく拡張された長期パラメータに転送されます。これは、強化学習（RL）ベースの模倣学習と組み合わせた汎化知識蒸留（GKD）によって実現されます。
- シナプス剪定: 低周波数モジュールへの記憶統合が完了すると、高周波数の一時パラメータはリセットされ、将来のアクティブセッションのための容量が解放されます。
2. 夢見による自己改善
レム睡眠中に人間の脳がシナリオをシミュレートし、感情的・意味的結合を統合し、新しい神経経路を探索するのと同様に、この「夢見段階」では自律的な自己改善ループが実装されます。
- ランダムなエキスパート選択: 合成データ生成中に、MoEルーターは非標準のエキスパートをランダムにアクティブ化します。これにより、モデルは異なる知識ドメインを混合し、潜在的なパターンを発見するよう促されます。
- キュレーションされたリハーサル: モデルは合成トレーニングサンプル（「夢」）を生成し、勾配ベースのデータ選択を使用して、モデル全体の能力を向上させる可能性が最も高いサンプルを優先的にフィルタリングします。
- RLによる洗練: モデルは、評価の高い夢サンプルに対して教師ありファインチューニングを実行し、生成が下流タスクのパフォーマンスを向上させるかどうかを評価します。
パフォーマンスの比較
このスリープフレームワークは、インコンテキスト学習や教師ありファインチューニングなどのベースラインアプローチと比較して、以下の点で優れたパフォーマンスを示しました。
- クラス増分学習: 未知の言語（満州語やカラマン語など）での継続的な翻訳において、スリープフレームワークは多段階評価でほぼゼロのパフォーマンス低下を維持しました。
- 長文コンテキスト理解: BABILongベンチマークでの10Mトークンまでの長文コンテキスト理解において、GPT-4やTitansなどの強力なベースラインを上回り、ほぼ完璧なスケーリングを示しました。
- 事実知識の組み込み: SQuADおよび継続事前学習（CPT）での評価において、既存のモデル表現を損なうことなく新しい事実情報を統合し、ベースモデル、SFT、Self-Adapting Language Models（SEAL）などのベースラインを上回りました。
- 数学的推論: AIME 24/25およびHMMT 25などの数学的推論ベンチマークにおいて、SFT、group relative policy optimization（GRPO）、on-policy self-distillation（OPSD）などのベースラインを上回る精度スコアを達成しました。
このスリープパラダイムは、静的な事前学習や脆弱なコンテキストウィンドウを超え、自律的に継続学習するAIシステムへの道筋を示しています。
