Googleの新しいFederated Learningシステム：検証可能なプライバシーと高速化を実現
Googleが次世代Federated Learningシステムを発表
Googleは2026年10月2日、Federated Learning（FL）の新しいシステムを発表しました。このシステムは、Trusted Execution Environments（TEEs）を活用することで、外部から検証可能なプライバシー保証を提供しつつ、トレーニングの速度、精度、デバイスカバレッジを向上させるものです。
2017年にGoogleが導入したFLは、分散されたプライベートデータ間でモデルをトレーニングする機械学習技術です。Gboardの次単語予測やSmart Compose、Googleメッセージの返信候補、AndroidのSmart Text Selectionなど、日常的な機能に活用されてきました。GoogleのFLシステム開発は、(1)データ最小化、(2)データ匿名化、(3)透明性と制御、(4)検証可能性と監査可能性という4つのプライバシー原則に導かれています。
TEEsを活用したプライバシー強化と高速化
新しいFLシステムは、TEEsの特性を活かし、単一マシンレベルで提供される機密性、完全性、リモートアテステーション（第三者による実行ロジックの検証）をエンドツーエンドのFLシステムに拡張します。これにより、より強力なプライバシー保証と精度向上を実現しています。
Gboardはすでにこの新システムを導入しており、以前のFLシステムと比較して大幅な計算時間の短縮という恩恵を受けています。
TEEsベースFLシステムの主要な運用概念
- データアップロード: クライアントデバイスはトレーニング例をローカルで暗号化し、アップロードします。デバイスは、このデータを処理することを許可されるTEE計算のセットであるアクセスポリシーを事前に承認し、これらの計算は匿名化された結果のみをリリースします。クライアントはアクセスポリシーが公開透明性ログに公開されることを要求します。
- KMSとポリシー検証: RAFTコンセンサスプロトコルを実装するTEEクラスターで構成されるKey Management System（KMS）は、アクセスポリシー内の計算と一致するサーバーサイドTEEワークロードにのみ復号キーを提供します。
- ワークロード実行: データ処理TEEは、トレーニングループを実装するPythonプログラムを実行します。この「ルート」TEEは、並列化可能なサブタスクをワーカーTEEのクラスターに委譲します。分散ロジックは、以前のFLシステムを支えたTensorFlow Federatedから派生した、オープンソースでフレームワークに依存しないオーケストレーション言語であるFederated Languageを使用して表現されます。トレーニングループは定期的に匿名化されたモデルウェイトをデータアナリストにリリースします。
- フォールトトレラントなリカバリ: Pythonプログラムは、トレーニングラウンドの終わりにKMSで暗号化されたリカバリ状態を保存します。これは、追加のプライバシーに敏感な情報を漏らすことなく、断続的なルートまたはワーカーの障害から回復するために使用できます。
プライバシーの強化
以前のFLシステムでは、デバイスデータは即時集約のためにアップロードされましたが、外部の観察者がデータがログに記録されたり検査されたりしないことを検証する方法はありませんでした。その後、Secure Aggregationによってアップロードは暗号的に保護されましたが、最先端の中央DP保証とは互換性がありませんでした。
新しいTEEベースのシステムでは、ワークロードオペレーターにはメトリクスと差分プライベートなモデルウェイトのみが表示されます。デバイスから収集された暗号化されたトレーニングデータは、アクセスポリシーで表されるPythonトレーニングプログラムを実行するTEE内でのみ復号化および処理され、アップロード後限られた時間のみ可能です。
公開透明性ログと再現可能なビルド
新しいTEEベースのFLシステムに参加するデバイスは、アップロードするデータにアクセスする可能性のあるサーバーワークロードの全セットを認識しています。これらの潜在的な将来のサーバーワークロードを表すアクセスポリシーは、公開透明性ログであるRekorに公開され、外部の監査者はこれらのログを観察して、デバイスが参加する可能性のあるサーバーサイドワークロードの全セットを追跡できます。FLシステムで使用されるKMSおよびデータ処理バイナリは、Confidential Federated Compute Githubリポジトリに公開されているオープンソースコードから再現可能にビルドできます。
動的サイドローディングによる検証可能な実行
以前のFLシステムでは、サーバーで実行されるロジックはデバイスも監査者も検証できなかったため、差分プライバシーを提供するために勾配の合計にランダムノイズを正しく追加することを信頼する必要がありました。新しいTEEベースのFLシステムでは、Rekorに公開されるアクセスポリシーがFLトレーニングロジックを表現するPythonプログラムを直接記述します。独自のモデルアーキテクチャとデータ前処理ロジックを保護しつつ監査可能性を維持するために、データ処理TEEは実行時にシリアル化された情報をPythonプログラムにサイドロードすることをサポートしています。すべてのプライバシー関連ロジックがPythonプログラムにハードコードされている限り、このサイドローディング機能により、独自のままである必要があるロジックをTEE内で実行しながら、強力な外部から検証可能なプライバシー保証を提供できます。
Gboardでの活用事例
Gboardは、このTEEベースのFLシステムを導入し、より強力なプライバシー保証と精度向上を伴う英語および日本語の次単語予測モデルをリリースしました。これらの改善は、新システムの設計のいくつかの側面によるものです。
日中の可用性制約の緩和
サーバーサイドのトレーニングワークロードを実行する前にすべてのデバイスアップロードを収集することで、デバイスの可用性の日中変動がトレーニングの進行に影響を与えることを心配する必要がなくなりました。サーバーサイドの実行時に、プログラム内で最適なデバイス参加スケジュールを動的に計算し、それを使用して他のDPパラメータを調整できます。
トレーニングの高速化
以前は、これらのFLモデルのトレーニングには1〜2ヶ月かかることがあり、進行はデバイスの可用性、オンデバイス計算、および同じデバイスリソースセットに対する複数のトレーニングワークロード間の競合によって制限されていました。新しいTEEベースのシステムでは、ボトルネックがサーバーに移動し、多くのマシン間での計算の並列化により、トレーニング時間の著しい高速化を実現できます。これは現在、TEEリソースの可用性によってのみ制限されています。
今後の展望
新しいTEEベースのFLシステムでは、クライアント勾配の計算がサーバーに移行され、以前のシステムにあったオンデバイス計算リソースに関連する制限が解消されました。これにより、FL技術を使用してますます大規模なモデルをトレーニングする道が開かれます。TEEsとアクセラレータの統合は、そのようなユースケースで重要な役割を果たすでしょう。
このシステムは、検証可能な方法でFLトレーニングワークロードだけでなく、Pythonで表現できる任意のワークロードも実行できます。Googleは、合成データ生成ワークロードなど、このインフラストラクチャで他の種類のワークロードを実行する実験を行っています。また、任意のPythonを実行するデータ処理TEEと、LLM推論などの機能に特化した他のデータ処理TEEを組み合わせて使用することも検討しています。
この取り組みは、サーバーサイド処理が個人のプライバシーを保護することを厳密に証明するための一歩です。外部の検証者がGoogleで実行されるコードを正確に検査できることで、データがサーバーサイドで記述どおりに処理されることを強力に保証できます。将来のTEEハードウェアと、サイドチャネル観測を軽減するための継続的な研究により、悪意のあるサーバーサイド攻撃に対する動的にロードされたワークロードのより深い保護が提供されると期待されています。このようなシステムは、いつかDPアルゴリズムとシステムコンポーネントのソフトウェア実装の完全な正当性証明を伴うようになるかもしれません。
