Anthropicが語るClaudeの安全なLLM提供戦略：脳と手を分離するエンジニアリング

AnthropicのClaudeプラットフォームを支えるエンジニアリング

Anthropicは、世界トップクラスのLLMであるClaudeを安全に提供するためのエンジニアリング戦略について、Latent Spaceのポッドキャストで詳細を語りました。Katelyn Lesse氏とAngela Jiang氏が、Opus 5.5のローンチ、モデルの「脳」とエージェントの「手」の分離、APIのスケーリング、そして信頼性の高いマネージドエージェントの構築について解説しています。

モデルの「脳」とエージェントの「手」の分離

Anthropicの安全戦略の核となるのが、モデルの「脳」とエージェントの「手」を分離するアプローチです。これは、モデルの推論能力（脳）と、外部ツールやシステムとの連携（手）を明確に区別し、それぞれを独立して管理することで、安全性を高めることを目的としています。

• デカップリング： モデルの「脳」、ハーネス、サンドボックスを分離することで、エージェントの安全性を確保しています。
• 隔離と制御： Claudeの動作を隔離し、認証情報やネットワーク制御によって安全性を維持しています。

この分離により、モデルが意図しない行動を取るリスクを低減し、より制御された環境でエージェントが機能することを可能にしています。

Claudeプラットフォームのスケーリングと安全対策

Anthropicは、Claudeプラットフォームのスケーリングにおいても、安全性を最優先しています。

• APIのスケーリング： 大規模な利用に耐えうるAPIインフラを構築しています。
• メッセージAPIの再構築： Rust言語でメッセージAPIを再構築し、パフォーマンスと信頼性を向上させています。
• 安全なモデルアクセス： モデルへのアクセスと安全に関する意思決定プロセスを確立しています。
• 安全分類器とモデルルーティング： 安全分類器を用いて、モデルの応答を適切にルーティングし、不適切なコンテンツの生成を防いでいます。

また、トレーニング時のインシデントとプロダクション環境での安全対策を区別し、フロンティアモデルのローンチペースを慎重に管理することで、リスクを最小限に抑えながら最新の技術を提供しています。

マネージドエージェントと長期実行エージェント

Claude Managed Agentsは、長期にわたるタスクの実行を可能にするための重要な要素です。

• 記憶と夢： エージェントが記憶を保持し、長期的な目標に向かって進行できるようにする「記憶」と「夢」の概念が導入されています。
• エージェントハーネス： コンテキストウィンドウを越えて進行状況を維持するための効果的なハーネスが開発されています。
• エージェントの評価： エージェントの性能と安全性を評価するための手法が確立されています。

これらの技術により、より複雑で長期的なエージェントワークロードへの対応が可能になり、AIの応用範囲がさらに広がることが期待されます。