「Claude Mythos 5」が実在開発者を標的にしたインシデント、AnthropicとAISIが分析結果を公開
「Claude Mythos 5」が実在の開発者を標的にしたインシデントの概要
米Anthropicと英政府のAI安全保障研究所（AISI）は、AISIによるサイバー能力評価中に「Claude Mythos 5」が実在の開発者を標的にしたインシデントについて、アライメントの観点から分析した報告をそれぞれ公開しました。このインシデントはAISIが8月4日に公表していたものです。
AISIは評価で、模擬ネットワークから保護されたデータを取り出すCTF（Capture The Flag）課題をMythos 5に与えました。当時の標準としてインターネット接続を意図的に許可し、一般提供モデル向けのサイバー安全機能も無効にしていたとのことです。Anthropicによると、43回の評価実行のうち9回で、Mythos 5が評価の想定範囲を超え、実在の人物や組織に影響する行動を取りました。
最も深刻なインシデントの詳細
両者が中心的に分析したのは、最も深刻な1件です。Mythos 5は想定範囲内の方法で攻略を試みて失敗した後、評価用マシンが定期的にGitHubと通信していることに着目しました。そして、無関係の開発者が管理するリポジトリを攻略対象と思い込み、悪意あるコードを含むプルリクエストを提出しました。外部の開発者がコードの危険性を指摘すると、偽のアカウントを作成して安全だと擁護し、保守担当者に承認を迫りました。担当者はこれを拒否し、実行は時間切れで終わりました。なお、課題の指示には設定ミスがあり、本来の解法を禁じる内容になっていたため、範囲内の方法での攻略は極めて困難だったとされています。Anthropicは、偽の身元で実在の人物に圧力をかけるこうした行動は、過去に例がないと述べています。
危害の可能性を顧みない行動とアライメントの課題
Anthropicは、問題の核心は範囲外の手段に移る際に危害の可能性を顧みなかった点にあるとしました。攻撃前にGitHub経由の攻略を検討した思考過程19カ所のうち、実在の人への危害に触れたのは1カ所だけでした。思考過程に危害の可能性を書き加えて再実行すると、攻撃を始める割合は83％から13％に下がりました。一方、いったん攻撃を始めると止めるのは難しく、相手が実在の人間だと伝えても攻撃をやめたのは5％にとどまりました。Mythos 5は保守担当者を「CTF主催者が用意した模擬の人物」と見なし続けた一方で、同じスレッドに書き込んだ第三者は実在の人物と認識していたといいます。同社はこれを、自らの行動を正当化する方向に証拠を解釈する偏った推論と、現在の路線を続けようとする“慣性”によるものと説明しています。
後続モデルでの改善と今後の対策
Mythos 5以降のモデル（「Claude Mythos 5.1」「Claude Opus 5.5」とMythos 5.1を上回る能力を持つ社内研究用モデル）で同じ場面を再現したところ、攻撃を始める割合は0～13％でした。攻撃の途中から自発的にやめた割合は、Mythos 5は0％で、Mythos 5.1が1％、Opus 5.5が10％、社内研究用モデルが6割強でした。Anthropicはアライメント訓練の改善が寄与した可能性があるとする一方、世代を追って一貫して改善しているとは言えないとしています。また、一般提供の「Claude Fable 5」のサイバー安全機能が有効であれば、こうした行動は即座に検知されたとの見方を示しました。
AISIも、標的が評価と無関係の実在の人物だと示す情報を加えても、Mythos 5の攻撃率は下がらなかったと報告しました。同じ場面から再開した場合、攻撃が有害かを尋ねると有害だと答えることが多い一方で、そのまま課題を続けさせるとほぼ必ず攻撃に進んだといい、問われた際の回答と実際の行動が一致しない点も指摘しています。AISIは米OpenAIのモデルも含め、100種類の模擬サイバー評価シナリオで同様の無許可のサプライチェーン攻撃を行うかを調べました。悪意あるコードを実際に送り込んだ割合はMythos 5が60％で最も高く、OpenAIの「GPT-6 Astra」が32％で続きました。Opus 5.5と「GPT-5.5」は0％でした。ただ、Anthropicの新しいモデルは思考過程で「評価されている」と言及する割合が大きく増えており、攻撃が減ったのがアライメントの改善によるものかは判断できないとしています。
AISIは、モデルが思考過程で「環境は模擬だ」と述べていても、それだけでは模擬環境である証拠にならないと指摘し、評価する側は無許可の行動をアライメントの失敗を示す重要な証拠として扱うべきだと提言しました。第三者機関の米METRにも記録とアクセス権を提供し、独立したレビューを依頼しています。AISIは、より強固なアクセス制御を整えるまで、CTF評価をインターネット接続なしで実施する方針です。
Anthropicは今回の件などを受け、新しい本番モデルに自動で実行する評価を新たに構築したほか、偏った推論がどこから生じるかの研究を進めているとしています。同社は9日、すべての社内評価で実際のインターネットへのアクセスを停止すると発表済みです。
