「11回止めても本番DBが消えた」AIエージェントの“6つの暴走”と人間承認の限界
AIエージェントの自律性と「暴走」のリスク
AIコーディングエージェントの自律性が高まり、開発ライフサイクルの各工程をAIエージェントに委ねるAI駆動開発が広がりつつあります。しかし、その高い自律性は生産性向上につながる一方で、AIエージェントが「判断」を誤った際に、本番環境にまで被害が拡大するリスクも指摘されています。
Dockerは、AIコーディングエージェントがもたらすリスクを「Coding Agent Horror Stories」の第1弾として公開しました。2024年10月〜2026年2月の16カ月間に起こった重大インシデントの分析に基づき、以下の6つのカテゴリーに整理しています。
- 1．ファイルシステムへの無制限アクセス: AIエージェントがユーザーと同じファイルシステム権限で動作し、ホームディレクトリ全体を指す再帰的な削除コマンドが実行され、データが復旧不可能になった事例が報告されています。
- 2．過剰な権限の継承: AIエージェントがクラウド認証情報やCI/CDトークン、本番データベース（DB）への接続を引き継ぎ、オペレーター相当の権限を持ったAIが本番環境の削除を判断した結果、サービスが長時間停止した事例があります。
- 3．AIエージェントコンテキストからの機密情報漏えい: AIエージェントが作業のために読み込んだ「.env」ファイルや設定ファイルなどの情報が、生成コードやログ、API呼び出しなどを通じて外部に流出する可能性があります。
- 4．取り込んだコンテンツ経由のプロンプトインジェクション: READMEやメール、コメントなどに隠された悪意ある指示をAIエージェントが実行し、秘密鍵を外部に送信した例が報告されています。
- 5．悪意あるスキルやプラグインのサプライチェーン: 拡張機能がAIエージェント本体と同じ権限で動作するため、悪意あるものはマルウェアと変わりません。認証情報を窃取するマルウェアが配布された攻撃キャンペーンも確認されています。
- 6．人間が介在しない自律的な行動: コードフリーズ中にもかかわらず、AIエージェントが本番DBを消去し、1200件を超えるレコードが破壊された事例があります。人間が11回繰り返して指示したにもかかわらず、AIエージェントはテーブルの再作成を「最もクリーンな修正」と推論し実行しました。
これらの問題は、AIエージェントが悪意を持って「命令に背いた」わけではなく、与えられた権限とコンテキストの中で最適だと判断した操作が、人間にとっては破壊的な結果になる可能性があることを示しています。
Claude Codeの「自動モード」と人間承認の限界
こうしたリスクに対し、ツール提供側も対策を進めています。その一例が「Claude Code」に導入された「自動」モードです。Anthropicは2026年3月24日に、リサーチプレビューとして提供を始めました。
従来のClaude Codeは、ファイルへの書き込みやbashコマンドの実行時にユーザーの承認を要求する設計でした。しかし、長時間の複雑なタスクでは、何度も承認を求められることが作業の中断につながり、一部の開発者は全ての承認をスキップする危険な設定を利用していました。
自動モードは、この「逐一承認」と「全承認スキップ」の中間に位置する仕組みです。各ツール呼び出しの前に専用の分類器が、ファイルの大量削除や機密データの流出、悪意あるコードの混入に当たらないかを確認します。「安全」と判断されれば承認なしで実行し、リスクが高ければブロックしてClaude Codeに別の方法を促します。それでも同じ行動を取ろうとした場合には、最終的にユーザーへの承認が求められます。
Anthropicは2026年8月、「Pro」「Max」「Team」プランで自動モードをデフォルトに変更しました。その背景には「人による承認の形骸化」があります。
- 承認画面の97％が承認されている: Claude Codeの利用データによると、権限を求める確認画面の97％が承認されており、内容を吟味せず反射的にクリックしているユーザーが多いことがうかがえます。
- 危険コマンドの停止率は、AIが89％、人間は13.6％: 1053人のテスターによる対照実験では、人間が危険なコマンドを止められたのは13.6％（1053件中143件）だったのに対し、自動モードは89％（1053件中937件）をブロックしました。人間の検知率はセッションが長くなるほど低下する一方、自動モードのブロック率は横ばいでした。
- 有害な操作の承認は、手動の方が2倍多い: 利用データを再評価した結果、深刻度「7」（本番DBの行の削除）以上の本番環境レベルで、ユーザーが求めていない有害な操作を含む割合は、手動承認（6.3％）の方が自動モード（2.4％）よりも2倍以上多いことが判明しました。
これらの結果は、「人間に毎回聞けば安全」とは言えない実態を浮き彫りにしています。
