AIエージェントのセキュリティは「何をさせないか」で決まる！NVIDIAが示す設計原則

AIエージェントのセキュリティは「判断を誤る」前提で設計する

AIエージェントが社内システムやデータを自律的に操作するようになるにつれて、セキュリティ対策の重要性が増しています。NVIDIAは、AIエージェントのセキュリティ設計において、「何を指示するか」だけでなく、「何をさせないか」という視点が重要であると指摘しています。AIエージェントは「判断を誤る」可能性があることを前提に、実行環境でのアクセス制御や権限管理、継続的な検証を組み合わせることが不可欠です。

AIエージェントは、与えられた指示に基づいて推論し、外部のツールやシステムを利用してタスクを実行します。しかし、誤った判断をしたり、外部からの悪意ある指示に従ったりすることで、意図しない操作を実行するリスクがあります。NVIDIAは2026年9月21日（米国時間）に公開したブログ記事「AI Security Is an Engineering Problem - How to Solve It at Every Layer of the Agent Stack」で、AIエージェントが誤った判断をした場合でも、許可されていない操作を実行できないようにすることの重要性を強調しています。

制御不能を防ぐためのNVIDIAの提言

NVIDIAは、顧客情報を更新するAIエージェントを例に挙げて説明しています。もしこのAIエージェントが、添付文書に埋め込まれた悪意ある指示（プロンプトインジェクション）に従い、顧客情報を許可されていない外部に送信しようとした場合、ネットワークポリシーによってデータの送信を遮断できる必要があります。また、AIエージェントがどのツールを使用し、どこにデータを送ろうとしたのか、アクセス許可の判定とその結果をログに記録することも重要です。

顧客情報を更新する権限を持つAIエージェントであっても、その情報を外部に送信する権限まで与える必要はありません。AIエージェントが追加の権限を要求することはできても、自らその権限を承認できない仕組みが必要です。NVIDIAは、AIエージェントのセキュリティを考える上で、AIモデルだけでなく、ツールやワークフローを管理する仕組み、そして実際に処理を実行する環境まで含めた対策が欠かせないと説明しています。

AIエージェントの安全性を確保するための設計原則

企業がAIエージェントを導入する際、NVIDIAは以下の対策が必要だとしています。

• 各エージェントに追跡可能なIDを与え、認証情報は割り当てたタスクに必要な範囲に限る。
• アクセスできる情報、変更できるシステム、承認が必要な行動をポリシーで明確にする。
• ポリシーの範囲内であっても、影響の大きい行動と権限の変更には人間の承認を求める。
• エージェントが使うツール、スキル、依存関係の出どころと完全性を検証する。
• ツール呼び出し、認可の判断、結果を保護された記録として残し、アクセスの取り消しとインシデントの封じ込めの手順を明確にする。

NVIDIAは、これらの仕組みを実現する技術の一例として、オープンソースの実行環境「NVIDIA OpenShell」を挙げています。OpenShellは、AIエージェントをサンドボックス環境で実行し、データやネットワーク、システムリソースへのアクセスを制御します。AIエージェント自身が変更できない場所でポリシーを適用する仕組みを備えています。

導入前のテストと継続的な検証の重要性

NVIDIAは、セキュリティ対策が実際に機能することを検証する取り組みも重視しています。AIエージェントの本番導入前には、少なくとも以下の状況を想定したテストが必要だとしています。

• AIエージェントが、許可された範囲を超えて認証情報を取得しようとした場合。
• 機密情報を許可されていない送信先に送ろうとした場合。
• 自らのアクセス権限を変更しようとした場合。
• 監視の仕組みに干渉しようとした場合。

テスト結果を評価して本番導入の可否を判断する責任者を明確にし、問題が見つかった場合には修正につなげることも求められます。

AIセキュリティは「システム設計の問題」

NVIDIAは、AIセキュリティをエンジニアリングの課題として捉えるべきだと強調しています。必要なのは、明確なセキュリティ要件、実際に強制できる制御、責任者、そして対策が機能することを示す検証結果です。AIエージェントの利用が広がる中、企業に求められるのは、AIに何を指示するかだけでなく、AIに何を実行させ、何を実行させないかを明確にすることです。AIエージェントの判断とは独立したアクセス制御と、その有効性を継続的に検証する仕組みが、安全な運用の前提となります。