金融AIエージェントの自律性と安全性：OpenAIとAnthropicのアプローチ

AIエージェントの自律性と安全性：金融業界の最前線

AI Engineer New Yorkカンファレンスでは、OpenAIやAnthropicといったフロンティアラボと金融企業が、AIエージェントの自律性と安全性のバランスについて議論しました。重要なのは、厳格な制限を設けることではなく、どこにコントロールと人間の判断を配置するかという点です。

OpenAIが語る「有用性の閾値」と金融AIの未来

OpenAIの金融サービス向けChatGPT責任者であるJoseph Kim氏は、モデルが「時間を節約できるほど有能で信頼できる」ようになる「有用性の閾値」について言及しました。彼は、モデルの能力向上により、金融アナリストはより多くの作業をエージェントに委任できるようになると予測しています。2027年には、金融業界はExcelやPowerPointへの依存を減らし、AIエージェントが「投資アイデアの生成や取引」を行うようになるとKim氏は述べています。また、モデル能力の向上はトレーサビリティの改善にも繋がり、ChatGPT for Financial Servicesでは、数値の出所や背景を自然に確認できる機能が組み込まれているとのことです。

人間が介入すべきタイミングについては、Kim氏はこれを製品設計の決定と捉えています。「インターフェースをどう変えるか？ユーザーは何をコントロールし、レビューし、承認する必要があるのか？」といった問いは、今から取り組むべき製品設計の課題だと彼は指摘しました。

Two Sigmaの制御フレームワーク：安全性とイノベーションの両立

ヘッジファンドTwo SigmaのSVP ArchitectureであるJohn Feminella氏は、OpenAIのKim氏が言及した製品設計の課題に実際に対処しています。彼は、モデルの能力を制限することなくエージェントを制御するための5つのコントロールについて説明しました。Feminella氏は、安全性とイノベーションを対立するものと見なすべきではないと主張し、あらゆる承認がイノベーションを阻害し、注意散漫によるリスクを生む「承認疲れ」に警鐘を鳴らしました。

Two Sigmaでは、「チームが目標を妨げずに動けるようにするガードレールと共有機能」としてコントロールを定義しています。これらのコントロールは構成可能であり、それぞれが単一の役割を果たし、組み合わさることで適切なレベルの安全性でエージェントを自律的に実行できるようにします。例えば、「オートモード分類器」は、ルーティンな呼び出しに関する決定を下し、最も重要で影響を与える可能性のあるリクエストのみを人間に送ります。曖昧なケースには分類器が、明確なケースには決定論的なルールが適しているとFeminella氏は述べました。

Anthropicのアプローチ：信頼の境界線を定義する

Anthropicも同様のフレームワークを提示しており、金融エージェントのワークフローに「信頼」を組み込むことを目指しています。Anthropicは先月、金融アドバイザーがシステムをClaudeとワークフロースキルに接続できる「Claude for Financial Advisors」を発表しました。

Anthropicの金融サービス担当マネージングディレクターであるBelinda Neal氏は、「モデルがある閾値を超えると、働き方が大きく変わる」と説明しました。Anthropicで応用AIに携わるKeon Shahab氏は、「エージェントの信頼レイヤーを構築する」ための3つのステップを挙げました。これには、エージェントの「アイデンティティと権限レイヤー」による役割定義、行動前の承認レイヤーを決定する「サンドボックス化」、そして時間の経過とともに変数が調整されてもエージェントが機能し続けることを確認する仕組みが含まれます。

Shahab氏は、取引不履行調査エージェントを例に、提案と実行の境界線を説明しました。このエージェントは、人間の承認を得て注文修正を推奨するだけで、実際に修正を行うことはありません。「信頼できる基盤レイヤーを一度構築することで、多くのエージェントを迅速かつ大規模に展開できる」とShahab氏は結論付けました。

Bloombergの防御策：モデル外でのセキュリティ強化

BloombergのCTOオフィスでアーキテクチャ＆新興技術責任者を務めるAndrey Rybka氏は、自律性と規模のバランスを取る責任を負っています。彼は、エージェントが混乱を引き起こした実際の事例と、それを防ぐための防御策について語りました。これには、スコープ付きのIDと資格情報、ツール呼び出しの制御、アウトバウンドトラフィックの制限、監査証跡、予算、キルスイッチなどが含まれます。

Rybka氏は、マーケットプレイスのレビューに埋め込まれた指示を製品の在庫補充指示と誤解したエージェントの例を挙げ、入力検証、プロンプトインジェクション防御、来歴追跡、高価値アクションに対する人間の承認を推奨しました。「モデル外で決定論的なコントロールが必要だ」とRybka氏は述べ、「すべての呼び出しをチェックし、ログを取り、キルスイッチを維持する」ことを強調しました。

安全に高速化するためのコントロール

OpenAIやAnthropicのようなフロンティアラボが金融エージェントのための「信頼フレームワーク」を構築している一方で、最終的にエージェントを制御するのは金融企業自身の責任です。Two SigmaのJohn Feminella氏が指摘するように、自律性を可能にするコントロールを実装しつつ、障害とならないようにすることが重要です。彼は、「車にブレーキがあるのは、止まるためだけでなく、速く安全に走るためだ」と結論付けました。