ソフトバンクのAIゲートウェイ「Cloud Proxy」から学ぶ！企業AI導入の壁を乗り越える設計思想
「1人100エージェント」を実現するCloud Proxyとは？
ソフトバンクが掲げる「全社で1人100エージェント」という壮大な構想。これは単なるAI活用スローガンではなく、2万人の従業員が数千〜数万個のAIエージェントを日常的に稼働させるという具体的なミッションです。この実現を支える要となっているのが、ソフトバンクが内製した共通AIゲートウェイ「Cloud Proxy」です。
Cloud Proxyは、生成AIやAIエージェントの全社展開において企業が直面しがちな「契約」「環境構築」「セキュリティ」「ガバナンス」「性能」という5つの壁、特に「セキュリティ」「ガバナンス」「性能」の3つの壁を乗り越えるために開発されました。AI利用の入り口となるこの基盤は、どのようにして大規模なAI活用を可能にしているのでしょうか？
企業AI導入の「壁」を打ち破るCloud Proxyの設計思想
Cloud Proxyの最大の特徴は、2023年の立ち上げ当初から「セキュアな一本化」を目指した設計にあります。具体的には、テナント（利用組織）や利用者ごとに「Internal Key」を配布し、認証や認可を一元管理する仕組みを採用しています。
- APIキー漏えいリスクの低減：開発者が外部サービスのAPIキーに直接触れることなく、Cloud ProxyがInternal Keyを外部サービスのAPIキーに変換するため、認証情報の漏えいリスクを大幅に低減します。
- トークン単位の利用可視化：全てのリクエストログを中央で保管し、トークン消費量を精緻に追跡することで、利用状況を可視化し、適切なコスト管理を可能にします。
- 柔軟なアクセス制御：テナントごとに接続先LLMを設定できるため、組織ごとの要件に応じた柔軟な運用が可能です。
- 監査対応：事後的な監査やコンプライアンス要件への対応も容易になります。
この初期アーキテクチャが、セキュリティと統制を確保しながら、開発スピードを犠牲にしないというCloud Proxyの本質的な特徴を形作っています。
急激なトラフィック増にも対応する高速スケールアウトとマルチLLM対応
「1人100エージェント」構想発表時、最大の課題は1日当たり3000万リクエストを超えるトラフィックにどう対応するかという「性能の壁」でした。Cloud Proxyは、この性能課題を14日間という短期間で突破し、限界スループットを2倍に引き上げるスケールアウトを実現しました。
この構築スピードを支えたのは、ワークフロー自動化ツール「n8n」を活用した、徹底した構築作業の自動化です。これにより、今後はわずか5分以内でのスケールアウトも可能となり、急なトラフィック増にも手作業に依存せずに対応できる体制が構築されました。
さらに、マルチLLMへの対応も迅速化されています。「Azure OpenAI Service」の各モデルや「Gemini」、「Sarashina」など、新しいモデルの追加プロセスをテンプレート化したことで、従来数カ月を要していた作業を1週間で完了できる体制を構築しました。
加えて、Cloud Proxyは独自のIdP（Identity Provider）に対応することで、AI利用手続き工数の70％削減も実現しています。これは、高度なセキュリティ要件が求められるネットワーク運用において、AI利用の効率化を両立させる重要な要素です。
Web制作者・開発者としてCloud Proxyから学ぶこと
Cloud Proxyの事例は、Web制作やAI開発に携わる私たちにとって、企業におけるAI導入の現実的な課題と、それを解決するためのアーキテクチャ設計の重要性を示唆しています。
- セキュリティとガバナンスの確保：APIキーの集中管理や利用状況の可視化は、大規模なシステムにおいて不可欠です。開発者が直接認証情報を扱わない仕組みは、セキュリティリスクを低減する上で非常に参考になります。
- 自動化によるスケーラビリティ：急激なトラフィック増に対応するための自動化は、現代のWebサービス開発においても必須の考え方です。CI/CDパイプラインの構築だけでなく、インフラのスケーリング自体を自動化する視点も重要です。
- マルチLLM対応の柔軟性：特定のLLMに依存せず、複数のモデルを迅速に統合できるアーキテクチャは、将来の技術進化に対応するための柔軟性を高めます。新しいAIモデルの登場が続く中で、この設計思想は非常に有効です。
Cloud Proxyは現在、240システムと2万人以上の利用者に活用され、トークン単位の詳細な追跡を可能にしています。この事例は、単にAIを導入するだけでなく、いかにしてそれをセキュアに、効率的に、そしてスケーラブルに運用していくかという問いに対する、具体的な答えを示してくれています。私たちも自身のプロジェクトにおいて、これらの設計思想を取り入れ、より堅牢で柔軟なシステム構築を目指していきましょう。
