OpenAIが「Decisions API」を一般公開！高速・低コストな意思決定モデルで開発が変わる？
OpenAIが高速意思決定モデル「Decisions API」を一般公開
OpenAIは、高速かつ低コストな意思決定モデル「Decisions API」を一般公開しました。これは、既存のLLM（大規模言語モデル）に代わり、特定のワークフローにおいてより迅速かつ劇的に低いコストで動作する「意思決定モデル」または「System Oneモデル」の市場に参入するものです。この分野では、元フロンティアラボの研究者が設立したTypeSafe社の「Jev」モデルがすでに注目を集めています。
「Jev」モデルとは？そしてOpenAIの「Decisions API」
TypeSafe社の「Jev」モデルは、与えられた選択肢の中から迅速に選択を行い、その決定に対する信頼度を提示する「スーパー分類器」として機能する深層学習モデルのカテゴリを確立しました。ソフトウェア開発者は、これらの意思決定モデルが様々なワークフローでLLMを置き換え、より高速かつ低コストで運用できることを発見しました。
OpenAIのAPI製品リードであるNikunj Handa氏によると、同社のチームはJevモデルを見て「これには何百万ものユースケースがある」と感じたそうです。そこで、OpenAIはChatGPT Lunaを再構成し、推論速度を向上させ、コストを削減することで独自のバージョンを提供しました。Handa氏は、「Decisions APIの大きな進歩は速度であり、1〜3秒かかっていた処理を100、120、180ミリ秒に短縮したことだ」と述べています。将来的には、これらのモデルをさらに改善するための特定のトレーニングを行う可能性もあるとのことです。
開発者デーで発表、一般提供開始
Decisions APIは、9月29日の同社開発者デーで発表され、木曜日からすべての顧客に提供が開始されました。OpenAIは、この公開バージョンに新しい音声および視覚モダリティを追加し、推論リソースを地理的にターゲットすることで、世界中の地域で低遅延を確保するよう努めました。
Box、Datadog、Ramp、Speakなどの初期顧客との試用では、エンジニアはAPIを使用してOpenAIのLLMをより高いスループットで置き換えました。AI言語チューターを開発するSpeakのCTOであるAndrew Hsu氏は、Decisions APIによってアクション間の時間を1.4秒から0.13秒に短縮できたと語っています。OpenAI自身も、自社の音声アシスタントDotsの応答性を向上させるためにこの製品を使用しました。
意思決定モデルの競争とベンチマーク
意思決定モデルの性能を評価する明確な基準はまだ確立されていませんが、知能、コスト、キャリブレーション、速度の最適化はワークロードによって異なるようです。TypeSafeのCEOであるDiogo Almeida氏はベンチマークを信用せず、自身のワークフローでモデルを試すことを推奨していますが、TypeSafeも最新のJevモデルのリリースに合わせて独自のランキングを発表しました。この最新のJevモデルには、画像サポートやスマートif文などの新機能が含まれています。
AIM System One IndexやArtificial Analysis Decision Indexのような公開ベンチマークでは、Liquidが先週リリースした新しい意思決定モデルD1 Ultraや、Base LabのElephant-1が優位に立つ傾向があります。最新のJevモデルは両インデックスでそれぞれ7位と3位と競争力を維持しており、OpenAIのDecision Modelは8位と14位に位置しています。しかし、TypeSafeの製品は今のところ、OpenRouterで最も広くクエリされています。
最も興味深いJevベンチマークは、意思決定モデルがパックマンをプレイする「JevMan」です。最新のJevモデルがこのランキングでトップに立っています。このベンチマークを構築したOpper AIの最高成長責任者であるFelix Wunderlich氏は、この古典的なゲームが「ノンストップで素早く、高リスクな意思決定が続くため、興味深いテストになる。すべての分岐点でモデルは数百ミリ秒以内にどこへ行くべきかを決定しなければならない」と述べています。
マルチモダリティと将来の展望
OpenAIのDecisions APIは、マルチモダリティにおいて優位性を持つ可能性があります。画像分類においては、「Lunaは非常に強力で、より良いキャリブレーションを示している」とHanda氏は述べています。また、OpenAIの顧客は、Decisions APIが画像をアウトプットとしても使用する柔軟性を求めているとのことです。
Handa氏は、さらなる速度向上により新しいユースケースが可能になると見ています。「これを60ミリ秒のようなものにできれば、ビデオのすべてのフレームに対してAPIコールを行うようなことも想像できるでしょう」と語っています。これらのサービスがより高速かつ安価になるにつれて、資源をより効率的に使用することでそれがより遍在するようになるという、Jevの名前の由来となった経済学者の考えが現実になることが期待されます。Handa氏が考えるように、意思決定モデルがそれらを明らかにするまで隠されていた「クレイジーなユースケースのセット」が拡大していくことでしょう。
