Blockが発表した全二重音声モデル「Dessa」：テキスト不要で人間らしい会話を実現

Blockが「Dessa」を発表：音声のみで学習した全二重音声モデル

ジャック・ドーシー氏が率いる米Block（旧Square）は、テキストを一切使わず、人間の会話音声だけで学習させた全二重音声モデル「Dessa」を研究プレビューとして発表しました。ドーシー氏はXで、「声は知性と対話する最も自然な方法だと考え、これまでで最も本物らしい全二重音声モデルとしてDessaを作った。話していると人と話しているように感じる。感情やニュアンス、間、自然なリズムに満ちている」と投稿しています。

Dessaの主な特徴と機能

Dessaは、音声を入力して音声を出力するspeech-to-speechモデルです。相手の話を聞きながら同時に話せる全二重方式を採用しており、実際の会話から学習したことで、どのタイミングで口を挟むか、「うん」「なるほど」といった相づちをどう打つかを身に付けたとのこと。推論はリアルタイムより高速で、応答を待たされることはないとしています。

また、現在の音声AIの多くがユーザーの声をテキストに変換する過程で、テキストでは運べない大量の情報を捨てているとBlockは指摘します。Dessaは感情や皮肉、笑い、いら立ちのため息、悲しみに震える声などを直接聞き取り、また表現できるとのこと。AIが声に込められた感情をほとんど理解できないことは安全上の問題でもあるとし、Dessaをその解決に向けた一歩と位置付けています。

学習方法と実行環境

Dessaの最大の特徴は学習方法にあります。テキストも事前学習済みモデルも使わず、人間の会話音声だけでゼロから学習させました。Blockは「われわれの知る限り、人間の音声だけで学習し、リアルな会話ができる世界初のAI」としています。LLMと比べて数百分の1の単語量で言語を習得したとされ、学習に使ったのは米NVIDIAの「GB200 NVL72」1台だけとのことです。

実行環境としては、「M4 Max」以上を搭載した「MacBook Pro」でローカル実行できるとされています。

デモと他モデルとの比較

特設ページでは、人間がDessaと会話する様子を収録したデモ音声を公開しています。面白いことがあれば相手の話の途中でもすぐに笑い、「もっと大きな声で」と頼むと声量を上げ、相手が思い出せない映画のタイトルを補って言葉を継ぐなどの振る舞いを紹介しており、Blockは「他のモデルは相手が話し終えるのを待ってから笑う」としています。なお、デモは英語のみで、対応言語については明らかになっていません。

米OpenAIが7月に公開した全二重音声モデル「GPT-Live-1」とDessaが会話するデモも公開されています。GPT-Liveは、Web検索や深い推論が必要な場面ではバックグラウンドで「GPT-5.5」などの別モデルに処理を委ねる仕組みを採用していますが、Dessaは全ての知識を音声のみから獲得したとされています。ただし、OpenAIはDessaをレビューも支持もしていないという注記があります。

Dessaの開発体制と今後の展開

Dessaを開発したのは、カナダの深層学習スタートアップDessaの元メンバーが設立した、Block社内の小規模なAI研究ラボです。2012年から深層学習モデルを、8年以上前から生成音声モデルを手掛けてきたといい、ドーシー氏の直轄組織とのことです。

利用開始のためのリンクは近日中に公開される予定ですが、一般提供の時期は明らかになっていません。Blockは、少数のAI安全性研究者に早期アクセスを提供し、想定していないリスクの洗い出しを依頼するとしています。