Realtime-Venusは、人と機械が互いに言葉を遮り割り込む自然な対話を実時間で処理しながら、同時に裏で実際の作業(ツール実行)まで非同期で回す全二重(full-duplex、双方が同時に話し聞ける方式)インタラクションシステムだ。9B(90億パラメータ)サイズのモデルの二つの変種、音声・映像用のRealtime-Venus-Omniと音声専用のRealtime-Venus-Audioで構成される。セッションごとにこの二つのうち一つを使い、Omniはそれ自体で音声と映像を一緒に処理する。アブストラクトによれば、八つの映像ベンチマークのうち六つで最高スコアを記録し、ユーザーの割り込み(interruption)に75%応答するなど、実時間の対話制御能力を定量的に実証した。
既存の音声AIアシスタントと対話したことのある人なら馴染みのあるもどかしさがある。こちらが話し終えるまで待ち、それからようやく処理し、しばらく経ってから返事をする。まるでトランシーバーのように「一人が話すともう一人は聞くだけ」という方式だ。これを半二重(half-duplex)と呼ぶ。
だが人間の実際の対話は違う。相手が話している最中に「ああ、なるほど」「うんうん」といった相槌(backchannel)を打ち、重要な話が出てくれば途中で割り込んで方向を変える。隣で別の人が話す言葉や背景の雑音は自然に聞き流す。こうして聞くことと話すことが同時に起こるのが全二重だ。
ここにさらに大きな難題が二つ乗る。
第一に、映像まで見なければならない状況だ。音声対話は音と言語の手がかりだけで成り立つが、カメラで世界を見ながら対話するには「今、目の前で起きている変化する視覚文脈」に対話を結びつけ(grounding)なければならない。画面が流れ続ける中で、その流れを取りこぼしてはならない。
第二に、対話しながら実際の仕事もしなければならない。人間のアシスタントなら、対話を続けながら同時に検索をしたり予約を取ったりする。ところがAIが重い推論やツール実行に入ると、対話がぷつりと途切れてしまう。アブストラクトはまさにこの三つ――途切れない知覚(continuous perception)、実時間の対話制御、バックグラウンド作業の並行――を一つのシステムで解こうとする。
Realtime-Venusの設計は、いくつかの比喩で解きほぐせる。
1) 一つの時間割(共有因果タイムライン)
このシステムの各モデルは、単なる音声認識器ではなく「完結した対話フロントエンド」だ。途切れない知覚、対話制御、そして音声そのものを直接生み出すネイティブ音声生成(native speech generation、テキストを別の音声合成器に渡すのではなくモデルが直接音を出す方式)を一つに束ねる。
この束ねを可能にするのが共有因果タイムライン(shared causal timeline)だ。議事録を時系列で書き取る書記を思い浮かべればよい。ユーザーが話したこと、モデルが出した反応、そして委任した作業のイベント(delegation events)まで、すべてが一本の時間軸の上に順番に記録される。「因果」という言葉は、未来を先取りせず過去と現在だけを根拠に判断するという意味で、実時間ストリーミングに不可欠な性質だ。
2) 二つの循環ループ(デュアルループ・ランタイム)
核心となる仕掛けはデュアルループ・ランタイム(dual-loop runtime)だ。レストランのホールスタッフと厨房を思い浮かべると分かりやすい。
客が注文すると、ホールスタッフは「はい、ご用意しますね」と言って別の対話を続ける。厨房(Harness)が料理を終えると、その結果を再びホールに渡し、進行中の対話に自然に溶け込ませる。これが非同期委任(asynchronous delegation)だ。対話が作業のせいで止まらない理由がここにある。
3) 共通の事後学習レシピ
二つのモデル(Omni、Audio)は別々に訓練されたが、同じ事後学習(post-training)方式を共有する。アブストラクトによれば三つの材料を混ぜる。オフライン理解(offline understanding、実時間ではない資料で基本的な理解力を固める)、能動的な全二重の軌跡(proactive full-duplex trajectories、いつ割り込みいつ我慢するかといった実時間の対話の流れを学習する)、そして委任ワークフロー(delegation workflows、いつバックに仕事を渡すかを学習する)だ。
アブストラクトが提示した数値は次のとおりだ。以下の値はすべてアブストラクトに明記されたものだけを移した。
映像理解 (Realtime-Venus-Omni) ―― 評価されたオンラインモデルのうち、八つの映像ベンチマークのうち六つで最高点。
| ベンチマーク | スコア |
|---|---|
| StreamingBench | 70.2% |
| OVO-Bench | 64.7% |
| Daily-Omni | 81.3% |
音声理解・話し言葉の質疑応答 (Realtime-Venus-Audio) ―― 八つのベンチマークを評価し、そのうち四つで単独最高点、一つで同率最高点(MMAR・MMSU・Speech TriviaQAでは他モデルより低い)。
| ベンチマーク | スコア |
|---|---|
| MMAU | 78.0% |
| MMAU-Pro | 63.2% |
| Llama Questions | 83.8% |
| Speech CMMLU | 67.8% |
| VoiceBench AlpacaEval | 4.81 (最高スコアと同率) |
全二重インタラクション (Full-Duplex-Bench v1.5) ―― ここがこの論文の核心的な差別化点だ。
アブストラクトは、この三つの継続率(continuation rate)指標すべてでGemini 3.1 LiveとGPT-4oを上回ると明らかにしている。つまり「割り込むべきときには反応し、割り込む必要がないときには揺らがず対話を続ける」という分別が、商用の最新モデルよりも優れているという意味だ。トランシーバー式のAIから抜け出し、人間の対話のリズムに一歩近づいた点に意味がある。
アブストラクトだけでは確認できない点を正直に整理する。
ONTLEはAI PMを派遣型で提供するサービスだ。この論文の構造は、私たちが目指す方向と驚くほど重なる。
第一に、デュアルループはすなわち「仕事をするPM」の基本骨格だ。 優れたPMは会議(フロントの対話)をしながら、同時に裏で資料調査や文書作業(バックの実行)を回す。ユーザーと対話していて止まり、「少々お待ちください、作業中です」と沈黙するエージェントは、アシスタントとして失格だ。フロントの応答とバックグラウンドのツール実行を分離し、終わった結果を対話に自然に差し戻す非同期委任のパターンは、エージェント製品設計の参考となる標準になりうる。
第二に、「割り込まない分別」が対話型エージェントの品質を分ける。 背景音声86%、他人の発話88%という継続率の指標は、隣で鳴る音のたびに反応して対話を台無しにしない能力を定量化したものだ。会議の場に入ったAI PMなら、自分に向けられた言葉と他人同士の言葉を区別するこの能力が、実使用の満足度を左右する。
第三に、共有タイムラインはエージェントのログ・RAG設計にヒントを与える。 ユーザー入力、モデル出力、委任イベントを一本の因果的な時間軸に記録するという発想は、エージェントの行動履歴と検索(RAG)の文脈をどう一貫して積み上げるかについての実用的な青写真だ。何をいつ知り、いつ委任したかが一筋に残れば、事後の監査と再現が容易になる。
ただしONTLEのポジショニングどおり、この技術は人を代替する道具ではなく、反復業務を肩代わりしてくれる手足として読むべきだ。実時間で聞き、見て、委任する能力が高まるほど、人が判断に集中できる余裕が広がる――それが実際の製品の価値だ。
既存の音声アシスタントはおおむね半二重(トランシーバー式)なので、ユーザーが話し終えてから反応します。全二重は聞くことと話すことが同時に起こるため、ユーザーが話している最中に相槌を打ったり、割り込みに実時間で反応したりできます。アブストラクトによれば、このシステムはユーザーの割り込みに75%応答します。
Realtime-Venus-Omniは音声・映像インタラクション用、Realtime-Venus-Audioは音声専用で、それぞれ9Bサイズで別々に訓練されます。論文によれば、セッションごとにこの二つのうち一つを使い(二つを同時には回しません)、Omniが音声・映像を一緒に処理します。二つの変種は同じ事後学習レシピ(オフライン理解 + 全二重の軌跡 + 委任ワークフロー)を共有します。
対話を止めずに、重い推論やツール実行をバック(Realtime-Venus-Harness)で別に処理した後、その結果を進行中の対話に再び溶け込ませる方式です。レストランのホールスタッフが注文を厨房に渡して客と対話を続け、料理ができたら自然に出すのと同じです。
アブストラクトは、Full-Duplex-Bench v1.5の三つの対話継続率指標(相槌・他人の発話・背景音声)でGemini 3.1 LiveとGPT-4oの両方を上回ると明らかにしています。ただしこれは特定の全二重指標に限定された比較であり、すべての領域で全般的に優れているという意味ではありません。