ターンを交互にやり取りする対話は見慣れている。ユーザーが話し終えるとモデルが答え、また次にユーザーが話す。テンセント・混元(Hunyuan)音声チームと浙江大学・上海交通大学などが出した技術報告「Multimodal Duplex Interaction Agent」(arXiv 2609.08977, v3, 2026-09-12)は、この順番そのものを揺さぶる。彼らが作ったGanderは、ユーザーが話している最中でも聞き続け、必要なら途中でフィードバックを返したり聞き返したりし、ユーザーが応答を遮って割り込むことも許容する。まず一つの誤解を取り除いておこう。Ganderは「賢いモデル一つが雑談から複雑な業務まで全部こなす」という構造ではない。リアルタイムの相互作用を担うモデルと、深い推論を担う別個のバックエンドを分離してつなぎ合わせたシステムだ。
もう一つ整理してから進むのがよさそうだ。この報告の初期バージョン(v1)はタイトルが「Omni Interaction Agent Technical Report」で、現在の最新版(v3)では「Multimodal Duplex Interaction Agent」に変わっている。以下の内容は最新のv3に基づく。
いまの人間とAIの対話は、ほとんどがテキストベースの逐次交代(turn-by-turn)で組まれている。ユーザーが指示し、モデルが答え、また次にユーザーが指示するという離散的なサイクルだ。人間どうしの会話はこんなふうにきっぱりと途切れたりしない。聞いている間に「うん」「それで?」のような短い相づちを挟み、相手の話が終わる前に割り込んだりもし、周囲の状況を見ながら話しかけたり方向を変えたりする。論文は、AIもこうした連続的で双方向のコミュニケーションに近づくべきだと見ている。
著者らは、そうした自然な相互作用には三つの能力がそろって必要だと整理する。第一に、音声・視覚・テキストから情報を知覚し理解する能力。第二に、遅延が小さく双方向につながるリアルタイムのコミュニケーション能力。第三に、文脈推論・計画・ツール使用・課題実行といったエージェント能力だ。そのうえで二つの問いを投げかける。一つ、リアルタイム性はVAD(音声活動検出)やASR(音声認識)といった既存モジュールをつなぎ合わせてどこまで達成でき、どこからはモデル自体の固有能力として扱うべきか。二つ、リアルタイム応答に必要な低い遅延と、複雑な課題に必要な長い息の推論を、一つのシステムの中でどう両立させるか。
論文の立場は明確だ。相互作用のタイミングを外部パイプラインに任せず、モデルの中で扱おうということである。割り込み、背景ノイズ、複数人が同時に話す状況、短い相づちといった振る舞いを、独立に設計されたモジュール群で調整しようとすると食い違いが生じやすいからだ。
Ganderの骨格は二つある。
一つ目は小脳-大脳(Cerebellum-Brain)の協業構造だ。名前のとおり役割を分けた。小脳(Cerebellum)はリアルタイムのマルチモーダル相互作用と対話応答を担う。人間でいえば反射的に反応し、話の流れを保つ部分だ。大脳(Brain)は複雑な計画やエージェント課題の実行といった重い推論を担う。小脳は対話の生きた文脈を常に握っていて、深い判断が必要になるとツール呼び出し(tool call)で大脳を呼ぶ。このとき、それまで蓄積されたテキスト文脈、音声の書き起こし、視覚フレームを一緒に渡す。大脳はそれを受け取って非同期にさらに深く推論し、途中の要約や計画、最終結果を小脳に返す。小脳はその結果を進行中の対話に溶け込ませる。カフェの店員と厨房を思い浮かべると分かりやすい。店員(小脳)は客と話し続けながら注文を受け、時間のかかる料理は厨房(大脳)に回したあと「もうすぐお出しします」などと言って会話を続ける。料理ができる間、客は店員と話し続けられる。
この構造の核心は、大脳が差し替え可能な(plug-and-play)部品だという点だ。論文は大脳を、Gander内で追加学習なしに使えるよう(training-free back brain)設計した。そのため、より強力な推論バックエンドが出てきても、リアルタイム相互作用モデルを再学習させずに大脳だけ交換できる。再現のために論文は、小脳をMiniCPM-o 4.5を初期値として適応させ、大脳はCodex系列やClaude Codeのような汎用エージェント(general-purpose agent)で実装できると説明する(§3.1・§5.1)。つまり小脳と大脳は互いに異なるモデルであり、その間をエージェント・オーケストレーションのランタイムがつなぐ。
二つ目は、小脳が乗ったストリーミング型Thinker-Talker構造だ。ユーザー入力とモデル出力を時間に合わせて細かく区切ったチャンク(chunk)単位で扱い、これを一つの順序づけられたトークンストリームに平坦化(flatten)する。そして各チャンクごとに、モデルが「いま聞くか、話すか」を明示的に予測する。聞くことと話すことを一瞬ごとに自ら判断するよう学習させることで、別途のターン管理コントローラなしに低い遅延で知覚と生成を同時に回す。
評価は、対話能力・相互作用能力・理解・ツール補助課題の実行という四つの軸で行われた。著者らが明らかにした結果はこうだ。社内の人手評価でGanderは自然で表現力のある音声対話を保ち、ベンチマークでは効果的なターン交代(turn-taking)能力と、音声質問応答・理解課題で「励みになる(encouraging)」結果を示した。用いられたベンチマークとしては、Full-Duplex-Bench、SpokenQA、WorldSenseが挙げられている。
ここで正直に明かしておくべき点がある。この記事は、各ベンチマークの具体的なスコアまでは移さない。「何点を出した」という類の数値が気になるなら、論文の第5章(Experiments)を直接確認するほうが正確だ。ただし著者らの表現の強さは、文章の中での位置によって異なる。要旨(アブストラクト)では「最高性能」を前面に出すよりも「励みになる(encouraging)結果」と抑えて書くが、本文(§5.2・§5.3)では比較表の中でターン交代(turn-taking)性能と、フルデュプレックス系のSpokenQA性能が最も高いと明示している。
数値なしでも意味がある箇所は、Ganderが扱うと掲げた状況の幅だ。背景ノイズが混じった環境、複数人が同時に話す多人数対話、短い相づちといった厄介な設定を対応範囲として明示する。視覚的文脈であいまいな指示を解消するように、文脈に敏感な振る舞いも見せるという。モデル・コードを公開し、データは公開を予定しているという点も、後続研究には実質的な価値がある。ただし公開状況は時点によって異なる。公式リポジトリはモデル・コードを提供する一方、データセットは「Coming soon」で、告知では公開手続きが進行中だとしている。
論文自身が明かす限界は明確だ。現在の評価は代表的な対話状況とツール補助課題に焦点を当てており、より長い息の長期(long-horizon)エージェント課題と、より多様な配置条件は今後の課題として残すと書いている。言い換えれば「複雑なワークフローも全部こなせる」ではなく「その方向の可能性を示した」に近い。
構造そのものが生む問いもある。大脳をツール呼び出しで非同期に呼ぶ設計は柔軟だが、小脳と大脳の間を行き来する往復が頻繁になると、遅延と一貫性の管理が複雑になりうる。大脳を学習なしで差し替えられるという利点は、裏返せば、大脳の品質がそのままシステム品質の上限になるという意味でもある。抜粋だけでは、実使用の遅延が実際どれほどか、韓国語をはじめとする多言語でどう動作するかを判断するのは難しい。この部分は断定せず開いておく。
ONTLEは、顧客プロジェクトごとにAI PMを派遣し、要請の受付からサービス公開までを管理する製品だ。Ganderの設計からそのまま取り込めそうな筋がいくつかある。
まず小脳-大脳の分離は、エージェント製品がよく抱える緊張、すなわち「速い応答か、深い処理か」を構造で解いた事例だ。ユーザーと対話する前面は軽く即座にしておき、時間のかかる分析・設計・実行は後ろで非同期に回したあと、結果だけを対話に合流させる方式である。PMがユーザーと話している間にバックグラウンド作業が回り、終わると自然に報告に挟み込む流れと重なる。
推論バックエンドを学習なしで交換できるようにした点も参考になる。相互作用の層と推論の層をゆるくつないでおけば、より良いモデルが出てきたとき全体を作り直さず後段だけを差し替えられる。割り込みの許容と先回りの聞き返しは、PM型のUXとも通じる。ユーザーが話を変えたら即座に反映し、あいまいなら先に確認の質問を投げるほうが、長く抱え込んだ末に食い違った結果を出すよりよい。
ただしそのまま移植しようという意味ではない。Ganderは音声・リアルタイム相互作用の研究であり、評価範囲も著者ら自身が狭く取っている。ONTLEにとって意味があるのは特定の数値ではなく、「速い層と深い層を分離し、その間をツール呼び出しでつなぐ」という設計原理のほうだ。
いいえ。リアルタイム相互作用を担う小脳(MiniCPM-o 4.5を初期値として適応)と、深い推論を担う別個の大脳(Codex系列・Claude Codeのような汎用エージェントで実装)、そして両者をつなぐエージェント・オーケストレーションのランタイムを組み合わせたシステムです。「モデル一つが全部こなす」という説明は不正確です。
この記事は具体的なスコアまでは移していません。著者らは人手評価で自然な音声対話を報告し、要旨では理解の結果を「励みになる」と抑えて表現しますが、本文(§5.2・§5.3)では比較表の中で、ターン交代とフルデュプレックス系のSpokenQA性能が最も高いと明示します。正確な数値は論文の第5章を確認してください。
モデル・コードは公開されており、データは公開予定です(公式リポジトリ基準でデータセットは「Coming soon」、公開手続きが進行中)。著者ら自身も、評価が代表的な対話・ツール補助の状況に限られており、長期エージェント課題や多様な配置条件は今後の課題だと明示します。製品化の前には、実使用の遅延・言語サポートなどを別途検証する必要があります。
大脳は、Gander内で追加学習が不要なプラグイン方式で設計されています。そのため、より強力な推論モデルが出てきても、リアルタイム相互作用モデル(小脳)を再学習させずに大脳だけ交換できます。その代わり、大脳の品質がシステム品質の上限を決めることになります。