音声AIが命令を聞き取ることと、その命令に実際に反応すべきかを判断することは、まったく別の問題だ。かつてはアシスタント本体の手前にウェイクワード検出といった部品を別途かませて、この問題をふるい分けていた。ところが最近のエンドツーエンド(end-to-end)音声LLM — 音を直接聞いて理解し、そのまま反応する大型AIモデル — は、そのふるい分けまで一つの塊として呑み込んでしまう。黙るか、答えるか、ツールを呼ぶかを、モデル一つが直接決める。問題は、これをまともに測るものさしがなかったことだ。この論文はまさにその境界だけを切り出して測る診断用ベンチマークVGBench(1,018問)を作り、市販の音声LLM6つを走らせた。結果を一言にまとめるとこうだ。ツール選びはうまいのに、止まれない。 最も性能のよいモデルでさえ、話者が入れ替わった命令を黙殺できた割合は14%にとどまった。
ここでいう「ツールを呼ぶ(tool call)」とは、モデルが「予定追加」や「メッセージ送信」といった実際の機能を選んで実行に移す、という意味だ。言葉を聞き取って終わりではなく、手が動く。
音声アシスタントは、次第に実際の結果を生む仕事を任されるようになっている。予定を入れ、メッセージを送り、注文を通し、機器を操作する。ところが「エアコン消して」という言葉は、ユーザーがアシスタントに言ったのかもしれないし、隣の人に言ったのかもしれないし、独り言でつぶやいただけかもしれない。文字だけ見れば三つとも同じだ。違いは音と状況にある。誰が、どこで、どんな文脈でその言葉を発したのか。
評価のやり方がこの違いを取りこぼしている。ほとんどの評価は「きれいに整った要求」に「正しい応答」を対応づけて点をつける。だからツール選択の正確さが高く出ても、それが音の文脈を見て下した判断なのか、ただ命令語を聞き取った結果なのかの区別がつかない。
そこで著者たちは問いを絞った。命令に使われた単語をそっくり固定したまま、音の出どころと場面だけを変えたとき、モデルは行動するのか、それとも口をつぐむのか。
VGBenchは三つの状況に分かれる。核心は三つめの「話者切り替え」であり、残りの二つがその前後を支える。
話者切り替えの設計には、先に敷いておいたルールが一つある。ウェアラブル機器の保守的な権限ルールだ。装着者が近くで出した命令なら実行し、別人が出したか、遠くから聞こえてきた命令なら口をつぐむ。自分の手首に巻いた機器が、向かいの人の「決済して」に財布を開いてはならないからだ。
このルールが守られるかを見るために、VGBenchは同じ文を三つの条件で聞かせる。三条件とも使われた単語は同じだ。
ここで切り替え条件は、話者の身元ひとつだけを変えるのではない。出どころ(A→B)、遠距離の音響、600ミリ秒の時間境界という三つの手がかりを一度に変える。だからこのベンチマークが測るのは「声が誰のものか」ではなく、複数の音の手がかりを総合して反応するかしないかを開け閉めする文脈ゲーティング(acoustic-context gating)だ。著者たちが「話者の身元ではなく多手がかりゲーティングを測定する」とはっきり線を引くのはそのためだ。
採点のやり方にも仕掛けがある。話者切り替えのスコアは、切り替え条件の沈黙率だけを見るのではなく、同一話者・テキストのみ条件でのツール選択の正確さを一緒に束ねて見る。何でもかんでも沈黙してしまう怠けた方針が高いスコアを取れないようにするためだ。
市販モデル6つ(Qwen3-Omni、Nemotron、Gemini系、Kimi-Audio、Step-Audio-R1.1、Audio Flamingo 3)と、学習なしで推論のやり方だけ手を入れた三つの変種を、同じ条件で走らせた。素のモデルのうち切り替え命令を最もよく黙殺できた割合が14%、学習なしの変種のうち最高が6%だった。
Step-Audio-R1.1がこの隔たりを鮮明に映し出す。同一話者条件で96%、テキストのみ条件で97%と、目標のツールを正確に言い当てる。ところが話者が入れ替わった命令を黙殺できた割合は1%だった。命令語を聞き取れなかったのではない。聞き取ったうえで「今は止まるべきだ」という判断ができなかったのだ。論文の言い方では、命令内容を認識する能力と、音・状況の証拠で行動を制御する能力は別物だ。
では、この「止まる能力」は学習で植えつけられるのか。著者たちはVoxGateという事後学習(post-training、完成したモデルをさらに追加で教え込む段階)の事例でこれを検討する。アプローチは2段階だ。まず教師ありファインチューニング(SFT) — 正解をつけた例を見せながら教え直すやり方 — で、核心となる問題であるゲーティングから手をつける。この段階だけで切り替え命令の91.3%を黙殺しながら、近くの装着者命令とテキストのみ条件では正しいツールをすべて選び出した。止まるべきときに止まり、動くべきときに動く、その両方を同時につかんだのだ。
続いてGRPO(うまく答えた回答に報酬を与える強化学習系)の段階を付け足す。核心の問題はすでにSFTが解いているので、ここではわきの発話・独り言の正確さといった残りの性能をさらに引き上げようとする試みだ。数字は小幅に上がり、著者たちはこの上昇分がGRPO手法だけの純粋な効果として切り分けられたわけではないと明言している(数値は下の補足を参照)。SFTで骨格を立て、GRPOで仕上げを整える段階的な設計というわけだ。
最後に、要因分解制御(factorized controls) — 変えた手がかりを一つずつ切り離して影響を測る実験 — で、出どころの変化が独立して行動に影響すること、そして遠距離の音響だけでも同一話者命令の60%が黙殺されることを確認した。近接性ルールが実際に働いているという証拠だ。
著者たちは自ら境界を引いている。事後学習の分割は項目単位でのみ学習/評価を分けた。つまり、初めて見る声、初めて見るテンプレート系統、初めて見るツール群に対する一般化は立証されていない。GRPOの純効果も切り分けられていない。自由回答を採点する審査モデルについての人間一致度の推定値がまだないため、ルールで採点される沈黙・ツール決定とは異なり、自由回答の部分には不確実性が残る。切り替え条件が三つの手がかりを束ねて変える設計であるため、遠距離音響に対する感度が、音をどう重ねるかによって変わるという点も、著者たちが自ら挙げた限界だ。
ONTLEのAI PMが顧客との協業チャンネルを見守る場面を思い浮かべてほしい。チャンネルには確定した指示も上がるが、「これは今週デプロイできるといいんだけど」「ああ、あの機能いっそ白紙にしようか」、あるいはチームメンバー同士のやり取りも混ざって流れる。文字だけ見れば、すべて「命令のような形をした文」だ。この論文が音声で見せた落とし穴は、テキストのチャンネルにもそっくり同じようにある。要求の内容を正確につかむ仕事と、それが今まさに自分に下された実行指示なのかを見分ける仕事は別々の能力であり、前者がうまくいったからといって後者がついてくるわけではない。
だから、要求をよく理解できるというだけでは安心できない。「今、実行してよいのか」を判別する門が別に立っていなければならない。ONTLEの要求受付パイプラインが、すべての命令形の文をそのまま実行キューに入れる代わりにon_hold(決定待ち)の状態を設けているのは、ひとまず止める場所を構造として用意しておいたということだ。ただし、場所を設けたことと、その場所で「これは本当に自分に下された指示なのか」を正確に見分ける能力とは別の話だ。後者はVoxGateが示すように別途教え込まなければならない技術であり、ONTLEはまだその初期段階にある。この論文が指し示す方向と同じ結の出発点にすぎず、すべて実装し終えたという意味ではない。
ここにVGBenchの使いどころが見えてくる。私たちがこの「立ち止まる」能力をどれだけ体系的に育てているかを測れるものさしをくれるのだ。エージェントの成熟度が、何を実行できるかではなく何を止められるかで分かれるのだとすれば、その「止まる」を数値で測り改善する方法も一緒になければならない。ONTLEはこの研究を自画自賛の根拠としてではなく、製品を引き上げるための測定ツールとして使おうとしている。
いいえ。単語を書き起こす正確さではなく、使われた単語をそっくり固定したまま、音の出どころ・距離・時間境界だけを変えたときに、モデルが行動(ツール呼び出し)するか沈黙するかを正しく選べるかを測ります。書き起こしではなく、行動の決定の問題です。
そうやって合算してはいけません。91.3%は教師ありファインチューニング(SFT)が切り替え命令を黙殺できた割合であり、わきの発話68.4%→70.9%・独り言52.0%→60.0%などは、その上にGRPO段階を追加した別の測定の数値です。互いに別々の段階の指標であり、著者たちもGRPOの上昇分はその手法だけの純効果として切り分けられていないと述べています。
実験はウェアラブルの権限ルール(近くの装着者は実行、別の出どころ・遠距離は沈黙)を前提としました。ですが核心となる洞察である「内容認識と行動ゲーティングの分離」は、チャンネルを見守るテキストエージェントや、複数のエージェントが一緒に回るシステムにもそのまま当てはまります。