음성 AI가 명령을 알아듣는 것과, 그 명령에 실제로 반응할지를 판단하는 것은 전혀 다른 문제다. 과거엔 비서 본체 앞단에 호출어 탐지 같은 부품을 따로 붙여 이 문제를 걸러냈다. 그런데 요즘의 종단간(end-to-end) 오디오 LLM — 소리를 직접 듣고 이해해 바로 반응하는 대형 AI 모델 — 은 그 걸러내는 일까지 한 덩어리로 삼킨다. 침묵할지, 답할지, 도구를 부를지를 모델 하나가 곧장 결정한다. 문제는 이걸 제대로 재는 잣대가 없었다는 점이다. 그래서 이 논문의 저자들은 바로 그 경계를 떼어 재는 진단용 벤치마크 VGBench(1,018개 문항)를 만들어, 시중 오디오 LLM 여섯 개를 돌렸다. 결과를 한마디로 줄이면 이렇다. 도구는 잘 고르는데 멈추질 못한다. 가장 성능 좋은 모델조차 화자가 바뀐 명령을 침묵 처리한 비율이 14%에 그쳤다.
여기서 "도구를 부른다(tool call)"는, 모델이 "일정 추가"나 "메시지 전송" 같은 기능을 지목하는 구조화된 호출을 출력한다는 뜻이다. 다만 VGBench는 그 출력이 형식에 맞게 파싱되는지와 지목한 도구 이름이 맞는지까지만 본다. 실제로 함수를 실행하거나 인자(어떤 일정을, 누구에게)가 정확한지는 채점에서 뺀다. 말을 알아듣는 데서 끝나지 않고 어느 손을 쓸지 가리키는 단계이되, 그 손이 실제로 움직이는지는 이 벤치마크가 묻지 않는다.
음성 비서는 점점 실제 결과를 만드는 일을 맡는다. 일정을 잡고, 메시지를 보내고, 주문을 넣고, 기기를 제어한다. 그런데 "에어컨 꺼"라는 말은 사용자가 비서에게 한 것일 수도, 옆 사람에게 한 것일 수도, 혼잣말로 중얼거린 것일 수도 있다. 글자만 보면 셋 다 똑같다. 차이는 소리와 상황에 있다. 누가, 어디서, 어떤 맥락에서 그 말을 했는가.
평가 방식이 이 차이를 놓친다. 대부분의 평가는 "잘 짜인 요청"에 "맞는 응답"을 짝지어 점수를 매긴다. 그러니 도구 선택 정확도가 높게 나와도, 그게 소리의 맥락을 보고 내린 판단인지 그냥 명령어를 알아들은 결과인지 구분이 안 된다.
그래서 저자들은 질문을 좁혔다. 명령에 쓰인 단어를 똑같이 고정한 채로, 소리의 출처와 장면만 바꿨을 때, 모델은 행동하는가 아니면 입을 다무는가.
VGBench는 세 가지 상황으로 나뉜다. 핵심은 세 번째인 '화자 전환'이고, 나머지 둘은 그 전후를 떠받친다.
화자 전환 설계에는 먼저 깔아둔 규칙이 하나 있다. 웨어러블 기기의 보수적인 권한 규칙이다. 착용자가 가까이서 한 명령이면 실행하고, 다른 사람이 했거나 멀리서 들려온 명령이면 입을 다문다. 내 손목에 찬 기기가 건너편 사람의 "결제해"에 지갑을 열면 안 되기 때문이다.
이 규칙이 지켜지는지 보려고, VGBench는 같은 문장을 세 가지 조건으로 들려준다. 세 조건 모두 쓰인 단어는 똑같다.
여기서 전환 조건은 화자 신원 하나만 바꾸는 게 아니다. 출처(A→B), 원거리 음향, 600밀리초의 시간 경계라는 세 단서를 한꺼번에 바꾼다. 그래서 이 벤치마크가 재는 건 "목소리가 누구 것인가"가 아니라, 여러 소리 단서를 종합해 반응할지 말지를 여닫는 맥락 게이팅(acoustic-context gating)이다. 저자들이 "화자 신원이 아니라 다중 단서 게이팅을 측정한다"고 분명히 선을 긋는 이유다.
채점 방식에도 장치가 있다. 화자 전환 점수는 전환 조건의 침묵 비율만 보지 않고, 같은 화자·텍스트 전용 조건에서의 도구 선택 정확도를 함께 묶어 본다. 무조건 다 침묵해버리는 게으른 정책이 높은 점수를 받지 못하게 막기 위해서다.
저자들은 시중 모델 여섯 개(Qwen3-Omni, Nemotron, Gemini 계열, Kimi-Audio, Step-Audio-R1.1, Audio Flamingo 3)와, 학습 없이 추론 방식만 손본 세 가지 변형을 같은 조건으로 돌렸다. 날것 모델 중 전환 명령을 가장 잘 침묵 처리한 비율이 14%, 학습 없는 변형 중 최고가 6%였다.
Step-Audio-R1.1이 이 간극을 선명하게 드러낸다. 같은 화자 조건에서 96%, 텍스트 전용 조건에서 97%로 목표 도구를 정확히 집어낸다. 그런데 화자가 바뀐 명령을 침묵 처리한 비율은 1%였다. 명령어를 못 알아들은 게 아니다. 알아듣고도 "지금은 멈춰야 한다"는 판단을 못 한 것이다. 논문의 표현으로, 명령 내용을 인식하는 능력과 소리·상황 증거로 행동을 통제하는 능력은 별개다.
그렇다면 이 '멈추는 능력'은 학습으로 심을 수 있을까. 저자들은 VoxGate라는 사후 학습(post-training, 완성된 모델을 추가로 더 가르치는 단계) 사례로 이를 따져본다. 접근은 2단계다. 먼저 지도 미세조정(SFT) — 정답이 붙은 예시를 보여주며 다시 가르치는 방식 — 으로 핵심 문제인 게이팅부터 잡는다. 이 단계만으로 전환 명령의 91.3%를 침묵 처리하면서, 가까운 착용자 명령과 텍스트 전용 조건에서는 올바른 도구를 전부 골라냈다. 멈춰야 할 때 멈추고 움직여야 할 때 움직이는, 둘을 동시에 잡은 것이다.
그다음 GRPO(잘한 답에 상을 주는 강화학습 계열) 단계를 덧붙인다. 핵심 문제는 이미 SFT가 풀었으니, 여기서는 옆말·혼잣말 정확도 같은 나머지 성능을 더 끌어올리려는 시도다. 숫자는 소폭 올랐고, 저자들은 이 상승분이 GRPO 기법만의 순수 효과로 분리된 것은 아니라고 명시한다(수치는 아래 보충 참조). SFT로 뼈대를 세우고 GRPO로 마감을 손보는 단계적 설계인 셈이다.
마지막으로 저자들은 요인 분해 통제(factorized controls) — 바꾼 단서를 하나씩 떼어 영향을 재는 실험 — 에서, 출처 변화가 독립적으로 행동에 영향을 준다는 것, 그리고 원거리 음향만으로도 같은 화자 명령의 60%가 침묵 처리된다는 것을 확인했다. 근접성 규칙이 실제로 작동한다는 증거다.
저자들은 경계를 스스로 그어둔다. 사후 학습 분할은 항목 단위로만 학습/평가를 나눴다. 즉 처음 보는 목소리, 처음 보는 템플릿 계열, 처음 보는 도구군에 대한 일반화는 입증되지 않았다. GRPO의 순효과도 분리되지 않았다. 자유 응답을 채점하는 심사 모델에 대한 인간 일치도 추정치가 아직 없어, 규칙으로 채점되는 침묵·도구 결정과 달리 자유 응답 부분엔 불확실성이 남는다. 전환 조건이 세 단서를 묶어 바꾸는 설계라, 원거리 음향에 대한 민감도가 소리를 어떻게 입히느냐에 따라 달라진다는 점도 저자들이 직접 짚은 한계다.
온틀의 AI PM이 고객 협업 채널을 지켜보는 장면을 떠올려보자. 채널에는 확정된 지시도 올라오지만, "이건 이번 주에 배포하면 좋겠는데", "아 그 기능 그냥 엎을까", 혹은 팀원끼리 주고받는 대화도 섞여 흐른다. 글자만 보면 전부 "명령처럼 생긴 문장"이다. 이 논문이 음성에서 보여준 함정이 텍스트 채널에도 똑같이 있다. 요청 내용을 정확히 파악하는 일과, 그게 지금 나에게 내려진 실행 지시인지 가려내는 일은 서로 다른 능력이고, 앞을 잘한다고 뒤가 따라오지 않는다.
그래서 요청을 잘 이해한다는 것만으로는 안심할 수 없다. '지금 실행해도 되는가'를 판별하는 문이 따로 서 있어야 한다. 온틀의 요청 접수 파이프라인이 모든 명령형 문장을 곧장 실행 큐에 넣는 대신 on_hold(결정 기다리는 중) 상태를 두는 것은, 일단 멈춰 세울 자리를 구조로 마련해 둔 것이다. 다만 자리를 둔 것과, 그 자리에서 "이게 정말 나에게 내린 지시인가"를 정확히 가려내는 능력은 다른 이야기다. 후자는 VoxGate가 보여주듯 따로 가르쳐야 하는 기술이고, 온틀은 아직 그 초기 단계에 있다. 이 논문이 가리키는 방향과 결이 같은 출발점일 뿐, 다 구현했다는 뜻은 아니다.
여기서 VGBench의 쓸모가 보인다. 우리가 이 '멈춤'의 능력을 얼마나 체계적으로 키우고 있는지 재볼 수 있는 잣대를 준다. 에이전트의 성숙도는 무엇을 실행할 수 있느냐가 아니라 무엇을 멈출 수 있느냐로 갈린다면, 그 멈춤을 수치로 측정하고 개선할 방법이 함께 있어야 한다. 온틀은 이 연구를 자찬의 근거가 아니라 제품을 끌어올리는 측정 도구로 쓰려 한다.
아닙니다. 단어를 받아쓰는 정확도가 아니라, 쓰인 단어를 똑같이 고정한 채 소리의 출처·거리·시간 경계만 바꿨을 때 모델이 행동(도구 호출)할지 침묵할지를 올바르게 고르는지를 잽니다. 받아쓰기가 아니라 행동 결정의 문제입니다.
그렇게 합치면 안 됩니다. 91.3%는 지도 미세조정(SFT)이 전환 명령을 침묵 처리한 비율이고, 옆말 68.4%→70.9%·혼잣말 52.0%→60.0% 등은 그 위에 GRPO 단계를 추가한 다른 측정의 수치입니다. 서로 다른 단계의 지표이고, 저자들도 GRPO 상승분이 그 기법만의 순효과로 분리되지 않았다고 밝혔습니다.
실험은 웨어러블의 권한 규칙(가까운 착용자는 실행, 다른 출처·원거리는 침묵)을 가정했습니다. 하지만 핵심 통찰인 "내용 인식과 행동 게이팅의 분리"는 채널을 지켜보는 텍스트 에이전트나 여러 에이전트가 함께 도는 시스템에도 그대로 적용됩니다.