StepAudio 3 Realtime은 사람처럼 실시간으로 대화하면서도 깊은 추론을 놓치지 않으려는 오디오-언어 기반 모델(audio-language foundation model)이다. 핵심은 '말하면서 동시에 속으로 생각하기'(Think-While-Speaking)로, 답변을 음성으로 내보내는 그 순간에도 겉으로 드러나지 않는 사적 추론(private reasoning)을 병렬로 돌린다. 지연을 감수하고 깊이를 얻거나, 깊이를 포기하고 속도를 얻는 기존의 맞교환을 피하려는 설계다.
사람끼리 전화 통화를 떠올려 보자. 우리는 상대가 말하는 도중에도 다음 대답을 준비하고, "음", "그렇죠" 같은 맞장구(backchannel)를 끼워 넣고, 필요하면 말을 끊고 들어간다. 잠깐의 침묵도 자연스럽게 넘긴다. 이 모든 게 거의 동시에, 지연 없이 일어난다.
기존 음성 AI는 여기서 두 가지 긴장에 부딪혔다. 하나는 '깊이 생각하기'와 '빨리 대답하기'의 충돌이다. 좋은 답에는 추론 시간이 필요한데, 실시간 대화에서는 조금만 뜸을 들여도 어색해진다. 그래서 많은 시스템이 '빠르지만 얕은 답'과 '느리지만 깊은 답' 중 하나를 골라야 했다. 다른 하나는 대화의 흐름(turn-taking) 자체다. 침묵을 대화 종료로 오해하거나, 사용자가 끼어들어도 자기 말을 계속하거나, 맞장구조차 넣지 못하는 문제다. StepAudio 3 Realtime은 이 두 긴장을 정면으로 겨냥한다.
이 모델은 '듣기-대화-생각-행동'(listen-converse-think-act)이 끊기지 않고 도는 순환 고리로 설계됐다. 초록이 드는 구성 요소는 넷이다.
넷은 각각 잘 듣고, 끊김 없이 주고받고, 말하면서 생각하고, 대화를 방해하지 않고 일을 처리하는 축이다. 그중 실제 반응 경험을 가르는 건 뒤의 둘 — 말하는 중에 추론이 돌고, 도구가 배경에서 도는 부분이다. 이걸 사람이 체감할 수 있는 한 장면으로 내려 보면 구조가 선명해진다.
온틀은 고객 프로젝트마다 AI 프로젝트 매니저(PM)를 파견하는 SaaS다. AI PM에게 고객이 "다음 주 마일스톤을 이틀 당길 수 있을까요?"라고 묻는 상황을 놓고, 순차 방식과 병렬 방식을 같은 장면에서 비교해 보자. 논문은 음성이지만, 벌어지는 일은 텍스트 PM 챗에도 그대로 옮겨진다.
순차 방식. 요청을 받은 PM은 "확인해 보겠습니다"라고 답한 뒤 침묵한다. 그동안 일정 문서와 의존 작업(디자인 검수, QA 기간 등)을 조회한다. 조회가 끝나야 비로소 답이 나온다. 조회에 걸리는 시간만큼 대화는 얼어붙고, 고객은 '기다리게 하는 도구' 앞에 앉아 있게 된다.
병렬 방식. 요청을 받자마자 PM은 말을 시작하면서 동시에 속으로 문서를 조회한다. 여기서 세 가지를 구분해야 한다.
그래서 개선 여부는 감이 아니라 지표로 판단해야 한다. 첫 응답까지의 지연(고객이 첫 글자를 받기까지 걸린 시간), 내보낸 말 중 나중에 번복된 비율(정정 빈도), 조회 전에 확약을 내버린 확약 오류율 — 이 셋을 같이 본다. 지연만 줄고 정정 빈도가 함께 오르면, 그건 '빨라진' 게 아니라 '섣불러진' 것이다.
여기까지가 논문에 담긴 것과 온틀의 적용 가설이 갈리는 지점이다. 논문이 보여 준 것은 음성 모델이 발화 중 병렬 추론과 비동기 도구 실행으로 지연을 줄였다는 결과다. 그 값어치를 텍스트 PM 챗에서 회수하려면, 위 세 지표로 '말해도 되는 것과 확정하면 안 되는 것의 경계'를 관리하는 일이 남는다. 이 경계 설계는 논문이 대신 풀어 주지 않는, 우리 쪽 숙제다.
초록이 제시한 값은 아래와 같다. 모두 초록 기준이며, 각 벤치마크의 세부 조건은 원문을 확인해야 한다. 점수들은 대체로 0~100 눈금 위에 있어, 90대 값은 눈금 위쪽에 자리한다는 정도로 읽으면 된다.
| 항목 | 점수 | 설명(초록 기준) |
|---|---|---|
| StepAudioChat (추론 모드) | 73.0 매크로 평균 | 추론 모드에서의 대화 성능 |
| MMSU 벤치마크 | 90.6 | 음성 언어 이해를 재는 지표, 눈금 상단에 근접 |
| Artificial Analysis Full-Duplex Bench | 98.9 (Overall) | 양방향 대화 처리 종합 점수 |
| τ-Voice | 56.0% (매크로 과제 성공률) | 음성 기반 과제 수행 성공률 |
의미 있는 대목은 단일 지표의 높이보다 조합이다. Think-While-Speaking을 켠 채로 전용 추론 모델에 견줄 성능을 실시간으로 냈다는 주장이 초록의 중심이다. 다만 τ-Voice의 성공률은 성격이 다르다. 그럴듯하게 대화하는 데서 나아가 음성 에이전트가 실제 과제를 수행해 끝내는 능력을 재는데, 56.0%는 절반을 조금 넘는 수준이다. 완성된 자동화라기보다 실용 가능성의 초기 신호로 읽는 편이 맞고, 앞 장면에서 본 '확약 오류'가 어디서 새는지를 이 수치가 간접적으로 말해 준다.
초록만으로는 확인할 수 없는 부분이 많다.
이 항목들은 원문 본문에서 근거를 확인해야 하는 지점이다.
지연이 줄어도 조회 전에 내보낸 말이 나중 결과와 충돌하면 번복 비용이 생기기 때문입니다. 속도만 보지 말고 정정 빈도와 확약 오류율을 함께 봐야, 빨라진 것인지 섣불러진 것인지 구분됩니다.
설계 원리는 옮겨집니다. 다만 핵심은 '결과 전에 말해도 되는 것(접수·확인 항목·일반 맥락)'과 '확정하면 안 되는 것(가능 여부 확약)'의 경계를 먼저 정하는 일입니다. τ-Voice 성공률이 초기 신호 수준인 만큼, 초반에는 사람 검수(human-in-the-loop)를 함께 두는 편이 현실적입니다.