AuK는 음성을 "만드는 일"과 "고치는 일"을 하나의 모델, 하나의 인터페이스로 통합한 오픈소스 음성 파운데이션 모델입니다. 사용자는 자연어 지시와 오디오 맥락만 주면 됩니다. 새 목소리를 생성하거나, 내용을 편집하거나, 잡음을 제거하고 화자를 분리하는 일까지 같은 모델이 처리합니다. 저자들은 소스 코드와 모델 가중치를 모두 공개해 재현 가능한 연구 기반을 마련했습니다.
지금까지 음성 AI는 대체로 "한 가지 일만 잘하는 전문가"들의 모음이었습니다. 음성을 새로 만드는 모델(TTS), 잡음을 없애는 모델(노이즈 제거), 겹친 목소리를 나누는 모델(음원 분리), 억양이나 감정을 바꾸는 모델이 각각 따로 존재했습니다. 마치 사진 한 장을 다루는 데 자르기 전용 앱, 밝기 보정 전용 앱, 배경 지우기 전용 앱을 따로 열어야 하는 상황과 비슷했습니다.
이런 분업 구조에는 두 가지 불편이 있습니다. 첫째, 사용자가 원하는 결과를 얻으려면 어떤 도구를 어떤 순서로 쓸지 직접 설계해야 합니다. 둘째, 각 도구가 서로 다른 방식으로 학습돼 있어 결과물의 품질이나 목소리 특성이 도구를 거칠 때마다 어긋나기 쉽습니다.
AuK는 이 여러 전문가를 한 명의 "만능 편집자"로 합치려는 시도입니다. 사용자가 "이 문장을 넣어줘", "잡음을 없애줘", "더 차분한 톤으로 바꿔줘"처럼 말로 지시하면, 하나의 모델이 그 의미를 이해하고 실제 오디오를 만들어냅니다. 초록에 따르면 AuK가 다루는 작업은 다섯 갈래로 정리됩니다.
| 작업 갈래 | 대략의 의미 |
|---|---|
| 음성 생성 | 지시·맥락에 맞는 새 음성 만들기 |
| 콘텐츠 편집 | 말의 내용(단어·문장) 수정 |
| 향상·분리 | 잡음 제거, 겹친 화자 분리 |
| 준언어 편집 | 억양·감정 등 말투 요소 조정 |
| 음향 편집 | 소리의 음향적 특성 조정 |
이 폭넓은 능력을 뒷받침하기 위해, 저자들은 약 30억 3천만 개(3.03 billion)의 지시-오디오 쌍과 195만 시간(1.95 million hours) 규모의 유효 지도학습 데이터를 구축했다고 밝힙니다.
AuK의 구조는 크게 세 부분으로 나뉩니다. 요리에 비유하면 이해합니다.
첫째, 의미를 이해하는 두뇌입니다. 멀티모달 대형 언어 모델(MLLM, 텍스트와 오디오를 함께 다루는 언어 모델)이 "무엇을 어떻게 해달라"는 자연어 지시의 의미를 해석합니다. 손님의 주문을 알아듣는 셰프의 역할입니다.
둘째, 소리의 재료를 다루는 파트입니다. VAE(변분 오토인코더, 오디오를 압축된 형태로 표현했다가 다시 복원하는 장치)가 음성뿐 아니라 일반 음향과 음악까지 함께 학습돼, 다양한 소리를 다룰 수 있는 공통 표현을 제공합니다. 여러 식재료를 손질해두는 준비 과정에 해당합니다.
셋째, 실제로 소리를 빚어내는 생성기입니다. 여기서 하이브리드 rectified-flow Transformer라는 구조가 등장합니다. rectified-flow는 잡음에서 출발해 목표 소리로 나아가는 경로를 되도록 곧게 펴서 만드는 생성 방식입니다. 구불구불한 길보다 직선 경로가 빠르고 안정적인 것과 같습니다. 이 생성기는 두 단계로 작동합니다. 앞부분은 이중 스트림 MMDiT 블록으로 텍스트(지시)와 오디오(맥락)라는 두 흐름을 각각 살피며 조율하고, 뒷부분은 단일 스트림 DiT 블록으로 이 둘을 하나로 합쳐 최종 소리를 완성합니다. 두 요리사가 각자 재료를 준비하다가 마지막에 한 냄비에서 합치는 그림입니다.
학습은 단계적으로 진행됩니다. 먼저 생성만 하는 워밍업(generation-only warm-up)으로 기본기를 다진 뒤, 생성과 편집을 함께 배우는 공동 사전학습으로 넘어갑니다. 그다음 목적이 다른 두 가지 사후학습(post-training)을 적용합니다.
마지막으로 속도 문제를 해결하기 위해 증류(distillation)를 합니다. 여기서 증류는 큰 모델을 작게 줄이는 '소형화'가 아니라, 교사 모델로 초기화한 학생 모델이 더 적은 단계로 같은 결과에 도달하도록 훈련해 '추론을 가속'하는 과정입니다. 파라미터 수를 줄이는 것이 아니라, 여러 번 밟아야 하는 생성 단계와 보정 연산을 압축하는 쪽입니다. 여기에 consistency initialization과 작업별로 경로를 나눈 Decoupled DMD 기법을 씁니다. 그 결과 나온 AuK-Flash는 classifier-free guidance(생성 품질을 높이려 지시 반영을 강조하는 보정 기법으로, 보통 추가 연산을 요구합니다) 없이도 단 4단계 추론으로 결과를 냅니다. 동일 조건에서 전체 모델 대비 4.5배(4.5x)의 실측(wall-clock) 속도 향상을 달성했다고 초록은 밝힙니다.
초록이 제시하는 성과는 세 가지로 요약됩니다.
첫째, 제로샷(사전에 본 적 없는 목소리·조건) 음성 생성과 지시 기반 제어 음성 생성에서 선도적(leading) 성능을 보였습니다. 둘째, 일반적인 지시 기반 편집에서도 앞서는 결과를 냈습니다. 셋째, 신호 수준의 복원 작업(잡음 제거 등 기존 전문 모델의 텃밭)에서도 경쟁력 있는(competitive) 수준을 유지했습니다.
여기서 균형이 중요합니다. 여러 작업을 하나로 통합한 만능 모델은 자칫 "모든 걸 조금씩만 잘하는" 어중간함에 빠지기 쉽습니다. AuK는 생성·편집 같은 지시 기반 작업에서 앞서면서도, 전문 모델과 정면으로 부딪히는 복원 작업에서 뒤처지지 않았다는 점을 성과로 내세웁니다. 통합의 편의를 얻으면서 성능도 크게 희생하지 않았다는 뜻입니다.
다만 초록은 구체적인 벤치마크 점수나 비교 대상 모델의 수치를 제시하지 않습니다. "선도적", "경쟁력 있는"이라는 정성적 표현이 근거이므로, 정확한 우위 폭은 본문과 실험 표를 직접 확인해야 합니다. 이 글은 초록에 명시된 범위(속도 4.5배, 4단계 추론, 데이터 규모 등)만 수치로 다뤘습니다.
초록만으로는 확인되지 않는 지점들이 있습니다.
이런 항목들은 논문을 깎아내리는 것이 아니라, 초록 수준에서 판단을 멈추지 말고 본문·부록을 읽어야 할 확인 목록입니다.
온틀은 AI 프로젝트 매니저를 파견하는 형태의 서비스를 만듭니다. 그 관점에서 AuK는 몇 가지 시사점을 줍니다.
첫째, "여러 전문 도구의 조합"에서 "지시 기반 통합 모델"로의 전환입니다. 지금까지 많은 AI 제품은 기능별 파이프라인을 사람이 설계해 이어 붙였습니다. AuK처럼 자연어 지시 하나로 여러 작업을 통합하는 방향은, 에이전트가 도구 호출 순서를 일일이 짜는 대신 의도를 곧바로 결과로 옮기는 설계가 가능함을 보여줍니다.
둘째, 사후학습으로 실제 사용성을 조율하는 방식이 인상적입니다. 사람 선호 최적화와 보상 기반 강화학습을 작업 성격에 따라 나눠 적용했습니다. AI PM이나 RAG 기반 제품에서도, 열린 응답에는 사용자 피드백을, 명확한 정답이 있는 작업에는 보상 신호를 쓰는 식으로 후처리 전략을 분리하는 접근이 유효할 수 있습니다.
셋째, 속도를 위한 증류의 실용성입니다. AuK-Flash가 보여준 4단계 추론과 4.5배 속도 향상은, 품질을 크게 잃지 않으면서 서비스 비용과 응답 지연을 낮추는 현실적 경로입니다. 실제 제품에서 큰 모델로 품질을 확보한 뒤, 추론 단계를 줄이는 증류로 운영 부담을 낮추는 2단계 전략은 온틀이 취하는 개발 철학과도 맞닿아 있습니다.
넷째, 오픈소스 공개라는 점입니다. 코드와 가중치가 공개되면 내부 검증과 커스터마이징이 가능해, 외부 API에만 의존할 때보다 통제권과 재현성을 확보하기 좋습니다.
자연어 지시와 오디오 맥락을 입력받아 음성을 생성하고 편집하는 오픈소스 파운데이션 모델입니다. 초록 기준으로 음성 생성, 콘텐츠 편집, 향상·분리, 준언어 편집, 음향 편집의 다섯 갈래 작업을 하나의 모델로 다룹니다.
파라미터를 줄인 경량 모델이 아니라, 교사 모델에서 초기화해 더 적은 추론 단계와 보정 연산으로 결과를 내도록 증류해 속도를 높인 버전입니다. consistency initialization과 task-routed Decoupled DMD로 만들어져, classifier-free guidance 없이 4단계 추론을 수행하고 동일 조건에서 전체 모델 대비 4.5배 실측 속도 향상을 달성했다고 초록은 밝힙니다.
초록에 따르면 제로샷·지시 기반 음성 생성과 일반 지시 기반 편집에서는 선도적 성능을, 신호 수준 복원 작업에서는 경쟁력 있는 수준을 보였습니다. 다만 구체적인 수치 비교는 초록에 제시되지 않아 본문 확인이 필요합니다.
저자들이 소스 코드와 모델 가중치를 모두 공개한다고 밝혔습니다. 자세한 링크와 사용 조건은 아래 참고자료의 arXiv·HuggingFace 페이지에서 확인할 수 있습니다.