StepAudio 3 Music은 텍스트 지시만으로 최대 5분 30초 길이의 장편 음악을 만들어내는 대규모 음악 생성 모델이다. 단순히 소리를 뽑아내는 데 그치지 않고, 원하면 화성·리듬·멜로디 구조를 담은 '편곡 계획'을 먼저 세운 뒤 그 계획을 따라 음악을 완성할 수도 있다는 점이 특징이다. 논문은 계획 없이 바로 음악을 생성하는 방식(Direct)과 편곡 계획을 먼저 만드는 방식(ABC-CoT)을 구분해 지원한다. 초록 기준으로 이 모델은 AudioBox의 세 가지 품질 지표(Content Enjoyment, Content Usefulness, Production Quality)와 MuQ-MuLan 유사도에서 평가된 시스템 중 최고 점수를 기록했고, Artificial Analysis Music Arena Vocals 예비 리더보드에서는 Quality Elo 1105로 상위권에 올랐다(다만 몇 위인지는 원문 안에서 서술이 엇갈린다 — 뒤에서 자세히 다룬다).
음악을 자동으로 생성하는 AI는 이미 많다. 하지만 대부분은 두 가지 벽에 부딪힌다.
첫째는 길이의 벽이다. 짧은 멜로디 몇 소절은 그럴듯하게 만들어도, 곡 전체를 처음부터 끝까지 구조 있게 끌고 가는 것은 훨씬 어렵다. 사람이 곡을 들을 때는 '도입-전개-후렴-마무리'로 이어지는 흐름을 무의식적으로 기대하는데, 계획 없이 소리를 이어 붙이기만 하면 이 흐름이 쉽게 무너진다. 마치 개요 없이 즉흥적으로 문장을 이어 쓴 긴 글이 뒤로 갈수록 앞뒤가 안 맞는 것과 비슷하다.
둘째는 표현과 제어의 벽이다. 음악은 본질적으로 연속적인 파형(소리의 물결)이다. 이 방대한 연속 신호를 AI가 다루기 좋은 형태로 압축하면서도, 멜로디·화성 같은 '음악적으로 의미 있는 정보'를 잃지 않게 만드는 것이 관건이다. 너무 거칠게 압축하면 음질이 뭉개지고, 너무 세밀하게 다루면 계산량이 감당이 안 된다.
StepAudio 3 Music은 이 두 벽을 각각 '선택적 편곡 계획(ABC-CoT 모드)'과 '똑똑한 압축·복원 설계'로 정면 돌파한다.
이 모델의 방법론은 크게 세 부분으로 나눠 보면 이해하기 쉽다. 요리에 비유하면 '재료를 다루는 법(토크나이저)', '요리하는 법(생성 모델)', '레시피를 먼저 짜는 법(계획)'에 해당한다.
먼저 StepAudio Music Tokenizer는 소리를 초당 50개의 토큰(50-Hz 스트림)으로 표현한다. 각 토큰은 65,536개의 항목을 가진 하나의 코드북(single codebook)에서 고른다. 코드북이란 '음악 조각 사전' 같은 것이라고 생각하면 된다. 소리의 흐름을 이 사전에 있는 6만여 개의 조각 중 하나로 매초 50번씩 골라 표현하는 방식이다.
여기서 중요한 점은, 이 토크나이저가 단순히 소리를 압축하는 데 그치지 않고 의미를 아는(semantically informed) 방식으로 학습됐다는 것이다. 자기지도 학습(self-supervised, 정답 라벨 없이 데이터 자체에서 규칙을 배우는 방식)과 다중 작업 학습(multi-task training)을 함께 써서, 음악의 구조와 복원에 필요한 정보를 함께 보존하도록 만들었다. 즉 조각 사전이 '음질'과 '음악적 의미'를 둘 다 챙기도록 훈련된 셈이다.
이렇게 뽑아낸 음악 토큰을 실제로 들을 수 있는 소리로 되돌리는 단계가 있다. 여기서는 플로우 매칭(flow-matching) 방식의 확산 트랜스포머(DiT, Diffusion Transformer)가 연속적인 잠재값(StepAudio VAE latent)을 예측하고, 이 잠재값을 VAE 디코더가 48-kHz 고음질 오디오로 변환한다.
이 부분의 설계 철학이 흥미롭다. 논문은 '이산(discrete)-연속(continuous) 설계'라고 부른다. 음악의 뼈대는 앞서 만든 이산적인 토큰(사전에서 고른 조각)으로 잡고, 실제 음향의 미세한 결은 연속적인 값으로 되살리는 이중 구조다. 논문은 이 선택을 그냥 내린 것이 아니라, 단일 코드북 VQ 방식, 의미·음향 RVQ 방식, 여러 DiT 구성을 서로 비교한 실험을 근거로 삼았다고 밝힌다.
가장 특징적인 부분이 바로 선택적 명시적 계획(explicit planning)이다. 원문(§2.1·§5.4.3)은 계획 없이 음악 토큰을 곧바로 생성하는 Direct 모드와, 생성 전에 편곡 계획을 먼저 만드는 ABC-CoT 모드를 구분한다. ABC-CoT 모드에서는 Mixture-of-Experts(MoE, 여러 전문가 하위 모델 중 상황에 맞는 것만 골라 쓰는 구조) 자기회귀 모델이 ABC 표기법(ABC notation, 텍스트로 악보를 적는 표준 방식)으로 중간 편곡 계획을 먼저 만든다. 논문은 이 계획 방식을 ABC-CoT라고 부른다. CoT는 'Chain-of-Thought(생각의 사슬)'로, 답을 내기 전에 중간 추론 단계를 거치는 방식을 말한다.
비유하자면, 작곡가가 곡을 쓰기 전에 코드 진행과 멜로디 뼈대를 악보에 먼저 스케치하는 것과 같다. ABC-CoT 모드를 쓰면 화성(harmony)·리듬(rhythm)·멜로디 구조가 생성의 '맥락(context)'에 미리 포함되기 때문에, 뒤이어 나오는 실제 음악 토큰이 이 뼈대를 따라 일관되게 흘러간다. 앞서 말한 '길이의 벽'을 넘기 위해 논문이 제시하는 장치가 바로 이 선택적 사전 계획이다.
모델은 점진적 학습 커리큘럼(progressive training curriculum)과 지도 미세조정(supervised fine-tuning)을 통해 여러 작업을 지원한다. 초록이 명시하는 작업은 다음과 같다.
마지막으로 직접 선호 최적화(DPO, Direct Preference Optimization) 방식의 강화학습으로 결과물을 사람이 선호하는 방향으로 다듬었다. DPO는 '이쪽이 저쪽보다 낫다'는 선호 비교 데이터를 이용해 모델을 조정하는 방법으로, 별도의 복잡한 보상 모델 없이 선호를 직접 반영한다는 장점이 있다.
초록이 제시하는 성과는 다음과 같다. 여기 적힌 수치 외의 구체적 성능 향상치는 초록에 없으므로 정성적으로만 서술한다.
| 평가 항목 | 초록 기준 결과 |
|---|---|
| AudioBox Content Enjoyment | 평가된 시스템 중 최고 점수 |
| AudioBox Content Usefulness | 평가된 시스템 중 최고 점수 |
| AudioBox Production Quality | 평가된 시스템 중 최고 점수 |
| MuQ-MuLan 유사도 | 평가된 시스템 중 최고 |
| SongBench | 경쟁력 있는(competitive) 결과 |
| Music Arena Vocals(예비) Quality Elo | 1105 — 상위권(순위 표기는 원문 안에서 불일치: 초록은 3위 취지, 본문 §5.3.1은 4위) |
특히 Music Arena Vocals 예비 리더보드에서의 위치가 눈에 띈다. Quality Elo 1105를 기록했는데, 몇 위인지는 원문 안에서 서술이 엇갈린다. 초록은 이 모델이 Suno V5.5와 Mureka에만 뒤진다고 적어 사실상 3위를 시사하지만, 본문 §5.3.1은 동일한 점수(1105)를 두고 4위라고 명시한다. 어느 쪽이든 상위권이라는 점은 분명하나, 정확히 '몇 위'인지는 원문의 서술이 일치하지 않으므로 이 글에서는 단정하지 않는다. Elo는 체스 순위에서 쓰는 상대 평가 점수로, 사람들이 두 결과물을 비교 청취해 이긴 쪽에 점수를 몰아주는 방식이다. 즉 이 순위는 자동 지표가 아니라 사람의 선호에 근거한 비교라는 점에서 의미가 있다.
정리하면, StepAudio 3 Music의 기여는 '최고 점수를 냈다'는 결과 자체보다 그 결과에 이르는 설계 철학에 있다. 장편 일관성 문제를 '먼저 계획을 세운다'는 방식으로 풀었고, 표현·복원 문제를 '의미를 아는 이산 토큰 + 연속 복원'이라는 이중 구조로 풀었으며, 그 설계 선택들을 비교 실험으로 뒷받침했다.
초록만으로 판단할 때 다음과 같은 점은 열린 질문으로 남는다.
이런 정보는 논문 본문과 데모(공개된 audio demonstrations)에서 확인해야 하며, 이 글은 초록 범위를 넘어 단정하지 않는다.
온틀은 'AI 프로젝트 매니저 파견형 SaaS'다. 음악 생성 논문이 왜 우리에게 시사점을 줄까. 핵심은 도메인이 아니라 '생성하기 전에 계획한다'는 구조에 있다.
요약하면, 이 논문은 '먼저 계획하고, 구조와 디테일을 분리하고, 사람의 선호로 다듬는다'는 세 가지 설계 습관을 음악이라는 어려운 도메인에서 실증했다. 이 습관들은 우리가 만드는 AI PM·에이전트 제품에도 그대로 옮겨 심을 수 있는 원칙이다.
초록 기준으로 최대 5분 30초 길이까지 지원합니다. 노래·기악 생성, 마른 보컬로부터의 반주 생성, 커버곡 합성 등의 작업에 적용됩니다.
음악 토큰을 바로 생성하는 Direct 모드와 달리, ABC-CoT 모드에서는 음악 토큰을 만들기 전에 ABC 표기법(텍스트로 악보를 적는 방식)으로 중간 편곡 계획을 먼저 생성합니다. 화성·리듬·멜로디 구조를 생성 맥락에 미리 포함시켜, 긴 곡의 일관성을 높이는 선택적 장치입니다. CoT는 답을 내기 전 중간 추론 단계를 거친다는 뜻입니다.
초록에 따르면 AudioBox의 Content Enjoyment·Content Usefulness·Production Quality 세 지표와 MuQ-MuLan 유사도에서 평가된 시스템 중 최고 점수를 기록했고, SongBench에서는 경쟁력 있는 결과를 냈습니다. Artificial Analysis Music Arena Vocals 예비 리더보드에서는 Quality Elo 1105를 기록했습니다. 다만 순위 표기는 원문 안에서 엇갈립니다 — 초록은 Suno V5.5·Mureka에만 뒤진다고 서술하지만, 본문 §5.3.1은 동일 점수로 4위라고 적어 '몇 위'인지는 단정하기 어렵습니다.
음악 토크나이저가 소리를 6만여 항목의 단일 코드북에서 고른 이산 토큰(초당 50개)으로 표현해 다루기 쉬운 뼈대를 잡고, 확산 트랜스포머와 VAE 디코더가 연속적인 잠재값을 예측·복원해 48-kHz 고음질 오디오로 되살립니다. 논문은 이 이산-연속 설계를 여러 대안과 비교한 뒤 선택했다고 밝힙니다.