AuKは、音声を「作る仕事」と「直す仕事」をひとつのモデル、ひとつのインターフェースに統合したオープンソースの音声基盤モデルです。ユーザーは自然言語の指示と音声の文脈を渡すだけ。新しい声を生成したり、内容を編集したり、ノイズを除去して話者を分離することまで、同じモデルがこなします。著者らはソースコードとモデルの重みをすべて公開し、再現可能な研究基盤を整えました。
これまでの音声AIは、たいてい「ひとつの仕事だけが得意なスペシャリスト」の寄せ集めでした。音声を新しく作るモデル(TTS)、ノイズを取り除くモデル(ノイズ除去)、重なった声を分けるモデル(音源分離)、抑揚や感情を変えるモデルが、それぞれ別々に存在していたのです。写真を1枚いじるのに、トリミング専用アプリ、明るさ補正専用アプリ、背景消去専用アプリを別々に開かなければならない状況とよく似ています。
こうした分業構造には、2つの不便さがあります。1つめは、ユーザーが望む結果を得るために、どのツールをどの順番で使うかを自分で設計しなければならないこと。2つめは、各ツールが異なる方法で学習されているため、ツールを通すたびに成果物の品質や声の特性がずれやすいことです。
AuKは、この複数のスペシャリストを一人の「万能エディター」にまとめようという試みです。ユーザーが「この文を入れて」「ノイズを消して」「もっと落ち着いたトーンにして」のように言葉で指示すると、ひとつのモデルがその意味を理解し、実際のオーディオを作り出します。アブストラクトによれば、AuKが扱うタスクは5つに整理されます。
| タスクの区分 | おおまかな意味 |
|---|---|
| 音声生成 | 指示・文脈に合った新しい音声を作る |
| コンテンツ編集 | 発話の内容(単語・文)を修正する |
| 向上・分離 | ノイズ除去、重なった話者の分離 |
| 準言語編集 | 抑揚・感情など話し方の要素を調整する |
| 音響編集 | 音の音響的特性を調整する |
この幅広い能力を支えるために、著者らは約30億3千万件(3.03 billion)の指示-オーディオのペアと、195万時間(1.95 million hours)規模の有効な教師あり学習データを構築したと述べています。
AuKの構造は大きく3つの部分に分かれます。料理にたとえると理解しやすくなります。
1つめは、意味を理解する頭脳です。マルチモーダル大規模言語モデル(MLLM、テキストとオーディオを一緒に扱う言語モデル)が、「何をどうしてほしいのか」という自然言語の指示の意味を解釈します。客の注文を聞き取るシェフの役割です。
2つめは、音の素材を扱うパートです。VAE(変分オートエンコーダ、オーディオを圧縮した形で表現し、再び復元する仕組み)が、音声だけでなく一般の音響や音楽までを一緒に学習し、さまざまな音を扱える共通の表現を提供します。いろいろな食材を下ごしらえしておく準備工程にあたります。
3つめは、実際に音を形づくる生成器です。ここでハイブリッドなrectified-flow Transformerという構造が登場します。rectified-flowは、ノイズから出発して目標の音へ進む経路を、できるだけまっすぐに伸ばして作る生成方式です。くねくねした道より直線の経路のほうが速く安定しているのと同じです。この生成器は2段階で動きます。前半は二重ストリームのMMDiTブロックで、テキスト(指示)とオーディオ(文脈)という2つの流れをそれぞれ見ながら調整し、後半は単一ストリームのDiTブロックで、この2つをひとつに合わせて最終的な音を仕上げます。2人の料理人がそれぞれ材料を準備し、最後にひとつの鍋で合わせる絵です。
学習は段階的に進みます。まず生成だけを行うウォームアップ(generation-only warm-up)で基礎を固め、次に生成と編集を一緒に学ぶ共同事前学習へ移ります。そのあと、目的の異なる2種類の事後学習(post-training)を適用します。
最後に、速度の問題を解決するために蒸留(distillation)を行います。ここでの蒸留は大きなモデルを小さく縮める「小型化」ではなく、教師モデルで初期化した生徒モデルが、より少ないステップで同じ結果に到達するよう訓練して「推論を加速」するプロセスです。パラメータ数を減らすのではなく、何度も踏まなければならない生成ステップと補正計算を圧縮する方向です。ここにconsistency initializationと、タスクごとに経路を分けたDecoupled DMDという手法を使います。その結果生まれたAuK-Flashは、classifier-free guidance(生成品質を高めるために指示の反映を強調する補正手法で、通常は追加の計算を要します)なしでも、わずか4ステップの推論で結果を出します。同一条件でフルモデルに対し4.5倍(4.5x)の実測(wall-clock)速度向上を達成したと、アブストラクトは述べています。
アブストラクトが示す成果は3つに要約されます。
1つめは、ゼロショット(事前に見たことのない声・条件)の音声生成と、指示ベースの制御音声生成において、先導的(leading)な性能を示したことです。2つめは、一般的な指示ベースの編集でも先んじる結果を出したこと。3つめは、信号レベルの復元タスク(ノイズ除去など、従来は専門モデルの得意領域)でも競争力のある(competitive)水準を保ったことです。
ここでバランスが重要になります。複数のタスクをひとつに統合した万能モデルは、ともすれば「すべてを少しずつしかこなせない」中途半端さに陥りやすいものです。AuKは、生成・編集のような指示ベースのタスクで先んじながら、専門モデルと正面からぶつかる復元タスクでも後れを取らなかった点を成果として掲げています。統合の便利さを得ながら、性能も大きく犠牲にしなかったという意味です。
ただしアブストラクトは、具体的なベンチマークのスコアや比較対象モデルの数値を提示していません。「先導的」「競争力のある」といった定性的な表現が根拠なので、正確な優位の幅は本文と実験の表を直接確認する必要があります。本稿は、アブストラクトに明記された範囲(速度4.5倍、4ステップ推論、データ規模など)だけを数値として扱いました。
アブストラクトだけでは確認できない点があります。
これらの項目は論文を貶めるものではなく、アブストラクトの水準で判断を止めず、本文・付録を読むべき確認リストです。
ONTLEは、AIプロジェクトマネージャーを派遣する形のサービスを作っています。その観点から見ると、AuKはいくつかの示唆を与えてくれます。
1つめは、「複数の専門ツールの組み合わせ」から「指示ベースの統合モデル」への転換です。これまで多くのAIプロダクトは、機能ごとのパイプラインを人が設計してつなぎ合わせていました。AuKのように自然言語の指示ひとつで複数のタスクを統合する方向性は、エージェントがツール呼び出しの順番をいちいち組み立てる代わりに、意図を直接結果へ移す設計が可能であることを示しています。
2つめは、事後学習で実際の使い勝手を調整する方法が印象的な点です。人間の選好最適化と報酬ベースの強化学習を、タスクの性質に応じて分けて適用しています。AI PMやRAGベースのプロダクトでも、開かれた応答にはユーザーのフィードバックを、明確な正解があるタスクには報酬信号を使うといったかたちで、後処理の戦略を分ける手法は有効でしょう。
3つめは、速度のための蒸留の実用性です。AuK-Flashが見せた4ステップ推論と4.5倍の速度向上は、品質を大きく損なわずにサービスコストと応答遅延を下げる現実的な道筋です。実際のプロダクトで大きなモデルによって品質を確保したうえで、推論ステップを減らす蒸留によって運用負担を下げる2段階戦略は、ONTLEが取る開発哲学ともつながっています。
4つめは、オープンソースとして公開されている点です。コードと重みが公開されれば、内部検証やカスタマイズが可能になり、外部APIだけに依存する場合よりも、制御権と再現性を確保しやすくなります。
自然言語の指示とオーディオの文脈を入力として受け取り、音声を生成・編集するオープンソースの基盤モデルです。アブストラクトによれば、音声生成、コンテンツ編集、向上・分離、準言語編集、音響編集の5区分のタスクをひとつのモデルで扱います。
パラメータを減らした軽量モデルではなく、教師モデルから初期化し、より少ない推論ステップと補正計算で結果を出すよう蒸留して速度を上げたバージョンです。consistency initializationとtask-routed Decoupled DMDで作られ、classifier-free guidanceなしで4ステップ推論を行い、同一条件でフルモデルに対し4.5倍の実測速度向上を達成したとアブストラクトは述べています。
アブストラクトによれば、ゼロショット・指示ベースの音声生成と一般的な指示ベースの編集では先導的な性能を、信号レベルの復元タスクでは競争力のある水準を示しました。ただし具体的な数値比較はアブストラクトに提示されていないため、本文の確認が必要です。
著者らがソースコードとモデルの重みをすべて公開すると述べています。詳しいリンクと利用条件は、下の参考資料にあるarXiv・HuggingFaceのページで確認できます。