これまでの量子言語モデル研究は「できる」という可能性を示すにとどまり、量子部品を増やせばモデルが実際に良くなるのかはほとんど実証できていなかった。モントリオール大学・Milaの研究チームによるHyperQは、この長年の問いに数字で答える。
研究チームは、すでに学習を終えた11億パラメータの言語モデルを「凍結」した。重みを固定し、以後は一切手を加えないという意味だ。そこにトークン（モデルが文章を処理する単位、おおよそ単語の断片）ごとに異なる量子回路を接続した。そして回路の幅 — すなわち量子ビット（量子計算の基本単位）の数 — を16個から64個へ増やした。すると6つのベンチマークの平均スコアが47.65点から54.30点へと跳ね上がった。凍結した本体だけを使った場合（49.59点）より4.71点高い値だ。
一つだけ先に断っておく。実験の大半は実際の量子コンピュータではなく、一般的なコンピュータ上で動かしたものだ。後述するように、彼らが使った回路は一般的なコンピュータでも効率的に計算できる種類のものだからである。
量子回路をトランスフォーマー（最近の言語モデルの基本骨格）に組み込む試みは、これまでにも数多くあった。問題は、その大半が「ごく小さな回路を一つ入れて、それが古典的な方式と同程度の性能を出すか」だけを確認していた点だ。量子リソースを増やせば言語モデルが本当に良くなるのかは、誰もまともに実験していなかった。回路の幅のようなリソースを一点に固定して評価していたため、「量子ビットを増やせばモデルが良くなる」ことを示しようがなかったのである。
幅を増やしながら実験するには、二つの壁を越えなければならない。
一つ目は、学習が進むかどうかだ。回路を無造作に大きくすると、量子ビットが増えるほど学習信号（訓練がどの方向へ進むべきかを教える勾配）が指数的に消えていく。回路が複雑になるほど測定値がランダムな平均に近づき、どの方向へ押すべきかを教えるはずの微細な変化がその平均の中に埋もれてしまうためだ。これをバレンプラトー（barren plateau）と呼ぶが、広大な砂漠のど真ん中で、どちらが下り坂なのか全く見当がつかない状態と同じだ。方向が分からないので訓練が進まない。
二つ目は、計算が手に負えるかどうかだ。一般的な量子状態を古典コンピュータで正確に模倣するには、量子ビット数に応じて必要な計算量が2のべき乗で膨れ上がる。64量子ビットともなると手に負えない規模になる。これを11億パラメータのモデル内でトークンごとに繰り返せば、幅が広がるほどコストが爆発する。
この二つの壁は、実は一つの根から来ている。回路の構造をうまく設計すれば、学習がうまく進む回路が、同時に古典コンピュータでも安価に計算できる地点が生まれる。問題の本質は、結局のところ回路構造にあるのだ。
HyperQの発想は、まさにこの地点を突く。回路の構造（骨格）はしっかり固定しておき、その中の細かな設定値だけをトークンごとに新たに引き出して差し替えるのだ。
たとえるなら、既製服ではなくオーダーメイドの仕立てだ。客（トークン）が来るたびに寸法（モデルがその単語を分析した中間結果の値）を測り、設定値だけをその場で変える。ミシンの骨格そのものは全員が同じものを共有する。
動作の流れはシンプルだ。各層で(1)そのトークンの中間結果の値を読み取り、(2)それに合った回路の設定値を引き出し、(3)その設定で小さな量子回路を走らせたうえで、(4)出てきた測定値を元のモデルの計算に足し込む。核心はこの「足し込む」やり方だ。元のモデルには手を加えず、枝分かれとして上乗せするだけなので、重い本体は凍結したまま、薄い枝だけを学習すればよい。
設定値を引き出す小さなネットワークがハイパーネットワーク（hypernetwork）だ。別の計算モジュールの設定値を代わりに作ってやるネットワークという意味である。本体は22個のトランスフォーマーブロックからなり、ブロックごとに量子の枝が一つずつ付く。学習の間ずっと本体の原本は凍結しておき、新たに付けた枝だけを調整する。
構造をもう少し踏み込んで見たい読者のために、回路設計の詳細は下の掘り下げボックスに回した。結果だけ知りたければ飛ばしてよい。
まず本体から押さえる。HyperQの本体（backbone）はLLaDA系の「マスク拡散」言語モデルだ。拡散言語モデルとは、文章を一度に隠したうえで少しずつ復元して完成させる方式で、左から右へ一語ずつ吐き出す通常のモデルとは異なる。
HyperQは、量子回路に使える部品（ゲート）とその接続方法を厳格に制限した。すべての量子ビットが、ちょうど四つの別の量子ビットとだけ相互作用するよう道を通してやる、という具合だ。この「ルール」一つが、先の二つの壁を同時に取り払う。
一つ、こうして制限された構造では、必要な値が正確な閉じた数式として得られる。量子状態の全体を作らなくても、この構造のおかげで計算量が量子ビット数nに線形に（比例する形でのみ）増える。指数爆発を回避したのだ。二つ、量子ビットあたりの接続を四つに固定したおかげで、学習信号の分散が16・32・64量子ビットで同じように保たれる。幅を広げても学習が死なない。著者らは、もしすべての量子ビットを互いに接続する骨格だったなら64量子ビットで学習信号が崩壊していたはずだ、と対比して示している。
枝が付く位置も設計の一部だ。各ブロックの融合QKV射影 — 文中のどの単語により注目するかを決める中核的な計算部品 — の隣に置き、量子測定の結果をそのQuery・Key・Valueの値に足し込む。設定値を引き出すハイパーネットワークは、少数の値だけで大きな変化を与える軽量な調整手法である低ランクアダプタ（LoRA）で実装した。
六つのベンチマークは、モデルの言語・推論能力をさまざまな角度から測る標準的な試験セットだ。以下の数字はその平均スコアだが、どんな条件で出たものかと併せて見てこそ意味が立ち上がる。比較対象である「古典的な低ランクアダプタ」は、量子回路の代わりに同じ規模の古典的な計算モジュールを付けた場合で、「量子ではない別の方式でも同じ効果を出せるのか」を確認するための最も公平なものさしだ。
| 条件 | 6ベンチマーク平均 |
|---|---|
| 凍結バックボーン（ベースライン） | 49.59 |
| バックボーン + 古典低ランクアダプタ | 50.63 |
| HyperQ 16量子ビット | 47.65 |
| HyperQ 32量子ビット | 52.80 |
| HyperQ 64量子ビット | 54.30 |
幅を16→32→64へ広げると、平均が47.65→52.80→54.30と上がり続ける。この論文が最初に投げかけた問いへの直接的な証拠だ。64量子ビットでHyperQは54.30点となり、凍結バックボーンより4.71点、古典低ランクアダプタより3.67点上回る。
ただし、恩恵は回路が十分に広がったときにだけ現れる。16量子ビットではHyperQは47.65点と、むしろ凍結バックボーン（49.59）より低かった。狭い回路はかえって損だという意味だ。そしてタダでもない。幅を広げるほど、トークンごとに走らせる枝の計算も一緒に増える（先に見たとおり量子ビット数に比例）。性能と計算量を引き換えにする格好だ。
性能とは別に、学習効率でも目を引く結果がある。HyperQはプロンプト・応答ペア2万個で微調整を終えたが、比較した古典ベースラインは20万個を使った。10分の1のデータで上記のスコアに到達した計算になる。ただしこの二つは異なるデータ量で学習した結果なので、「同条件の真っ向勝負」ではない。少ないデータでも近い水準まで到達したという効率のシグナルとして読むのが正しい。
最後に著者らは、ベンチマークの一部について、数式で求めた値の代わりに、実際のIBM超伝導量子プロセッサ（ibm_quebec・ibm_brisbane、公式文書によれば各127量子ビット）で測定した値をそのまま入れてみる対照評価も行った（モデルの重みはそのままにして）。実際のハードウェアでも動作するという確認だ。
著者らが自ら挙げた限界は四つある。
一つ目、量子優位性はない。使われた回路の測定値は、どの幅でも古典コンピュータで効率的に計算できる。したがって「量子だから速い／強い」ではなく、「トークンごとに回路をオーダーメイド生成する構造的アプローチが、扱いやすく有用だった」が正確な結論だ。実際の量子コンピュータが必ず要るわけでもない — IBMプロセッサは一部の対照評価にのみ使った。
二つ目、恩恵が幅に依存する。16量子ビットでは損であり、どの幅から恩恵が出るのか、64量子ビットの先でも上がり続けるのかは、この実験の外にある。
三つ目、学習可能性の保証の適用範囲が狭い。著者らは、この回路がバレンプラトーを回避するという既存の保証が、HyperQが実際に使う方式 — 回路の測定値をトークンごとに読み出す方式 — にはそのまま適用されない、と線を引く。学習が安定しているという根拠は、自分たちが選んだ回路と初期設定に限られるという意味だ。
四つ目、バックボーンが11億パラメータの拡散言語モデル一種類に限られる。自己回帰モデルやさらに大きな規模でも同じ絵が得られるかは、まだ分からない。
HyperQの本当の教訓は、量子という題材ではなく、その構造にある。「重い本体は凍結し、文脈に合った薄い枝を動的に付ける」 — この設計原則は、量子を取り除いてもそのまま残る。
私たちが顧客企業ごとにAI PMを付けるやり方と重ねて見る価値がある。共通のPM能力を収めた大きなモデルは顧客企業ごとに学習し直さずそのまま置き、顧客企業のドメイン知識と業務ルールだけを小さなアダプタで上乗せする、という絵だ。ただし両者が「まったく同じもの」というわけではない。HyperQはトークン一つひとつごとに回路の設定を新たに引き出すが、顧客企業向けのカスタマイズはそれより長い呼吸 — 顧客企業単位で一度学習して付ける — に近い。だからこれは確定した手法ではなく、私たちが検証してみる仮説だ。
仮説をどう試すかもはっきりしている。HyperQが10分の1のデータでベースラインを越えたように、顧客企業ごとのアダプタが少ない学習データで共通モデルに対してベンチマークをどれだけ引き上げるかを測ってみればよい。アダプタの容量を増やしたときに精度が実際に良くなるのか、その代わりに払う計算コストはいくらかを併せて見ることが、最初の実験になるだろう。
最後に、数字を扱う態度を一つ。著者らは、スコアが上がった区間と、むしろ下がった区間を並べて書いた。プロダクトリサーチも「スコアが上がった」という一文だけを切り取って宣伝するのは簡単だが、どんな条件で上がり、どこでは上がらなかったのかまで併せて語るとき、はじめて信頼が積み上がる。