지금까지 양자 언어모델 연구는 "할 수 있다"는 가능성만 보여줬을 뿐, 양자 부품을 더 넣으면 모델이 실제로 더 나아지는지는 거의 입증하지 못했다. 몬트리올 대학·Mila 연구진의 HyperQ는 이 오래된 질문에 숫자로 답한다.
연구진은 이미 학습이 끝난 11억 파라미터 언어모델을 '얼렸다'. 가중치를 고정해 더 이상 건드리지 않는다는 뜻이다. 여기에 토큰(모델이 글을 처리하는 단위, 대략 단어 조각)마다 서로 다른 양자 회로를 붙였다. 그리고 회로의 폭 — 즉 큐빗(양자 계산의 기본 단위) 수 — 을 16개에서 64개로 늘렸다. 그러자 6개 벤치마크 평균 점수가 47.65점에서 54.30점으로 뛰어올랐다. 얼린 본체만 썼을 때(49.59점)보다 4.71점 높은 값이다.
한 가지는 미리 일러둔다. 실험의 대부분은 실제 양자 컴퓨터가 아니라 일반 컴퓨터에서 돌렸다. 뒤에서 보겠지만, 이들이 쓴 회로는 일반 컴퓨터로도 효율적으로 계산되는 종류이기 때문이다.
양자 회로를 트랜스포머(요즘 언어모델의 기본 뼈대)에 끼워 넣은 시도는 전에도 많았다. 문제는 대부분이 "회로를 아주 작게 하나 넣고, 그게 고전 방식과 비슷한 성능을 내는지"만 확인했다는 점이다. 양자 자원을 늘리면 언어모델이 정말 좋아지는지는 아무도 제대로 실험하지 않았다. 회로 폭 같은 자원을 한 지점에 고정해두고 평가했으니, "큐빗을 늘리면 모델이 나아진다"를 보여줄 수가 없었던 것이다.
폭을 늘려가며 실험하려면 두 개의 벽을 넘어야 한다.
첫째는 학습이 되느냐다. 회로를 아무렇게나 크게 만들면 큐빗이 많아질수록 학습 신호(훈련이 어느 방향으로 가야 하는지 알려주는 기울기)가 지수적으로 사라진다. 회로가 복잡해질수록 측정값이 무작위 평균에 가까워져, 어느 방향으로 밀어야 할지 알려줄 미세한 변화가 그 평균 속에 묻혀버리기 때문이다. 이를 배런 플래토(barren plateau)라 부르는데, 넓은 사막 한가운데서 어느 쪽이 내리막인지 전혀 감이 안 오는 상태와 같다. 방향을 모르니 훈련이 진행되지 않는다.
둘째는 계산이 감당되느냐다. 일반적인 양자 상태를 고전 컴퓨터로 정확히 흉내 내려면 큐빗 수에 따라 필요한 계산량이 2의 거듭제곱으로 불어난다. 64큐빗이면 손댈 수 없는 규모가 된다. 이걸 11억 파라미터 모델 안에서 토큰마다 반복하면 폭이 넓어질수록 비용이 폭발한다.
두 벽은 사실 한 뿌리다. 회로의 구조를 잘 잡으면, 학습이 잘 되는 회로가 동시에 고전 컴퓨터로도 싸게 계산되는 지점이 생긴다. 문제의 본질은 결국 회로 구조에 있는 것이다.
HyperQ의 발상은 바로 이 지점을 파고든다. 회로의 구조(뼈대)는 잘 고정해두고, 그 안의 세부 설정값만 토큰마다 새로 뽑아 바꿔주는 것이다.
비유하자면 기성복이 아니라 맞춤 재단이다. 손님(토큰)이 올 때마다 치수(모델이 그 단어를 분석한 중간결과 값)를 재어 설정값만 즉석에서 바꾼다. 재봉틀의 뼈대 자체는 모두가 똑같이 공유한다.
작동 흐름은 간단하다. 각 층에서 (1) 그 토큰의 중간결과 값을 읽어 (2) 거기에 맞는 회로 설정값을 뽑아내고 (3) 그 설정으로 작은 양자 회로를 돌린 뒤 (4) 나온 측정값을 원래 모델의 계산에 더해 넣는다. 핵심은 이 "더해 넣는" 방식이다. 원래 모델은 건드리지 않고 곁가지로만 얹으니, 무거운 본체는 얼린 채 얇은 가지만 학습하면 된다.
설정값을 뽑아내는 작은 네트워크가 하이퍼네트워크(hypernetwork)다. 다른 계산 모듈의 설정값을 대신 만들어주는 네트워크라는 뜻이다. 본체는 22개의 트랜스포머 블록으로 되어 있고, 블록마다 양자 곁가지가 하나씩 붙는다. 학습 내내 본체 원본은 얼려두고, 새로 붙인 가지만 조정한다.
구조를 조금 더 깊이 보고 싶은 독자를 위해 회로 설계의 세부는 아래 심화 상자로 뺐다. 결과만 알고 싶다면 건너뛰어도 좋다.
먼저 본체부터 짚는다. HyperQ의 본체(backbone)는 LLaDA 계열의 '마스크 확산' 언어모델이다. 확산 언어모델이란 글을 한 번에 가린 뒤 조금씩 복원하며 완성하는 방식으로, 왼쪽에서 오른쪽으로 한 단어씩 뱉는 보통 모델과 다르다.
HyperQ는 양자 회로에 쓸 수 있는 부품(게이트)과 그 연결 방식을 엄격하게 제한했다. 모든 큐빗이 정확히 네 개의 다른 큐빗하고만 상호작용하도록 길을 내주는 식이다. 이 '규칙' 하나가 앞의 두 벽을 동시에 허문다.
하나, 이렇게 제한된 구조에서는 필요한 값이 정확한 닫힌 수식으로 나온다. 전체 양자 상태를 만들지 않고도, 이 구조 덕분에 계산량이 큐빗 수 n에 선형으로(비례해서만) 늘어난다. 지수 폭발을 피한 것이다. 둘, 큐빗당 연결을 넷으로 고정한 덕에 학습 신호의 분산이 16·32·64 큐빗에서 똑같이 유지된다. 폭을 넓혀도 학습이 죽지 않는다. 저자들은 만약 모든 큐빗을 서로 연결하는 골격이었다면 64큐빗에서 학습 신호가 무너졌을 것이라고 대비해 보여준다.
곁가지가 붙는 위치도 설계의 일부다. 각 블록의 융합 QKV 투영 — 문장에서 어떤 단어에 더 주목할지 정하는 핵심 계산 부품 — 옆에 두고, 양자 측정 결과를 그 Query·Key·Value 값에 더한다. 설정값을 뽑는 하이퍼네트워크는, 적은 수의 값만으로 큰 변화를 주는 경량 조정 기법인 저랭크 어댑터(LoRA)로 구현했다.
여섯 개 벤치마크는 모델의 언어·추론 능력을 여러 각도에서 재는 표준 시험 묶음이다. 아래 숫자는 그 평균 점수인데, 어떤 조건에서 나왔는지와 함께 봐야 뜻이 산다. 비교 대상인 '고전 저랭크 어댑터'는 양자 회로 대신 똑같은 규모의 고전 계산 모듈을 붙인 경우로, '양자가 아닌 다른 방식으로도 같은 효과를 낼 수 있는가'를 확인하기 위한 가장 공정한 잣대다.
| 조건 | 6개 벤치마크 평균 |
|---|---|
| 얼린 백본 (기준선) | 49.59 |
| 백본 + 고전 저랭크 어댑터 | 50.63 |
| HyperQ 16큐빗 | 47.65 |
| HyperQ 32큐빗 | 52.80 |
| HyperQ 64큐빗 | 54.30 |
폭을 16→32→64로 넓히면 평균이 47.65→52.80→54.30으로 계속 올라간다. 이 논문이 처음 던진 질문에 대한 직접적인 증거다. 64큐빗에서 HyperQ는 54.30점으로 얼린 백본보다 4.71점, 고전 저랭크 어댑터보다 3.67점 앞선다.
다만 이득은 회로가 충분히 넓어졌을 때만 나타난다. 16큐빗에서 HyperQ는 47.65점으로 오히려 얼린 백본(49.59)보다 낮았다. 좁은 회로는 손해라는 뜻이다. 그리고 공짜도 아니다. 폭을 넓힐수록 토큰마다 돌리는 곁가지 계산도 함께 늘어난다(앞서 봤듯 큐빗 수에 비례). 성능과 계산량을 맞바꾸는 셈이다.
성능과는 별개로, 학습 효율에서도 눈에 띄는 결과가 있다. HyperQ는 프롬프트-응답 쌍 2만 개로 미세조정을 마쳤는데, 비교한 고전 베이스라인은 20만 개를 썼다. 10분의 1의 데이터로 위 점수에 도달한 셈이다. 다만 이 둘은 서로 다른 데이터 양으로 학습한 결과라 '같은 조건의 정면 비교'는 아니다. 적은 데이터로도 비슷한 수준까지 갔다는 효율의 신호로 읽는 게 맞다.
끝으로 저자들은 벤치마크 일부에 대해, 수식으로 구한 값 대신 실제 IBM 초전도 양자 프로세서(ibm_quebec·ibm_brisbane, 공식 문서 기준 각 127큐빗)로 측정한 값을 그대로 넣어보는 대조 평가도 했다(모델 가중치는 그대로 둔 채). 실제 하드웨어에서도 작동한다는 확인이다.
저자들이 스스로 밝힌 한계는 네 가지다.
첫째, 양자 우위는 없다. 사용한 회로의 측정값은 모든 폭에서 고전 컴퓨터로 효율적으로 계산된다. 그러니 "양자라서 빠르다/강하다"가 아니라, "토큰마다 회로를 맞춤 생성하는 구조적 접근이 다룰 만하고 쓸모 있더라"가 정확한 결론이다. 실제 양자 컴퓨터가 꼭 있어야 하는 것도 아니다 — IBM 프로세서는 일부 대조 평가에만 썼다.
둘째, 이득이 폭에 달려 있다. 16큐빗에서는 손해였고, 어느 폭부터 이득이 나는지, 64큐빗 너머로도 계속 오를지는 이 실험 밖이다.
셋째, 학습 가능성 보장의 적용 범위가 좁다. 저자들은 이 회로가 배런 플래토를 피한다는 기존 보장이, HyperQ가 실제로 쓰는 방식 — 회로의 측정값을 토큰별로 읽어내는 방식 — 에는 그대로 적용되지 않는다고 선을 긋는다. 학습이 안정적이라는 근거는 자기들이 고른 회로와 초기 설정에 한정된다는 뜻이다.
넷째, 백본이 11억 파라미터 확산 언어모델 한 종류다. 자기회귀 모델이나 더 큰 규모에서도 같은 그림이 나올지는 아직 모른다.
HyperQ의 진짜 교훈은 양자라는 소재가 아니라 그 구조에 있다. '무거운 본체는 얼리고, 맥락에 맞는 얇은 곁가지를 동적으로 붙인다' — 이 설계 원칙은 양자를 걷어내도 그대로 남는다.
우리가 고객사마다 AI PM을 붙이는 방식과 겹쳐 볼 만하다. 공통 PM 역량을 담은 큰 모델은 고객사마다 다시 학습하지 않고 그대로 두고, 고객사의 도메인 지식과 업무 규칙만 작은 어댑터로 얹는 그림이다. 다만 둘이 '딱 같은 것'은 아니다. HyperQ는 토큰 하나하나마다 회로 설정을 새로 뽑지만, 고객사 맞춤은 그보다 긴 호흡 — 고객사 단위로 한 번 학습해 붙이는 — 에 가깝다. 그래서 이것은 확정된 방법이 아니라, 우리가 검증해 볼 가설이다.
가설을 어떻게 시험할지도 분명하다. HyperQ가 10분의 1 데이터로 기준선을 넘었듯, 고객사별 어댑터가 적은 학습 데이터로 공통 모델 대비 벤치마크를 얼마나 끌어올리는지 재보면 된다. 어댑터 용량을 키울 때 정확도가 실제로 좋아지는지, 그 대신 치르는 계산 비용은 얼마인지를 함께 보는 것이 첫 실험이 될 것이다.
마지막으로 숫자를 다루는 태도 하나. 저자들은 점수가 오른 구간과 오히려 떨어진 구간을 나란히 적었다. 제품 리서치도 "점수가 올랐다"는 한 문장만 떼어 홍보하기는 쉽지만, 어떤 조건에서 올랐고 어디서는 안 올랐는지까지 함께 말할 때 비로소 신뢰가 쌓인다.