ZGCM-1은 7B(70억 파라미터) 규모의 조밀(dense) 파운데이션 모델을 처음부터(from scratch) 학습해 완전 공개한 연구다. 핵심 주장은 단순하다. 작은 모델은 웹 전체를 통째로 외울 수 없지만, "머릿속으로 신중하게 생각하기(내부 사고)"와 "밖의 도구를 능동적으로 쓰기(외부 도구 사용)"를 짝지으면 파라미터 용량의 한계를 넘어설 수 있다는 것이다. 실제로 초록 기준, 이 7B 모델은 여러 수학 추론·에이전트 검색 과제에서 자기보다 수십 배 큰 최신 모델(Qwen3-235B-A22B, GLM-5.1)과 경쟁하는 수준을 보였다고 밝힌다.
지금까지 "성능을 올리려면 모델을 키운다"가 상식이었다. 파라미터가 많을수록 더 많은 지식을 암기할 수 있기 때문이다. 하지만 큰 모델은 학습·운영 비용이 크고, 아무나 소유·수정하기 어렵다.
이 논문은 다른 전제에서 출발한다. 작은 모델을 "모든 걸 외운 백과사전"으로 만들려는 시도 자체가 무리라는 것이다. 비유하자면, 시험장에 지식을 전부 머릿속에 넣고 들어가는 학생 대신, 필요한 순간 정확히 자료를 찾아보고 차근차근 풀어내는 학생을 길러내는 쪽이다. 후자는 뇌 용량이 작아도, 검색·계산 같은 외부 도구를 능숙하게 쓰면 훨씬 어려운 문제까지 풀 수 있다.
문제는 이 "생각 + 도구 사용" 능력을 작은 모델에 안정적으로, 그것도 적은 비용으로 심는 일이 쉽지 않다는 점이다. 특히 긴 맥락(문서·대화·검색 이력)을 다루려면 문맥 길이를 크게 늘려야 하는데, 문맥이 길어질수록 계산량이 폭발하고 학습이 불안정해진다. ZGCM-1은 이 난제를 데이터·시스템·알고리즘 세 축의 효율로 정면 돌파하려 한다.
논문이 제시하는 학습 레시피는 크게 네 갈래다. 어려운 용어에는 괄호로 쉬운 설명을 덧붙였다.
1) 두 종류의 '주의(attention)'를 번갈아 쓰기. 트랜스포머 모델은 문장 속 단어들이 서로 얼마나 관련 있는지 계산하는 어텐션으로 문맥을 이해한다. ZGCM-1은 두 방식을 교차 배치(interleaved)한다. - 게이트가 달린 슬라이딩 윈도우 어텐션(gated sliding-window attention): 가까운 주변만 훑어보는 '근시(近視) 렌즈'. 계산이 싸다. 게이트는 어떤 정보를 통과시킬지 걸러주는 문이라고 보면 된다. - 풀 어텐션(full attention): 문서 전체를 한 번에 조망하는 '원시(遠視) 렌즈'. 비싸지만 넓게 본다.
돋보기와 망원경을 번갈아 쓰듯, 값싼 근거리 시야와 비싼 전체 시야를 섞어 비용은 아끼면서 긴 문맥을 놓치지 않으려는 설계다.
2) FP8 Muon 옵티마이저로 안정적·저렴하게 학습. 옵티마이저는 모델이 학습할 때 '얼마나, 어느 방향으로' 가중치를 고칠지 정하는 조타수다. FP8은 숫자를 아주 낮은 정밀도(8비트)로 다뤄 메모리·연산을 크게 줄이는 방식인데, 정밀도가 낮으면 계산이 흔들려 학습이 터지기 쉽다. 논문은 이 저정밀 환경에서도 안정적으로 도는 Muon 계열 옵티마이저를 썼다고 밝힌다. 연비 좋은 엔진으로 갈아 끼우되 시동이 꺼지지 않게 만든 셈이다.
3) 점진적 커리큘럼과 MDP 중간학습(mid-training). 문맥 길이를 16K → 64K → 256K로 단계적으로 늘린다(진도표를 따라 짧은 글부터 긴 글로 올라가는 학습). 여기에 더해, 모델이 도구를 쓰며 남긴 상호작용 기록(interaction traces)을 마르코프 결정 과정(MDP, 상태에서 행동을 고르고 결과를 받아 다음 상태로 넘어가는 의사결정 틀)으로 재정식화한다. 즉 "검색하고 → 결과를 보고 → 다음 행동을 정한다"는 흐름 자체를 학습 대상으로 삼아, 도구를 쓰는 절차를 몸에 익히게 한다.
4) 연구자 지휘 아래 에이전트가 R&D를 돕는 워크플로(AI-native R&D). 특히 눈에 띄는 대목이다. 에이전트 군집(agent swarms)이 클러스터 운영, 데이터 정제(curation), 빠른 진단 평가(diagnostic evaluation) 같은 반복 작업을 상당 부분 분담한다. 다만 사람을 대체한 '완전 자율 연구개발'은 아니다. 논문(§6.2)은 자율성 수준을 나눠, 구조·학습 알고리즘 설계를 사람이 절차를 정하고 예외를 처리하며 AI는 사전 정의된 작업을 수행하는 '부분 자동화' L2로 평가했다. 이 설계 영역은 오히려 데이터·자원 관리 같은 운영 업무보다 인간 판단에 더 의존하며, 데이터·자원 관리와 평가는 주요 결정에 사람 승인이 필요한 L3다. 즉 연구자가 방향을 쥔 채 파이프라인의 반복 노동을 에이전트가 덜어내 효율을 끌어올리는 축이라고 이해하는 편이 정확하다.
초록이 밝히는 성과는 다음과 같다(수치는 초록에 명시된 것만 인용).
| 항목 | 초록이 말하는 내용 |
|---|---|
| 일반 벤치마크 | 7B 모델군 안에서 경쟁력 있는 수준 |
| 수학 추론·에이전트 검색 | Qwen3-235B-A22B, GLM-5.1 등 수십 배 큰 최신 모델과 경쟁 |
| 사전학습 효율 | 16K 사전학습에서 목표 손실 도달 시간(time-to-loss) 약 4.2배 개선 |
| 공개 범위 | 사전·중간·사후학습 단계 가중치, 중간 체크포인트, 학습 코드, 단계별 데이터·데이터 레시피, W&B 로그 |
의미를 짚으면, 첫째로 "작아도 도구를 쓰면 거대 모델과 붙는다"는 방향을 구체적 레시피로 보여준다. 특히 수학과 에이전트 검색처럼 단계적 추론과 외부 조회가 중요한 과제에서 두드러진다는 점이 일관된다. 둘째로 약 4.2배의 사전학습 효율 개선은, 같은 결과를 훨씬 적은 자원으로 얻을 수 있다는 실용적 신호다. 셋째로, 가중치뿐 아니라 데이터 레시피와 학습 로그까지 여는 '완전 공개(fully open)'는 재현과 후속 연구를 크게 돕는다. 논문은 개발 전 주기에서 얻은 여덟 가지 실무적 교훈(구조적 스케일링, SFT 품질 가지치기, 장문맥 일반화, 에이전트 공동학습 동역학 등)도 정리해 공유한다고 밝힌다.
솔직하게 짚어야 할 부분이 있다. 아래는 초록만으로는 확인되지 않거나, 설계상 내재된 성격에서 비롯되는 한계다.
정리하면, 초록 수준에서는 방향과 대표 수치가 분명하지만, 세부 조건·일반화 범위는 본문과 공개 자료로 검증해야 한다.
온틀은 고객 프로젝트마다 AI 프로젝트 매니저를 파견하는 서비스다. 이 논문은 그런 제품 관점에서 여러 시사점을 준다.
한 줄로 요약하면, ZGCM-1은 "작고 효율적인 모델 + 능동적 도구 사용 + 에이전트 기반 운영"이라는 조합이 실전 제품에서 유효할 수 있음을 공개 자산으로 증명하려 한 시도다.
초록 기준으로는 "여러 도전적인 수학 추론·에이전트 검색 과제에서 Qwen3-235B-A22B, GLM-5.1 같은 훨씬 큰 모델과 경쟁적"이라고만 밝힙니다. 특정 과제군에서 대등하다는 뜻이며, 모든 영역에서 능가한다는 주장은 아닙니다. 일반 벤치마크에서는 7B 모델군 안에서 경쟁력 있는 수준으로 표현됩니다.
초록에 따르면 사전학습·중간학습·사후학습 단계의 모델 가중치, 중간 체크포인트, 학습 코드, 단계별 데이터와 데이터 레시피, 그리고 W&B 학습 로그까지 공개합니다. 가중치만 여는 여느 공개 모델보다 넓은 범위로, 재현과 후속 연구에 유리합니다.
FP8은 숫자를 매우 낮은 정밀도로 다뤄 메모리와 연산을 크게 줄이지만, 그만큼 학습이 불안정해지기 쉽습니다. 논문은 이 저정밀 환경에서도 안정적으로 도는 Muon 계열 옵티마이저를 사용해 효율과 안정성을 함께 잡았다고 밝힙니다. 초록 기준 16K 사전학습에서 목표 손실 도달 시간이 약 4.2배 개선됐습니다.
처음부터 256K를 학습하는 대신, 16K → 64K → 256K로 문맥 길이를 단계적으로 늘리는 점진적 커리큘럼을 씁니다. 또한 도구를 쓰며 남긴 상호작용 기록을 마르코프 결정 과정(MDP)으로 재정식화해, 검색-관찰-다음행동으로 이어지는 절차 자체를 학습하도록 했습니다.