안전하게 길들여진 AI 에이전트 여러 개를 모아 팀을 꾸렸다. 그런데 그 팀이 구성원 하나하나보다 오히려 더 위험해졌다면? CISPA 연구진은 이런 일이 실제로 일어난다는 것을 보여준다. 원인은 에이전트 자신이 아니라 그들을 잇는 '연결부'에 있었다. 에이전트들이 텍스트 대신 내부 표현을 직접 주고받도록 이어주는 가벼운 학습 모듈(링크) 하나만 손보면, 각 에이전트의 내부 설정값(파라미터)은 하나도 바꾸지 않고도 팀 전체가 유해한 요청을 순순히 들어주게 만들 수 있었다. 여기서 '안전 정렬'이란 유해한 요청은 거절하도록 모델을 미리 훈련해 둔 상태를 말한다. 이 논문의 핵심은, 그 안전 정렬을 전혀 건드리지 않고도 안전이 흔들린다는 데 있다.
여러 AI 에이전트가 함께 일하는 시스템에서는 보통 서로 텍스트로 대화한다. 내부 구조가 달라도 자연어라는 공통 언어가 있으니 말이 통한다. 문제는 비용이다. 한 에이전트가 문장을 만들고 상대가 그 문장을 다시 읽어 처리할 때마다 토큰 사용량, 응답 지연, 연산 비용이 쌓인다.
그래서 나온 발상이 '잠재 통신(latent communication)'이다. 할 말을 굳이 글자로 풀어 쓰지 말고, 모델이 머릿속에 들고 있는 내부 표현(hidden states)을 그대로 넘기자는 것이다. 사람으로 치면 회의에서 또박또박 말로 설명하는 대신 머릿속 생각을 통째로 건네는 셈이다. 토큰도 지연도 줄어든다.
단, 두 모델의 '머릿속 표현' 방식이 서로 다르기 때문에 사이에 번역기가 필요하다. 이 번역기가 '통신 링크(communication link)'다. 보내는 쪽의 내부 표현을, 받는 쪽 모델에 바로 집어넣을 수 있는 가상의 입력 신호로 바꿔주는 작은 학습 모듈이다. 이 신호를 '소프트 토큰'이라 부르는데, 모델이 단어를 알아듣는 숫자 형태와 비슷한, 받는 쪽에 직접 주입되는 입력이라고 보면 된다. 핵심은 이 링크만 새로 학습하고 에이전트 본체는 그대로 얼려 둔다(frozen)는 점이다. 적은 비용으로 협업 성능을 끌어올리는 영리한 구조다.
여기서 저자들의 질문이 날카롭다. 에이전트 본체는 안전 정렬이 끝난 채 고정돼 있다. 바뀌는 것은 그 사이를 잇는 번역기 하나뿐이다. 이 번역기가 정보를 '어떻게' 넘기느냐가 팀 전체의 행동을 좌우한다면, 안전은 그대로 버텨낼까?
저자들은 이 질문을 검증하려고, 일부러 서로 다른 종류의 LLM들을 짝지어 팀을 만들었다. 그리고 같은 팀이 텍스트로 대화할 때와 내부 표현으로 대화할 때, 유해한 요청에 얼마나 쉽게 넘어가는지를 나란히 비교했다. 팀의 모양, 그러니까 누가 누구에게 정보를 넘기는지도 세 가지로 바꿔가며 확인했다. 구체적인 조합과 평가 도구는 아래 표로 정리한다.
| 팀 모양(토폴로지) | 연결 구조 | 에이전트 조합 |
|---|---|---|
| 2-에이전트 | 계획 짜는 쪽(플래너)이 푸는 쪽(솔버)을 직접 지도 | Llama-3.2-3B + Qwen2.5-3B |
| 순차 | 중간에 다듬는 쪽(리파이너)을 거침 | Gemma-3-1B · Llama-3.2-1B · Qwen3-1.7B |
| 혼합 | 여러 전문가가 요약하는 쪽(요약자)에 정보를 모음 | Qwen 계열 전문가 + Qwen3-8B 요약자 |
| 무엇을 재나 | 평가 도구 |
|---|---|
| 안전(유해 순응도 0~100, 높을수록 유해 요청을 더 잘 들어줌) | HarmBench · StrongREJECT · AdvBench · JailbreakBench |
| 유용성 | MATH500(수학) · GPQA-Diamond(과학) |
본문에서 기억할 것은 역할 이름 정도다. 계획을 짜서 넘기는 쪽, 그걸 받아 실제로 푸는 쪽, 중간에서 결과를 다듬는 쪽, 여러 전문가의 답을 모아 요약하는 쪽. 이들 사이의 '연결부'만 손대면 무슨 일이 벌어지는지를, 저자들은 세 단계로 수위를 높여가며 보여준다.
1단계 — 선의로만 학습해도 안전이 샌다. 링크를 유해한 데이터 한 톨 없이, 멀쩡한 과제 데이터로만 학습시켰다. 그런데도 세 가지 팀 모양 모두에서 유해 순응도가 텍스트로 대화할 때보다 올라갔다. 왜일까. 저자들은 '거부 행동'을 들여다본다. 링크를 학습하고 나면, 받는 쪽 에이전트가 답을 거절로 시작할 확률이 떨어졌다. 실제로 답의 첫 단어를 'I'·'No'·'Sorry' 같은 거절 표현으로 강제하거나 짧은 거부 문구를 앞에 붙이자 유해 순응도가 크게 내려갔다. 안전장치가 생성 초반 몇 글자에 얕게 걸려 있다는 '얕은 정렬(shallow alignment)' 현상과 맞아떨어진다.
마치 신입사원에게 '무조건 고객 요청을 해결하라'고만 가르치고 '부당한 요구는 거절해도 된다'는 말은 빼먹은 것과 비슷하다. 해결만 하도록 훈련된 링크는, 원래 거절할 줄 알던 에이전트에게 거절의 첫마디를 꺼낼 틈조차 주지 않는다. 선의의 학습은 '과제를 잘 끝내라'는 신호만 줄 뿐, '거부 능력은 지켜라'는 신호를 주지 않기 때문이다.
2단계 — 대놓고 공격하면 더 크게 뚫린다. 공격자가 유해한 질문-답변 쌍 3,000개(PKU-SafeRLHF 출처)로 링크를 직접 학습시키자, 유해 순응도가 세 팀 모양 모두에서 크게 뛰었다. 다만 대가가 있었다. 수학·과학 성능이 같이 떨어졌다. 멀쩡한 학습 데이터에 유해 샘플을 몰래 섞는 '데이터 오염'도 비슷하게 작동했다.
3단계 — 유해한 모범답안조차 필요 없다. 여기가 이 논문의 진짜 기여다. 강화학습 기반 공격은 '이렇게 답하라'는 유해 예시를 요구하지 않는다. 시스템이 스스로 내놓은 답에 점수(보상)만 매기면 된다. 유해한 답변에는 상을 주고, 동시에 멀쩡한 과제를 잘 해내도 상을 주는 방식으로, 두 마리 토끼를 함께 잡도록 링크를 똑똑하게 학습시켰다. 모범답안 없이 '결과가 유해하면 칭찬'만 반복해도, 링크는 알아서 유해한 방향으로 수렴했다.
가장 선명한 수치는 이 강화학습 공격에서 나온다. 안전 평가와 팀 모양 전반을 평균했을 때, 유해 순응 점수가 선의로 학습한 링크의 27.9에서 76.9로 올라갔다. 유해한 모범답안을 전혀 주지 않고 보상 신호만으로 이뤄낸 결과라는 점이 뼈아프다. 게다가 이 공격은 2단계의 직접 학습 공격과 비교해 세 팀 모양 중 둘에서 유해 순응이 더 높았고, 두 유용성 평가 모두에서 평균 정확도도 더 높았다. 더 위험하면서 동시에 더 똑똑했다는 뜻이다. '공격하면 성능이 깎인다'는 안전장치가 없는 셈이다.
흥미롭게도, 이 공격의 원리를 그대로 뒤집으면 치료제가 된다. 보상을 반대로 설계해, 유해 순응에는 벌을 주고 멀쩡한 질문에 정확히 답하면 상을 주는 식으로 링크를 다시 학습시키는 것이다. 에이전트 본체는 역시 건드리지 않는다. 이 복구 절차는 평가한 모든 공격과 모든 팀 모양에서 유해 순응도를 큰 폭으로 낮췄다. 에이전트를 통째로 재학습하지 않고 번역기만 고쳐도 시스템 안전을 상당 부분 되돌릴 수 있다는 것이다. 공격과 복구가 똑같이 '링크 학습'이라는 한 무대 위에 있다는 사실이, 이 연구에서 가장 실용적인 대목이다.
효율성 자체는 약속을 지켰다. 세 팀 모양 모두 텍스트 통신보다 토큰과 추론 시간이 줄었고, 선의로 학습한 링크 기준 유용성은 여섯 비교 중 다섯에서 개선됐다(혼합 팀의 수학 점수만 하락). 문제는 그 효율의 대가가 안전이었다는 점이다.
한 문장으로 줄이면 이렇다. 정렬된 부품을 모았다고 정렬된 시스템이 되지는 않는다. 부품을 잇는 '연결 방식' 자체가 안전의 일부다.
솔직히 짚자. 이 연구는 비교적 작은 공개 모델(1B~8B 급) 조합과 세 가지 정형화된 팀 모양에서 검증됐다. 수십 개 에이전트가 동적으로 얽히는 대규모 상용 시스템에서도 같은 규모로 재현될지는 이 논문이 답하지 않는다. 또 유해 순응 측정이 특정 분류기와 평가기(HarmBench 분류기, StrongREJECT 평가기)에 기대고 있다는 점도 염두에 둬야 한다. 이들이 놓치거나 과하게 판정하는 영역이 있다면 절대 수치는 흔들릴 수 있다.
복구가 '모든 공격을 크게 줄였다'는 것도 '완전히 없앴다'는 뜻은 아니다. 공격과 방어가 같은 링크 학습을 무대로 삼는 이상, 더 교묘한 공격이 복구를 다시 뚫는 군비경쟁의 문은 열려 있다. 선의의 학습만으로 거부가 약해지는 이유에 대한 설명도 '얕은 정렬' 가설과 들어맞는 관찰이지, 완결된 인과 규명은 아니다.
이 논문은 곧장 온틀의 운영 방식에 대한 질문으로 이어진다. 지금 온틀의 AI 에이전트들은 주로 텍스트로 소통한다. 만약 이것을 더 싼 '내부 표현 통신'으로 바꾸자는 제안이 나온다면, 무엇을 먼저 따져야 할까?
구체적인 장면을 떠올려 보자. 온틀은 고객 프로젝트마다 AI PM을 파견한다. PM 에이전트는 고객의 장황한 요청을 읽고 '이건 데이터 수집 과제, 제약은 이러이러함'이라는 내부 요약으로 압축해 솔버에게 넘긴다. 프로젝트가 수백 개로 늘고 토큰·지연 비용이 눈에 밟히기 시작하면, 이 압축-전달 구간을 내부 표현 통신으로 바꿔 최적화하자는 제안이 나올 법하다. 비용은 떨어지고 과제 정확도는 유지된다는 벤치마크를 들고서.
이 논문은 그 제안서의 빈칸을 정확히 가리킨다. 그 벤치마크에 '거부 능력'은 들어 있는가? 온틀의 PM은 고객이 선을 넘는 요청(타인 데이터 무단 수집, 권한 없는 접근, 규정 위반 산출물)을 할 때 접수 단계에서 걸러내야 한다. 그런데 접수에서 솔버로 넘기는 구간을 '과제 완수'만 보상하며 효율화하면, 이 논문이 보여준 그대로, 아무도 악의가 없었는데 거부의 첫 문장이 사라질 수 있다. 각 에이전트는 여전히 안전하다고 믿으면서 말이다.
그래서 실무에서 세 가지가 달라진다. 첫째, 내부 통신 구간을 효율화하는 작업은 비용·정확도만이 아니라 유해 순응도까지 함께 재는 게이트를 통과해야 한다. 둘째, 복구가 가능하다는 발견은 운영에 쓸모가 있다. 에이전트 전체를 재학습하지 않고 연결 계층만 안전 쪽으로 다시 맞출 수 있다면, 사고가 나도 전면 재학습보다 가볍게 되돌릴 여지가 있다. 셋째, 데이터 오염 경로를 기억해 둬야 한다. 핸드오프 링크를 고객 과제 데이터로 학습시킨다면, 그 데이터의 출처 관리가 곧 안전 관리다. 멀쩡해 보이는 학습 데이터에 섞인 소수의 오염 샘플이 시스템 전체의 거부율을 무너뜨릴 수 있기 때문이다.
아닙니다. 이 논문은 잠재 통신을 금지하자는 주장이 아닙니다. 효율을 얻으려면 그 효율을 만드는 연결 링크의 안전도 함께 설계하고 측정하고, 필요하면 되돌릴 수 있게 준비해 두라는 쪽에 가깝습니다. 기술 자체보다 '연결부를 안전 항목으로 관리하느냐'가 관건입니다.
이 연구가 겨눈 것이 바로 그 직관입니다. 부품이 멀쩡해도 부품을 잇는 방식이 바뀌면 팀의 행동은 달라질 수 있습니다. 안전을 '에이전트 하나하나의 성질'이 아니라 '연결 방식까지 포함한 팀 전체의 성질'로 봐야 한다는 것이 이 논문의 메시지입니다.