범용 에이전트는 계획하고 추론하고 오래 작업하는 데엔 능하지만, 실제 산출물을 만드는 능력은 여전히 텍스트와 코드에 쏠려 있다. 싱가포르국립대·옥스퍼드 연구진의 Omni-IO Skills는 이 간극을 모델을 다시 학습시키지 않고 메우는 방법을 제안한다. 호스트 에이전트의 추론 코어는 그대로 두고, 그 위에 착탈식 하네스(harness, 에이전트가 실제로 도구를 고르고 실행하고 결과를 관리하도록 돕는 운영 계층) 한 겹을 얹어 텍스트·이미지·영상·오디오·문서·3D·코드 일곱 가지를 오가게 만든다.
지금 옴니(omni, 여러 감각·매체를 한꺼번에 다루는) 능력을 키우는 길은 크게 둘이다. 하나는 파운데이션 모델 자체에 모달리티를 계속 욱여넣는 것. 이미지, 소리, 영상을 한 모델 안에서 처리하려면 새 데이터, 새 코덱, 새 디코더, 정렬 단계가 따라붙고, 능력이 커질수록 모델 업데이트 비용에 발목이 잡힌다. 다른 하나는 전문 모델과 도구를 그때그때 갖다 붙이는 것. 이쪽은 유연하지만 정작 중요한 게 빠져 있다. 절차를 어떻게 정하고, 작업 간 의존관계를 어떻게 표현하며, 중간 산출물을 도구 사이로 어떻게 옮기고, 앞 대화에서 만든 결과물을 다음 턴에서 어떻게 되살릴지가 공중에 떠 있다.
비유하자면 이렇다. 공방에 뛰어난 장인들(전문 모델·도구)은 다 모였는데, 작업 지시서도 없고 반제품을 옮길 컨베이어도 없으며 만든 물건을 넣어둘 선반도 없다. 각자 실력은 좋아도 하나의 완제품으로 이어지지 않는다. 논문이 지목하는 빠진 조각이 바로 이 지시서·컨베이어·선반에 해당하는 옴니 에이전트 하네스다.
Omni-IO Skills는 능력을 "스킬(Skill)"이라는 불러오는(loadable) 단위로 실어 나른다. 스킬은 세 층위로 나뉜다. 원자 스킬(Atomic, 재사용 가능한 능력 단위) 19개, 전문가 스킬(Expert, 구체적 결과물을 만드는 생산 절차) 2개, 시나리오 스킬(Scenario, 여러 연관 산출물을 함께 내는 응용 과제) 6개. 합쳐 27개 스킬이 38개 대표 과제를 덮고, 이해·생성·추론·검색이라는 네 능력군과 일곱 모달리티에 걸쳐 있다. 온라인 강의 하나를 만든다고 치면, 녹취를 분석하는 일은 원자 스킬이, 슬라이드라는 결과물을 뽑는 일은 전문가 스킬이, 슬라이드·삽화·내레이션·설명 영상을 한 묶음으로 엮는 일은 시나리오 스킬이 맡는 식이다.
그 아래는 네 개 층으로 갈라진다. 스킬 진입 층(작업 지식), MCP 도구 서비스 층(도구 접근), 프로바이더·설정 층(어떤 서비스에 실제로 붙일지), 그리고 에셋 레지스트리 층(만들어진 산출물의 영속 저장). 이렇게 나눈 덕에 작업 지식과 실행 백엔드가 분리된다. 논문이 파운데이션 모델·전문 모델·미디어 엔진을 모두 "교체 가능한 실행 백엔드"로 취급한다고 못 박는 이유가 여기 있다. 특정 모델 스택에 워크플로를 묶지 않겠다는 것.
이 접근에서 가장 영리한 대목은 다중 에셋 워크플로를 그래프로 표현한 부분이다. 논문은 이를 선언형 실행 그래프(Declare Execution Graph, DEG)라 부른다. 서로 의존하지 않는 작업은 동시에(웨이브 스케줄링) 돌리고, 성공한 산출물은 레지스트리에 등록해 뒤따르는 작업과 이후 턴에서 다시 쓴다. 중간에 특정 작업이 실패해도 그 지점만 격리한다. 요지는 두 가지다. 병렬로 돌릴 수 있는 건 병렬로 돌려 시간을 줄이고, 한 번 만든 결과물은 파일 경로나 서비스에 얽매이지 않고 재사용한다.
평가는 UniM 데이터셋의 통제된 90개 부분집합인 UniM-90에서 이뤄졌고, 호스트로 GPT-5.6 Sol과 Claude Sonnet 5 두 에이전트를 썼다. 수치는 어느 호스트의 것인지 구분해 읽어야 한다.
| 지표 | GPT-5.6 Sol | Claude Sonnet 5 |
|---|---|---|
| 입력 지원율(하네스 전 → 후) | 40.00% → 100% | 38.89% → 100% |
| 상대 SQCS(전 → 후) | 26.99 → 74.94 | 27.82 → 77.78 |
| Strict Structure Score | 100.00 | 99.78 |
| Lenient Structure Score | 100.00 | 100.00 |
입력 지원율은 애초에 그 요청을 받아 처리할 수 있었는가를 뜻한다. 하네스를 얹기 전엔 두 호스트 모두 절반도 못 받던 것이, 얹은 뒤 90개 인스턴스 전부를 처리했다. SQCS(Semantic–Quality Coupled Score, 의미와 품질을 함께 보는 점수)의 상대값은 GPT-5.6 Sol에서 47.95포인트, Claude Sonnet 5에서 49.96포인트 올랐다.
눈여겨볼 대비가 하나 있다. 하네스를 얹은 뒤의 절대 SQCS는 전체 인스턴스 기준 74.94와 77.78인데, 이는 베이스 에이전트가 자기가 지원하던 더 좁은 부분집합에서만 잰 67.49와 71.53보다 높다. 쉽게 말해, 하네스는 커버 범위를 전부로 넓히면서도 품질이 깎이지 않았다. 보통 처리 범위를 넓히면 평균 품질이 내려가기 마련인데 그 반대가 나온 셈이다.
솔직히 짚을 대목이 있다. 첫째, 평가가 UniM-90이라는 90개짜리 통제 부분집합에 한정된다. 저자들 스스로 "controlled"라고 밝힌 세팅이라, 실제 프로덕션의 지저분한 요청에서도 같은 수치가 나올지는 이 논문만으로 단정할 수 없다. 둘째, 지표가 구조 점수와 SQCS 중심이다. 구조 점수가 100에 가깝다는 건 산출물의 형식·완결성이 잘 갖춰졌다는 뜻이지, 내용이 인간 전문가 수준이라는 보증은 아니다. 셋째, 하네스의 힘은 결국 뒤에 붙는 전문 모델·미디어 엔진의 품질에 기댄다. "교체 가능한 백엔드"라는 설계는 장점이자, 백엔드가 부실하면 하네스도 그만큼만 좋다는 뜻이기도 하다. 넷째, 스킬 27개·과제 38개는 사람이 설계해 넣은 카탈로그다. 새로운 도메인이 들어올 때 스킬을 누가 어떤 비용으로 늘리는지는 초록과 발췌만으로는 드러나지 않는다.
한 장면을 놓고 보자. 고객이 팀 회의 녹음과 참고 문서를 올리며 "요약해달라"고 한다. AI PM이 요약을 만들어 전달한다. 며칠 뒤 같은 고객이 "그 내용으로 신입 교육용 설명 영상 하나 뽑아달라"고 다시 요청한다.
지금의 흔한 처리 방식은 이 두 요청을 사실상 남남으로 다룬다. 두 번째 턴에서 녹음과 문서를 다시 불러 처음부터 분석하고, 첫 번째 요약에서 뽑아낸 핵심 논점·용어·수치를 되살리지 못한 채 영상 스크립트를 새로 짠다. 그래서 요약본과 영상의 톤이나 강조점이 미묘하게 어긋나고, 고객은 "지난번에 정리한 그 포인트 왜 빠졌냐"고 되묻는다.
Omni-IO Skills가 말하는 에셋 레지스트리와 교차 턴 재사용이 바꾸는 게 정확히 이 지점이다. 첫 턴에서 녹음 전사, 문서 요약, 추출한 핵심 논점이 각각 레지스트리에 등록된다. 두 번째 턴의 영상 생성 작업은 원자료를 다시 분석하는 대신 이 등록된 중간 산출물을 입력으로 받아 스크립트→내레이션→영상을 DEG로 엮는다. 내레이션 음성과 삽화처럼 서로 의존하지 않는 갈래는 동시에 돌아간다. PM이 신경 쓸 것은 "회의 요약에서 정리한 세 가지 결론을 영상 도입부로" 같은 지시뿐, 자산을 도구 사이로 나르는 배관은 하네스가 맡는다.
파견형 AI PM이라는 온틀 모델에서 이 그림의 함의는 분명하다. 고객 한 명의 프로젝트는 여러 턴에 걸쳐 문서·이미지·영상·데이터를 오가며 쌓인다. 턴마다 맥락이 증발하면 PM은 매번 새 인턴처럼 처음부터 묻는다. 반대로 프로젝트 단위로 중간 산출물이 영속 자산으로 남고 다음 요청이 그 위에서 이어지면, 파견 PM의 일관성은 사람 담당자에 가까워진다. 다만 앞의 한계도 그대로 적용된다. 온틀이 이런 자산 계층을 도입하더라도, 실제 영상·이미지·문서를 뽑는 뒤단 엔진의 품질과 스킬 카탈로그를 어떻게 넓혀 유지하느냐가 체감 결과를 가른다. 하네스는 배관을 깔아줄 뿐, 물맛까지 보장하지는 않는다.
아니다. 논문의 핵심 주장이 "호스트 에이전트의 추론 코어를 바꾸지 않는다"는 것이다. 착탈식 하네스를 얹는 방식이라, 실험에서도 서로 다른 두 호스트에 같은 하네스를 붙여 효과를 확인했다.
작업을 어떤 순서로 실행하라고 절차적으로 일일이 지시하는 대신, 어떤 작업들이 있고 서로 무엇에 의존하는지를 그래프로 선언해두면, 의존관계가 없는 작업은 시스템이 알아서 동시에 스케줄링한다는 개념이다. 실행 순서 최적화와 실패 격리를 사람이 아니라 그래프 검증·스케줄러가 처리한다.
현재 구현이 원자 19·전문가 2·시나리오 6으로 총 27개라고 명시돼 있다. 논문은 스킬·런타임·자산 계층이 모델과 도구, 응용 요구에 맞춰 "진화할 수 있는(evolvable)" 구조라고 설명하지만, 신규 스킬을 추가하는 구체적 비용이나 절차는 초록·발췌 범위에서 드러나지 않는다.
그렇지 않다. 입력 지원율은 그 요청 자체를 받아 처리할 수 있었는가를 재는 지표다. 품질은 별도로 SQCS와 구조 점수로 측정하며, 그 값들은 100이 아니라 74.94·77.78(상대 SQCS) 같은 수준이다. 두 지표를 섞어 "전부 완벽"으로 읽으면 오해다.