현미경 사진을 숫자로 분석하는 AI 에이전트들을 한자리에 모아 겨루게 한 벤치마크가 있다. 이름은 BIABench. 여기서 에이전트란, 사람이 시키면 분석의 여러 단계를 스스로 밟아 결과까지 내놓는 AI 프로그램을 말한다. 벤치마크는 그런 여러 AI를 같은 시험지로 세워 성적을 매기는 공통 시험대다. 이 연구가 가장 공들여 보여 주는 건 누가 1등이냐가 아니다. 그 순위를 믿어도 되느냐는 질문이다.
연구진은 각 에이전트를 같은 과제에 세 번씩 돌렸다. 상식적으로는 같은 에이전트의 세 결과가 서로 비슷하고, 아예 다른 에이전트들끼리는 더 벌어져야 한다. 결과는 반대였다. 한 에이전트를 세 번 돌린 점수의 편차가, 서로 다른 에이전트들 사이의 편차보다 컸다.
같은 요리사가 같은 레시피로 세 번 끓인 국의 간이, 전혀 다른 요리사들이 끓인 국들 사이의 간보다 더 들쭉날쭉했다는 얘기다. 이러면 한 번 측정한 순위는 믿을 게 못 된다. 한 판에서 1등을 했어도 다음 판에선 꼴찌일 수 있으니까.
오해는 말자. 리더보드가 통째로 무의미하다는 뜻이 아니다. 딱 한 번 재서 매긴 순위를 믿지 말라는 뜻이다. 에이전트를 세워 비교하려면 같은 과제를 여러 번 돌려, 점수가 흔들리는 폭까지 함께 봐야 한다. 이 글이 끝까지 붙들 생각도 하나다. 한 번의 성공보다 '매번 같은 결과를 내느냐'가, 그리고 그 결과를 누가 독립적으로 확인하느냐가 더 중요하다는 것.
현미경 이미지를 숫자로 바꾸는 일은 생각보다 고되다. 세포를 세고, 핵과 세포질을 나누고, 시간에 따라 한 세포를 쫓는다. 전용 소프트웨어와 프로그래밍이 필요한데, 많은 실험실엔 그 손이 없다. 그래서 "이미지랑 지시만 주면 알아서 분석해 결과를 보고하는 에이전트"라는 그림이 솔깃하다.
문제는 그 그림이 실제로 되는지 제대로 재 본 자리가 없었다는 점이다. 기존 벤치마크는 분석의 한 토막만 봤다. 핵을 잘 나누는지, 세포를 잘 쫓는지. 하지만 실험실의 분석은 한 단계에서 끝나지 않는다. 이미지를 다듬고, 조각을 잇고, 나누고(분할 — 이미지에서 세포 하나하나의 경계를 따내는 일), 거기서 특징을 뽑아 통계를 내야 비로소 생물학적 결론이 나온다.
BIABench의 설계는 한 줄이다. 이미 출판된 연구를 세 조각으로 쪼갠다. 원본 이미지, 생물학자가 "이걸 재 달라"고 적은 지시문, 그리고 논문이 보고한 결과. 앞의 둘만 에이전트에게 주고 정답은 숨긴다. 에이전트가 낸 답을, 동료평가(다른 전문가들이 미리 검증한 절차)를 통과한 원래 결과와 맞춰 본다. 연구 16편이 이렇게 과제가 됐다. 조직 염색본부터 단분자 현미경까지 여러 종류의 이미지를 담았고, 박테리아부터 사람까지 여섯 종의 시료가 들어갔다. 요컨대 어지간한 에이전트는 한두 가지 재주만으로는 통과할 수 없도록, 의도적으로 꾸린 까다로운 조합이다. 같은 방식으로 새 논문을 계속 과제로 붙일 수 있다는 게 이 설계의 진짜 수명이다.
에이전트에겐 두 가지가 특히 벽이다. 하나, 데이터가 너무 크고 복잡해 한눈에 다 볼 수 없다. 고해상도 2D, 3D 볼륨, 시계열이 섞여 있어 에이전트는 코드로 더듬어 가며 다뤄야 한다. 둘, 정답이 정해진 문제가 아니라 "무엇을 어떻게 분석할지"부터 스스로 정해야 하는 열린 과제다. 이 두 벽은 뒤에서 다시 만난다.
겨루는 상대는 여섯이다. 파이썬 코드를 직접 짜서 돌리는 도구형 에이전트(Biomni), 코딩용 커맨드라인 에이전트 셋, 그리고 Fiji/ImageJ 같은 분석 프로그램의 화면을 직접 조작하는 GUI 에이전트 둘. 모두 같은 틀에 끼웠다. 읽기 전용 입력 폴더와 쓰기 폴더를 주고, 스스로 멈추거나 시간 예산이 다할 때까지 돌게 한 뒤 남긴 파일로 채점한다.
설계에서 똑똑한 대목은 "껍데기와 두뇌"를 떼어 본 점이다. 여기서 껍데기는 에이전트를 움직이는 틀이고, 두뇌는 그 안에 얹히는 AI 모델이다. 같은 두뇌라도 어떤 껍데기에 얹느냐에 따라 성공률이 꽤 달라진다. 그래서 먼저 모델을 하나로 고정하고 여섯을 다 돌리고, 다음엔 틀을 고정한 채 여러 모델을 갈아 끼웠다. 지시문도 두 종류를 줬다. 생물학자가 "이걸 재 달라"고만 적은 간이 지시와, 전문가가 추천 파이프라인(여러 분석 단계를 순서대로 이어 붙인 작업 흐름)까지 스케치해 준 상세 지시. 구현은 에이전트 몫으로 남겼다. 이렇게 떼어 본 덕에 뒤에 나올 실험들이 가능해진다.
에이전트가 분석을 끝까지 돌려 그럴듯한 그림을 뽑고도 틀린 답에 도달할 수 있다. 그래서 채점을 둘로 나눴다.
하나는 결과 점수다. 에이전트가 낸 결과물을 정답과 맞춰 본다. 세포 모양이 얼마나 겹치는지(Dice), 세포를 쫓은 경로가 얼마나 들어맞는지(SEG·TRA), 뽑아낸 숫자들의 분포가 얼마나 비슷한지(KS 통계량) 같은 걸 0과 1 사이 점수로 환산한다. 이름은 달라도 원리는 하나다. "정답에 얼마나 가까운가"를 숫자로 만든다. 결과물을 아예 안 냈으면 0점이다.
다른 하나는 과정 점수다. 불러오기부터 전처리, 분할, 측정, 통계, 보고까지 단계를 나눠 놓고 각 단계를 제대로 밟았는지 본다. 채점은 이미지를 읽는 AI 심판이 맡는다. 에이전트가 남긴 코드·로그·그림·표를 보고 단계별로 합격·불합격·판단불가를 매긴다. 다만 순위는 결과 점수로만 매긴다. 과정 점수는 "어떻게 했나"를 보는 보조 지표다.
그 심판은 믿을 만한가. 이것도 따로 쟀다. 여러 에이전트와 과제를 아우르는 실행 20개를 골라, 세포생물학 전문가가 심판의 판정을 다 지운 상태에서 단계별로 다시 채점했다. 전문가와 심판의 판정이 얼마나 겹치는지(Cohen's kappa, 두 채점자의 일치도)를 보니, 입력을 이해하는 단계에선 잘 맞았고 도구를 고르는 단계에선 가장 어긋났다. 심판은 전문가보다 합격을 2점쯤 후하게 줬다. 그래서 벤치마크는 심판을 하나로 고정하고, 이 전문가 일치도를 과정 점수 옆에 늘 함께 적는다. 심판마다 편향이 다르니 점수의 절대값을 다른 벤치마크와 바로 비교하진 말라는 뜻이다.
성과는 과제의 생김새에 따라 칼같이 갈렸다. 평범한 2차원 과제는 잘 풀었다. 그런데 여기에 깊이(3차원)나 시간이 붙자 성적이 급격히 나빠지는 과제들이 나타났다. 모델을 하나로 고정해 여섯 에이전트를 비교한 실험에서, 깊이나 시간이 더해진 일부 어려운 과제는 어떤 에이전트도 0.19(과제별 3회 평균)를 넘지 못했다.
이 숫자를 체감하려면 조금 전 채점 지표를 떠올리면 된다. 대부분 0과 1 사이이고, 1이 정답에 가깝다. 0.19면 바닥이다. 중요한 건 이게 "제일 못한 에이전트"의 점수가 아니라는 거다. 그 과제에서 가장 잘한 에이전트조차 넘지 못한 천장이 0.19였다.
더 곤란한 건 이 벽을 낮추려던 시도가 가장 어려운 과제에선 좀처럼 먹히지 않았다는 점이다. 생물학에 특화된 에이전트를 써도, 전문가가 파이프라인까지 그려 준 상세 지시를 줘도 그 벽은 그대로였다. 모델을 더 센 것으로 갈아 끼운 실험은 과제에 따라 갈렸다. 3차원 제브라피시 분할은 0.84까지 올라 사실상 풀렸지만, 핵공 정량 과제는 0.25에 그쳐 여전히 바닥이었다. 요컨대 깊이·시간이 붙었다고 다 무너지는 게 아니라, 특정한 어려운 과제들이 세 지렛대를 당겨도 넘기 힘든 벽으로 남은 것이다. 왜 하필 깊이와 시간일까. 앞서 말한 두 벽이 여기서 겹친다. 3차원·시계열은 한눈에 안 들어와 코드로 더듬어야 하고, 그 더듬는 전략을 에이전트가 스스로 옳게 짜야 하기 때문이다.
점수가 낮은 건 그렇다 치자. 더 신경 쓰이는 건 "낮은 점수"와 "에이전트가 스스로 괜찮다고 믿는 것"이 따로 논다는 점이다.
연구진은 제출은 됐는데 점수가 낮은 실행을, 마지막 메시지에서 "완료했다"고 말했는지로 다시 갈라 봤다. 부록의 실패 사례들이 생생하다. 한 에이전트는 "분석을 마쳤다"며 세포 수를 담은 표를 제출했다. 그런데 그 표 속 숫자와 보고서 본문의 설명이 서로 어긋났다. 또 다른 경우엔 파이프라인이 겉보기엔 멀쩡했는데, 스팟(puncta, 형광으로 찍히는 작은 점) 하나를 "점으로 셀지" 가르는 임계값이 끝까지 한 번도 보정되지 않아 결과가 통째로 틀렸다. 어떤 실행은 끝맺음 메시지에서 "이제 분석을 수행하겠다"는 미래형으로 완료를 선언했다. 정작 한 건 없이.
결정적인 건 이거다. 정답을 모르는 상태에서 맞은 실행과 틀린 실행을 과정 점수로도, 걸린 시간으로도 가려낼 수 없었다. 과정을 깔끔하게 적었든 시간을 오래 썼든, 그게 정답 여부와 이어지지 않았다. 덧붙이면, 현미경 사진을 분석해 달라는 요청이 제공자의 안전 필터에 걸려 아예 거부된 실행까지 있었다.
AI 에이전트가 "분석 완료" 보고와 함께 결과물을 제출하는 상황을 가정해 보자. 기업이 들여놓은 자동화된 분석 파이프라인이든, 사내 AI 비서든 마찬가지다. 우리는 흔히 이 한 줄과 첨부된 결과 파일을 "작업이 끝났다"는 증거로 받아들인다. 산출물이 있고, 에이전트가 스스로 끝났다고 했으니까.
BIABench는 바로 이 한 줄의 밑을 뺀다. 방금 본 실패들이 말하는 건 하나다. "완료"라는 말도, 첨부된 파일의 존재도 정답의 증거가 아니다. 과정이 깔끔한지, 시간을 얼마나 썼는지도 마찬가지다. 그런데 AI를 믿을지 말지 판단할 때 우리가 흔히 집어 드는 신호가 정확히 이것들이다. 자기보고, 로그의 정연함, 소요 시간.
우리 팀(온틀)도 이 관점에서 AI PM의 완료 판정 기준을 다시 짜고 있다. 바꿔야 할 건 "완료"라는 말을 없애는 게 아니라, 그 말이 통과의 근거가 되는 구조다. 완료 판정을 에이전트의 자기보고에서 떼어 내, 결과 자체를 독립으로 검증하는 축에 건다. 과정 기록은 버리지 않는다. 고객에게 "어떻게 했는지" 보여 줄 설명 자료로 남긴다. 다만 "통과" 도장은 결과가 기준을 맞췄을 때만 찍는다.
걸림돌이 하나 있다. 고객 과제엔 당장 맞춰 볼 정답이 없을 때가 많다. 그래서 검증의 시점을 일 받는 순간으로 당긴다. 예를 들어 한 쇼핑몰이 "지난달 주문 데이터에서 반품률 높은 상품을 추려 달라"고 맡겼다고 하자. 접수 단계에서 우리는 고객과 함께 세 가지를 못 박는다. 샘플 정답(고객이 수작업으로 이미 아는 상위 몇 개 품목), 재현해야 할 수치(반품률 계산식과 지난달 전체 반품 건수), 합격 최소 기준(샘플 품목이 결과 상위권에 다 들고 집계 총건수가 고객 장부와 일치할 것)이다. AI PM이 "완료"를 선언하면, 시스템이 이 세 가지를 자동으로 맞춰 본 뒤에야 결과가 고객에게 나간다. 여기에 더해, 같은 데이터를 여러 번 돌려 목록이 매번 거의 같게 나오는지까지 본다. 한 번 맞았다는 사실은 다음에도 맞는다는 보장이 아니니까.
저자들이 스스로 꼽는 한계는 두 가지, 성능 격차와 신뢰성 그 자체다. 깊이·시간 과제에서 현재 에이전트는 전문가와 멀고, 원인으로 데이터 복잡성·신뢰성·자기점검 부족을 들지만 해법은 아직 열려 있다고 적는다.
실험의 솔직한 잔금도 눈여겨볼 만하다. 오픈 가중치 모델(내부 설정값이 공개돼 누구나 직접 받아 돌릴 수 있는 모델) 둘은 한 코딩 틀에서 "빈 API 응답"이 "완료된 턴"으로 잘못 기록되는 문제 때문에 평가가 불가능해 빠졌다. 상처 치유 과제의 일부 실행은 이미지 크기 제한에 걸려 제외됐다가, 유효 실행 세 개가 모일 때까지 다시 돌렸다. 이런 궁합 문제가 역설적으로 "틀이 모델만큼 결과를 흔든다"는 이 논문의 주장을 뒷받침한다.
내가 덧붙이고 싶은 한계도 있다. 과제 수가 많지 않다. 넓은 범위를 담으려다 보니, 조건별로 쪼개 보면 표본이 얇아진다. 따라서 이 연구의 결론은 '경보'로서는 유효하지만, 특정 모델이나 접근법의 우열을 가리는 '판결'로 읽기엔 아직 이르다. 또 화면을 조작하는 GUI 에이전트는 코드를 거의 안 남겨, 과정 점수에서 "판단불가"로 빠지는 비율이 커진다. 벤치마크는 이걸 분모에서 빼고 따로 감사가능성(결과가 어떻게 나왔는지 사후에 따라가며 확인할 수 있는 정도) 지표로 적어 두지만, 서로 다른 인터페이스를 과정 점수 하나로 공정히 세우는 일이 쉽지 않음을 보여 준다.
함께 공개합니다. arXiv 판은 CC BY 4.0입니다. 원본 연구 데이터도 모두 공개 라이선스 자료이며, 각자의 원래 라이선스 조건으로 벤치마크와 함께 재배포됩니다.
막지 않았습니다. 다만 보관된 추적 로그를 모두 감사한 결과, 네트워크는 패키지와 모델 가중치(모델이 학습으로 얻은 내부 수치 묶음)를 내려받는 데, 그리고 소프트웨어 문서를 두 번 열람하는 데에만 쓰였습니다.
모든 지시문이 원본 출판물과 보고 수치를 검색하는 것, 그리고 파일명이나 메타데이터로 어떤 논문인지 식별하는 것을 금지합니다. 일반적인 방법론 문헌과 소프트웨어 문서 열람은 허용합니다.
기준값을 그대로 둘 수 없는 NF-κB 전위(세포가 자극을 받으면 NF-κB라는 단백질이 핵 안으로 옮겨 가는 현상) 과제는 예외적으로, 제출한 표가 보여 주는 용량-반응 특성으로 채점합니다.