AI가 위성 사진을 펼쳐 놓고 "이 자리는 불에 탄 땅"이라고 판정했다고 하자. 우리가 궁금한 건 보통 두 가지다. 모델이 사진의 어디를 봤는가, 그리고 어떤 빛을 단서로 삼았는가.
문제는 이 둘을 따로 답하면 설명이 어긋날 수 있다는 데 있다. 사진 전체에서 어떤 빛이 평균적으로 중요했는지만 보면, 정작 불탄 땅을 설명하는 자리에서 엉뚱하게 숲에서나 중요했던 빛을 근거로 내밀 수 있다. '어디'와 '어떤 빛'은 서로 맞물려 있는데, 따로 떼어 놓으면 그 연결이 끊긴다.
위성 센서는 사람 눈이 보는 빨강·초록·파랑 너머까지 빛을 여러 구간으로 나눠 담는다. 이 구간 하나하나를 채널(파장대·밴드라고도 한다)이라고 부른다. 그리고 숲에서 결정적인 채널과 불탄 땅에서 결정적인 채널은 서로 다르다.
위스콘신-매디슨 연구진의 SSI(Spectral-Spatial Interpretation)는 앞의 두 질문을 하나로 묶는다. "각 자리에서 어떤 채널이 판단에 기여했는지"를 한 장의 표로 내놓는 것이다. 이 표를 귀속 행렬이라 부른다. 행은 사진 속 자리, 열은 채널이고, 각 칸은 "그 자리에서 그 빛이 판단에 얼마나 기여했는지"를 나타내는 점수다.
예를 들면 이런 모양이다(개념 예시). 근적외선·단파적외선은 모두 사람 눈에 안 보이는, 빨강보다 파장이 긴 빛이다.
| 자리 \ 빛 | 근적외선 | 단파적외선 |
|---|---|---|
| 숲 | 높음 | 낮음 |
| 불탄 땅 | 낮음 | 높음 |
같은 사진 안에서도 숲 자리는 근적외선에, 불탄 땅 자리는 단파적외선에 반응한다. 이 차이를 한 장에 담는 것이 SSI의 핵심 산출물이다.
지금까지의 설명 도구는 크게 두 종류였다. 하나는 중요한 위치를 보여주는 지도다. 사진에서 어느 영역이 판단을 끌었는지를 색의 농담으로 칠해 준다(이런 그림을 히트맵이라 부른다). 다른 하나는 중요한 빛의 순위표다. 어떤 채널이 전체적으로 중요했는지 등수를 매긴다. (각 계열을 대표하는 구체적 기법 이름은 글 끝 부록에 정리했다.)
둘 다 한 가지를 눌러 뭉갠다. 위치 지도는 여러 채널을 하나로 합쳐 한 장을 만들고, 빛의 순위표는 채널의 효과를 사진 전체에 걸쳐 평균 낸다. 앞의 표를 다시 보자. 숲 자리는 근적외선, 불탄 땅 자리는 단파적외선에 반응했다. 그런데 이 표를 세로로 평균 내 '이 사진에서 전반적으로 중요한 빛' 한 줄로 압축하면, 두 빛이 어중간하게 섞이면서 숲과 불탄 땅이 서로 다른 빛을 썼다는 사실 자체가 지워진다. 정작 우리가 보고 싶었던 게 그 차이인데 말이다.
여기엔 흔한 지름길이 하나 있다. 위치 지도에 전역 채널 순위 하나를 곱해 쓰는 2단계 방식, 이른바 rank-1 구조다. 모든 자리에 똑같은 채널 중요도 비율을 적용하는 셈이다. 하지만 같은 빛이라도 한 자리에선 결정적이고 다른 자리에선 아무 상관이 없을 수 있다. 그래서 귀속의 목표는 전역 순위 한 줄이 아니라, 자리마다 다른 위치-채널 점수여야 한다.
불탄 영역의 한 자리를 설명하고 싶다고 하자. SSI는 주변의 숲과 도시는 실제 관측된 모습 그대로 두고, 바로 그 자리의 채널만 건드린다.
여기서 '건드린다'를 정확히 짚어야 한다. 그 빛을 실제로 없애는 게 아니라, 미리 정해 둔 비교용 값, 곧 기준값(baseline)으로 바꿔 끼운다는 뜻이다. 이 기준값을 무엇으로 두느냐가 질문의 의미를 바꾼다. 채널의 평균값으로 바꾸면 "이 자리 빛이 평범한 값이었다면?"을 묻는 것이고, 0으로 바꾸면 "이 빛이 아예 없었다면?"을 묻는 것이다. 둘은 다른 질문이라, 같은 점수라도 어떤 기준값을 썼는지를 함께 밝혀야 한다. 이렇게 그 자리의 채널을 여러 조합으로 바꿔 끼우며 "이 채널이 있을 때와 없을 때 예측이 얼마나 달라지나"를 본다.
각 채널의 몫을 공정하게 나누는 계산이 샤플리 값이다. 원래 게임이론에서 "여러 참가자가 함께 낸 성과를 각자 기여한 만큼 나누는" 방법인데, 여기서는 채널이 참가자다. 한 채널의 효과는 다른 채널이 곁에 있느냐에 따라 달라지므로, 채널 하나만 떼어 보지 않고 여러 조합에서 그 채널을 추가했을 때의 예측 변화를 평균 내 기여로 삼는다.
규모를 줄이는 핵심 장치가 여기 있다. 사진 전체의 모든 (자리, 채널)을 한꺼번에 놓고 푸는 게 아니라, 한 자리를 설명할 땐 그 자리의 채널끼리만 기여도를 나눈다. 한 자리의 채널이 C개라면, 거대한 게임 하나 대신 C명짜리 작은 게임을 자리 수만큼 푸는 셈이다. 저자들이 강조하듯 새 분배 규칙을 발명한 게 아니라, '주변을 관측 그대로 고정한 채 한 자리만 묻는다'는 문제 설정 자체가 기여다.
이 설계에서 쓸모 있는 성질이 하나 따라 나온다. 한 자리의 채널 점수를 전부 더하면, 그 자리를 통째로 기준값으로 바꿨을 때 예측이 변하는 양과 정확히 같아진다. 즉 "이 자리를 통째로 지우면 결과가 얼마나 바뀌나"라는 질문에 바로 답이 된다. 다만 이 덧셈은 한 자리 안에서만 성립한다. 자리와 자리를 가로질러 점수를 죽 더해 사진 전체의 기여율로 읽는 것까지는 보장하지 않는데, 그 경계는 뒤의 '한계'에서 다시 짚는다.
가장 가까운 비교 대상은 Owen 값이다. 둘 다 위치-채널이라는 같은 그룹 구조를 쓰지만, 바깥 맥락을 다루는 방식이 갈린다. Owen 값은 바깥이 이럴 수도 저럴 수도 있는 여러 경우를 평균해 "평균적으로 이 채널이 얼마나 기여하나"를 묻고, SSI는 바깥을 지금 관측된 이 장면 그대로 고정해 "이 사진에서 이 자리의 채널들이 어떻게 기여하나"를 묻는다. 어느 쪽이 맞고 틀리고의 문제가 아니라 묻는 질문이 다른 것이다(논문 §4.5가 둘을 직접 비교한다).
평가는 성격을 일부러 다르게 고른 세 데이터셋에서 이뤄졌다.
| 데이터셋 | 입력(채널) | 과제 |
|---|---|---|
| CUB-200-2011 | RGB 3채널, 새 200종 | 분류 |
| EuroSAT | 센티넬-2 13밴드 | 토지피복 10종 분류 |
| HLS Burn Scar | 랜드샛-센티넬-2 조화 6밴드 | 분할 |
(모델 종류와 공간 격자 크기는 부록 표에 정리했다.)
결과는 두 질문으로 묶어 읽으면 된다. (1) 판단에 영향을 준 정보를 잘 찾는가, (2) 그 정보를 찾는 비용은 얼마인가.
(1) 근거를 잘 짚는가. 시험 방법은 이렇다. 설명이 중요하다고 지목한 자리·채널을 지웠을 때 예측이 많이 흔들릴수록, 그 설명이 모델의 실제 근거를 제대로 짚은 것이다(이 계열 지표를 deletion/insertion이라 한다 — 중요하다고 꼽은 것부터 지우거나 끼워 넣으며 예측 변화를 본다). SSI는 세 데이터셋 모두, 두 종류의 기준값(평균·0) 모두에서 이 충실도가 가장 좋았다. 한 예로 채널별 평균 기준값에서 CUB-200의 insertion AUC는 .7132로, 공간만 보는 RISE의 .6886을 앞섰고, EuroSAT·HLS에서는 격차가 더 벌어진다.
해석의 선은 분명히 긋자. 이 지표가 확인하는 건 "설명이 모델의 예측 변화를 얼마나 충실히 따라가는가"이지, "그 신호가 현실에서 진짜로 불을 말해 주는 원인인가"가 아니다. 모델이 단서로 삼은 것과 자연이 실제로 알려 주는 것이 늘 같지는 않다. 나머지 충실도·분광·겹침 지표의 수치는 아래 표로 모았다.
| 평가 | 무엇을 봤나 | 결과 |
|---|---|---|
| ROAD (HLS) | 중요한/덜 중요한 것부터 지우며 충실도 측정 | 9개 기법 중 LeRF AUC .657로 최고, MoRF AUC .1143으로 최저 (둘 다 좋은 쪽) |
| 분광 지표 (EuroSAT·HLS) | 중요 채널을 얼마나 잘 짚나 | 가장 높은 Hit@K, 가장 낮은 채널 deletion AUC |
| 공간 겹침 mIoU (HLS 상위 10%) | 채널을 합친 공간 점수가 정답 영역과 겹치는 정도 | SSI .389 > DeepSHAP .277 > RISE .191, 평면 샤플리인 KernelSHAP는 같은 입도에서도 크게 뒤짐 |
| rank-1 가정의 손해 | '모든 자리에 같은 채널 비율'의 오차 | 채널이 3개뿐인 CUB에서 가장 작고, 채널이 많은 EuroSAT에서 가장 큼 |
(2) 비용은 얼마인가. HLS Burn Scar에서 SSI는 MC-Owen 추정기와 견줘 귀속 품질 지표들에서 앞서면서도 평가 예산의 약 6%만 썼다. 자리마다 C명짜리 작은 게임만 샘플링하기 때문이다. 다만 이 6%는 HLS 한 데이터셋에서 MC-Owen 하나와 비교한 값이라, 채널이 훨씬 많은 데이터에서도 같은 비율이라고 단정하긴 어렵다.
저자들이 직접 밝힌 선택부터 보자. SSI는 자리별 조건부 설명과 정확한 자리 단위 집계를 주는 대신, 전체 예측값을 모든 자리에 남김없이 쪼개 주지는 않는다. 둘을 동시에 만족시키는 규칙은 없어서(Proposition 1) 앞쪽을 택한 것이다.
이 선택이 실제 사용에서 만드는 경계는 뚜렷하다. 특정 위치에서 판정의 근거가 무엇인지 들여다보는 데는 쓰지만, "이 사진에서 불탄 땅이 차지한 몫은 몇 %"처럼 사진 전체의 기여율을 배분하는 보고서에는 쓸 수 없다. 모든 자리 기여의 합이 예측값과 맞아떨어지는 '전역 회계'가 필요한 용례라면 SSI는 그 도구가 아니다.
나머지 제약은 "점수를 어떤 조건에서 읽어야 하는가"와 직결된다.
채널 수 C가 작으면 모든 부분집합을 정확히 셀 수 있지만(CUB-200은 C=3), C가 크게 늘어난 경우의 확장성은 이 글의 범위 밖이다(논문 부록 B.4).
온틀은 AI 프로젝트 매니저(PM)를 파견하는 서비스다. 그 PM이 하는 일 가운데 하나가, 시스템이 내린 자동 판정의 근거를 담당자에게 풀어 설명하는 것이다.
SSI 자체는 위성 영상을 다루는 기법이고, 업무 시스템에 코드째 옮겨 쓰는 물건이 아니다. 하지만 PM이 설명을 검토할 때 던질 질문 하나는 여기서 바로 나온다. 위험도 판정 시스템이 어떤 작업을 '위험'으로 분류했고, 담당자가 PM에게 "왜요?"라고 물었다고 하자. 이때 PM이 점검할 것은 하나다. 담당자가 받은 설명이 전체 평균 순위("전반적으로 지연 신호가 제일 중요합니다")인가, 아니면 이번 판정의 근거("이 작업에서는 의존성 상태가 판정을 끌었습니다")인가. 평균적으로 덜 중요한 신호가 특정 사안에선 결정적일 수 있으니, 전역 순위 한 줄로 끝난 설명은 다시 돌려보내 사안별 근거를 요구한다. SSI의 구현이 아니라 그 문제의식에서 PM이 가져오는 실무 원칙이다.
본문에서 미룬 기법 이름 - 중요한 위치를 보여주는 지도 계열(공간 귀속): Grad-CAM, RISE 등. 어느 영역이 판단을 끌었는지 히트맵으로 보여준다. - 중요한 빛의 순위를 매기는 계열(분광 귀속): 어텐션 가중치, SHAP 점수 등. 어느 채널이 전체적으로 중요한지 순위로 매긴다. - 다른 계열과의 차이: 평면 SHAP류는 모든 단위를 평평한 참가자로 취급해 위치-채널의 2층 구조를 담지 못하고, 그룹 샤플리는 그룹을 하나의 덩어리로만 봐 그룹 안을 쪼개지 못한다.
정리 - Theorem 1 (국소 샤플리 공정성): 각 위치 안에서 SSI는 국소 효율성·위치 내 대칭성·위치 내 널플레이어·가산성을 만족하는 유일한 분배다. - Theorem 2 (맥락적 집계 일관성): 한 위치의 채널 귀속 합 = 그 위치를 통째로 baseline으로 바꿨을 때의 전맥락 대비. 단조성·초모듈성·특정 아키텍처 가정 없이 성립한다. - Proposition 1: 어떤 규칙도 '위치별 맥락 대비 = 채널합'과 '전역 효율성(전체 예측값을 위치들에 완전 분배)'을 동시에 보장하지 못한다. SSI는 전자를 택했다. - Proposition 3: 평면 샤플리는 위치 수준 집계 가능성을 보장하지 못한다. SSI의 공간 합은 Theorem 2로 보장된다.
지표 (전부 "중요하다고 지목한 정보를 지우거나 끼웠을 때 예측이 얼마나 달라지나"를 재는 도구다) - joint deletion AUC: 귀속 높은 순으로 지울 때 예측이 떨어지는 속도. 낮을수록 좋음(중요한 걸 먼저 지웠다는 뜻). - insertion AUC: 높은 순으로 끼워 넣을 때. 높을수록 좋음. - rank-1 deletion: 행렬을 선두 rank-1로 근사해도 충실도가 유지되는지 보는 진단. - mIoU: 채널을 합친 공간 점수가 정답 주석과 얼마나 겹치는지. 주석이 있는 데이터셋에서만 가능. - Hit@K: 상위 채널을 확립된 분광 지수(불탄 자국의 NBR, 식생의 NDVI/NDRE)와 맞춘 적중률. 믿을 만한 신호가 있는 클래스로 한정 측정. - ROAD(LeRF/MoRF AUC): 중요한 것부터/덜 중요한 것부터 지울 때의 충실도 평가.
실험 설정 보강
| 데이터셋 | 모델 | 공간 격자 |
|---|---|---|
| CUB-200-2011 | ImageNet 사전학습 ResNet-18 미세조정 | 세밀 격자 |
| EuroSAT | ResNet-18 전밴드 처음부터 학습 | 8×8 |
| HLS Burn Scar | 가벼운 UNet | 8×8 |
비교군은 조밀·평면 계열(Integrated Gradients, DeepSHAP, KernelSHAP), rank-1 섭동 대조군(RISE 기반), HLS의 그래디언트 기법(Expected Gradients, Guided IG, FullGrad)이다. RISE 대조군은 공간 점수와 전역 채널 점수를 곱한 분해 맵으로, "히트맵 × 전역 채널 벡터면 충분한가"를 직접 시험하는 장치다. 기준값(baseline)은 채널별 평균을 기본으로, 강건성 확인을 위해 0으로도 다시 돌렸다.