AIが衛星画像を広げて「ここは焼け跡だ」と判定したとしよう。私たちが知りたいのはたいてい二つだ。モデルが画像のどこを見たのか、そしてどの光を手がかりにしたのか。
厄介なのは、この二つを別々に答えると説明が食い違いかねない点にある。画像全体でどの光が平均的に重要だったかだけを見てしまうと、肝心の焼け跡を説明する場所で、本来は森でこそ効いていた光を見当違いの根拠として差し出してしまう。「どこ」と「どの光」は互いに噛み合っているのに、切り離すとそのつながりが切れてしまう。
衛星センサーは、人間の目に見える赤・緑・青の先まで、光をいくつもの区間に分けて捉える。この区間ひとつひとつをチャンネル(波長帯・バンドとも呼ぶ)という。そして、森で決め手になるチャンネルと焼け跡で決め手になるチャンネルは、互いに異なる。
ウィスコンシン大学マディソン校の研究チームが提案したSSI(Spectral-Spatial Interpretation)は、先の二つの問いをひとつに束ねる。「それぞれの場所でどのチャンネルが判断に寄与したか」を一枚の表として出す、というものだ。この表を帰属行列と呼ぶ。行は画像内の場所、列はチャンネルで、各マスは「その場所でその光が判断にどれだけ寄与したか」を表すスコアだ。
たとえばこんな形になる(概念的な例)。近赤外線・短波赤外線はどちらも、人間の目に見えない、赤より波長の長い光だ。
| 場所 \ 光 | 近赤外線 | 短波赤外線 |
|---|---|---|
| 森 | 高い | 低い |
| 焼け跡 | 低い | 高い |
同じ画像の中でも、森の場所は近赤外線に、焼け跡の場所は短波赤外線に反応する。この違いを一枚に収めることが、SSIの核心となる成果物だ。
これまでの説明ツールは大きく二種類あった。ひとつは重要な位置を示す地図だ。画像のどの領域が判断を引っ張ったかを、色の濃淡で塗り分けてくれる(こうした図をヒートマップと呼ぶ)。もうひとつは重要な光のランキング表だ。どのチャンネルが全体として重要だったかに順位をつける。(それぞれの系統を代表する具体的な手法名は、記事末尾の付録にまとめた。)
どちらも、ある一面を押しつぶしてしまう。位置の地図は複数のチャンネルをひとつに合成して一枚にし、光のランキング表はチャンネルの効果を画像全体にわたって平均してしまう。先ほどの表をもう一度見よう。森の場所は近赤外線、焼け跡の場所は短波赤外線に反応していた。ところがこの表を縦に平均して「この画像で全般的に重要な光」という一行に圧縮すると、二つの光が中途半端に混ざり合い、森と焼け跡が異なる光を使っていたという事実そのものが消えてしまう。本当に見たかったのはまさにその違いだったのに、だ。
ここにはよくある近道がひとつある。位置の地図に、全域のチャンネル順位ひとつを掛けて使う二段階方式、いわゆるrank-1構造だ。すべての場所に同じチャンネル重要度の比率を当てはめる、ということになる。だが同じ光でも、ある場所では決定的でも別の場所ではまったく無関係ということがあり得る。だからこそ帰属の目標は、全域の順位一行ではなく、場所ごとに異なる位置×チャンネルのスコアでなければならない。
焼け跡のある一箇所を説明したいとしよう。SSIは周囲の森や都市を実際に観測されたままに置いておき、まさにその一箇所のチャンネルだけをいじる。
ここで「いじる」の意味を正確に押さえておきたい。その光を実際に消すのではなく、あらかじめ定めておいた比較用の値、すなわちベースライン(baseline)に差し替える、という意味だ。このベースラインを何に取るかで、問いの意味が変わる。チャンネルの平均値に差し替えれば「この場所の光がありふれた値だったら?」を問うことになり、0に差し替えれば「この光がそもそも無かったら?」を問うことになる。両者は別の問いなので、同じスコアでもどのベースラインを使ったかを併記しなければならない。こうしてその場所のチャンネルをさまざまな組み合わせで差し替えながら、「このチャンネルがあるときと無いときで予測がどれだけ変わるか」を見る。
各チャンネルの取り分を公正に分ける計算がシャープレイ値だ。もともとゲーム理論で「複数の参加者が共同で出した成果を、各自の貢献に応じて分ける」方法だが、ここではチャンネルが参加者にあたる。あるチャンネルの効果は他のチャンネルが隣にいるかどうかで変わるので、チャンネルをひとつだけ取り出して見るのではなく、さまざまな組み合わせにそのチャンネルを加えたときの予測変化を平均して貢献とする。
規模を抑える肝がここにある。画像全体のすべての(場所、チャンネル)を一度に並べて解くのではなく、ある場所を説明するときは、その場所のチャンネル同士だけで貢献度を分け合う。 ひとつの場所のチャンネルがC個なら、巨大なゲームをひとつ解く代わりに、C人の小さなゲームを場所の数だけ解く、という形になる。著者たちが強調するように、新しい分配ルールを発明したのではなく、「周囲を観測されたまま固定したうえで、一箇所だけを問う」という問題設定そのものが貢献なのだ。
この設計から、役に立つ性質がひとつ導かれる。ある場所のチャンネルスコアをすべて足し合わせると、その場所を丸ごとベースラインに差し替えたときに予測が変わる量と、ちょうど一致する。つまり「この場所を丸ごと消したら結果がどれだけ変わるか」という問いに、そのまま答えになる。ただしこの足し算は、ひとつの場所の中でのみ成り立つ。場所と場所をまたいでスコアをずっと足し上げ、画像全体の貢献率として読むところまでは保証されない。その境界については、後の「限界」で改めて触れる。
いちばん近い比較対象はOwen値だ。どちらも位置×チャンネルという同じグループ構造を使うが、外側の文脈を扱うやり方で分かれる。Owen値は外側があれこれ変わる複数の場合を平均して「平均的にこのチャンネルがどれだけ寄与するか」を問うのに対し、SSIは外側をいま観測されたこの場面のまま固定して「この画像でこの場所のチャンネルたちがどう寄与するか」を問う。どちらが正しい・間違っているという問題ではなく、問うている質問が違うのだ(論文§4.5が両者を直接比較している)。
評価は、性格をあえて違えて選んだ三つのデータセットで行われた。
| データセット | 入力(チャンネル) | タスク |
|---|---|---|
| CUB-200-2011 | RGB 3チャンネル、鳥200種 | 分類 |
| EuroSAT | Sentinel-2 13バンド | 土地被覆10種の分類 |
| HLS Burn Scar | Landsat-Sentinel-2調和6バンド | セグメンテーション |
(モデルの種類と空間グリッドのサイズは付録の表にまとめた。)
結果は二つの問いに束ねて読めばよい。(1) 判断に効いた情報をうまく見つけられるか、(2) その情報を見つけるコストはいくらか。
(1) 根拠をうまく突けるか。 試し方はこうだ。説明が重要だと指差した場所・チャンネルを消したとき、予測が大きく揺れるほど、その説明はモデルの実際の根拠を正しく突いたことになる(この系統の指標をdeletion/insertionと呼ぶ — 重要だと挙げたものから消したり差し込んだりして、予測の変化を見る)。SSIは三つのデータセットすべてで、二種類のベースライン(平均・0)いずれでも、この忠実度が最も良かった。一例として、チャンネル別平均ベースラインでのCUB-200のinsertion AUCは.7132で、空間だけを見るRISEの.6886を上回り、EuroSAT・HLSでは差がさらに開く。
解釈の線ははっきり引いておこう。この指標が確かめているのは「説明がモデルの予測変化をどれだけ忠実に追えているか」であって、「そのシグナルが現実に本当に火を物語る原因なのか」ではない。モデルが手がかりにしたものと、自然が実際に教えてくれるものが、常に一致するとは限らない。残りの忠実度・分光・重なりの指標の数値は、以下の表にまとめた。
| 評価 | 何を見たか | 結果 |
|---|---|---|
| ROAD (HLS) | 重要な/重要でないものから消しながら忠実度を測定 | 9手法中、LeRF AUC .657で最高、MoRF AUC .1143で最低(どちらも良い側) |
| 分光指標 (EuroSAT・HLS) | 重要なチャンネルをどれだけうまく突くか | 最も高いHit@K、最も低いチャンネルdeletion AUC |
| 空間重なりmIoU (HLS上位10%) | チャンネルを合成した空間スコアが正解領域と重なる度合い | SSI .389 > DeepSHAP .277 > RISE .191。平面シャープレイであるKernelSHAPは同じ粒度でも大きく劣る |
| rank-1仮定の損失 | 「すべての場所に同じチャンネル比率」の誤差 | チャンネルが3つしかないCUBで最も小さく、チャンネルの多いEuroSATで最も大きい |
(2) コストはいくらか。 HLS Burn ScarでSSIは、MC-Owen推定器と比べて帰属品質の各指標で上回りながらも、評価予算の約6%しか使わなかった。場所ごとにC人の小さなゲームだけをサンプリングするからだ。ただしこの6%はHLSという一つのデータセットでMC-Owen一つと比べた値なので、チャンネルがはるかに多いデータでも同じ比率だと断じるのは難しい。
まず著者たち自身が明かした選択から見よう。SSIは場所ごとの条件付き説明と、場所単位での正確な集計を与える代わりに、予測値全体をすべての場所に余すところなく分解してくれるわけではない。両方を同時に満たすルールは存在しないため(Proposition 1)、前者を選んだのだ。
この選択が実運用で引く境界ははっきりしている。特定の位置で判定の根拠が何かを覗き込むには使えるが、「この画像で焼け跡が占めた割合は何%か」のように、画像全体の貢献率を配分するレポートには使えない。 すべての場所の貢献の合計が予測値と一致する「全域の会計」が必要な用途なら、SSIはそのための道具ではない。
残りの制約は「スコアをどんな条件で読むべきか」に直結する。
チャンネル数Cが小さければすべての部分集合を正確に数え上げられるが(CUB-200はC=3)、Cが大きく増えた場合のスケーラビリティはこの記事の範囲外だ(論文付録B.4)。
ONTLEはAIプロジェクトマネージャー(PM)を派遣するサービスだ。そのPMの仕事のひとつが、システムが下した自動判定の根拠を担当者にかみ砕いて説明することだ。
SSIそのものは衛星画像を扱う手法であり、業務システムにコードごと移植して使う代物ではない。だが、PMが説明を検討するときに投げかける問いのひとつは、ここからそのまま出てくる。リスク度の判定システムがある作業を「危険」に分類し、担当者がPMに「なぜ?」と尋ねたとしよう。このときPMが点検すべきことは一つだ。担当者が受け取った説明は、全体の平均順位(「全般的に遅延のシグナルがいちばん重要です」)なのか、それとも今回の判定の根拠(「この作業では依存関係の状態が判定を引っ張りました」)なのか。 平均的には重要度の低いシグナルが、特定の案件では決定的になり得るのだから、全域の順位一行で終わった説明は突き返して、案件ごとの根拠を求める。SSIの実装ではなく、その問題意識からPMが持ち帰る実務上の原則だ。
本文で先送りした手法名 - 重要な位置を示す地図の系統(空間帰属):Grad-CAM、RISEなど。どの領域が判断を引っ張ったかをヒートマップで見せる。 - 重要な光の順位をつける系統(分光帰属):アテンション重み、SHAPスコアなど。どのチャンネルが全体として重要かを順位づけする。 - 他系統との違い:平面SHAP系はすべての単位を平らな参加者として扱うため、位置×チャンネルの二層構造を捉えられず、グループシャープレイはグループを一つの塊としてしか見ないため、グループの中を分けられない。
定理 - Theorem 1(局所シャープレイの公正性):各位置の中でSSIは、局所効率性・位置内対称性・位置内ヌルプレイヤー・加算性を満たす唯一の分配である。 - Theorem 2(文脈的集計の一貫性):ある位置のチャンネル帰属の合計 = その位置を丸ごとbaselineに差し替えたときの全文脈との対比。単調性・超モジュラ性・特定のアーキテクチャ仮定なしに成り立つ。 - Proposition 1:いかなるルールも「位置ごとの文脈対比 = チャンネル合計」と「全域効率性(予測値全体を位置へ完全に分配)」を同時に保証できない。SSIは前者を選んだ。 - Proposition 3:平面シャープレイは位置レベルの集計可能性を保証しない。SSIの空間合計はTheorem 2で保証される。
指標(すべて「重要だと指差した情報を消したり差し込んだりしたとき、予測がどれだけ変わるか」を測る道具だ) - joint deletion AUC:帰属の高い順に消したときに予測が下がる速さ。低いほど良い(重要なものを先に消したという意味)。 - insertion AUC:高い順に差し込んだとき。高いほど良い。 - rank-1 deletion:行列を先頭のrank-1で近似しても忠実度が保たれるかを見る診断。 - mIoU:チャンネルを合成した空間スコアが正解アノテーションとどれだけ重なるか。アノテーションのあるデータセットでのみ可能。 - Hit@K:上位チャンネルを確立された分光指数(焼け跡のNBR、植生のNDVI/NDRE)と突き合わせた的中率。信頼できるシグナルのあるクラスに限って測定。 - ROAD(LeRF/MoRF AUC):重要なものから/重要でないものから消したときの忠実度評価。
実験設定の補足
| データセット | モデル | 空間グリッド |
|---|---|---|
| CUB-200-2011 | ImageNet事前学習ResNet-18のファインチューニング | 細かいグリッド |
| EuroSAT | ResNet-18を全バンドでスクラッチ学習 | 8×8 |
| HLS Burn Scar | 軽量UNet | 8×8 |
比較対象は、密・平面系(Integrated Gradients、DeepSHAP、KernelSHAP)、rank-1摂動の対照群(RISEベース)、HLSの勾配系手法(Expected Gradients、Guided IG、FullGrad)だ。RISE対照群は空間スコアと全域チャンネルスコアを掛けた分解マップで、「ヒートマップ × 全域チャンネルベクトルで十分か」を直接試す仕掛けになっている。ベースライン(baseline)はチャンネル別平均を基本とし、頑健性の確認のため0でも回し直した。