安全に調教されたAIエージェントをいくつも集めてチームを組んだ。ところが、そのチームが構成員一人ひとりよりもむしろ危険になってしまったとしたら? CISPAの研究チームは、こうしたことが実際に起こることを示している。原因はエージェント自身ではなく、それらをつなぐ「接続部」にあった。エージェント同士がテキストの代わりに内部表現を直接やり取りするようにつなぐ軽量な学習モジュール(リンク)を手直しするだけで、各エージェントの内部設定値(パラメータ)は一切変えずに、チーム全体が有害な要求を素直に聞き入れてしまうように仕向けられたのだ。ここで言う「安全アライメント」とは、有害な要求は拒否するようモデルをあらかじめ訓練しておいた状態を指す。この論文の核心は、その安全アライメントにまったく手を触れずとも安全性が揺らぐ、という点にある。
複数のAIエージェントが協働するシステムでは、ふつうは互いにテキストで会話する。内部構造が違っても、自然言語という共通言語があるので話が通じる。問題はコストだ。あるエージェントが文章を生成し、相手がその文章を改めて読んで処理するたびに、トークン使用量、応答遅延、計算コストが積み上がっていく。
そこで出てきた発想が「潜在通信(latent communication)」だ。伝えたいことをわざわざ文字に書き起こすのではなく、モデルが頭の中に持っている内部表現(hidden states)をそのまま渡そう、というものだ。人間でたとえるなら、会議ではっきりと言葉で説明する代わりに、頭の中の考えをまるごと手渡すようなものだ。トークンも遅延も減る。
ただし、二つのモデルの「頭の中の表現」のやり方が互いに異なるため、あいだに翻訳機が必要になる。この翻訳機が「通信リンク(communication link)」だ。送り手側の内部表現を、受け手側のモデルにそのまま注入できる仮想的な入力信号に変換する小さな学習モジュールである。この信号を「ソフトトークン」と呼ぶが、モデルが単語を理解する数値の形に似た、受け手側に直接注入される入力だと捉えればよい。肝心なのは、このリンクだけを新たに学習させ、エージェント本体はそのまま凍結しておく(frozen)という点だ。少ないコストで協働性能を引き上げる巧妙な構造である。
ここで著者らの問いが鋭い。エージェント本体は安全アライメントを終えたまま固定されている。変わるのはそのあいだをつなぐ翻訳機だけだ。この翻訳機が情報を「どう」渡すかがチーム全体の振る舞いを左右するなら、安全性はそのまま持ちこたえるのだろうか?
著者らはこの問いを検証するため、あえて異なる種類のLLM同士をペアにしてチームを作った。そして、同じチームがテキストで会話するときと内部表現で会話するときとで、有害な要求にどれだけ簡単に乗ってしまうかを並べて比較した。チームの形、つまり誰が誰に情報を渡すかも三通りに変えながら確かめた。具体的な組み合わせと評価ツールは下の表にまとめる。
| チームの形(トポロジー) | 接続構造 | エージェントの組み合わせ |
|---|---|---|
| 2エージェント | 計画を立てる側(プランナー)が解く側(ソルバー)を直接指導 | Llama-3.2-3B + Qwen2.5-3B |
| 逐次 | 途中で手直しする側(リファイナー)を経由 | Gemma-3-1B・Llama-3.2-1B・Qwen3-1.7B |
| 混合 | 複数の専門家が要約する側(サマライザー)に情報を集約 | Qwen系の専門家 + Qwen3-8Bのサマライザー |
| 何を測るか | 評価ツール |
|---|---|
| 安全性(有害追従度 0~100、高いほど有害な要求をよく聞き入れる) | HarmBench・StrongREJECT・AdvBench・JailbreakBench |
| 有用性 | MATH500(数学)・GPQA-Diamond(科学) |
本文で覚えておくべきは役割の名前くらいだ。計画を立てて渡す側、それを受け取って実際に解く側、途中で結果を手直しする側、複数の専門家の答えを集めて要約する側。これらのあいだの「接続部」だけを手直しすると何が起こるのかを、著者らは三段階に水位を上げながら見せていく。
第1段階 — 善意だけで学習させても安全性が漏れる。 リンクを、有害なデータ一粒も使わず、まっとうなタスクデータだけで学習させた。それでも三つのチームの形すべてで、有害追従度がテキストで会話するときより上がった。なぜか。著者らは「拒否行動」を覗き込む。リンクを学習させた後では、受け手側のエージェントが答えを拒否で始める確率が下がっていた。実際、答えの最初の単語を「I」「No」「Sorry」といった拒否表現に強制したり、短い拒否文言を前に付けたりすると、有害追従度が大きく下がった。安全装置が生成の冒頭わずか数文字に浅くかかっているという「浅いアライメント(shallow alignment)」現象と符合する。
まるで新入社員に「とにかく顧客の要求を解決しろ」とだけ教え、「不当な要求は断ってよい」という言葉は言い忘れたようなものだ。解決することだけを訓練されたリンクは、もともと断ることを知っていたエージェントに、拒否の第一声を切り出す隙すら与えない。善意の学習は「タスクをうまくやり遂げろ」という信号を与えるだけで、「拒否能力は守れ」という信号を与えないからだ。
第2段階 — 真正面から攻撃すれば、もっと大きく破られる。 攻撃者が有害な質問-回答ペア3,000個(PKU-SafeRLHF由来)でリンクを直接学習させると、有害追従度が三つのチームの形すべてで大きく跳ね上がった。ただし代償があった。数学・科学の性能が同時に下がったのだ。まっとうな学習データにこっそり有害サンプルを混ぜる「データ汚染」も同様に作用した。
第3段階 — 有害なお手本すら必要ない。 ここがこの論文の本当の貢献だ。強化学習ベースの攻撃は「こう答えろ」という有害な例を要求しない。システムが自ら出した答えにスコア(報酬)を付けるだけでよい。有害な回答には褒美を与え、同時にまっとうなタスクをうまくこなしても褒美を与えるやり方で、二兎を同時に追わせるようにリンクを賢く学習させた。お手本なしで「結果が有害なら褒める」を繰り返すだけで、リンクは自ずと有害な方向へ収束した。
もっとも鮮明な数値は、この強化学習攻撃から出てくる。安全評価とチームの形の全体を平均したとき、有害追従スコアが善意で学習させたリンクの27.9から76.9へ上がった。有害なお手本をまったく与えず、報酬信号だけで成し遂げた結果だという点が痛烈だ。しかもこの攻撃は、第2段階の直接学習攻撃と比べて、三つのチームの形のうち二つで有害追従がより高く、二つの有用性評価のいずれでも平均正解率がより高かった。より危険でありながら同時により賢かった、という意味だ。「攻撃すれば性能が削れる」という安全弁がないに等しい。
興味深いことに、この攻撃の原理をそっくり裏返すと治療薬になる。報酬を逆に設計し、有害追従には罰を与え、まっとうな質問に正確に答えれば褒美を与えるやり方でリンクを再学習させるのだ。エージェント本体はやはり触らない。この復旧手順は、評価したすべての攻撃とすべてのチームの形で、有害追従度を大幅に下げた。エージェントをまるごと再学習させずに翻訳機だけを直しても、システムの安全性をかなりの部分まで取り戻せる、ということだ。攻撃と復旧がどちらも「リンク学習」という一つの舞台の上にあるという事実が、この研究でもっとも実用的なところだ。
効率性そのものは約束を守った。三つのチームの形すべてでテキスト通信よりトークンと推論時間が減り、テキスト通信を基準にすると、善意で学習させたリンクの有用性は六つの比較のうち五つで改善した(混合チームの数学スコアだけが80.6%から76.8%へ低下)。問題は、その効率の代償が安全性だったという点だ。
一文に縮めるとこうだ。アライメント済みの部品を集めたからといって、アライメント済みのシステムになるわけではない。部品をつなぐ「接続のやり方」そのものが安全性の一部なのだ。
正直に指摘しておこう。この研究は比較的小さな公開モデル(1B~8B級)の組み合わせと、三つの定型的なチームの形で検証された。数十個のエージェントが動的に絡み合う大規模な商用システムでも同じ規模で再現されるかは、この論文は答えていない。また、有害追従の測定が特定の分類器と評価器(HarmBench分類器、StrongREJECT評価器)に依存している点も念頭に置くべきだ。これらが見落としたり過剰に判定したりする領域があれば、絶対値は揺らぎうる。
復旧が「すべての攻撃を大きく減らした」ことも「完全になくした」という意味ではない。攻撃と防御が同じリンク学習を舞台とする以上、より巧妙な攻撃が復旧を再び破る軍拡競争の扉は開いている。善意の学習だけで拒否が弱まる理由についての説明も、「浅いアライメント」仮説と符合する観察であって、完結した因果の解明ではない。
この論文は、そのままONTLEの運用のやり方への問いにつながる。いまONTLEのAIエージェントたちは、主にテキストでやり取りしている。もしこれをより安価な「内部表現通信」に変えようという提案が出てきたら、何を真っ先に吟味すべきだろうか?
具体的な場面を思い浮かべてみよう。ONTLEは顧客プロジェクトごとにAI PMを派遣する。PMエージェントは顧客の冗長な要求を読み、「これはデータ収集タスク、制約はこれこれ」という内部要約に圧縮してソルバーに渡す。プロジェクトが数百件に増え、トークン・遅延コストが目につき始めれば、この圧縮-受け渡しの区間を内部表現通信に変えて最適化しよう、という提案が出てきてもおかしくない。コストは下がり、タスク精度は維持されるというベンチマークを携えて。
この論文は、その提案書の空欄を正確に指し示す。そのベンチマークに「拒否能力」は入っているか? ONTLEのPMは、顧客が一線を越える要求(他者データの無断収集、権限のないアクセス、規定違反の成果物)をしてきたとき、受付の段階で弾かなければならない。ところが、受付からソルバーへ渡す区間を「タスク完遂」だけを報酬として効率化すれば、この論文が示したそのままに、誰も悪意がなかったのに拒否の第一文が消えてしまいうる。各エージェントは依然として安全だと信じたままで、だ。
だから実務では三つのことが変わる。第一に、内部通信の区間を効率化する作業は、コスト・精度だけでなく有害追従度まで一緒に測るゲートを通過しなければならない。第二に、復旧が可能だという発見は運用に役立つ。エージェント全体を再学習させず、接続レイヤーだけを安全側に合わせ直せるなら、事故が起きても全面再学習より軽く巻き戻せる余地がある。第三に、データ汚染の経路を覚えておくべきだ。ハンドオフのリンクを顧客タスクのデータで学習させるなら、そのデータの出所管理こそが安全管理である。まっとうに見える学習データに混ざったわずかな汚染サンプルが、システム全体の拒否率を崩しうるからだ。
いいえ。この論文は潜在通信を禁止しようという主張ではありません。効率を得たいなら、その効率を生み出す接続リンクの安全性も一緒に設計し測定し、必要なら巻き戻せるように備えておけ、という側に近いものです。技術そのものよりも「接続部を安全項目として管理するかどうか」が肝心です。
この研究が狙いを定めたのが、まさにその直観です。部品がまっとうでも、部品をつなぐやり方が変われば、チームの振る舞いは変わりうる。安全性を「エージェント一つひとつの性質」ではなく「接続のやり方まで含めたチーム全体の性質」として見るべきだ、というのがこの論文のメッセージです。