一枚の模様だけを見て、物質の原子配列を言い当てる仕事がある。ここでGan Jiangという新しいエージェントが、物質を構成する元素が何か(組成)すら教えられていない条件で、従来最強の手法をシミュレーションデータで約38パーセントポイント上回った。実際の鉱物データでも二桁ポイントの差で勝った。ところが同じエージェントが、本物の実験室で測定したデータを前にすると、最初の答えを当てた割合は40.83%にとどまった。半分以上は最初の答えが外れたということだ。圧倒的な勝利と冷静な限界が、一枚の成績表に並んで記されている。
興味深いのは、この成績を出した方法だ。ふつう、AIをより賢くするにはモデルを再学習させる。Gan Jiangはそうしなかった。文章を理解して計画を立てる言語モデルも、土台となる物理モデルも手をつけていない。代わりに、分析が失敗するたびに、その失敗を「次のサンプルにもそのまま実行できる手順」へと変えて積み上げた。頭脳はそのままに、手元の作業マニュアルだけを書き直すわけだ。
X線回折(XRD)は、物質にX線を当て、跳ね返ってきた模様からその中の原子配列を読み取る分析法だ。問題は、この模様を逆向きに読んで構造を復元する作業に、正解が一つにきれいに定まらないという点にある。ピークが互いに重なり、原子配列が少し乱れたり、結晶が一方向に偏ったりすると、別々の構造が同じくらいもっともらしく見えてしまう。数学ではこうしたものを「不良設定(ill-posed)の逆問題」と呼ぶ。答えが複数ありうるという意味だ。
だから、信頼できる解釈は一発では出てこない。どの候補構造を使うかを選び、どの値を微調整するかを決め、残った誤差をどう見るかを判断する「決定の連鎖」を通らなければならない。一つの選択が次の選択を変える。まさにこの連鎖こそ、人間の専門家の手が最もかかる場所であり、自動化が最もよくつまずく場所でもある。
ちなみに、この論文が扱うのは粉末XRD(PXRD)だ。向きがばらばらな無数の微小結晶の散乱を、一次元の模様一つに圧縮したものなので、情報が重なり合い、いっそう厄介になる。ピークの位置は結晶格子の間隔を、強度は原子配置と相(phase、同じ元素でも原子が異なる配列をとった状態)の比率を、幅は結晶サイズや測定装置の影響を担っている。
機械学習で模様を見て相を分類したり、構造を検索したりすることは、すでにできる。予測を数値で検証してくれるプログラムもある。隙間は別のところにあった。一つのサンプルの分析を終えたからといって、その経験が「次のサンプルを扱う手順」をより良くしてくれるわけではなかった、という点だ。失敗した調整、専門家による修正、たまたまうまくいった復旧のコツは、再利用できる知識へと変わらなければならず、その知識は、自分を生んだ一つの出来事を超えて、ほかのサンプルでも通用するかどうかを検証されなければならない。この転換をシステムの中にはっきりと埋め込んだのが、Gan Jiangだ。
著者たちが挙げたある事例が、このシステムの働きを最も鮮明に示している。精密化(refinement、候補構造の数値を実際の測定値に合わせて微調整する過程)ツールであるGSAS-IIで分析している途中、複数の値を一度に変えたところ、かえって測定値との適合度が悪化することがあった。エージェントはこの失敗を見過ごさなかった。実行記録をたどって原因を突き止め、「初期値から出発し、一度に一まとまりずつだけ調整せよ」という規則を手順に刻んだ。この規則は、モデルを再学習させなくても、以後のすべての分析にそのまま残る。一度の失敗が、次のサンプルの作業手順を変えたのだ。
これが可能になるには、二つの層が噛み合う必要がある。分析する手と、その手を直す仕組みだ。
分析する手は、専門家チームのように役割を分けたエンジン群だ。測定した模様を既存の資料と照合して候補を絞り込むエンジン、元素情報が与えられれば学習済みモデルで構造を検索するエンジン、複数の成分が混ざった試料を相ごとに分解するエンジン、物理法則を守る範囲で模様全体を一度にモデリングするエンジンがある。長く検証されてきた精密化ツールも二つ併せて組み込まれる。最後に、すべての結果を再び測定値と照合する審査者(inspector)の層が、関門のように立つ。どのエンジンがどんな答えを出そうと、この関門を通ったものだけが外に出ていく。
手を直す仕組みこそ、この論文の心臓だ。Gan Jiangが積み上げる記憶は、抽象的な教訓ではなく「すぐに実行できるスキル」である。一つのスキルには、何をするか(命令)、いつ取り出すか(状況)、結果をどう評価するか(検査コード)が一緒に収められている。いまの状況に合うスキルを選んで取り出す選択器(ルーター)が、課題に合ったスキルを実行し、その実行記録をたどって、スキルをどう直すかを自ら提案する。検証チェックが「直したらかえって悪くなる」という後退を防ぐ。
ここで著者たちは、二つをはっきり区別する。一つは、このサンプル一つだけをうまく合わせようとする「モデル調整」だ。格子定数の一つを、この試料に合わせて精密化する作業。今回一度きりで終わる。もう一つは、次のサンプルをより良く扱うために「手順そのものを変える」スキル学習だ。格子定数をいつ解放すべきか、どの診断を必ず確認すべきかを変える作業。これは次のサンプルへと受け継がれる。先の比喩でいえば、新人の分析者が今回のサンプルをうまく解いたことと、その経験を「次の人もそのままなぞれるチェックリスト」として残したことの違いだ。
性能は、著者たちが作ったベンチマークDeltaXRDbenchで測った。模様は62,044個 — 相が一つの単一相と、二つ三つが混ざった混合物からなる。データは三系統だ。計算でシミュレーションしたもの(MP500)、実際の鉱物を測定したもの(RRUFF)、実験で得たもの(opXRD)。後ろへ行くほど難しいと考えてよい。
採点方式に、一つ重要な決めごとがある。データベース番号を当てたかどうかではなく、エージェントが提出した結晶構造ファイルを、正解の構造と直接比較するのだ。番号ではなく、構造そのものが合っていて初めて正解となる。
模様だけを与え(組成情報なしで)、最も有力な候補一つを当てる割合(top-1)は、次のとおりだった。
| データセット | Gan Jiang | 従来最強のAutoXRD | 差 |
|---|---|---|---|
| MP500(シミュレーション) | 96.30% | 58.00% | +38.30%p |
| RRUFF(実際の鉱物) | 81.78% | 58.47% | +23.31%p |
| opXRD(実験データ) | 40.83% | 26.45% | +14.38%p |
順位で見ても、同じ優位だ。正解が上位五候補の何番目に来るかを点数化したMRR@5でも、三つのデータセットすべてでAutoXRDを上回った。さらに参照組成まで一緒に与えると、top-1はもっと上がり、最も易しいMP500では99.90%に達する。
この差が物語ることがある。生成ベースの比較対象は、元素情報に大きく依存している。組成を外すと、性能は事実上崩れる(詳しい説明は下のFAQを参照)。Gan Jiangは組成がなくても、大きな差で上回った。しかもAutoXRDとは、候補を構成する出発点をまったく同じく共有しているのに生じた差である。ただし、この識別精度の差をもって、審査者の関門やスキル学習の効果だと断定することはできない。出発点を共有するという事実だけからは、差がその後に乗せた工程全体から生じた、とまでしか言えず、そのうち何がどれだけ寄与したのかを、この表が切り分けてくれるわけではない。スキル学習の効果は、以下で見る精密化スコアの実験で別途測定されたものであり、この識別精度の比較とは別の実験だ。
手順の自己改善は、初めて見るデータ(held-out、手順を学ぶのには一切使わず、評価のためだけに残しておいたデータ)で、次のように現れた。
| 精密化エンジン | 学習前 | 学習後 |
|---|---|---|
| FullProf | 46.90 | 72.38 |
| GSAS-II | 39.01 | 60.02 |
| PyWPEM | 31.74 | 38.33 |
このスコアは注意して読まねばならない。測定した模様とどれだけよく合うかを要約した値であって、「構造を正しく識別した割合」ではなく、失敗したり時間切れになったりした場合を0点として含んでいる。しかも三つのエンジンは、直し方が互いに異なる。一つはワークフローを、一つはスキルと設定を、一つはスキルだけを手直しする。だから三つの数字を「同じ介入が生んだ効果」として横並びで比べてはならない。PyWPEMの上げ幅が小さいのは、改善効果が条件によって変わるという信号だ。
性能表の外では、四件の実際の分析が有用性を示している。
著者たちが自ら明らかにした限界は、はっきりしている。今回の実験は「制御された修正のあとに凍結する」という過程を経た転移を立証したものであって、実際に長く使い続ける間ずっと良くなっていくかを、最後まで見届けたわけではない。可能性の土台を示したのであって、全過程を証明したわけではない。性能の優位についても「この論文が定めたベンチマーク条件のもとで評価された手法のあいだでの」最高だ、という範囲に釘を刺している。実験で得た模様から合成した混合物が、実際に粉を混ぜた試料のすべての効果を再現できるわけではない、という点も明記している。
ここに、私が付け加えたい観察が一つある。基準となったスキルそのものが「専門家が設計した」手順だった。だからこのシステムの成果は、審査者と方針の設計に溶け込んだ人間の専門性に、かなりの部分を負っている。自己学習がその土台を置き換えるというより、増幅すると読むほうが正確だ。人間が敷いておいた土台がまだ届いていない実測データ — opXRDがまさにその場所だ — では、優位を保ちながらも、絶対的な成績は控えめだった。この分野が根本的に難しく、先は長いという意味である。
ONTLEは、顧客プロジェクトごとにAI PMをつける。そのPMが、ある顧客のデプロイ依頼をさばいている途中、いつも同じ地点で行き詰まるとしよう。よくある対応は、その案件だけを急いで片づけて先に進むことだ。すると次の顧客のところで、同じ失敗が繰り返される。
Gan Jiangの規律を移すと、こうなる。顧客Aのデプロイ失敗の記録から、「デプロイの前に、まずプレビューを生成する」という手順を一つ取り出す。これをすぐに正式な手順へ入れたりはしない。その失敗を生んだ顧客Aではなく、切り離された別の顧客B・Cの状況で、この手順が実際に通用するかをまず試す。そこで旧来のやり方に勝って初めて採用する。モデルではなく手順を直すこと、これが核心だ。
何を直すかが、なぜ重要なのか。言語モデルの重みではなく、外側の手順・指示文・コードを直すから、変更した内容をバージョンとして残し、誰がいつなぜ変えたのかを監査でき、問題が起きれば巻き戻せる。モデルの中の数値を直接いじると、この三つがすべて難しくなる。
もちろん、X線の模様を解く仕事と、顧客のデプロイを管理する仕事は違う。同じなのは実装ではなく原則だ。失敗を一回きりの後始末で終わらせず、検証を経た手順へと変えて積み上げること、そして、その改善が積み重なる軸をモデルの外に置くこと。ONTLEがPMを設計し直すにあたって実際に選んだ方向も、ここだった。言葉と行動が食い違っていたPMを直す道は、モデルに「もっとうまくやれ」と祈ることではなく、実行を規則で回る別サービスとして切り出し、通過の可否をポリシーでロックすることにあった。
小さなディテールが一つ、とりわけ役に立つ。Gan Jiangは「ツール呼び出しが失敗した」という事実だけで「このサンプルは複数の相が混ざったものだ」と結論づけたりはしない。計算が失敗したことと、仮説が間違っているという証拠とを区別する。AI PMもまた、一つの実行エラーを、そのまま誤ったエスカレーションの引き金にしてはならない。まず失敗の原因を突き止めよ。そのうえで経路を選べ。そして通過の判定は、モデルが「うまくいったようだ」と言うかどうかではなく、あらかじめ定めた規則が機械的に下すようにせよ。
論文の付録は、Gan JiangのAPIを説明している。エージェントモードと直接的なCLIアクセス、アーティファクトでデータをやり取りする方式、構造に基づく回折計算・精密化の例が収められている。ただし、この抜粋には公開リポジトリのアドレスがURLとして記されていない。具体的なアクセス方法は、原文と付属資料で確認するほうが正確だ。
これらは公開された事前学習版で評価されており、下流モデルが要求する元素情報に大きく依存している。模様だけを与える条件では、Uni3DARが先に元素を予測し、ほかの手法の入力までを供給する構造になっているため、この予測が揺らぐと全体が事実上崩れてしまう。参照組成を与えればかなりの部分は回復するが、組成がなくても大きな差で上回ったGan Jiangとは対照的な点だ。
この論文の実験と評価は、粉末XRDに特化している。改善の効果も、回折誤差・実行結果・精密化モデルの物理的妥当性にスキルの修正を結びつける形で、この分野に合わせられている。読んで・直して・たどり返すという学習の骨格そのものは一般的だが、ほかの分野への転移は、この抜粋が立証する範囲の外にある。同じ性能だと断定するのは早い。