RULERは「文章で書かれた指示を受け取り、SVG(ベクターグラフィック)コードを生成する」というタスクを扱った論文だ。核心となる問いは一つ。正解画像が一つに定まっていないのに、モデルをどうやってきちんと学習させるのか。RULERの答えは、指示文ごとに6項目からなる採点ルーブリックを自動生成し、そのルーブリックで付けたスコアを強化学習の報酬として使う、というものだ。この手法は、従来の指標を使っていた方法をはっきりと上回った。どれだけ、どのように上回ったかは、後ほど数値で確認する。
まずSVGとは何かから押さえよう。私たちが普段よく使うJPEGやPNGは、点(ピクセル)を格子状にびっしり並べて絵を作る。一方SVGは「ここからそこまで線を引き、この円を青で塗れ」といった命令(コード)で絵を描く。だからどれだけ拡大しても劣化せず、アイコンやイラストによく使われる。
問題は「猫のアイコンを描いて」のような自然言語の指示からこのSVGコードを生成するときだ。これは絶対的な正解画像が存在しないオープンエンドなタスク、つまり正解が一つに定まっていない課題である。数学の問題なら正解はぴったり一つだが、猫のアイコンは何百通りもすべてが正解になりうる。正解がないため、二つのことが同時に行き詰まる。一つはうまく描けているかを評価すること、もう一つは強化学習でモデルを改善する際に与える報酬シグナル(どの結果をより良いとみなすかを教えるスコア)を決めることだ。
従来の方法は、CLIPスコアや美的(Aesthetic)スコアのようなスカラー指標、つまり一つの数値に要約されるスコアを使っていた。ところがこれらの指標は実写写真を基準にキャリブレーションされているため、様式化されたベクターグラフィックにはうまく当てはまらない。写真用のものさしを持って漫画絵を測るようなものだ。さらに悪いことに、こうした指標を強化学習の報酬にそのまま使うと報酬ハッキング(reward hacking)が起きる。報酬ハッキングとは、モデルが本当に絵を上手に描く代わりに、そのスコアだけが高く出る抜け道を見つけ出す現象だ。試験の隙を突いて、勉強せずにスコアだけ上げる生徒を思い浮かべればいい。
RULERの発想は、学校の実技評価の採点ルーブリックとまったく同じだ。先生が「とにかく上手に書けているかを一つのスコアで付ける」と言えば基準が曖昧だが、「テーマが明確か(2点)、段落構成が良いか(2点)、表記が正しいか(1点)」のように項目を分けて採点すれば、はるかに公平で、人の判断とよく一致する。
論文はまずこの点を実験で確認した。視覚-言語の判定者(VLM、画像と文章を一緒に理解するAI)に複数の軸からなるルーブリックを与えて採点させると、一つの数値だけの指標よりも人の判断とはるかによく一致した。しかもそれは、異なる成果物を順位付けするときも、同じ指示文の中で良し悪しを分けるときも、どちらでもそうだった。
この発見の上に築かれたのがRULER(Instance-aware Rubric Rewards for Reinforcement Learning)だ。その動作の仕方を、理解を助けるための架空の例「笑っている黄色い太陽のアイコンを描いて」でたどってみよう。
最大の実用的な利点は、このすべての過程に「正解」画像も、人が逐一採点したデータもまったく必要ないという点だ。採点表がもっぱら指示文のテキストだけから作られるため、正解SVGをあらかじめ対にしておく必要も、人が好みをラベルとして付けておく必要もない。正解データを集めるコストがまるごと消え、データ構築の負担が大きく減る。
では数値を見よう。二つのベンチマーク(モデルの性能を測る標準的なテストセット)で、評価スコアは次のように上がった。
| ベンチマーク | 従来 | RULER適用後 |
|---|---|---|
| MMSVG-Illustration | 0.432 | 0.693 |
| MMSVG-Icon | 0.395 | 0.683 |
ここで押さえておきたいことがある。「従来」は学習前のベースモデルの性能であり、この表のスコアは学習に使った報酬とは別に付けられた値だ。RULERの学習報酬は指示文ごとに異なる形で作られた個別のルーブリックで与えるが、性能評価はすべての成果物を一つの共通ルーブリックで測る独立した判定手続きに従う。つまり教えるときに使ったものさしと、成績を測るときに使ったものさしは別物だ。スコアは1に近いほど良く、二つのベンチマークとも大きく跳ね上がった。さらにRULERは、SVG生成だけを専門に掘り下げたモデルを上回り、はるかに大きなDeepSeek-V3に匹敵する性能まで出した。より軽い手法が、真っ向勝負で巨大モデルと肩を並べたのだ。
何がこの性能を生んだのか。論文はアブレーション実験(ablation、構成要素を一つずつ外してみて、どれが決定的だったかを見極める実験)でその答えを突き止める。性能を押し上げた本当の原因は、強化学習の手法そのものではなくルーブリックの設計だった。何を、どの項目で、どう分けて採点したかが核心だったという意味だ。
まとめるとこうなる。正解が一つに定まらない創造的・オープンエンドな生成タスクでも、「何を良しとみなすか」を項目としてくっきり分けて定義すれば、信頼できる報酬シグナルを作ることができる。
もちろんこのアプローチには、はっきりした限界と残された問いもある。
RULERの発想は、「正解のない仕事をAIにうまくこなさせるには、どう評価すればいいのか」という、私たちの実務の核心にある問いと直接つながっている。私たちは、成果物の性質と無関係な単一の指標で品質を測ろうとする誤りを、常に避けなければならない。要望の反映度、事実の正確性、トーン、実行可能性はそれぞれ異なる軸なのに、これを一つのスコアにまとめてしまうと、肝心の欠陥が埋もれてしまう。RULERは、これらの軸を分けて採点するほうが人の判断とよく一致することを、実証として示した。また、正解をあらかじめ付けておくのが難しい成果物でも、要望文そのものから評価項目を引き出せること、そして成果を単一の指標一つに追い込むと、その指標だけを高める抜け道(報酬ハッキング)が生まれるという警告も、あわせて与えてくれる。
具体的な場面に移してみよう。AI PMが顧客との会議の議事録ドラフトを作成したとする。ここに同じ評価手続きをそのまま適用する。(1) この会議の指示・文脈から「決定事項が漏れなく盛り込まれているか、発言と事実が食い違っていないか、顧客に送れるトーンか、次にやるべきことが実行可能な形で書かれているか」といった項目表を作る。(2) 作成したドラフトを項目ごとに採点する。(3) 「実行可能性」だけが際立って低く出たなら、その項目を取り上げて「担当者と期限を明記せよ」というフィードバックで書き直させる。ぼんやりした「書き直して」ではなく、どこがなぜ足りないかを指し示すシグナルだ。ただし、このすべての採点をAI判定者に任せるには、その判定者が人の判断と実際に一致するかをまず確認する手続きが前提になる。RULERが本学習に先立ってこの相関から検証したという点が、だからこそ重要なのだ。
RULERが実際に検証した範囲は、SVG生成の二つのベンチマークです。ただしその原理自体(正解のない仕事を項目ごとの採点表で評価・改善する)は、議事録や応対ドラフトのように正解が一つに定まらない他のタスクにも移してみる価値があります。ただし、タスクが変われば、その分だけ改めて検証しなければならないという点は、論文が残した開かれた問いでもあります。
一つのスコアだけ高めればよい構造では、その数値だけを攻略する抜け道が生まれやすくなります。逆に複数の項目に分けて見て重みを付ければ、一つの項目だけ無理に引き上げても他の項目で減点されるため、成果物そのものを均等にうまく作るほうが有利になります。