計画の根拠の照合は、仕込んだ誤りを拾えるか 2026-11-06 測定 · v0.123.0

確かめたこと。 実験計画が良い案かどうかは、実験してみるまで分かりません。そこで Graphium は、良し悪しの代わりに「計画の各項目が何に基づいているか」を照合します（この計画の出どころ）。この照合が、計画に紛れ込んだ誤りを本当に拾えるのかを、わざと誤りを仕込んだ計画で測りました。あわせて、誤りの無い計画で出る警告が本物かどうかも確かめています。

ひとことで。 Claude Opus 5 と Copilot の gpt-5.6-luna は、仕込んだ誤り 15 件を 15 件とも「食い違い」か「根拠なし」として挙げました。仕込んでいない計画で挙げた項目も、ほぼすべてが本当に参考ノートにも回答にも無いものでした。gpt-oss-120b は 15 件中 13 件を拾いましたが、1 回の照合で、回答に書いてある条件を「根拠なし」とする誤警報を 8 件出しました。規模の小さい測定なので、傾向として読んでください。

測り方

元にした回答	論文 PDF から抽出した手順ノートを参考に、次の実験を AI に相談した回答 2 本（論文から次の実験の計画まで と同じ公開論文）
計画	2 本の回答それぞれから、3 つのモデル（Claude Opus 5・gpt-5.6-luna・gpt-oss-120b）で計画を作りました。計 6 本です
仕込んだ誤り	6 本のうち 5 本で、共通の手順を書き換えた版を作りました（残る 1 本は元の版だけを照合）。(1) 振っていない固定条件の温度を 600 °C 上げる（5 本とも予備加熱 500 → 1100 °C）、(2) 参考ノートにも回答にも無い材料を純度つきで足す（5 本とも同じ材料）、(3) 焼成の雰囲気を変える（3 本）か、保持時間を 10 倍にする（2 本）。照合が、書き換えた値や材料を含む項目を「食い違い」か「根拠なし」として挙げたら、拾えたと数えました
照合役	同じ 3 つのモデル。元の版 6 本と仕込んだ版 15 本を、それぞれ 1 回ずつ照合しました（計 63 回）
誤警報の確認	元の計画で「食い違い」「根拠なし」と挙がった 21 項目を、別の AI の監査者が参考ノートと回答の全文に照らして、本当に無いか（食い違うか）を判定しました

仕込んだ誤りを拾えたか

照合役	固定条件の値	足した材料	雰囲気・時間	計
Claude Opus 5	5/5	5/5	5/5	15/15
Copilot gpt-5.6-luna	5/5	5/5	5/5	15/15
gpt-oss-120b	3/5	5/5	5/5	13/15

分母は仕込んだ計画の本数（5 本）です。gpt-oss-120b が見逃した 2 件は、書き換えた予備加熱の温度を「回答の提案」としたものです。計画の側で変わった値を、回答が変えたものとして扱っています。Claude と gpt-5.6-luna は、同じ計画で、その手順の行を「食い違い」として挙げました。gpt-oss-120b が雰囲気の書き換えを拾った 3 件は、いずれも「食い違い」ではなく「根拠なし」で、元の計画でも同じ条件を「根拠なし」としていた例がありました。正しい理由で拾えたとは限りません。

誤りを仕込んでいない計画で挙がった項目

照合役	挙げた項目	本当に無い・食い違う	一部だけ正しい	誤警報
Claude Opus 5	6	6	0	0
Copilot gpt-5.6-luna	6	5	1	0
gpt-oss-120b	9	1	0	8

仕込まなくても、計画には本当に根拠の無い項目がありました。撹拌の有無、焼成の雰囲気、炉冷、乳鉢といった、論文にも回答にも書かれていない細部を、計画を組む段で AI が補っていました。また、論文では一方の原料にだけ付いていた純度を、計画が別の原料に付けていた例があり、Claude と gpt-5.6-luna はこれを挙げています。回答の表が 2 つの原料の純度をまとめて書いていたことが原因でした。Claude と gpt-5.6-luna が挙げた 12 項目は、どれも 2 本目の回答から作った計画のものです。1 本目の回答は手順の細部まで書いていたので、補われた項目がありませんでした。

gpt-oss-120b の誤警報 8 件は、すべて 1 回の照合から出たもので、回答に書いてある条件（乳鉢の種類・昇温速度・磁場など）を「根拠なし」としていました。回答が長くて切れたのではなく（回答は上限の 12,000 字に届いていません）、読み落としです。ほかの 5 回の照合で gpt-oss-120b が挙げたのは 1 項目だけで、Claude と gpt-5.6-luna が挙げた補われた細部の多くを挙げていませんでした。

費用

照合 1 回あたり、入力は約 1.0 万〜1.5 万トークン、出力は約 3,000〜5,000 トークンでした。時間の中央値は 25〜41 秒です（最長は 94 秒）。計画ノートができて開くまでの時間が、この分だけ延びます。

後知恵の検証（試験）

計画の「良し悪し」に近づけるため、論文の著者が実際に次に何をしたかと、AI の提案を比べる方法も試しました。OpenAlex で、筆頭著者と最終著者の 1〜5 年後の論文を集めました。その題と要旨から、Claude Opus 5 が続報を選び、続報で振った条件を書き出したものを正解にしました（7 本中 5 本に続報がありました）。そのうえで AI に元の論文だけを見せて、「次に振るもの」を 3 つ提案させ、正解と同じ条件かを Claude Opus 5 が判定しました。

見せたもの	1 位が当たる	3 つのどれかが当たる
抽出した手順ノート	0.77	0.90
題と要旨だけ	0.73	0.90

（3 モデル × 5 本 × 2 回、各 30 件）

どちらもほぼ当たってしまい、差が出ませんでした。正解の幅が広いことが原因だと考えています。続報が 10 本ある論文もあり、ドープ元素・組成・焼成温度・評価の追加などを合わせると、振った条件は多い論文で 40 になります。もっともらしい提案なら、どれかに当たりやすくなります（でたらめな提案と比べる基準は取っていません）。この方法で計画の良し悪しを測るには、続報 1 本の主な変数だけを正解にする、論文の数を増やす、正解づくりと判定を提案役と別のモデルにする、といった作り直しが要ります。いまの形では、計画の評価には使えません。

限界

• 計画は 6 本、仕込んだ計画は 5 本で、照合はそれぞれ 1 回だけです。値の書き換えは 5 本とも同じ予備加熱の温度、足した材料も 5 本とも同じで、仕込みの型は実質 3 つです。
• 元の計画の見逃し（照合が挙げなかった本当の誤り）は数えていません。誤警報の確認は、挙がった項目だけが対象です。
• 照合は、良い計画かどうかを判定しません。根拠のある計画でも、実験として悪い案のことはあります。

判断

• 出どころの照合は、計画ノートを作るときに、デフォルトモデルで実行します。Claude 級のモデルと Copilot の gpt-5.6-luna なら、挙がった項目はそのまま確かめる対象として使えます。
• gpt-oss-120b では、この測定で誤警報と見逃しが目立ったので、挙がった項目は回答と見比べてください。
• 後知恵の検証は、正解を作り直すまで保留します。