論文の PDF から手順はどこまで取れるか、名前はどこまで揃うか 2026-11-06 測定 · v0.120.8
確かめたこと。 論文の PDF に 手順を抽出してノート化 をかけると、手順・材料・装置・条件は、論文に書いてある合成の手順とどのくらい合うのでしょうか。また、何本もの論文をまとめて取り込んだとき、抽出した名前を書庫に揃える 仕組みは、名前をどれだけ揃え、どれだけ間違って揃えてしまうのでしょうか。
ひとことで。 論文に書かれた合成の操作は 6〜8 割を拾いました。ただ、測定や評価の手順まで拾うので、正解と比べた精度は低めです。名寄せは、2 本以上の論文に共通する名前を増やし、正解との一致はほとんど変えませんでした。最初の版は共通の名前を 2〜6 割増やした代わりに、寄せの 1 割近くが誤りでした。寄せを控えめにした今の版では、増え方は 1〜2 割で、誤りは 3% です。
その後
名前の完全一致ではなく、意味で照合する採点で測り直し、抽出の弱点（つながり）を Claude と Copilot で改善しました。手順の抽出はどこが弱いのか を参照してください。
測り方
| 論文 | 材料合成の手順の公開データセット MatPROV の評価用の論文のうち、CC-BY で公開されていて PDF を取れた 7 本（熱電・磁性・フェライトなど） |
| 正解 | MatPROV の人手の正解。合成の手順だけ が入っていて、測定や評価の手順は入っていません |
| 通した経路 | アプリと同じです。ブラウザで PDF から本文を取り出し、手順の抽出に渡しました。正解が英語なので、出力の言語は英語にしています。書庫は空の状態から始めました |
| 名寄せ | アプリと同じ 2 段（書き方の違いを畳む → AI が同じものを見分ける）を、7 本に論文の順で 1 本ずつかけました |
| モデル | Claude Opus 5、GitHub Copilot の gpt-5.6-luna、gpt-oss-120b（OpenAI 互換の API で使うオープンなモデル）。それぞれ 2 回 |
| 採点 | 手順（操作）・材料・装置・つながり（どの操作がどの材料を使ったか）・条件のそれぞれで、正解と名前が一致した割合（適合率 P・再現率 R・F1） |
| 寄せの正誤 | 寄せ 1 件ずつを、別の AI の判定者が「同じもの／違うもの／文脈次第」に分けました |
抽出の精度
2 回の平均で、名寄せをかける前の値です（名寄せのあとの値は、下の「名寄せ」を参照）。
| モデル | 操作 P / R / F1 | 材料 F1 | 装置 F1 | つながり F1 | 条件 F1 | 1 本あたりの時間 |
|---|---|---|---|---|---|---|
| Claude Opus 5 | 0.41 / 0.80 / 0.54 | 0.34 | 0.26 | 0.20 | 0.24 | 2〜3 分 |
| Copilot gpt-5.6-luna | 0.57 / 0.80 / 0.67 | 0.37 | 0.20 | 0.26 | 0.34 | 約 30 秒 |
| gpt-oss-120b | 0.51 / 0.61 / 0.55 | 0.32 | 0.16 | 0.17 | 0.30 | 約 20 秒 |
- 合成の操作はよく拾います。 操作の再現率は 0.6〜0.8 でした。
- 精度が低いのは、拾う範囲が正解より広いからです。 正解は合成の手順だけですが、抽出は X 線回折や磁化の測定、電子顕微鏡の観察まで手順にします。ノートとしては残したい手順なので、この差は誤りというより、正解の範囲の違いです。
- Claude は一番たくさん拾います。 再現率が最も高く、適合率は最も低く、時間とトークンも最も多く使いました（入力は 1 本あたり約 3.4 万トークン）。
- 装置の F1 は低めです。 適合率が 0.10〜0.16 と低く、操作と同じく、正解に無い測定の装置（磁力計・分光計など）まで拾うことが大きいと見ています。「planetary ball mill」と「Fritsch Pulverisette P-5」のように、同じ装置を正解と違う粒度で書く例もあります。
名寄せ
2 本以上の論文に出てくる名前の数（論文どうしをつなぐノードの数）と、寄せの正誤です。F1 の変化は、どのモデルでも ±0.03 以内でした。
| 共通の名前（名寄せ前 → 後） | 寄せの件数 | 同じもの | 文脈次第 | 違うもの | |
|---|---|---|---|---|---|
| 最初の版 | Claude 37 → 45〜46、luna 21〜22 → 28、gpt-oss 13〜16 → 21〜22 | 111 | 83 | 18 | 10 |
| 直した版 | Claude 37 → 41〜44、luna 21〜22 → 24〜25、gpt-oss 13〜16 → 16〜18 | 72 | 66 | 4 | 2 |
- 書き方の違いを畳む段は、すべて正しい寄せでした（7 件）。大文字と小文字、ハイフン、複数形の違いです。
- 最初の版の誤りは、AI が「同じもの」と判断した寄せから出ました。 型は 3 つです。限定語を落として汎用の名前に寄せる（「Measuring resistivity」→「Measuring」）。条件の違う別の試料を 1 つにする（「1 h ball-milled powder」→「ball-milled powder」）。手法を取り違える（分光の EDS → X 線回折装置）。
- 直した版は、寄せを控えめにしました。 手順の名前とパラメータの名前では、語を落とすだけの寄せを決まった規則で弾きます。材料と成果物では、「powder」「solution」のような形のことば以外を落とす寄せを弾きます。装置は、メーカー名や型番を落として一般名に寄せたいので規則では止めず、AI への指示（限定語は落とさない・メーカー名と型番は限定語ではない）に任せています。共通の名前の増え方は小さくなりましたが、違うものを寄せる誤りは 10 件から 2 件に減りました。
分かったこと
- 3 つのモデルで、合成の操作の再現率は 0.6〜0.8 でした。 速さと F1 の釣り合いは Copilot の
gpt-5.6-lunaが良く、Claude は時間をかけて最も多く拾います。つながりと装置の F1 は、どのモデルでも 0.3 未満です。 - 名寄せは、論文をまたいだ「同じ操作」「同じ装置」を増やします。 揃えるほど誤りも増えるので、迷ったら寄せない側に倒しています。間違った寄せはグラフを壊しますが、寄せ漏れは後から直せるからです。
限界
- 論文は 7 本、各 2 回です。1 本で F1 が大きく動くので、数字は傾向として読んでください。
- 正解は合成の手順だけなので、測定や評価まで手順にすると適合率が下がる指標です。
- 寄せの正誤は、名前どうしを見て判定しました。直した版では疑わしい一部を論文の本文でも確かめましたが、最初の版は名前だけで判定しています。
- 名寄せの効果は、同じ回に取り込んだ 7 本の間でだけ測っています。すでに大きな書庫に足したときの寄せ方は測っていません。
- 日本語の見出しで抽出したときの精度は測っていません（正解が英語のため）。日本語では、アプリで通して動くことだけを確かめています。
途中で見つかったこと（その後に直したもの）
- 限定語を落とす寄せと、手法の取り違え。 上のとおり、AI への指示を足し、手順・パラメータ・材料・成果物では限定語を落とすだけの寄せを決まった規則で弾くようにしました。表の「直した版」が、直したあとの結果です。
- まだ残る誤り。 機種の書かれていない汎用の X 線回折装置を、別の論文の特定の機種の名前に寄せた例が 2 件ありました。汎用から特定へ寄せる向きは、まだ止めていません。
アプリでの通しの確認（PDF 7 本 → まとめて抽出 → チャットで相談 → 実験計画ノート）では、ほかに次を直しています。
- 計画の行ごとの値。 行ごとの工程ノートで、条件の値が 1 行目のまま残っていました。抽出は予備加熱と焼成の両方を「温度」と呼ぶので、名前で探して置き換えると両方が変わってしまいます。1 行目の値そのものを探して置き換える方式にしました。
- 1 行目だけに当てはまる文。 1 行目が「置換なし」の試料だと、「置換なしなので Co は加えない」という文が全部の行に残っていました。共通の手順は、どの行の値でも成り立つ書き方にさせています。