来歴の道具で、工程と系譜の問いに答えられるか 2026-11-05 測定 · v0.120.4
確かめたこと。 じっくり調べてから答える をオンにすると、AI は言葉と意味で探し直したり、ページ全体を読んだりできます。さらに、記録された来歴をたどる道具も使えます。ラベルから「この材料を使ったノート」を引く、ノートの工程を順に読む、ノートが何から作られ何に使われたかをたどる、の 3 つです。来歴の道具は、探し直しだけのときに比べて、答えを良くするのでしょうか。
ひとことで。 自分のノートの写しでは、Claude Opus 5 が 22 点中 16 点から 22 点 に上がりました。良くなったのは「この装置・材料を使ったノートはどれ？」という問いです。言葉で探すとノートが多すぎて埋もれますが、ラベルからは直接引けます。ほかの 2 つのモデルは、探し直しと比べて ±1 点でした。見本のノートでは、ノートどうしの系譜を聞く問いで、どのモデルもはじめは記録を落としていました。＠ リンクの読み方を直したあと、Claude の来歴ありで落とした回数は 5 回から 0 回になりました。ほかの 2 つのモデルでは、はっきりした変化は見えませんでした。
測り方
| ノート | 2 組。(1) 私の作業ノートの写し（ノート 180 本・ナレッジのページ 2,375 件）。工程や材料のラベルが付いたノートは、ほとんどが論文から取り込んだ実験手順です。中身は公開できないので、質問と回答は載せていません。(2) アプリに入っている見本（カレー作りとパン作り、ノート 24 本・ページ 167 件）。こちらは質問を下に載せています |
| 版 | 自分のノートは v0.120.0、見本は v0.120.4（＠ リンクの読み方を直したあと）で測りました。見本は v0.120.0 でも測り、直す前と比べています。自分のノートどうしの ＠ のつながり 5 問だけは、翌日の写し（ノート 189 本・ページ 2,392 件）を使い、意味の検索の埋め込みを全ページそろえてから、#1509 を入れた開発版で測りました |
| 検索 | 言葉（BM25）と、API の multilingual-e5-large による意味の検索 |
| 条件 | 3 つ。off = 最初に必ず走る 1 回の検索だけ。探し直し = 言葉と意味で探す道具とページを読む道具だけを使う。来歴あり = 探し直しに来歴の道具を足す（アプリでのオンと同じ）。同じ質問を新しいチャットで 3 回続けて聞き、条件の順番は 1 問ごとにずらしました |
| 質問 | 自分のノートで 11 問: 道具や材料を使ったノート（3）、工程の条件（2）、工程の順番（1）、比較（1）、使った道具（1）、できたもの（1）、答えがノートに無い（2）。見本で 11 問: 系譜と、その上流・下流（5）、工程の条件（2）、比較（2）、答えがノートに無い（2）。自分のノートの問いはすべて日本語、見本は日本語 6 問・英語 5 問です |
| モデル | Claude Opus 5、GitHub Copilot の gpt-5.6-luna、gpt-oss-120b（OpenAI 互換の API で使うオープンなモデル） |
| 採点 | 3 つの回答を A・B・C として条件を伏せ、別の AI の採点者が元のノートと照らして採点しました。2 = 欠けなく正しい、1 = 一部だけ正しい、0 = 間違い・答えていない・空。系譜の問いは、記録されたつながりを全部挙げたかで見ます。もっともらしい理由で記録を外した回答も 1 点です。記録に無いことを事実として書いたもの、記録されたつながりを落としたものには、別に印を付けました |
結果
自分のノート（11 問・22 点満点）
| モデル | off | 探し直し | 来歴あり | 記録に無いことを書いた回数（off → 探し直し → 来歴あり） | 時間・中央値（来歴あり） |
|---|---|---|---|---|---|
| Claude Opus 5 | 8 | 16 | 22 | 0 → 0 → 0 | 21 秒 |
| Copilot gpt-5.6-luna | 11 | 19 | 18 | 1 → 0 → 0 | 11 秒 |
| gpt-oss-120b | 13 | 18 | 19 | 5 → 3 → 1 | 8 秒 |
質問の種類ごと（off / 探し直し / 来歴あり）:
| 種類 | Claude | Copilot | gpt-oss |
|---|---|---|---|
| 道具や材料を使ったノート（3 問） | 0 / 1 / 6 | 0 / 3 / 4 | 0 / 3 / 3 |
| 工程の条件（2 問） | 0 / 4 / 4 | 2 / 4 / 4 | 4 / 4 / 4 |
| 工程の順番・比較・使った道具・できたもの（4 問） | 4 / 7 / 8 | 5 / 8 / 6 | 5 / 7 / 8 |
| ノートに無い（2 問） | 4 / 4 / 4 | 4 / 4 / 4 | 4 / 4 / 4 |
見本（11 問・22 点満点。＠ リンクの読み方を直した v0.120.4 で測定）
| モデル | off | 探し直し | 来歴あり | 系譜の記録を落とした回数（off → 探し直し → 来歴あり） |
|---|---|---|---|---|
| Claude Opus 5 | 17 | 21 | 20 | 4 → 1 → 0 |
| Copilot gpt-5.6-luna | 15 | 18 | 16 | 4 → 2 → 3 |
| gpt-oss-120b | 15 | 14 | 16 | 3 → 3 → 3 |
直す前の v0.120.0 では、Claude は 3 つの条件とも 16〜17 点でした。系譜の記録は、どの条件でも 5 回落としていました。
自分のノートどうしの ＠ のつながり（5 問・10 点満点。v0.120.8 のあとの開発版、#1509 を入れて測定）
打ち合わせのメモが前回のメモを ＠ で指す、といった普段のつながりの元や、そこから書かれたノートをたどる形で聞きました。
| モデル（取りこぼしを直したあと、#1518） | off | 探し直し | 来歴あり |
|---|---|---|---|
| Claude Opus 5 | 0 | 5 | 6 |
| Copilot gpt-5.6-luna | 0 | 3 | 7 |
| gpt-oss-120b | 0 | 1 | 0 |
直す前（上と同じ問い）: Claude 0 / 3 / 6、Copilot 0 / 4 / 3、gpt-oss 0 / 0 / 0。
ほかの問いよりずっと低い点です。理由の一つは、道具の取りこぼしでした（下の「途中で見つかったこと」）。直す前に来歴ありで 0〜1 点だった 13 回のうち、答えから取りこぼしと読めるのは約半分です。残りは、題からノートを見つけられなかった回（3 回）と、モデルが記録に無いノートを足したり、たどり方を取り違えたりした回でした。2 段さかのぼる問いは、道具がつながりを 1 段しか返さないので、取りこぼしを直しても答えにくいままです。
取りこぼしを直したあと、取りこぼしていた問いは、Claude と Copilot の来歴ありで 0 点から 2 点になりました。残った失点で目立ったのは、つながりを挙げたうえで「上流は無い」と結論する答えです。＠ のつながりには向きが無いので、「元にしたのはどれ？」と聞かれると、モデルは日付や本文から向きを決めなければなりません。そこで元だと言い切らない答えが出ました。
分かったこと
- 来歴の道具は、言葉では届かない問いで効くことがあります。 「この装置や材料を使ったノートはどれ？」という 3 問で、Claude は off で 0 点、探し直しで 1 点でした。来歴ありでは 3 問とも当てました。Copilot（3 → 4 点）と gpt-oss（3 → 3 点）では、ほとんど変わりませんでした。装置や材料の名前はたくさんのノートに出てくるので、言葉で探すと目当てが埋もれます。ラベルからなら直接引けます。
- 記録に無いことを書く回数は、自分のノートの
gpt-oss-120bで減りました。 off で 5 回、探し直しで 3 回、来歴ありで 1 回でした。工程が記録どおりに渡ると、モデルが補って書く余地が小さくなるのかもしれません。ただ、見本では減っていません（3 → 5 → 3 回）。ほかのモデルは、もともと 0〜1 回でした。 - 系譜の記録を AI がどう読むかは、記録の意味づけに左右されます。 見本の系譜は、ノート本文の ＠ リンクでつないでいます。以前のアプリは ＠ リンクを「このノートから派生した」と読んでいたので、前の試作を ＠ で指すと向きが逆になりました。AI は「上流は無い」と答えたり、上流を下流として挙げたりしました。今は ＠ を向きのない「つながり」として渡しています。向きは、派生と工程のつながりだけが持ちます。直したあと、Claude の来歴ありで記録を落とした回数は 5 回から 0 回、探し直しでは 5 回から 1 回になりました。Copilot と gpt-oss では、はっきりした変化は見えませんでした。1 問 1 回ずつの結果なので、0 回と 1 回の差は大きく読まないでください。
- モデルは記録より自分の判断を優先することがあります。 道具を使わない off の回答で、記録にある試作を、焦げて失敗した枝だからという理由で系譜から外したものがありました。もっともらしくても、記録とは食い違います。
- Copilot では、来歴の道具を足しても伸びませんでした。 探し直しだけで 19 点まで届いていて、来歴ありでは道具をほとんど呼ばずに答えた問いがありました。
- 時間は大きくは増えません。 自分のノートでは、来歴ありの中央値は探し直しより短めでした（Claude 28 → 21 秒、Copilot 12 → 11 秒、gpt-oss 10 → 8 秒）。道具 1 回で目当てに届くと、探し直す回数が減るためだと考えています。見本では、Copilot（6 → 10 秒）と gpt-oss（5 → 7 秒）で少し長くなりました。
このため、来歴の道具は「じっくり調べてから答える」に入れたままにしています。Claude Opus 5 のようなモデルを使っていて、ラベルの付いた工程のノートが多いなら、効く場面があると考えています。
見本の質問
見本は、アプリの見本モード（カレー作りは日本語、パン作りは英語）と同じノートです。
| 種類 | 質問 | |
|---|---|---|
| d01 | 系譜 | 「試作6 トマトを2個に増やす」は、どの試作を元にしていますか？最初の試作までさかのぼって挙げてください。 |
| d02 | 下流 | 「試作3 玉ねぎを45分炒めて飴色に」を元にして書かれたノートをすべて挙げてください。 |
| d03 | 工程の条件 | 試作7 で玉ねぎを炒めた工程の条件（火力・時間・差し水）を教えてください。 |
| d04 | 比較 | 試作3 と試作7 は、工程の条件と材料のどこが違い、仕上がりはどう違いましたか？ |
| d05 | 上流 | 「読書メモ スパイスの香りと加熱」は、どの試作のノートを元にしていますか？ |
| d06 | ノートに無い | 試作3 で使った調合スパイスの中身（クミンなど各スパイスの量）を教えてください。 |
| d07 | 系譜 | Which trials does "Trial 6 - replacing 30% with whole wheat" build on? Trace it back to the first trial. |
| d08 | 下流 | Which notes were written on top of "Trial 3 - 75% hydration, bread flour"? List them all. |
| d09 | 工程の条件 | What were the bulk fermentation conditions in Trial 3? |
| d10 | 比較 | How do Trial 3 and Trial 7 differ in process and ingredients, and what were the loaf heights? |
| d11 | ノートに無い | What brand and model of oven was used in Trial 4? |
限界
- 問いは少なめです（自分のノート 11 問、見本 11 問）。1 問で合計が最大 2 点動くので、合計は傾向として読んでください。質問と条件ごとに 1 回ずつしか聞いていません。
- 聞き直しと採点のぶれが 1 点ほどあります。見本の off は道具を使わないので、版の違いの影響を受けないはずです。それでも、2 つの版のあいだで 3 モデル中 2 つが 1 点ずつ動きました。
- 自分のノートで工程や材料のラベルが付いたものは、論文から取り込んだ手順です。自分で書いた実験ノートで同じことが言えるかは、まだ測っていません。
- 自分のノートは、意味の検索に使う埋め込みが、まだ全ページにはそろっていない状態で測りました。off の点数は、全ページそろったときより低めに出ているかもしれません。
- 自分のノートどうしの ＠ のつながり 5 問は、直す前と後で、同じ問いを別々に聞いて採点しました。1 問 1 回ずつなので、直す前と後の差には、聞き直しのぶれも入っています。
途中で見つかったこと（その後に直したもの）
- ＠ リンクの向きが逆に読まれていました。 上に書いたとおりです。今は ＠ を向きのないつながりとして扱います（v0.120.2）。
- AI が歩数を使い切ると、回答が空になっていました。 自分のノートの測定（v0.120.0）で、
gpt-oss-120bに 2 回起きました。直したのは 「じっくり調べてから答える」は役に立つか のときと同じものです。今は、道具を使わずに見つけたことから答える 1 回を足しています。 - 大きなデータで、埋め込みの作り直しの途中にタブが落ちていました。 作り直しが最後まで進むようにしました（v0.120.4）。
- 大きなデータで、道具が 30 秒の上限を超えていました。 自分のノートの ＠ のつながり 5 問を最初に回したとき、45 回中 11 回は答えを返せず、1 回は時間切れを断ったうえで答えました。原因は道具の計算ではありませんでした。大きい素材を読み飛ばしたときに接続が開いたまま残り、タブを開くたびに溜まって、道具の結果を返す通信が詰まっていました。直したあとは 45 回中 0 回です（#1509）。
- まだ開いていないノートのつながりを、系譜の道具が取りこぼしていました。 道具は、ノートが自分から出しているつながりを、アプリが読み込んだノートの本体から読んでいました。まだ開いていないノートでは、相手から来ているつながりしか見えませんでした。そのため、つながりが記録されているのに「0 件」と答えた問いがありました。見本はノートが少なく、全部読み込まれていたので起きませんでした。今は、開いていないノートのつながりも索引から読みます（#1518）。
直した版は リリース履歴 にあります。