「じっくり調べてから答える」は役に立つか 2026-11-05 測定 · v0.118.0
確かめたこと。 AI チャットの じっくり調べてから答える をオンにすると、AI は答える前に、言い換えて探し直したり、ページ全体を読んだり、工程や来歴をたどったりします。これで、最初に必ず走る 1 回の検索だけのときより、答えは良くなるのでしょうか。既定でオンにしてよいのでしょうか。
ひとことで。 Claude Opus 5 では大きく伸びました（30 点中 +8 点）。でっち上げも増えていません。Copilot の gpt-5.6-luna でも伸びました（+6）が、答えがノートに無い 1 問で、存在しない値を言い切りました。gpt-oss-120b では伸びず、でっち上げが増えました。そのため、この設定は 既定でオフ にしています。
測り方
| ノート | 私の作業ノートの写し（ノート 179 本・ナレッジのページ約 1,350 件）。中身は公開できないので、質問と回答はここに載せていません |
| 検索 | 言葉（BM25）と、API の multilingual-e5-large による意味の検索。デスクトップアプリの既定の埋め込みモデルは bge-m3 なので、そちらの最初の検索は少し強いかもしれません |
| 質問 | 15 問。答えが 1 か所に書いてある（3）／ノートと言い方が違う（3）／2〜3 本のノートにまたがる（3）／長いページの奥の細部（2）／工程と来歴（2）／答えがノートに無い（2）の 6 種類。日本語 11 問・英語 4 問 |
| 条件 | 同じ質問を、新しいチャットで設定オフとオンの 2 回、続けて聞きました。順番は 1 問ごとに入れ替えています |
| モデル | Claude Opus 5、GitHub Copilot の gpt-5.6-luna、gpt-oss-120b（OpenAI 互換の API で使うオープンなモデル） |
| 採点 | 2 つの回答を A・B として、どちらがオンかを伏せたまま、別の AI の採点者が元のノートと照らして採点しました。2 = 欠けなく正しい、1 = 一部だけ正しい、0 = 間違い・答えていない。でっち上げた事実にも印を付けています。「答えがノートに無い」問は、無いとはっきり言えば 2 点です |
結果
| モデル | オフ | オン | でっち上げ（オフ → オン） | 時間・中央値（最大） | AI に渡した量（推計） |
|---|---|---|---|---|---|
| Claude Opus 5 | 20 / 30 | 28 / 30 | 0 → 0 | 13 秒 → 16 秒（42 秒） | 約 2〜3.5 倍 |
| Copilot gpt-5.6-luna | 18 / 30 | 24 / 30 | 1 → 2 | 6 秒 → 7 秒（32 秒） | 約 2〜4 倍 |
| gpt-oss-120b | 19 / 30 | 18 / 30 | 0 → 3 | 5 秒 → 6 秒（15 秒） | 約 2〜3.5 倍 |
質問の種類ごと（点数、オフ → オン）:
| 種類 | Claude | Copilot | gpt-oss |
|---|---|---|---|
| 1 か所に書いてある | 6 → 6 | 6 → 6 | 6 → 6 |
| 言い方が違う | 4 → 5 | 4 → 5 | 4 → 4 |
| ノートにまたがる | 3 → 5 | 2 → 6 | 3 → 4 |
| ページの奥の細部 | 1 → 4 | 1 → 4 | 1 → 1 |
| 工程と来歴 | 2 → 4 | 1 → 1 | 2 → 3 |
| ノートに無い | 4 → 4 | 4 → 2 | 3 → 0 |
分かったこと
- 1 回の検索で足りないところで効きます。 ノートどうしの比較と、長いページの奥の細部は、Claude と Copilot のどちらでも良くなりました。工程や来歴をたどる問は、Claude だけ良くなりました。1 回の検索で答えられる問は変わりませんでした。
- 悪くなるモデルがあります。
gpt-oss-120bでは、AI が道具を使ったあとに、回答が空のまま返ってきた問が 3 つありました。答えがノートに無い問では、別の資料の数値を、答えであるかのように言い切りました。Copilot も、そうした問では点が下がりました（4 → 2）。原因がモデルの大きさにあるのか、道具の扱い方にあるのかは、1 つのモデルでは分かりません。 - 時間と AI の利用量が増えます。 中央値で数秒、遅いときは 40 秒ほどかかりました。AI が一歩進むたびに会話をまるごと送り直すので、AI が読む量は 2〜4 倍ほどになります。
このため、設定は既定でオフにしています。Claude Opus 5 のようなモデルを使っていて、複数のノートにまたがる質問をよくするなら、オンにする価値があると考えています。
限界
- 15 問は少なめです。1 問で合計が最大 2 点動くので、合計は傾向として読んでください。
- 質問と条件ごとに 1 回ずつしか聞いていません。回答は聞くたびに揺れます。
- ノートは私のもので、材料の研究と AI の論文に偏っています。
- 手元で動かすモデル（LM Studio の
qwen3.6-35b-a3b）は 1 回の回答に 2〜5 分かかったので、2 問で打ち切りました。結果には入れていません。
途中で見つかったこと（その後に直したもの）
- 使用量が少なく記録されていました。 AI が何歩か進んだ会話で、使用量の記録が最後の 1 歩分だけになっていました。上の「AI に渡した量」は、歩数から見積もった幅です。今はすべての歩を数えています。
- AI が歩数を使い切ると、回答が空になっていました。 許された最後の 1 歩も道具の呼び出しだと、文が残りませんでした。今は、道具を使わずに、見つけたことから答える 1 回を足しています。
- ページを開くには、題がぴったり合う必要がありました。 「ページを読む」呼び出しの 22 回中 6 回が空振りしました。AI が題を少し違う形で写したものに加えて、アプリでまだ開いていないページは、題では見つけられませんでした。どちらも今は引けます。
直した版は リリース履歴 にあります。