AI の回答に、トピックや洞察は届いているか 2026-11-10 測定 · v0.129
確かめたこと。 チャットの回答が引用するのは、いつも知見のように見えました。トピックや洞察は、検索の段で落ちているのでしょうか。それとも、AI に渡っているのに引用されないのでしょうか。あるいは、聞き方で決まるのでしょうか。
ひとことで。 今回の測定では、質問がどのページの題を含んでいるかで、AI に渡るものが決まっていました。聞き方による違いは、ほとんどありませんでした。そのうえで、検索と引用の規則は変えていません。測定の中で小さな穴を 2 つ見つけ、1 つはこの測定のあとに直しました。
- トピックの題を含む質問では、そのトピックの本文が、40 問中 32〜36 問で AI に渡りました。
- 知見の題を含む質問では、1 問あたり、知見が 7.5〜8.0 件、トピックが 0.4〜0.5 件渡りました。
- 洞察の題を含む質問では、その洞察が、40 問すべてで 1 位になりました。
- 「〜とは何ですか」と聞くか、「〜は本当ですか」と聞くかでは、渡るものはほとんど変わりませんでした。
- 狙ったページが渡った問では、回答はほぼ毎回、それを引用しました(引用を見たのは一部の問だけです)。
測り方
2026-11-10 に、私の手元のライブラリを、読み取りだけで使いました。ナレッジは 2,624 ページ(知見 1,885・トピック 442・洞察 183・以前の形式の要約 114)で、検索の単位になる節は 5,485 個です。
測ったのは、渡す範囲が 内部参照 か 外部参照 のとき(とノートを開かずに話すとき)に動く横断検索です。既定の ノート内参照 では、この検索は動きません。
測定は 2 つの段に分けています。検索で AI に何が渡るかを見る「渡る段」と、渡したものを回答が引用するかを見る「引用の段」です。
渡る段。 節の取り出し、言葉で探す索引、順位の融合、2,000 字に詰める処理は、アプリの関数をそのまま呼びました(v0.129.4)。意味で探す側は、アプリの既定と同じ bge-m3 で、5,485 節を埋め込み直しています。検索のしくみのとおり、言葉の検索と意味の検索で、それぞれ上位 20 件を取り、順位を融合します。その上から 2,000 字に入るだけを、AI に渡します。
引用の段。 渡る段で作った文脈を、チャットと同じ受け口に、1 問 1 回ずつ送りました(v0.129.6)。道具は使わせず、「じっくり調べてから答える」はオフです。回答に付いた引用の番号を、渡した断片の種別に照らして数えました。モデルは gpt-oss-120b(80 問)と Claude Opus 5(32 問)です。
質問。 無作為に選んだページの題から、機械的に作りました。
| 元にしたページ | 質問の形 | 渡る段 | 引用の段(gpt-oss / Opus) | |
|---|---|---|---|---|
| A | トピック 40 件 | 「(題)とは何ですか?」 | 40 問 | 20 問 / 8 問 |
| B | 同じトピック 40 件 | 「(題)について、わかっていることをまとめてください。」 | 40 問 | 20 問 / 8 問 |
| C | 知見 40 件 | 「(題)というのは本当ですか?根拠も教えてください。」 | 40 問 | 20 問 / 8 問 |
| D | 洞察 40 件 | C と同じ形 | 40 問 | 20 問 / 8 問 |
| E | C と同じ知見 40 件 | A と同じ形(「(題)とは何ですか?」) | 40 問 | — |
| F | A と同じトピック 40 件 | C と同じ形(「(題)というのは本当ですか?…」) | 40 問 | — |
パン作りの例で言えば、A は「ライ麦サワー種とは何ですか?」、C は「サワー種は 28℃ で発酵が早まるというのは本当ですか?」のような質問です。
E と F は、題と聞き方の組み合わせを入れ替えたものです。聞き方による違いと、題の種別による違いを分けて見るために足しました。引用の段は、各セットの先頭の問だけで見ています。
結果
渡る段(1 問あたり、AI に渡った断片の件数。各 40 問の平均)。
| トピック | 知見 | 洞察 | 要約 | 狙ったページの本文が渡った問 | |
|---|---|---|---|---|---|
| A トピックの題・概念の形 | 3.0 | 2.1 | 0.0 | 0.1 | 36 / 40(融合で 1 位が 34 問) |
| B トピックの題・まとめの形 | 2.5 | 1.2 | 0.0 | 1.3 | 33 / 40(1 位が 28 問) |
| C 知見の題・事実の形 | 0.4 | 7.5 | 0.1 | 0.3 | —(トピックが 1 件でも渡ったのは 13 / 40) |
| D 洞察の題・事実の形 | 0.1 | 2.8 | 3.7 | 0.7 | 40 / 40(すべて 1 位) |
| E 知見の題・概念の形 | 0.5 | 8.0 | 0.1 | 0.1 | —(トピックが 1 件でも渡ったのは 11 / 40) |
| F トピックの題・事実の形 | 2.4 | 1.6 | 0.1 | 1.2 | 32 / 40(1 位が 30 問) |
同じ聞き方でも、題が知見なら知見が渡りました(A と E の比較)。題がトピックなら、トピックが渡りました(C と F の比較)。効いているのは聞き方ではなく、質問の語がどのページと重なるかです。
C では、融合後の候補にトピックが 1 問あたり 3.5 件ありました。ただ、知見は 1 件が短く(中央値で 150 字ほど)、2,000 字に 7〜8 件入ります。そのため、詰める処理が、トピックの順位に届く前に終わることが多くありました。
引用の段(渡った断片のうち、回答が引用した数)。
gpt-oss-120b トピック | 同 知見 | 同 洞察 | Opus 5 トピック | 同 知見 | 同 洞察 | |
|---|---|---|---|---|---|---|
| A | 34 / 64 | 26 / 53 | — | 11 / 18 | 16 / 25 | — |
| B | 35 / 50 | 24 / 26 | — | 10 / 16 | 12 / 12 | — |
| C | 0 / 3 | 104 / 155 | 1 / 3 | 1 / 1 | 55 / 59 | — |
| D | 0 / 2 | 19 / 55 | 44 / 78 | 2 / 2 | 17 / 26 | 19 / 21 |
狙ったページが渡った問のうち、回答がそれを引用した問は次のとおりです。
gpt-oss-120b | Opus 5 | |
|---|---|---|
| A(トピック) | 18 / 19 | 8 / 8 |
| B(トピック) | 17 / 18 | 7 / 8 |
| D(洞察) | 20 / 20 | 8 / 8 |
狙ったトピックは、渡ればほぼ引用されています。節の単位で見ると、渡ったトピックの節のうち、引用されたのは 5〜7 割でした。同じ問の知見と同じくらいの率です。C と D でトピックが渡ったのは、合わせて 5 問(gpt-oss-120b)と 3 問(Opus 5)だけです。そこでの引用の有無からは、何も言えません。
長さの影響。 トピックの「要点」の節は、中央値で 566 字です。2,000 字を超えるものが、437 個のうち 69 個(16%)ありました。2,000 字に入らない断片が出ると、今の処理は、そこで詰めるのをやめます。このために狙ったトピックが渡らなかったのは、A で 2 問、B で 3 問でした。
見つけた穴。
- 長い節で打ち切る(直しました)。 2,000 字に入らない節が出ると、そこで詰めるのをやめていました。融合で 1 位の節が長いと、ナレッジが 1 件も渡りません。240 問のうち 6 問が、この状態でした。
- トピックの References の節が当たる(直していません)。 資料名を並べただけの節が検索に当たり、狙ったトピックの本文の代わりに、この節だけが渡った問がありました。A で 1 問、B で 3 問です。
文脈の大きさ。 回答 1 回の入力は、中央値で 64,074 トークン(gpt-oss-120b)と 84,749 トークン(Opus 5)でした。AI には、検索で選んだ断片(2,000 字まで)のほかに、ナレッジ全ページの題の一覧も渡しています。この一覧は 2,624 ページで 88,577 字あり、文脈の大半を占めていました。
Opus 5 は、この一覧の題だけを頼りに知見を引用することが多くありました(32 問で知見 59 件)。gpt-oss-120b は、80 問でトピックの題 2 件だけでした。
決めたこと
- 検索と引用の規則は変えません。 種別ごとの枠を設けることも、トピックを優先することもしません。今の規則で、質問に合った種別が上に来ています。
- トピックを引いてほしいときは、トピックの名前で聞いてください。 質問にトピックの題の語が入っていれば、聞き方によらず、そのトピックが渡りました。1 つの事実を述べる文で聞くと、その文に近い知見が渡ります。AI に聞くから、この記録へリンクしました。
- 長い節での打ち切りは直します。 下の「その後に直したもの」のとおりです。
- References の節と題の一覧の大きさは、別に測り直しました。 References の節を検索の結果から外すだけでは、狙ったトピックの本文が渡る問は増えませんでした。しかも、その節だけが頼りだった問では、トピックの題が渡らなくなりました。続きは、下の「残した 2 点を測り直した」のとおりです。
その後に直したもの
直したのは、長い節の扱いです。2,000 字に入らない節は 700 字に切って入れ直し、それでも入らなければ飛ばして、次の節へ進みます。そのまま入る節は切りません。次の表は、直す前と後のコードで、同じ 240 問を詰め直した結果です。
| 直す前 | 直した後 | |
|---|---|---|
| 狙ったトピックの本文が渡った問(A / B / F、各 40 問) | 37 / 33 / 32 | 39 / 37 / 36 |
| ナレッジが 1 件も渡らなかった問(240 問) | 6 | 0 |
| 1 問あたりに渡る断片(A〜F の平均の幅) | 5.1〜8.7 | 6.6〜9.6 |
| 直す前に渡っていた節のうち、渡らなくなった節 | — | 1,596 のうち 0 |
この表は題の一致で数えているので、A の「直す前」は、上の表(ID で数えて 36)より 1 問多くなっています。
切って渡した節は、240 問で 46 個でした。切られた節の続きは渡りません。続きが要るときは、「じっくり調べてから答える」でページ全体を読ませるか、@ でそのページを引用します。引用の段は、直した後のコードでは測り直していません。
残した 2 点を測り直した
2026-11-11 に、残していた 2 点を、同じ 240 問で測り直しました。どちらも、検索と一覧の規則は変えていません。References の節の扱いは、変えると結果がどうなるかを試しただけです。一覧については、送り方だけを直しました。
References の節。 いまは、240 問で 123 個の References の節が渡っています。扱いを 2 通りに変えて、詰め直しました。
| いま | 同じトピックの本文が候補に居れば落とす | 落とすか、本文に差し替える | |
|---|---|---|---|
| 狙ったトピックの本文が渡った問(A・B・F の 120 問) | 111 | 111 | 113 |
| 新しく渡る節 | — | 92 | 92 |
| いま渡っている本文の節のうち、渡らなくなる節 | — | 44 | 47 |
| 題ごと渡らなくなるページ | — | 46 | 50 |
| 1 問あたりに渡る断片(A) | 6.7 | 6.0 | 6.0 |
短い References の節が長い本文に置き換わるので、渡る件数が減り、別の節が押し出されます。入れ替わるだけで、狙った本文はほとんど増えませんでした。この節の扱いは変えません。
題の一覧。 AI に渡す題の一覧は約 8.9 万字で、内訳は次のとおりです。
- 知見の題が 7.4 万字(1,885 件)
- トピックの題が 0.9 万字(442 件)
- 洞察の題が 0.6 万字(183 件)
- 資料の要約(14 件)
Opus 5 の 32 問を見直すと、一覧の題だけを頼りに引用したページが 57 件ありました(13 問、うち知見 55 件)。上の「知見 59 件」から、同じ回答の中の重複を除いた数です。ほかに、ライブラリに無い題の引用が 9 件ありました。
その 57 件のうち、意味の検索の上位 20 節に入っていたのは 8 件でした。上位 200 節まで広げても 37 件です。つまり Opus 5 は、検索が拾わなかった知見を、一覧から自分で見つけていました。gpt-oss-120b は、80 問のうち 1 問で 2 件でした。
一覧を縮めたときに回答がどう変わるかは、測っていません。ただ、Opus 5 が一覧から引いたページの多くは検索の候補に入っていなかったので、縮めればその引用は減ると見ています。そのため、一覧は縮めません。
一覧の送り方。 Claude のモデルには、指示文から題の一覧までの変わらない部分と、質問ごとに変わる断片を、1 つのブロックにまとめて送っていました。質問が変わるとブロック全体が別物になるので、毎回キャッシュ(同じ前半部分を次の質問で使い回すための、一時的な保存)へ書き込むだけで、ほとんど読み出されていませんでした。上の 32 問のうち 31 問は、書き込みが約 8.4 万トークンで、読み出しは 0 です。残る 1 問は、直前の問と同じ断片が選ばれたので、全体が読み出されました。
そこで、題の一覧の直後でブロックを 2 つに分けました。送る文面は 1 文字も変えていません。直した後のコードで、違う質問を 4 問続けて Opus 5 に送ったところ、次のようになりました。
| 問 | 入力トークン | うちキャッシュから読み出し | うちキャッシュへ書き込み |
|---|---|---|---|
| 1 問目 | 83,234 | 0 | 83,213 |
| 2 問目 | 83,241 | 83,213 | 0 |
| 3 問目 | 84,902 | 80,204 | 4,649 |
| 4 問目 | 84,889 | 80,204 | 4,645 |
2 問目は、1 問目と同じ断片が選ばれたので、全体が読み出されました(これは直す前にも起きます)。3・4 問目は、題の一覧まで(80,204 トークン)が読み出され、書き込まれたのは質問ごとの部分だけです。
読み出しを通常の 0.1 倍、書き込みを 1.25 倍で数えると、3・4 問目の入力の費用は、直す前の約 13% です。1 問目は、直す前と変わりません。
- キャッシュは 5 分で切れます。5 分より間をあけた質問は、直す前と同じ費用です。
- ナレッジのページが増減したり更新されたりすると、一覧が変わり、次の 1 問は書き込みになります。
- 旧形式の Idea のページが選ばれた質問でも、説明が 1 行増えるので、書き込みになります(今回の文脈に Idea は 1 件もありませんでした)。
- 4 問は、作っておいた文脈を API に直接送って測りました。アプリの画面からの質問では測っていません。
- 変えたのは、Claude のモデルへの送り方だけです。ほかのモデルへの送り方は変えていません(
gpt-oss-120bは、直す前の 80 問で読み出しが 0 でした)。 - 一覧の大きさそのものは変わっていません。ページが増えれば、入力も増えます。扱える文脈が小さいモデルでは、いずれ一覧が入りきらなくなる点も残っています。
- 回答の中身が変わらないことは、送る文面が同じであることで確かめました(テスト)。回答を比べる測定はしていません。
限界
- 質問は、題の文字列をそのまま含みます。どの種別にとっても、いちばん当たりやすい条件です。言い換えた質問や、題を知らない人の質問では、測っていません。どのページの題とも重ならない質問で、どの種別が渡るかは分かりません。
- 埋め込みを作り直すたびに、順位がわずかに揺れます(表の平均で 0.1 件ほど)。渡る段の表は最後の実行の値です。引用の段は、1 回目の実行で作った文脈を使っています。
- ライブラリは 1 つで、回答は 1 問 1 回です。Opus 5 は各 8 問なので、割合を比べられる数ではありません。
- 言葉で探す索引には、ナレッジだけを入れました。実際のアプリは、ノートと素材も同じ索引に入れるので、語の重みが少し違います。ノートと素材の断片(別枠の 1,600 字)は、文脈に入れていません。
- アプリに保存済みの埋め込みは読めないので、同じモデルで作り直しました。API の埋め込みを使う設定では、順位が変わります。
- 渡した番号や題と照合できない引用が、Opus 5 に 10 件、
gpt-oss-120bに 1 件ありました。中身は確かめていません。 - 引用が正しいか(引用した断片が、その文の根拠になっているか)は見ていません。数えたのは、どの種別を引いたかだけです。

