Skip to content

AI の回答に、トピックや洞察は届いているか 2026-11-10 測定 · v0.129 ​

確かめたこと。 チャットの回答が引用するのは、いつも知見のように見えました。トピックや洞察は、検索の段で落ちているのでしょうか。それとも、AI に渡っているのに引用されないのでしょうか。あるいは、聞き方で決まるのでしょうか。

ひとことで。 今回の測定では、質問がどのページの題を含んでいるかで、AI に渡るものが決まっていました。聞き方による違いは、ほとんどありませんでした。そのうえで、検索と引用の規則は変えていません。測定の中で小さな穴を 2 つ見つけ、1 つはこの測定のあとに直しました。

  • トピックの題を含む質問では、そのトピックの本文が、40 問中 32〜36 問で AI に渡りました。
  • 知見の題を含む質問では、1 問あたり、知見が 7.5〜8.0 件、トピックが 0.4〜0.5 件渡りました。
  • 洞察の題を含む質問では、その洞察が、40 問すべてで 1 位になりました。
  • 「〜とは何ですか」と聞くか、「〜は本当ですか」と聞くかでは、渡るものはほとんど変わりませんでした。
  • 狙ったページが渡った問では、回答はほぼ毎回、それを引用しました(引用を見たのは一部の問だけです)。

測り方 ​

2026-11-10 に、私の手元のライブラリを、読み取りだけで使いました。ナレッジは 2,624 ページ(知見 1,885・トピック 442・洞察 183・以前の形式の要約 114)で、検索の単位になる節は 5,485 個です。

測ったのは、渡す範囲が 内部参照 か 外部参照 のとき(とノートを開かずに話すとき)に動く横断検索です。既定の ノート内参照 では、この検索は動きません。

測定は 2 つの段に分けています。検索で AI に何が渡るかを見る「渡る段」と、渡したものを回答が引用するかを見る「引用の段」です。

渡る段。 節の取り出し、言葉で探す索引、順位の融合、2,000 字に詰める処理は、アプリの関数をそのまま呼びました(v0.129.4)。意味で探す側は、アプリの既定と同じ bge-m3 で、5,485 節を埋め込み直しています。検索のしくみのとおり、言葉の検索と意味の検索で、それぞれ上位 20 件を取り、順位を融合します。その上から 2,000 字に入るだけを、AI に渡します。

引用の段。 渡る段で作った文脈を、チャットと同じ受け口に、1 問 1 回ずつ送りました(v0.129.6)。道具は使わせず、「じっくり調べてから答える」はオフです。回答に付いた引用の番号を、渡した断片の種別に照らして数えました。モデルは gpt-oss-120b(80 問)と Claude Opus 5(32 問)です。

質問。 無作為に選んだページの題から、機械的に作りました。

元にしたページ質問の形渡る段引用の段(gpt-oss / Opus)
Aトピック 40 件「(題)とは何ですか?」40 問20 問 / 8 問
B同じトピック 40 件「(題)について、わかっていることをまとめてください。」40 問20 問 / 8 問
C知見 40 件「(題)というのは本当ですか?根拠も教えてください。」40 問20 問 / 8 問
D洞察 40 件C と同じ形40 問20 問 / 8 問
EC と同じ知見 40 件A と同じ形(「(題)とは何ですか?」)40 問—
FA と同じトピック 40 件C と同じ形(「(題)というのは本当ですか?…」)40 問—

パン作りの例で言えば、A は「ライ麦サワー種とは何ですか?」、C は「サワー種は 28℃ で発酵が早まるというのは本当ですか?」のような質問です。

E と F は、題と聞き方の組み合わせを入れ替えたものです。聞き方による違いと、題の種別による違いを分けて見るために足しました。引用の段は、各セットの先頭の問だけで見ています。

結果 ​

渡る段(1 問あたり、AI に渡った断片の件数。各 40 問の平均)。

トピック知見洞察要約狙ったページの本文が渡った問
A トピックの題・概念の形3.02.10.00.136 / 40(融合で 1 位が 34 問)
B トピックの題・まとめの形2.51.20.01.333 / 40(1 位が 28 問)
C 知見の題・事実の形0.47.50.10.3—(トピックが 1 件でも渡ったのは 13 / 40)
D 洞察の題・事実の形0.12.83.70.740 / 40(すべて 1 位)
E 知見の題・概念の形0.58.00.10.1—(トピックが 1 件でも渡ったのは 11 / 40)
F トピックの題・事実の形2.41.60.11.232 / 40(1 位が 30 問)

同じ聞き方でも、題が知見なら知見が渡りました(A と E の比較)。題がトピックなら、トピックが渡りました(C と F の比較)。効いているのは聞き方ではなく、質問の語がどのページと重なるかです。

C では、融合後の候補にトピックが 1 問あたり 3.5 件ありました。ただ、知見は 1 件が短く(中央値で 150 字ほど)、2,000 字に 7〜8 件入ります。そのため、詰める処理が、トピックの順位に届く前に終わることが多くありました。

引用の段(渡った断片のうち、回答が引用した数)。

gpt-oss-120b トピック同 知見同 洞察Opus 5 トピック同 知見同 洞察
A34 / 6426 / 53—11 / 1816 / 25—
B35 / 5024 / 26—10 / 1612 / 12—
C0 / 3104 / 1551 / 31 / 155 / 59—
D0 / 219 / 5544 / 782 / 217 / 2619 / 21

狙ったページが渡った問のうち、回答がそれを引用した問は次のとおりです。

gpt-oss-120bOpus 5
A(トピック)18 / 198 / 8
B(トピック)17 / 187 / 8
D(洞察)20 / 208 / 8

狙ったトピックは、渡ればほぼ引用されています。節の単位で見ると、渡ったトピックの節のうち、引用されたのは 5〜7 割でした。同じ問の知見と同じくらいの率です。C と D でトピックが渡ったのは、合わせて 5 問(gpt-oss-120b)と 3 問(Opus 5)だけです。そこでの引用の有無からは、何も言えません。

長さの影響。 トピックの「要点」の節は、中央値で 566 字です。2,000 字を超えるものが、437 個のうち 69 個(16%)ありました。2,000 字に入らない断片が出ると、今の処理は、そこで詰めるのをやめます。このために狙ったトピックが渡らなかったのは、A で 2 問、B で 3 問でした。

見つけた穴。

  • 長い節で打ち切る(直しました)。 2,000 字に入らない節が出ると、そこで詰めるのをやめていました。融合で 1 位の節が長いと、ナレッジが 1 件も渡りません。240 問のうち 6 問が、この状態でした。
  • トピックの References の節が当たる(直していません)。 資料名を並べただけの節が検索に当たり、狙ったトピックの本文の代わりに、この節だけが渡った問がありました。A で 1 問、B で 3 問です。

文脈の大きさ。 回答 1 回の入力は、中央値で 64,074 トークン(gpt-oss-120b)と 84,749 トークン(Opus 5)でした。AI には、検索で選んだ断片(2,000 字まで)のほかに、ナレッジ全ページの題の一覧も渡しています。この一覧は 2,624 ページで 88,577 字あり、文脈の大半を占めていました。

Opus 5 は、この一覧の題だけを頼りに知見を引用することが多くありました(32 問で知見 59 件)。gpt-oss-120b は、80 問でトピックの題 2 件だけでした。

決めたこと ​

  • 検索と引用の規則は変えません。 種別ごとの枠を設けることも、トピックを優先することもしません。今の規則で、質問に合った種別が上に来ています。
  • トピックを引いてほしいときは、トピックの名前で聞いてください。 質問にトピックの題の語が入っていれば、聞き方によらず、そのトピックが渡りました。1 つの事実を述べる文で聞くと、その文に近い知見が渡ります。AI に聞くから、この記録へリンクしました。
  • 長い節での打ち切りは直します。 下の「その後に直したもの」のとおりです。
  • References の節と題の一覧の大きさは、別に測り直しました。 References の節を検索の結果から外すだけでは、狙ったトピックの本文が渡る問は増えませんでした。しかも、その節だけが頼りだった問では、トピックの題が渡らなくなりました。続きは、下の「残した 2 点を測り直した」のとおりです。

その後に直したもの ​

直したのは、長い節の扱いです。2,000 字に入らない節は 700 字に切って入れ直し、それでも入らなければ飛ばして、次の節へ進みます。そのまま入る節は切りません。次の表は、直す前と後のコードで、同じ 240 問を詰め直した結果です。

直す前直した後
狙ったトピックの本文が渡った問(A / B / F、各 40 問)37 / 33 / 3239 / 37 / 36
ナレッジが 1 件も渡らなかった問(240 問)60
1 問あたりに渡る断片(A〜F の平均の幅)5.1〜8.76.6〜9.6
直す前に渡っていた節のうち、渡らなくなった節—1,596 のうち 0

この表は題の一致で数えているので、A の「直す前」は、上の表(ID で数えて 36)より 1 問多くなっています。

切って渡した節は、240 問で 46 個でした。切られた節の続きは渡りません。続きが要るときは、「じっくり調べてから答える」でページ全体を読ませるか、@ でそのページを引用します。引用の段は、直した後のコードでは測り直していません。

残した 2 点を測り直した ​

2026-11-11 に、残していた 2 点を、同じ 240 問で測り直しました。どちらも、検索と一覧の規則は変えていません。References の節の扱いは、変えると結果がどうなるかを試しただけです。一覧については、送り方だけを直しました。

References の節。 いまは、240 問で 123 個の References の節が渡っています。扱いを 2 通りに変えて、詰め直しました。

いま同じトピックの本文が候補に居れば落とす落とすか、本文に差し替える
狙ったトピックの本文が渡った問(A・B・F の 120 問)111111113
新しく渡る節—9292
いま渡っている本文の節のうち、渡らなくなる節—4447
題ごと渡らなくなるページ—4650
1 問あたりに渡る断片(A)6.76.06.0

短い References の節が長い本文に置き換わるので、渡る件数が減り、別の節が押し出されます。入れ替わるだけで、狙った本文はほとんど増えませんでした。この節の扱いは変えません。

題の一覧。 AI に渡す題の一覧は約 8.9 万字で、内訳は次のとおりです。

  • 知見の題が 7.4 万字(1,885 件)
  • トピックの題が 0.9 万字(442 件)
  • 洞察の題が 0.6 万字(183 件)
  • 資料の要約(14 件)

Opus 5 の 32 問を見直すと、一覧の題だけを頼りに引用したページが 57 件ありました(13 問、うち知見 55 件)。上の「知見 59 件」から、同じ回答の中の重複を除いた数です。ほかに、ライブラリに無い題の引用が 9 件ありました。

その 57 件のうち、意味の検索の上位 20 節に入っていたのは 8 件でした。上位 200 節まで広げても 37 件です。つまり Opus 5 は、検索が拾わなかった知見を、一覧から自分で見つけていました。gpt-oss-120b は、80 問のうち 1 問で 2 件でした。

一覧を縮めたときに回答がどう変わるかは、測っていません。ただ、Opus 5 が一覧から引いたページの多くは検索の候補に入っていなかったので、縮めればその引用は減ると見ています。そのため、一覧は縮めません。

一覧の送り方。 Claude のモデルには、指示文から題の一覧までの変わらない部分と、質問ごとに変わる断片を、1 つのブロックにまとめて送っていました。質問が変わるとブロック全体が別物になるので、毎回キャッシュ(同じ前半部分を次の質問で使い回すための、一時的な保存)へ書き込むだけで、ほとんど読み出されていませんでした。上の 32 問のうち 31 問は、書き込みが約 8.4 万トークンで、読み出しは 0 です。残る 1 問は、直前の問と同じ断片が選ばれたので、全体が読み出されました。

そこで、題の一覧の直後でブロックを 2 つに分けました。送る文面は 1 文字も変えていません。直した後のコードで、違う質問を 4 問続けて Opus 5 に送ったところ、次のようになりました。

問入力トークンうちキャッシュから読み出しうちキャッシュへ書き込み
1 問目83,234083,213
2 問目83,24183,2130
3 問目84,90280,2044,649
4 問目84,88980,2044,645

2 問目は、1 問目と同じ断片が選ばれたので、全体が読み出されました(これは直す前にも起きます)。3・4 問目は、題の一覧まで(80,204 トークン)が読み出され、書き込まれたのは質問ごとの部分だけです。

読み出しを通常の 0.1 倍、書き込みを 1.25 倍で数えると、3・4 問目の入力の費用は、直す前の約 13% です。1 問目は、直す前と変わりません。

  • キャッシュは 5 分で切れます。5 分より間をあけた質問は、直す前と同じ費用です。
  • ナレッジのページが増減したり更新されたりすると、一覧が変わり、次の 1 問は書き込みになります。
  • 旧形式の Idea のページが選ばれた質問でも、説明が 1 行増えるので、書き込みになります(今回の文脈に Idea は 1 件もありませんでした)。
  • 4 問は、作っておいた文脈を API に直接送って測りました。アプリの画面からの質問では測っていません。
  • 変えたのは、Claude のモデルへの送り方だけです。ほかのモデルへの送り方は変えていません(gpt-oss-120b は、直す前の 80 問で読み出しが 0 でした)。
  • 一覧の大きさそのものは変わっていません。ページが増えれば、入力も増えます。扱える文脈が小さいモデルでは、いずれ一覧が入りきらなくなる点も残っています。
  • 回答の中身が変わらないことは、送る文面が同じであることで確かめました(テスト)。回答を比べる測定はしていません。

限界 ​

  • 質問は、題の文字列をそのまま含みます。どの種別にとっても、いちばん当たりやすい条件です。言い換えた質問や、題を知らない人の質問では、測っていません。どのページの題とも重ならない質問で、どの種別が渡るかは分かりません。
  • 埋め込みを作り直すたびに、順位がわずかに揺れます(表の平均で 0.1 件ほど)。渡る段の表は最後の実行の値です。引用の段は、1 回目の実行で作った文脈を使っています。
  • ライブラリは 1 つで、回答は 1 問 1 回です。Opus 5 は各 8 問なので、割合を比べられる数ではありません。
  • 言葉で探す索引には、ナレッジだけを入れました。実際のアプリは、ノートと素材も同じ索引に入れるので、語の重みが少し違います。ノートと素材の断片(別枠の 1,600 字)は、文脈に入れていません。
  • アプリに保存済みの埋め込みは読めないので、同じモデルで作り直しました。API の埋め込みを使う設定では、順位が変わります。
  • 渡した番号や題と照合できない引用が、Opus 5 に 10 件、gpt-oss-120b に 1 件ありました。中身は確かめていません。
  • 引用が正しいか(引用した断片が、その文の根拠になっているか)は見ていません。数えたのは、どの種別を引いたかだけです。

Released under the Apache License 2.0.