別の資料の知見は、既にある洞察に届いているか 2026-11-11 測定 · v0.129.11
確かめたこと。 以前の下見で、洞察が資料をまたいで合流していないと分かりました。同じ規則を言っている 2 つの洞察があり、出どころの資料は重なっていませんでした。
合流はどこで途切れているのでしょうか。直すと、別の資料の知見は既存の洞察に足されるのでしょうか。足されたもののうち、誤りはどれだけあるのでしょうか。
ひとことで。 直したあとは、別の資料の知見が既存の洞察に足されるようになりました。抜き取って採点した範囲では、足された知見の誤りは 122 対中 1 対でした。一方で、審査は正しい知見も多く落としています。なお、アプリの画面からの実機の確認はしていません。
- 直す前は、知見を既存の洞察と照らすかどうかを決める入口(文面の近さ)が、一度も開きませんでした。12 件の束で、候補 10 件中 0 件です。
- 直したあとは、AI が知見ごとに既存の洞察を名指しします。そのうえで、別の呼び出しの審査を通った知見だけを足します。
- 洞察を空から作り直す通しの再生では、資料 2 つ以上をまたぐ洞察が 26(13%)から 68(35%)に増えました。洞察に使われた知見は、314(21%)から 660(44%)になりました。
- 再生の 514 対から 180 対を抜き取って採点しました。足された 122 対のうち、反証役が「誤り」としたのは 1 対(1%)でした。
- 再生で審査が落とした 58 対のうち、反証役が正しいとしたのは 37 対でした。
測り方
ここで使う言葉は次のとおりです。
知見: 資料から取り出した 1 つの主張。
洞察: 知見をもとに作る、規則の形のページ。
束: 洞察づくりに一度に渡す知見のまとまり。
対: 比べる 2 つの組。洞察と知見の組のほか、洞察どうしの組にも使います。
入口: 知見を既存の洞察と照らすかどうかを決める、最初の判定。
審査: 足してよい知見かを、洞察づくりとは別の呼び出しで選び直す判定。
反証役: 足された対や落とされた対が正しいかを、あとから採点する AI。
モデル。 洞察を作るモデルも審査も
gpt-5.6-terra(Copilot)です。利用者が洞察づくりに使っているモデルです。反証役は Claude Sonnet で、別の設定です。条件を伏せた対を採点させ、どの条件でも同じ方法にしました。データ。 実際のライブラリの読み取りコピーです(有効な知見 1,515 件・洞察 200 件)。実データには書いていません。
原因の内訳(直す前)。 下見で「同じ規則を言っていて資料が重ならない」と反証を通った洞察の対 12 件(11 組)を使いました。各対の片方(E)を既存の洞察として残し、もう片方(T)を消します。T が依拠していた知見(C)を含む 50 件の束で、洞察づくりを回しました。既存の洞察の題をモデルに見せる場合(いまの流れ)と、見せない場合(対照)の 2 通りです。
埋め込み。 アプリの入口は埋め込みを使います。そこで、端末内の
bge-m3を同じ ONNX で再現し、次の 3 つを測りました。- 洞察どうしの類似度
- 束に入る資料の偏り
- E の知見が束に入る数
空からの通しの再生。 同じ知見 1,515 件・同じ束の順(31 束)・同じモデルで、洞察 0 件から作り直しました。直す前と直した後を比べています。状態はメモリ上だけです。入口は、MCP と同じ文字の近さで判定します。
反証役。 洞察と知見の対を、条件を伏せて 1 回ずつ読み、正しい・境界・誤りのどれかを付けました。
結果
1. どこで途切れていたか(直す前、12 件の束)。
| 段 | 見たこと | 既存の題を渡す(いまの流れ) | 渡さない(対照) |
|---|---|---|---|
| 1 | C を引く候補が出た | 10 / 12 | 10 / 12 |
| 2 | その候補が、入口(文字 bigram の類似度 0.2 以上)で既存の洞察に当たった | 0 / 10(類似度 0.03〜0.11) | 0 / 10 |
| 3 | 入口を飛ばして E と対にして判定役に出したら「同じ」 | 2 / 10 | 4 / 10 |
| - | 1 束あたりの候補の数(平均) | 4.7 | 8.3 |
| 埋め込みで見たこと | 値 |
|---|---|
| 同じ規則・資料が重ならない洞察の対 15 件の cosine | 0.61〜0.80(0.9 超は 0 件) |
| いまの洞察 200 件どうしで cosine 0.9 超の対 | 0(最大 0.88) |
| 1 束(50 件)に入る資料の数 | 中央値 19(最小 9・最大 31)。文字 bigram の束でも中央値 20 |
| 束の中で、種と同じ資料の知見の割合 | 中央値 12% |
| T の知見を種にした束に、E の知見が 1 件以上入る | 6 / 12 |
| 仮説 | 結果 |
|---|---|
| 1. 「既存と重なるものは出すな」で候補が出ない | 名指しの 12 件では差が無い(10/12 対 10/12)。ただし束全体では候補が 8.3 件から 4.7 件に減る。減った分の知見は、既存の洞察にも届かず捨てられている |
| 2. 入口が文面の近さなので当たらない | 当たっていた。埋め込みは 0/15、文字 bigram は 0/10。12 件の束では、入口が一度も開かない |
| 3. 束が同じ資料に偏る | 当たっていない。1 束に資料 19 個、種と同じ資料は 12% |
2. 直す前後(洞察を空から作り直す通しの再生)。
| 指標 | 直す前 | 直した後 |
|---|---|---|
| 洞察 | 193 | 197 |
| 知見 1 件だけの洞察 | 131(68%) | 81(41%) |
| 知見 2 件以上の洞察 | 62(32%) | 116(59%) |
| 資料 2 つ以上をまたぐ洞察 | 26(13%) | 68(35%) |
| 資料 3 つ以上をまたぐ洞察 | 3(2%) | 27(14%) |
| 既存の洞察に足された知見 | 0 | 345(名指し 343・重複の判定 2) |
| うち、その洞察の元の資料と別の資料の知見 | 0 | 159 |
| 支持を受けた洞察 | 0 | 93 |
| 名指しの申し出(知見) | - | 512(審査で 169 を落とした) |
| 洞察に使われた知見 | 314(21%) | 660(44%) |
| 重複の候補に上がった対 | 6(同じ: 0) | 7(同じ: 2) |
| HTTP の呼び出し(atomize + 判定) | 36 | 65 |
3. 誤って足された知見(反証役の採点)。
| 対象 | 対 | 正しい | 境界 | 誤り |
|---|---|---|---|---|
| 通しの再生・足された(514 対から無作為 180 対を採点したうちの 122) | 122 | 116 | 5 | 1(1%) |
| 通しの再生・審査で落ちた(同 58) | 58 | 37 | 12 | 9 |
| 12 件の束(既存 = 実データの洞察)・足された(全数) | 107 | 95 | 11 | 1(1%) |
| 12 件の束・審査で落ちた(全数) | 38 | 9 | 13 | 16 |
| 直す前・足された | 0 | - | - | - |
12 件の束で直した後は、申し出が 175 知見(別の資料 114)、審査を通過したのが 129 知見(別の資料 77)、洞察は 66 件でした。
下見の対(C から E)が名指しされたのは 0 / 12 です。この対は、洞察の文面より 1 つ抽象的な水準でだけ一致する対です(限界を参照)。足されないのが正しい側です。
決めたこと
- 既存の洞察を、AI に名指しさせます。 既存の洞察を参照つきで渡します。束の知見が既存の洞察の規則の事例なら、新しい洞察にはせず、捨てることもしません。その洞察を名指しして、知見の id を返させます。
- 別の呼び出しの審査を通った知見だけを足します。 審査では、既存の洞察の題・形・本文と知見を並べて、書かれているとおりの規則の事例かを選び直します。審査の結果が取れなければ、足しません。
- 文面の近さを入口にしません。 従来の道(候補、近さ、同じ・矛盾・別)はそのまま残します。
- アプリのルートと MCP で、同じ組み立てにします。
限界
- 通しの再生は MCP の作りです(束も入口も文字 bigram)。アプリは埋め込みで束を作ります。埋め込みの入口は別に数えました(0.9 超は 0 件)。そのため、直す前の「足された 0 件」はアプリでも同じ向きです。ただし、再生そのものはアプリの束では回していません。
- 1 回ずつの実行です。モデルの揺れは測っていません。洞察を作るモデルは 1 つです。
- 反証役は 1 つのモデルが 1 回読んだものです。再生分は 514 対のうち 180 対の抜き取りです。
- 審査は厳しめです。審査が落とした対のうち、反証役が「正しい」としたものは、再生では 58 対のうち 37 対でした。12 件の束では、38 対のうち 9 対です(境界 13・誤り 16)。足すべき対が漏れています。足す側の誤りを抑える向きに倒しました。
- 知見には言い換えの重複が多くあります(同じ主張が別のノートから何度も出ます)。「別の資料の知見」には、同じ人の別のノートの言い換えも含みます。
- 足しても、洞察の本文と「Source Claims」の一覧は書き換わりません。従来の支持追加と同じで、再生成で反映されます。
- アプリの画面からの実行(取り込み後の自動の発見・「洞察を発見」)は、実機で回していません。ルートは実モデルで、MCP の保存はテストで確かめました。
- 洞察の文面より 1 つ抽象的な水準でだけ一致する対は、合流しません。たとえば、片方の洞察は条件 A で、もう片方は条件 B で同じことが起きると言っている場合です。判定役は洞察の文面どおりに読んで「別」とします(同じ: 10 件中 2 件)。ここに知見を足すと、裏付けを偽ることになります。既存の洞察を一般化し直す話で、今回は扱っていません(下見の 13 組)。

