Skip to content

別の資料の知見は、既にある洞察に届いているか 2026-11-11 測定 · v0.129.11 ​

確かめたこと。 以前の下見で、洞察が資料をまたいで合流していないと分かりました。同じ規則を言っている 2 つの洞察があり、出どころの資料は重なっていませんでした。

合流はどこで途切れているのでしょうか。直すと、別の資料の知見は既存の洞察に足されるのでしょうか。足されたもののうち、誤りはどれだけあるのでしょうか。

ひとことで。 直したあとは、別の資料の知見が既存の洞察に足されるようになりました。抜き取って採点した範囲では、足された知見の誤りは 122 対中 1 対でした。一方で、審査は正しい知見も多く落としています。なお、アプリの画面からの実機の確認はしていません。

  • 直す前は、知見を既存の洞察と照らすかどうかを決める入口(文面の近さ)が、一度も開きませんでした。12 件の束で、候補 10 件中 0 件です。
  • 直したあとは、AI が知見ごとに既存の洞察を名指しします。そのうえで、別の呼び出しの審査を通った知見だけを足します。
  • 洞察を空から作り直す通しの再生では、資料 2 つ以上をまたぐ洞察が 26(13%)から 68(35%)に増えました。洞察に使われた知見は、314(21%)から 660(44%)になりました。
  • 再生の 514 対から 180 対を抜き取って採点しました。足された 122 対のうち、反証役が「誤り」としたのは 1 対(1%)でした。
  • 再生で審査が落とした 58 対のうち、反証役が正しいとしたのは 37 対でした。

測り方 ​

ここで使う言葉は次のとおりです。

  • 知見: 資料から取り出した 1 つの主張。

  • 洞察: 知見をもとに作る、規則の形のページ。

  • 束: 洞察づくりに一度に渡す知見のまとまり。

  • 対: 比べる 2 つの組。洞察と知見の組のほか、洞察どうしの組にも使います。

  • 入口: 知見を既存の洞察と照らすかどうかを決める、最初の判定。

  • 審査: 足してよい知見かを、洞察づくりとは別の呼び出しで選び直す判定。

  • 反証役: 足された対や落とされた対が正しいかを、あとから採点する AI。

  • モデル。 洞察を作るモデルも審査も gpt-5.6-terra(Copilot)です。利用者が洞察づくりに使っているモデルです。反証役は Claude Sonnet で、別の設定です。条件を伏せた対を採点させ、どの条件でも同じ方法にしました。

  • データ。 実際のライブラリの読み取りコピーです(有効な知見 1,515 件・洞察 200 件)。実データには書いていません。

  • 原因の内訳(直す前)。 下見で「同じ規則を言っていて資料が重ならない」と反証を通った洞察の対 12 件(11 組)を使いました。各対の片方(E)を既存の洞察として残し、もう片方(T)を消します。T が依拠していた知見(C)を含む 50 件の束で、洞察づくりを回しました。既存の洞察の題をモデルに見せる場合(いまの流れ)と、見せない場合(対照)の 2 通りです。

  • 埋め込み。 アプリの入口は埋め込みを使います。そこで、端末内の bge-m3 を同じ ONNX で再現し、次の 3 つを測りました。

    • 洞察どうしの類似度
    • 束に入る資料の偏り
    • E の知見が束に入る数
  • 空からの通しの再生。 同じ知見 1,515 件・同じ束の順(31 束)・同じモデルで、洞察 0 件から作り直しました。直す前と直した後を比べています。状態はメモリ上だけです。入口は、MCP と同じ文字の近さで判定します。

  • 反証役。 洞察と知見の対を、条件を伏せて 1 回ずつ読み、正しい・境界・誤りのどれかを付けました。

結果 ​

1. どこで途切れていたか(直す前、12 件の束)。

段見たこと既存の題を渡す(いまの流れ)渡さない(対照)
1C を引く候補が出た10 / 1210 / 12
2その候補が、入口(文字 bigram の類似度 0.2 以上)で既存の洞察に当たった0 / 10(類似度 0.03〜0.11)0 / 10
3入口を飛ばして E と対にして判定役に出したら「同じ」2 / 104 / 10
-1 束あたりの候補の数(平均)4.78.3
埋め込みで見たこと値
同じ規則・資料が重ならない洞察の対 15 件の cosine0.61〜0.80(0.9 超は 0 件)
いまの洞察 200 件どうしで cosine 0.9 超の対0(最大 0.88)
1 束(50 件)に入る資料の数中央値 19(最小 9・最大 31)。文字 bigram の束でも中央値 20
束の中で、種と同じ資料の知見の割合中央値 12%
T の知見を種にした束に、E の知見が 1 件以上入る6 / 12
仮説結果
1. 「既存と重なるものは出すな」で候補が出ない名指しの 12 件では差が無い(10/12 対 10/12)。ただし束全体では候補が 8.3 件から 4.7 件に減る。減った分の知見は、既存の洞察にも届かず捨てられている
2. 入口が文面の近さなので当たらない当たっていた。埋め込みは 0/15、文字 bigram は 0/10。12 件の束では、入口が一度も開かない
3. 束が同じ資料に偏る当たっていない。1 束に資料 19 個、種と同じ資料は 12%

2. 直す前後(洞察を空から作り直す通しの再生)。

指標直す前直した後
洞察193197
知見 1 件だけの洞察131(68%)81(41%)
知見 2 件以上の洞察62(32%)116(59%)
資料 2 つ以上をまたぐ洞察26(13%)68(35%)
資料 3 つ以上をまたぐ洞察3(2%)27(14%)
既存の洞察に足された知見0345(名指し 343・重複の判定 2)
うち、その洞察の元の資料と別の資料の知見0159
支持を受けた洞察093
名指しの申し出(知見)-512(審査で 169 を落とした)
洞察に使われた知見314(21%)660(44%)
重複の候補に上がった対6(同じ: 0)7(同じ: 2)
HTTP の呼び出し(atomize + 判定)3665

3. 誤って足された知見(反証役の採点)。

対象対正しい境界誤り
通しの再生・足された(514 対から無作為 180 対を採点したうちの 122)12211651(1%)
通しの再生・審査で落ちた(同 58)5837129
12 件の束(既存 = 実データの洞察)・足された(全数)10795111(1%)
12 件の束・審査で落ちた(全数)3891316
直す前・足された0---

12 件の束で直した後は、申し出が 175 知見(別の資料 114)、審査を通過したのが 129 知見(別の資料 77)、洞察は 66 件でした。

下見の対(C から E)が名指しされたのは 0 / 12 です。この対は、洞察の文面より 1 つ抽象的な水準でだけ一致する対です(限界を参照)。足されないのが正しい側です。

決めたこと ​

  • 既存の洞察を、AI に名指しさせます。 既存の洞察を参照つきで渡します。束の知見が既存の洞察の規則の事例なら、新しい洞察にはせず、捨てることもしません。その洞察を名指しして、知見の id を返させます。
  • 別の呼び出しの審査を通った知見だけを足します。 審査では、既存の洞察の題・形・本文と知見を並べて、書かれているとおりの規則の事例かを選び直します。審査の結果が取れなければ、足しません。
  • 文面の近さを入口にしません。 従来の道(候補、近さ、同じ・矛盾・別)はそのまま残します。
  • アプリのルートと MCP で、同じ組み立てにします。

限界 ​

  • 通しの再生は MCP の作りです(束も入口も文字 bigram)。アプリは埋め込みで束を作ります。埋め込みの入口は別に数えました(0.9 超は 0 件)。そのため、直す前の「足された 0 件」はアプリでも同じ向きです。ただし、再生そのものはアプリの束では回していません。
  • 1 回ずつの実行です。モデルの揺れは測っていません。洞察を作るモデルは 1 つです。
  • 反証役は 1 つのモデルが 1 回読んだものです。再生分は 514 対のうち 180 対の抜き取りです。
  • 審査は厳しめです。審査が落とした対のうち、反証役が「正しい」としたものは、再生では 58 対のうち 37 対でした。12 件の束では、38 対のうち 9 対です(境界 13・誤り 16)。足すべき対が漏れています。足す側の誤りを抑える向きに倒しました。
  • 知見には言い換えの重複が多くあります(同じ主張が別のノートから何度も出ます)。「別の資料の知見」には、同じ人の別のノートの言い換えも含みます。
  • 足しても、洞察の本文と「Source Claims」の一覧は書き換わりません。従来の支持追加と同じで、再生成で反映されます。
  • アプリの画面からの実行(取り込み後の自動の発見・「洞察を発見」)は、実機で回していません。ルートは実モデルで、MCP の保存はテストで確かめました。
  • 洞察の文面より 1 つ抽象的な水準でだけ一致する対は、合流しません。たとえば、片方の洞察は条件 A で、もう片方は条件 B で同じことが起きると言っている場合です。判定役は洞察の文面どおりに読んで「別」とします(同じ: 10 件中 2 件)。ここに知見を足すと、裏付けを偽ることになります。既存の洞察を一般化し直す話で、今回は扱っていません(下見の 13 組)。

Released under the Apache License 2.0.