Skip to content

知見は、ノートが言えている範囲で書く 2026-11-11 測定 · v0.129 ​

確かめたこと。 知見を作る段階で、AI に内容を一般化させるべきかどうかを確かめました。指示を「1 件 1 主張」「ノートがなくても読める」「ノートが支える範囲を超えない」に置き直すと、範囲の広げすぎは減るのか、読みやすさは落ちないのか。これを 2 つのモデルで測りました。

ひとことで。 2 版目の指示を採用しました。1 版目は範囲の広げすぎを減らしましたが、ノートの記録をそのまま写した知見が増えました。2 版目は「要点 → 記録」の 2 層に書かせる指示で、gpt-5.6-luna で効きました。

  • 全基準に合格した出力は、20 本中 4 本から 10 本に増えました。
  • 範囲の広げすぎは、知見の 20% から 3% に減りました。
  • gpt-oss-120b では、改善は小さくなりました。

どちらのモデルも、採点したのは各条件 1 回ぶんです。2 版目の出力は、旧・1 版目とは別の回に採点しています(限界)。

測り方 ​

  • 入力。 架空の料理ノート 20 本(カレー作り・パン作り)です。ノート 1 本ごとに、取り込みを 1 回実行します。
  • モデル。 gpt-5.6-luna と gpt-oss-120b の 2 つです。
  • 条件。 指示の書き方を変えた 3 つです。
条件指示
旧変更前のまま
1 版目範囲の規則を足した。「1 回の試行は起きたこととして書く」
2 版目(採用)「要点 → 記録」の 2 層。1 回の試行は文面で分かるように書く。記録の 1 行は知見にしない
  • 採点。 出力は、どのモデルがどの条件で書いたかを伏せた状態で、Claude Sonnet に採点してもらいました。7 つの基準それぞれに合否を付けています。基準は測る前に固定しました。
  • 採点した範囲。 採点したのは 1 回目の出力だけです。gpt-oss-120b の 2 回目・3 回目は、知見の数と 0 件の数という自動の指標だけを見ています。
  • 採点のぶれ。 旧条件の出力 10 件を、別の採点者に採点し直してもらいました。合否が一致したのは、70 判定中 62 でした。「写しでない」の基準は 10 件中 7 件の一致で、いちばん低くなりました。

結果 ​

1 つ目の表は、1 回目の出力 20 本について、基準ごとの合格数と、全基準に合格した出力の数です。知見が 0 件だった出力は、全基準を不合格に数えています。

2 つ目の表は、知見 1 件あたりの率です。採点できた出力の知見だけを分母にしています。

条件 / モデル0 件忠実範囲単独で読める1 件 1 主張写しでない要点状態の区別全基準
旧 / gpt-5.6-luna0141014181717184
1 版目 / gpt-5.6-luna016151619919183
2 版目 / gpt-5.6-luna01917131819181910
旧 / gpt-oss-120b07616161117192
1 版目 / gpt-oss-120b2871413616161
2 版目 / gpt-oss-120b08814181418173
条件 / モデル知見の総数ノートに無い主張(件/知見)範囲の広げすぎ単独で読めない詰め込み写し
旧 / gpt-5.6-luna1020.0720%12%2%5%
1 版目 / gpt-5.6-luna1280.038%4%1%24%
2 版目 / gpt-5.6-luna1020.013%13%2%2%
旧 / gpt-oss-120b1200.1924%8%6%23%
1 版目 / gpt-oss-120b1240.1619%5%8%34%
2 版目 / gpt-oss-120b1200.1220%8%2%13%

3 つ目の表は、同じノートどうしで旧と新を比べた結果です(良くなった / 悪くなった / 同じ)。

忠実範囲単独で読める1 件 1 主張写しでない要点状態の区別
gpt-5.6-luna 旧→1 版目6/4/106/1/134/2/142/1/170/8/122/0/181/1/18
gpt-5.6-luna 旧→2 版目6/1/138/1/113/4/131/1/183/1/162/1/171/0/19
gpt-oss-120b 旧→1 版目4/1/133/1/142/3/132/3/131/5/121/0/170/2/16
gpt-oss-120b 旧→2 版目2/1/174/2/142/4/143/1/165/2/131/0/191/3/16

読み取りです。

  • 1 版目は裏目に出ました。 範囲の広げすぎは減りました(gpt-5.6-luna で 20% から 8%)。しかし「起きたことだけ書く」と受け取られて、本文が記録の 1 文だけになりました。写しは 5% から 24% に増えました。同じノートで比べると、良くなったのが 0 件、悪くなったのが 8 件でした。知見の数も増え、1 つの要点が事実の断片に割れました。
  • 2 版目は gpt-5.6-luna で効きました。 全基準に合格した出力は 4 本から 10 本に、範囲の広げすぎは 20% から 3% に、ノートに無い主張は 0.07 から 0.01 になりました。写しは 5% から 2% に下がりました。同じノートどうしで見ると、「写しでない」が良くなったのは 3 本、悪くなったのは 1 本です。
  • 2 版目の gpt-oss-120b は、小さな改善です。 写しは 23% から 13%、詰め込みは 6% から 2%、ノートに無い主張は 0.19 から 0.12 になりました。範囲の広げすぎは 24% から 20% でほぼ変わらず、全基準に合格した出力は 2 本から 3 本でした。一方で、「単独で読める」の合格は 16 本から 14 本に、「状態の区別」は 19 本から 17 本に下がりました。
  • 「単独で読めない」は改善していません(gpt-5.6-luna で 12% から 13%)。2 版目の「この試作では」「今回の」のような言い方が、ノートに頼っていると判定された件がありました。
  • gpt-oss-120b が 1 件に詰め込む、という最初の見立ては早合点でした。 測り始めたときは、そう思っていました。しかしそれは、試しに 1 件だけ見た印象でした。旧条件 3 回の平均は 1 ノートあたり 6 件前後で、詰め込みは 6% でした。

追加の測定(2026-11-12): 足した 1 文と、ほかの 2 つのモデル ​

2 版目に「場面を名指しする」1 文を足した版(いまの指示)を、同じ 20 本のノートで、4 つのモデルに試しました。

  • gpt-5.6-luna と gpt-oss-120b は、比べる基準にするため、もう一度実行しました。
  • Kimi-K2.7-Code と gemma-4-31B-it は、今回新しく加えました。
  • どのモデルも 1 回ずつで、採点の方法は同じです。

2 版目の出力 10 件を別の採点者に採点し直してもらうと、合否が一致したのは 70 判定中 67 でした。

いまの指示 / モデル0 件・失敗忠実範囲単独で読める1 件 1 主張写しでない要点状態の区別全基準
gpt-5.6-luna02019141820192012
gpt-oss-120b19513171117162
Kimi-K2.7-Code211713151218141
gemma-4-31B-it017619171919191
いまの指示 / モデル知見の総数ノートに無い主張(件/知見)範囲の広げすぎ単独で読めない詰め込み写し
gpt-5.6-luna1060.001%8%3%0%
gpt-oss-120b1250.1021%9%2%17%
Kimi-K2.7-Code1050.1419%10%4%10%
gemma-4-31B-it730.0537%1%4%1%
  • 足した 1 文は、gpt-5.6-luna で小さく効きました。 「単独で読めない」は知見の 13% から 8% に、合格は 13 本から 14 本になりました。gpt-5.6-luna では、下がった基準はありません。gpt-oss-120b では 8% から 9% で、ほぼ変わりません。合格は「範囲」が 8 本から 5 本、「写しでない」が 14 本から 11 本に下がりました。ただし 1 回ずつの測定なので、回ごとのぶれと区別できていません。
  • gpt-oss-120b の 0 件 1 本は、JSON の崩れが原因です。 機械的な修復を足したあとでも、直せない崩れ方が残っています。
  • gemma-4-31B-it は、読みやすく書きますが、範囲を広げます。 「単独で読める」は 19 本で、gpt-5.6-luna(14 本)より多くなりました。「写しでない」は 19 本と 20 本、「忠実」は 17 本と 20 本でした。一方で、知見の 37% が 1 回の試行を法則の形で書いていて、「範囲」の合格は 6 本でした。知見の数も少なめで、1 ノートあたり平均 3.7 件です。
  • Kimi-K2.7-Code は、gpt-oss-120b と同じくらいでした。 加えて、20 本のうち 2 本が 10 分以内に返らなかったので、失敗に数えています。
  • 全基準に合格した出力は、gpt-5.6-luna が 12 本、ほかの 3 つは 1〜2 本でした。 ただし、この差の大きさは「範囲」の基準に強く左右されます。「範囲」を外して数え直すと、gpt-5.6-luna が 13 本、gemma-4-31B-it が 12 本、gpt-oss-120b が 5 本、Kimi-K2.7-Code が 5 本です。
  • 「範囲」の基準は、言い回しに厳しい基準です。 1 回の試作を「65 分炒めると甘みが出る」と書けば不合格で、「65 分炒めたら甘みが残った」と書けば合格です。この言い回しの違いが、読む人や後段の処理(洞察づくり・検索)にとってどれだけ問題なのかは、測っていません。gemma-4-31B-it と gpt-5.6-luna の差は、ほぼこの基準 1 つの差です。
  • 基準に左右されない差もあります。 ノートに無い主張は、gpt-oss-120b と Kimi-K2.7-Code で多くなりました(知見 1 件あたり 0.10 と 0.14。gpt-5.6-luna は 0.00)。「忠実」の合格も、9 本と 11 本でした。

洞察での確認(2026-11-12): 知見の言い回しは、洞察の質を変えるか ​

「範囲」の基準で不合格になった言い回しがあります。1 回の試作を「〜すると〜になる」と書く形です。この言い回しが、その先の洞察づくりで害になるのかを測りました。

  • 入力。 上の追加の測定で作った知見です。gpt-5.6-luna の知見(「範囲」に合格 19 本)と、gemma-4-31B-it の知見(合格 6 本)を使いました。
  • 条件。 ノート 1 本ぶんの知見を、洞察づくりに 1 回渡しました。20 本 × 3 条件です。渡したのは知見の題と本文です。アプリと同じく、本文は先頭の 240 字までです。今回の知見は、すべて 240 字以内でした。
条件知見を書いたモデル洞察を書いたモデル
Agpt-5.6-lunagpt-5.6-luna
Bgemma-4-31B-itgpt-5.6-luna
Cgemma-4-31B-itgemma-4-31B-it
  • 採点。 採点者には、ノートと洞察だけを見せました。知見と、2 つのモデルの名前は伏せています。Claude Sonnet が 4 つの基準で合否を付けました。基準は測る前に固定しました。洞察は一般の規則として書くのが仕様なので、一般化していること自体は減点していません。
  • 採点のぶれ。 10 件を別の採点者が採点し直しました。合否が一致したのは 40 個のうち 38 個です。ずれた 2 個は「支えがある」でした。

合格した出力の数(20 本中)。

条件支えがある理由を足していない中身がある規則になっている全基準
A: luna の知見 → luna16159196
B: gemma の知見 → luna151312204
C: gemma の知見 → gemma14917194

洞察 1 件あたりの率。

条件洞察の総数支えが無い理由を足した空の一般論言い換えに留まる
A: luna の知見 → luna796%8%16%1%
B: gemma の知見 → luna648%11%14%0%
C: gemma の知見 → gemma6010%27%5%2%
  • 知見の言い回しによる差は、見分けられませんでした。 洞察を書くモデルを gpt-5.6-luna にそろえて比べます(A と B)。支えが無い洞察は 6% と 8%、理由を足した洞察は 8% と 11% でした。同じノートどうしで比べると、次のとおりです。

    • 「支えがある」は、良くなったのが 4 本、悪くなったのが 5 本。
    • 「理由を足していない」は、良くなったのが 1 本、悪くなったのが 3 本。
    • 「中身がある」は、良くなったのが 4 本、悪くなったのが 1 本。

    全基準の合格は 6 本と 4 本でした。基準ごとに向きがそろいません。再採点でも「支えがある」は 10 件中 2 件ずれたので、この差はぶれと区別できません。

  • はっきり差が出たのは、洞察を書くモデルを替えたときです。 同じ gemma-4-31B-it の知見でも、洞察を gemma-4-31B-it に書かせると(C)、ノートが述べていない理由や仕組みを足した洞察が 27% になりました(B は 11%)。採点とは別に、モデル自身が洞察に付けた種類のラベルを数えると、「因果」が 60 件中 24 件(B は 64 件中 4 件)、「観察」が 2 件(B は 19 件)でした。どちらも各 1 回の測定です。

  • 空の一般論は、gpt-5.6-luna が書いた洞察に多く出ました。 16% と 14% で、gemma-4-31B-it は 5% でした。

  • 読み取り。 「範囲」の基準が見ている言い回しの差は、この測定では洞察の質に表れませんでした。知見を作る段での gemma-4-31B-it と gpt-5.6-luna の差(全基準 1 本と 12 本)は、後段への害を表す数字ではありません。一方で、洞察づくりまで gemma-4-31B-it に任せると、理由の足しすぎが増え、空の一般論は減りました。全基準の合格は B と同じ 4 本です。

決めたこと ​

  • 知見は、1 件ずつに切り分け、ノートがなくても読める形にするところまでにします。 場面をまたぐ一般化は、洞察の仕事です。
  • 本文は、1 文目に要点、続けてノートの記録を書きます。 2 版目の形を採用しました。
  • 1 回の試行は、1 回の試行だと分かる言い方で書きます。
  • メモ(走り書き)には、この規則を適用しません。

その後に直したもの ​

  • AI の返答の JSON の崩れ。 1 か所崩れると、そのノートの知見が全部捨てられていました。gpt-oss-120b の 0 件は、この崩れが原因でした。そこで、機械的な修復を試すようにしました。2 版目の 2 回目では、1 件が修復でき、2 件は直せませんでした。
  • 「今回の試作では」のような言い方。 ノートに頼っていると判定されたので、場面を名指しする 1 文を指示に足しました。翌日に測り、gpt-5.6-luna で小さく効くことを確かめました(追加の測定)。
  • 設定のモデルの目安。 標準の段では、オープンな大型モデルを「向く」としていました。追加の測定で、この区分の中の差が大きいと分かりました(「忠実」の合格は 20 本中 17 本・11 本・9 本)。そこで「条件つき」に下げ、注記を「ノートに無いことが知見に混ざることがあります」に直しました(目安の元になった測定)。

限界 ​

  • 題材は架空の料理ノート 20 本です。研究のノートでは違うかもしれません。
  • gpt-5.6-luna は各条件 1 回です。gpt-oss-120b の採点も 1 回目だけです。
  • 採点者は 1 種類のモデル(Claude Sonnet)だけです。2 版目の出力は、旧・1 版目とは別の回(別のエージェント)に採点してもらいました。再採点 10 件の一致は、「写しでない」で 10 件中 7 件と低くなりました。写しの率は目安です。
  • 旧条件の gpt-5.6-luna は、別の時刻に、別の測定で取ったものです(サーバー側のコードも入力も同じです)。
  • メモ(走り書き)と外部資料の取り込みは測っていません。メモには範囲の規則を適用していません。
  • 洞察での確認は、各条件 1 回で、採点者も 1 種類のモデルだけです。渡したのはノート 1 本ぶんの知見だけで、実際の使い方(複数のノートの知見をまとめて渡す)とは違います。gemma-4-31B-it の知見は件数も少なめです(73 件。gpt-5.6-luna は 106 件)。言い回しだけを変えた比較でもありません。検索や出典との照合への影響は測っていません。
  • 追加の測定は、各モデル 1 回です。2 版目とは別の回に実行し、別の採点者が採点しました。12 本と 10 本の差は、同じか少し良い、というところまでしか言えません。
  • Kimi-K2.7-Code の時間切れ 2 本が、混雑によるものか、モデルの遅さによるものかは、切り分けていません。

Released under the Apache License 2.0.