知見は、ノートが言えている範囲で書く 2026-11-11 測定 · v0.129
確かめたこと。 知見を作る段階で、AI に内容を一般化させるべきかどうかを確かめました。指示を「1 件 1 主張」「ノートがなくても読める」「ノートが支える範囲を超えない」に置き直すと、範囲の広げすぎは減るのか、読みやすさは落ちないのか。これを 2 つのモデルで測りました。
ひとことで。 2 版目の指示を採用しました。1 版目は範囲の広げすぎを減らしましたが、ノートの記録をそのまま写した知見が増えました。2 版目は「要点 → 記録」の 2 層に書かせる指示で、gpt-5.6-luna で効きました。
- 全基準に合格した出力は、20 本中 4 本から 10 本に増えました。
- 範囲の広げすぎは、知見の 20% から 3% に減りました。
- gpt-oss-120b では、改善は小さくなりました。
どちらのモデルも、採点したのは各条件 1 回ぶんです。2 版目の出力は、旧・1 版目とは別の回に採点しています(限界)。
測り方
- 入力。 架空の料理ノート 20 本(カレー作り・パン作り)です。ノート 1 本ごとに、取り込みを 1 回実行します。
- モデル。 gpt-5.6-luna と gpt-oss-120b の 2 つです。
- 条件。 指示の書き方を変えた 3 つです。
| 条件 | 指示 |
|---|---|
| 旧 | 変更前のまま |
| 1 版目 | 範囲の規則を足した。「1 回の試行は起きたこととして書く」 |
| 2 版目(採用) | 「要点 → 記録」の 2 層。1 回の試行は文面で分かるように書く。記録の 1 行は知見にしない |
- 採点。 出力は、どのモデルがどの条件で書いたかを伏せた状態で、Claude Sonnet に採点してもらいました。7 つの基準それぞれに合否を付けています。基準は測る前に固定しました。
- 採点した範囲。 採点したのは 1 回目の出力だけです。gpt-oss-120b の 2 回目・3 回目は、知見の数と 0 件の数という自動の指標だけを見ています。
- 採点のぶれ。 旧条件の出力 10 件を、別の採点者に採点し直してもらいました。合否が一致したのは、70 判定中 62 でした。「写しでない」の基準は 10 件中 7 件の一致で、いちばん低くなりました。
結果
1 つ目の表は、1 回目の出力 20 本について、基準ごとの合格数と、全基準に合格した出力の数です。知見が 0 件だった出力は、全基準を不合格に数えています。
2 つ目の表は、知見 1 件あたりの率です。採点できた出力の知見だけを分母にしています。
| 条件 / モデル | 0 件 | 忠実 | 範囲 | 単独で読める | 1 件 1 主張 | 写しでない | 要点 | 状態の区別 | 全基準 |
|---|---|---|---|---|---|---|---|---|---|
| 旧 / gpt-5.6-luna | 0 | 14 | 10 | 14 | 18 | 17 | 17 | 18 | 4 |
| 1 版目 / gpt-5.6-luna | 0 | 16 | 15 | 16 | 19 | 9 | 19 | 18 | 3 |
| 2 版目 / gpt-5.6-luna | 0 | 19 | 17 | 13 | 18 | 19 | 18 | 19 | 10 |
| 旧 / gpt-oss-120b | 0 | 7 | 6 | 16 | 16 | 11 | 17 | 19 | 2 |
| 1 版目 / gpt-oss-120b | 2 | 8 | 7 | 14 | 13 | 6 | 16 | 16 | 1 |
| 2 版目 / gpt-oss-120b | 0 | 8 | 8 | 14 | 18 | 14 | 18 | 17 | 3 |
| 条件 / モデル | 知見の総数 | ノートに無い主張(件/知見) | 範囲の広げすぎ | 単独で読めない | 詰め込み | 写し |
|---|---|---|---|---|---|---|
| 旧 / gpt-5.6-luna | 102 | 0.07 | 20% | 12% | 2% | 5% |
| 1 版目 / gpt-5.6-luna | 128 | 0.03 | 8% | 4% | 1% | 24% |
| 2 版目 / gpt-5.6-luna | 102 | 0.01 | 3% | 13% | 2% | 2% |
| 旧 / gpt-oss-120b | 120 | 0.19 | 24% | 8% | 6% | 23% |
| 1 版目 / gpt-oss-120b | 124 | 0.16 | 19% | 5% | 8% | 34% |
| 2 版目 / gpt-oss-120b | 120 | 0.12 | 20% | 8% | 2% | 13% |
3 つ目の表は、同じノートどうしで旧と新を比べた結果です(良くなった / 悪くなった / 同じ)。
| 忠実 | 範囲 | 単独で読める | 1 件 1 主張 | 写しでない | 要点 | 状態の区別 | |
|---|---|---|---|---|---|---|---|
| gpt-5.6-luna 旧→1 版目 | 6/4/10 | 6/1/13 | 4/2/14 | 2/1/17 | 0/8/12 | 2/0/18 | 1/1/18 |
| gpt-5.6-luna 旧→2 版目 | 6/1/13 | 8/1/11 | 3/4/13 | 1/1/18 | 3/1/16 | 2/1/17 | 1/0/19 |
| gpt-oss-120b 旧→1 版目 | 4/1/13 | 3/1/14 | 2/3/13 | 2/3/13 | 1/5/12 | 1/0/17 | 0/2/16 |
| gpt-oss-120b 旧→2 版目 | 2/1/17 | 4/2/14 | 2/4/14 | 3/1/16 | 5/2/13 | 1/0/19 | 1/3/16 |
読み取りです。
- 1 版目は裏目に出ました。 範囲の広げすぎは減りました(gpt-5.6-luna で 20% から 8%)。しかし「起きたことだけ書く」と受け取られて、本文が記録の 1 文だけになりました。写しは 5% から 24% に増えました。同じノートで比べると、良くなったのが 0 件、悪くなったのが 8 件でした。知見の数も増え、1 つの要点が事実の断片に割れました。
- 2 版目は gpt-5.6-luna で効きました。 全基準に合格した出力は 4 本から 10 本に、範囲の広げすぎは 20% から 3% に、ノートに無い主張は 0.07 から 0.01 になりました。写しは 5% から 2% に下がりました。同じノートどうしで見ると、「写しでない」が良くなったのは 3 本、悪くなったのは 1 本です。
- 2 版目の gpt-oss-120b は、小さな改善です。 写しは 23% から 13%、詰め込みは 6% から 2%、ノートに無い主張は 0.19 から 0.12 になりました。範囲の広げすぎは 24% から 20% でほぼ変わらず、全基準に合格した出力は 2 本から 3 本でした。一方で、「単独で読める」の合格は 16 本から 14 本に、「状態の区別」は 19 本から 17 本に下がりました。
- 「単独で読めない」は改善していません(gpt-5.6-luna で 12% から 13%)。2 版目の「この試作では」「今回の」のような言い方が、ノートに頼っていると判定された件がありました。
- gpt-oss-120b が 1 件に詰め込む、という最初の見立ては早合点でした。 測り始めたときは、そう思っていました。しかしそれは、試しに 1 件だけ見た印象でした。旧条件 3 回の平均は 1 ノートあたり 6 件前後で、詰め込みは 6% でした。
追加の測定(2026-11-12): 足した 1 文と、ほかの 2 つのモデル
2 版目に「場面を名指しする」1 文を足した版(いまの指示)を、同じ 20 本のノートで、4 つのモデルに試しました。
- gpt-5.6-luna と gpt-oss-120b は、比べる基準にするため、もう一度実行しました。
- Kimi-K2.7-Code と gemma-4-31B-it は、今回新しく加えました。
- どのモデルも 1 回ずつで、採点の方法は同じです。
2 版目の出力 10 件を別の採点者に採点し直してもらうと、合否が一致したのは 70 判定中 67 でした。
| いまの指示 / モデル | 0 件・失敗 | 忠実 | 範囲 | 単独で読める | 1 件 1 主張 | 写しでない | 要点 | 状態の区別 | 全基準 |
|---|---|---|---|---|---|---|---|---|---|
| gpt-5.6-luna | 0 | 20 | 19 | 14 | 18 | 20 | 19 | 20 | 12 |
| gpt-oss-120b | 1 | 9 | 5 | 13 | 17 | 11 | 17 | 16 | 2 |
| Kimi-K2.7-Code | 2 | 11 | 7 | 13 | 15 | 12 | 18 | 14 | 1 |
| gemma-4-31B-it | 0 | 17 | 6 | 19 | 17 | 19 | 19 | 19 | 1 |
| いまの指示 / モデル | 知見の総数 | ノートに無い主張(件/知見) | 範囲の広げすぎ | 単独で読めない | 詰め込み | 写し |
|---|---|---|---|---|---|---|
| gpt-5.6-luna | 106 | 0.00 | 1% | 8% | 3% | 0% |
| gpt-oss-120b | 125 | 0.10 | 21% | 9% | 2% | 17% |
| Kimi-K2.7-Code | 105 | 0.14 | 19% | 10% | 4% | 10% |
| gemma-4-31B-it | 73 | 0.05 | 37% | 1% | 4% | 1% |
- 足した 1 文は、gpt-5.6-luna で小さく効きました。 「単独で読めない」は知見の 13% から 8% に、合格は 13 本から 14 本になりました。gpt-5.6-luna では、下がった基準はありません。gpt-oss-120b では 8% から 9% で、ほぼ変わりません。合格は「範囲」が 8 本から 5 本、「写しでない」が 14 本から 11 本に下がりました。ただし 1 回ずつの測定なので、回ごとのぶれと区別できていません。
- gpt-oss-120b の 0 件 1 本は、JSON の崩れが原因です。 機械的な修復を足したあとでも、直せない崩れ方が残っています。
- gemma-4-31B-it は、読みやすく書きますが、範囲を広げます。 「単独で読める」は 19 本で、gpt-5.6-luna(14 本)より多くなりました。「写しでない」は 19 本と 20 本、「忠実」は 17 本と 20 本でした。一方で、知見の 37% が 1 回の試行を法則の形で書いていて、「範囲」の合格は 6 本でした。知見の数も少なめで、1 ノートあたり平均 3.7 件です。
- Kimi-K2.7-Code は、gpt-oss-120b と同じくらいでした。 加えて、20 本のうち 2 本が 10 分以内に返らなかったので、失敗に数えています。
- 全基準に合格した出力は、gpt-5.6-luna が 12 本、ほかの 3 つは 1〜2 本でした。 ただし、この差の大きさは「範囲」の基準に強く左右されます。「範囲」を外して数え直すと、gpt-5.6-luna が 13 本、gemma-4-31B-it が 12 本、gpt-oss-120b が 5 本、Kimi-K2.7-Code が 5 本です。
- 「範囲」の基準は、言い回しに厳しい基準です。 1 回の試作を「65 分炒めると甘みが出る」と書けば不合格で、「65 分炒めたら甘みが残った」と書けば合格です。この言い回しの違いが、読む人や後段の処理(洞察づくり・検索)にとってどれだけ問題なのかは、測っていません。gemma-4-31B-it と gpt-5.6-luna の差は、ほぼこの基準 1 つの差です。
- 基準に左右されない差もあります。 ノートに無い主張は、gpt-oss-120b と Kimi-K2.7-Code で多くなりました(知見 1 件あたり 0.10 と 0.14。gpt-5.6-luna は 0.00)。「忠実」の合格も、9 本と 11 本でした。
洞察での確認(2026-11-12): 知見の言い回しは、洞察の質を変えるか
「範囲」の基準で不合格になった言い回しがあります。1 回の試作を「〜すると〜になる」と書く形です。この言い回しが、その先の洞察づくりで害になるのかを測りました。
- 入力。 上の追加の測定で作った知見です。gpt-5.6-luna の知見(「範囲」に合格 19 本)と、gemma-4-31B-it の知見(合格 6 本)を使いました。
- 条件。 ノート 1 本ぶんの知見を、洞察づくりに 1 回渡しました。20 本 × 3 条件です。渡したのは知見の題と本文です。アプリと同じく、本文は先頭の 240 字までです。今回の知見は、すべて 240 字以内でした。
| 条件 | 知見を書いたモデル | 洞察を書いたモデル |
|---|---|---|
| A | gpt-5.6-luna | gpt-5.6-luna |
| B | gemma-4-31B-it | gpt-5.6-luna |
| C | gemma-4-31B-it | gemma-4-31B-it |
- 採点。 採点者には、ノートと洞察だけを見せました。知見と、2 つのモデルの名前は伏せています。Claude Sonnet が 4 つの基準で合否を付けました。基準は測る前に固定しました。洞察は一般の規則として書くのが仕様なので、一般化していること自体は減点していません。
- 採点のぶれ。 10 件を別の採点者が採点し直しました。合否が一致したのは 40 個のうち 38 個です。ずれた 2 個は「支えがある」でした。
合格した出力の数(20 本中)。
| 条件 | 支えがある | 理由を足していない | 中身がある | 規則になっている | 全基準 |
|---|---|---|---|---|---|
| A: luna の知見 → luna | 16 | 15 | 9 | 19 | 6 |
| B: gemma の知見 → luna | 15 | 13 | 12 | 20 | 4 |
| C: gemma の知見 → gemma | 14 | 9 | 17 | 19 | 4 |
洞察 1 件あたりの率。
| 条件 | 洞察の総数 | 支えが無い | 理由を足した | 空の一般論 | 言い換えに留まる |
|---|---|---|---|---|---|
| A: luna の知見 → luna | 79 | 6% | 8% | 16% | 1% |
| B: gemma の知見 → luna | 64 | 8% | 11% | 14% | 0% |
| C: gemma の知見 → gemma | 60 | 10% | 27% | 5% | 2% |
知見の言い回しによる差は、見分けられませんでした。 洞察を書くモデルを gpt-5.6-luna にそろえて比べます(A と B)。支えが無い洞察は 6% と 8%、理由を足した洞察は 8% と 11% でした。同じノートどうしで比べると、次のとおりです。
- 「支えがある」は、良くなったのが 4 本、悪くなったのが 5 本。
- 「理由を足していない」は、良くなったのが 1 本、悪くなったのが 3 本。
- 「中身がある」は、良くなったのが 4 本、悪くなったのが 1 本。
全基準の合格は 6 本と 4 本でした。基準ごとに向きがそろいません。再採点でも「支えがある」は 10 件中 2 件ずれたので、この差はぶれと区別できません。
はっきり差が出たのは、洞察を書くモデルを替えたときです。 同じ gemma-4-31B-it の知見でも、洞察を gemma-4-31B-it に書かせると(C)、ノートが述べていない理由や仕組みを足した洞察が 27% になりました(B は 11%)。採点とは別に、モデル自身が洞察に付けた種類のラベルを数えると、「因果」が 60 件中 24 件(B は 64 件中 4 件)、「観察」が 2 件(B は 19 件)でした。どちらも各 1 回の測定です。
空の一般論は、gpt-5.6-luna が書いた洞察に多く出ました。 16% と 14% で、gemma-4-31B-it は 5% でした。
読み取り。 「範囲」の基準が見ている言い回しの差は、この測定では洞察の質に表れませんでした。知見を作る段での gemma-4-31B-it と gpt-5.6-luna の差(全基準 1 本と 12 本)は、後段への害を表す数字ではありません。一方で、洞察づくりまで gemma-4-31B-it に任せると、理由の足しすぎが増え、空の一般論は減りました。全基準の合格は B と同じ 4 本です。
決めたこと
- 知見は、1 件ずつに切り分け、ノートがなくても読める形にするところまでにします。 場面をまたぐ一般化は、洞察の仕事です。
- 本文は、1 文目に要点、続けてノートの記録を書きます。 2 版目の形を採用しました。
- 1 回の試行は、1 回の試行だと分かる言い方で書きます。
- メモ(走り書き)には、この規則を適用しません。
その後に直したもの
- AI の返答の JSON の崩れ。 1 か所崩れると、そのノートの知見が全部捨てられていました。gpt-oss-120b の 0 件は、この崩れが原因でした。そこで、機械的な修復を試すようにしました。2 版目の 2 回目では、1 件が修復でき、2 件は直せませんでした。
- 「今回の試作では」のような言い方。 ノートに頼っていると判定されたので、場面を名指しする 1 文を指示に足しました。翌日に測り、gpt-5.6-luna で小さく効くことを確かめました(追加の測定)。
- 設定のモデルの目安。 標準の段では、オープンな大型モデルを「向く」としていました。追加の測定で、この区分の中の差が大きいと分かりました(「忠実」の合格は 20 本中 17 本・11 本・9 本)。そこで「条件つき」に下げ、注記を「ノートに無いことが知見に混ざることがあります」に直しました(目安の元になった測定)。
限界
- 題材は架空の料理ノート 20 本です。研究のノートでは違うかもしれません。
- gpt-5.6-luna は各条件 1 回です。gpt-oss-120b の採点も 1 回目だけです。
- 採点者は 1 種類のモデル(Claude Sonnet)だけです。2 版目の出力は、旧・1 版目とは別の回(別のエージェント)に採点してもらいました。再採点 10 件の一致は、「写しでない」で 10 件中 7 件と低くなりました。写しの率は目安です。
- 旧条件の gpt-5.6-luna は、別の時刻に、別の測定で取ったものです(サーバー側のコードも入力も同じです)。
- メモ(走り書き)と外部資料の取り込みは測っていません。メモには範囲の規則を適用していません。
- 洞察での確認は、各条件 1 回で、採点者も 1 種類のモデルだけです。渡したのはノート 1 本ぶんの知見だけで、実際の使い方(複数のノートの知見をまとめて渡す)とは違います。gemma-4-31B-it の知見は件数も少なめです(73 件。gpt-5.6-luna は 106 件)。言い回しだけを変えた比較でもありません。検索や出典との照合への影響は測っていません。
- 追加の測定は、各モデル 1 回です。2 版目とは別の回に実行し、別の採点者が採点しました。12 本と 10 本の差は、同じか少し良い、というところまでしか言えません。
- Kimi-K2.7-Code の時間切れ 2 本が、混雑によるものか、モデルの遅さによるものかは、切り分けていません。

