AI との会話から知見を作る 2026-11-18 測定 · v0.141.2
確かめたこと。 これから足す「AI との会話」の取り込みに向けて、実装の前に測りました。Claude Code などとの会話の記録を素材として Graphium に入れ、そこから知見を作る機能です。測った時点(v0.141.2)のアプリに、この機能はまだありません。 取り込みの画面は、その後に入りました(AI との会話を取り込む)。会話からナレッジを作るところは、まだです。 ここに書くのは、実装の前に決めておきたかった 2 つのことの測定です。
- 知見の指示を、会話の素材のときだけ変えると、知見は本人の発言から出るようになるのか
- 素材に入れる AI の返答の抜粋は、どのくらいの長さが要るのか
ひとことで。
- 知見の指示に 1 節を足すと、本人の発言だけを根拠にした知見が 69% から 85% に増えました。足すと決め、いまのアプリは会話の素材のときにこの節を使います。
- AI の抜粋は、冒頭 200 字+末尾 300 字のままにします。短くしても本人の発言の拾いに差は読み取れず、発言の意味が取れる件数は落ちました。
- 本人の発言が 1 件だけの短い会話(1 本)からは、6 通りすべてで知見が 0 件でした。
- 1 つの組み合わせにつき 1 回です。1 回ごとのばらつきが大きいので、差は目安として読んでください(限界)。
素材の形
- 本人の発言は、原文のまま全文を入れます。
- AI の返答は、直前の返答の抜粋だけを入れます。本人の発言が何への返事かを補うためです。
- この測定では、700 字を超える発言は素材から外しました。別の会話が書いた依頼文が、本人の発言として混じるのを避けるためです。本人が打った長い発言も一緒に外れるので、実装ではこの決めを見直します。
パン作りの語で作った例です。
## 2026-10-05
- AI(直前の返答の抜粋): ライ麦サワー種は、25℃ で 8 時間ほど置くと酸味が出ます。6 時間で止めることもできます。どちらにしますか
- 私(09:12): 酸味は控えめにしたいので、6 時間で止めます
- AI(直前の返答の抜粋): 発酵を 6 時間に書き換えました。次は成形の手順に進みます。このまま進めてよいですか
- 私(09:20): お願いします「酸味は控えめにしたいので…」は理由つきの判断、「お願いします」は指示だけです。
測り方
比べたものは 3 つの軸です。2 × 3 × 3 = 18 回で、1 つの組み合わせにつき 1 回です。
| 軸 | 条件 |
|---|---|
| 知見の指示 | A = いまのまま(v0.141.2 の課題そのまま)/ B = A に 1 節を足した版 |
| AI の抜粋の長さ | 冒頭 200 字+末尾 300 字 / 末尾 200 字 / 末尾 100 字 |
| 会話 | 3 本。本人の発言が 35 件の会話(多)、6 件の会話(中)、1 件の会話(少) |
B で足した節の要点は 2 つです。
- 本人の行(「私」)から出る点を先に拾う。AI の行は、何への返事かを補うためだけに使う
- AI の行だけが根拠の点は AI の見立てであり、本人の発見・判断として書かない。残すなら本文の最初の文で AI が述べたことだと明示し、確かさの段階は「解釈」までにする
やり方。
- vault の写しを作り、写しの中で、同梱の MCP(v0.141.2)から知見の課題を受け取りました。本物の vault には書いていません。
- 下書き役は 18 体(1 体が 1 本)です。課題を実行して知見を作らせましたが、提出(保存)はしていません。
- 判定役は、条件(指示と抜粋の長さ)を伏せて 1 体が知見 60 件の全件を判定しました。根拠が本人の発言か AI の行か、種類は何か、書き方は適切か、どの発言の中身を運んでいるかを見ています。
- 発言の重さの印は、別の 1 体が素材だけを見て付けました。知見は見せていません。
- 抜粋の長さごとに「本人の発言の意味が取れるか」を、さらに別の 1 体が判定しました。3 本の会話の発言 42 件を、短い抜粋の素材から順に読み、何への返事かが分かるかを見ています。こちらは抜粋の長さそのものを見る判定なので、条件は伏せていません。
| 重さの印 | 意味 |
|---|---|
| 2 | 理由つきの判断 |
| 1 | 理由の無い判断 |
| 0 | 指示だけ |
- 下書き役と判定役は、Claude Sonnet を Claude Code の中で動かしたものです。
結果
指示の前後
多の会話と中の会話の 6 回ずつを合算しました。少の会話は、全条件で 0 件です。
| 項目 | A いまのまま | B 足した版 |
|---|---|---|
| 知見の件数 | 26 | 34 |
| 根拠が本人の発言だけ | 18(69%) | 29(85%) |
| 本人の発言+AI の行の中身 | 8 | 5 |
| AI の行だけ | 0 | 0 |
| 種類が本人の判断 | 20(77%) | 27(79%) |
| 種類が作業の記録 | 6 | 7 |
| AI の中身を本人のものとして書いた | 5 | 2 |
| AI の中身を AI のものと明示した | 3 | 3 |
| 重い発言(印 2)を拾えた | 16 / 18 | 18 / 18 |
| 判断のある発言(印 1 以上)を拾えた | 24 / 39 | 31 / 39 |
- 多の会話だけを抜粋の長さごとに見ても、向きは同じでした(本人の発言だけを根拠にした件数は 5→9・4→7・5→8、判断のある発言を拾えた数は 7→10・7→9・7→9)。
- 中の会話は、ほぼ差がありませんでした。
抜粋の長さ
知見についての行は、多と中の会話の 4 回ずつの合算です。「発言の意味が取れる」の 3 行は、3 本の会話の発言 42 件を素材ごとに判定したもので、実行の回数とは関係しません。字数の行は多の会話の値で、課題全体の字数は指示 A の版です。
| 項目 | 冒頭 200+末尾 300 | 末尾 200 | 末尾 100 |
|---|---|---|---|
| 知見の件数 | 23 | 19 | 18 |
| 根拠が本人の発言だけ | 17 | 13 | 17 |
| 本人の発言+AI の行の中身 | 6 | 6 | 1 |
| AI の中身を本人のものとして書いた | 1 | 5 | 1 |
| 重い発言を拾えた | 11 / 12 | 12 / 12 | 11 / 12 |
| 判断のある発言を拾えた | 19 / 26 | 17 / 26 | 19 / 26 |
| 発言の意味が取れる(42 件中) | 39 | 36 | 31 |
| 文脈が要る発言(29 件)のうち、意味が取れる | 26 | 23 | 18 |
| 何への返事か分からない | 0 | 2 | 2 |
| 素材の字数(多) | 18,433 | 9,341 | 6,039 |
| 素材に占める AI の字の割合(多) | 93% | 85% | 75% |
| 課題全体の字数(多) | 78,206 | 69,646 | 66,443 |
発言が 1 件だけの会話
本人の発言が 1 件だけの会話です。作業の短い指示にひとこと添えたもので、重さの印は 1(理由の無い判断)でした。指示の前後・抜粋の長さの 6 通りすべてで 0 件でした。B の節を足しても、この発言から知見を作ることは起きませんでした。会話 1 本の結果です。
決めたこと
| 決めること | 判断 | 理由 |
|---|---|---|
| 知見の指示 | B の節を足す(会話の素材のときだけ)。いまのアプリはこうしています | 本人の発言だけを根拠にした知見が増え(69% → 85%)、判断のある発言の拾いが増え(24/39 → 31/39)、AI の中身を本人のものとして書く件数が減りました(5 → 2)。発言が 1 件だけの会話の 0 件は保たれました |
| AI の抜粋の長さ | 冒頭 200 字+末尾 300 字のまま | 短くしても本人の発言の拾いに差は読み取れません(19 → 17 → 19 / 26)。一方で、発言の意味が取れる件数は落ちます(文脈が要る 29 件のうち 26 → 23 → 18)。費用は課題の固定部分(約 6 万字)が大半で、短くしても多の会話で 15%、中の会話で 3% しか減りません |
前の試行と食い違った点
この測定の前に、同じ種類の会話で小さな試行をしていました。次の 3 点が食い違いました。
- 前の試行では、いちばん重い発言が 1 件も拾われませんでした。今回は、指示を足す前(A)でも 3 回中 3 回拾われました。A で落ちたのは、別のある 1 件の発言で、2 回です。
- 前の試行では、発言 6 件の会話の知見 4 件がすべて AI の行を根拠にしていました。今回の同じ条件(中・冒頭 200+末尾 300・A)は 2 件で、本人の発言だけが 1 件、本人の発言+AI の行が 1 件でした。AI の行だけが根拠の知見は、全 60 件で 0 件でした。
- 1 回ごとのばらつきが大きいです。同じ会話・同じ条件の課題から、前の試行では 4 件、今回は 2 件の知見が出ました。前の試行の判定は書き手が自分で読んだもので、今回の判定役とは物差しが違います。
限界
- 1 つの組み合わせにつき 1 回です。合算の表は、もう片方の軸をまたいで足したものです(指示の比較は、抜粋 3 通り × 会話 2 本の 6 回。抜粋の比較は、指示 2 通り × 会話 2 本の 4 回)。
- 会話は 3 本です。重い発言があるのは、多の会話の 6 件だけです。
- 下書き役は Claude Code の中で動かした Claude Sonnet で、アプリの中の AI の設定とは違います。
- 知見の判定役は 1 体(Claude Sonnet)です。重さの印と、発言の意味が取れるかの判定は、それぞれ別の 1 体が付けました。人の目での確かめはしていません。
- B は 2 つの文を一緒に足しました。どちらが効いたかは分けていません。
- 写しの vault には、同じ会話から手で作った知見(57 件)が、既存の知見として入っています。全条件で同じです。既存の知見への書き足しは 1 件も起きませんでした。
- 末尾 200 字で「AI の中身を本人のものとして書いた」が 5 件に増えたのは、1 回(多・A)の 3 件が効いています。長さの効果とは言えません。

