Skip to content

AI との会話から知見を作る 2026-11-18 測定 · v0.141.2 ​

確かめたこと。 これから足す「AI との会話」の取り込みに向けて、実装の前に測りました。Claude Code などとの会話の記録を素材として Graphium に入れ、そこから知見を作る機能です。測った時点(v0.141.2)のアプリに、この機能はまだありません。 取り込みの画面は、その後に入りました(AI との会話を取り込む)。会話からナレッジを作るところは、まだです。 ここに書くのは、実装の前に決めておきたかった 2 つのことの測定です。

  • 知見の指示を、会話の素材のときだけ変えると、知見は本人の発言から出るようになるのか
  • 素材に入れる AI の返答の抜粋は、どのくらいの長さが要るのか

ひとことで。

  • 知見の指示に 1 節を足すと、本人の発言だけを根拠にした知見が 69% から 85% に増えました。足すと決め、いまのアプリは会話の素材のときにこの節を使います。
  • AI の抜粋は、冒頭 200 字+末尾 300 字のままにします。短くしても本人の発言の拾いに差は読み取れず、発言の意味が取れる件数は落ちました。
  • 本人の発言が 1 件だけの短い会話(1 本)からは、6 通りすべてで知見が 0 件でした。
  • 1 つの組み合わせにつき 1 回です。1 回ごとのばらつきが大きいので、差は目安として読んでください(限界)。

素材の形 ​

  • 本人の発言は、原文のまま全文を入れます。
  • AI の返答は、直前の返答の抜粋だけを入れます。本人の発言が何への返事かを補うためです。
  • この測定では、700 字を超える発言は素材から外しました。別の会話が書いた依頼文が、本人の発言として混じるのを避けるためです。本人が打った長い発言も一緒に外れるので、実装ではこの決めを見直します。

パン作りの語で作った例です。

## 2026-10-05

- AI(直前の返答の抜粋): ライ麦サワー種は、25℃ で 8 時間ほど置くと酸味が出ます。6 時間で止めることもできます。どちらにしますか
- 私(09:12): 酸味は控えめにしたいので、6 時間で止めます
- AI(直前の返答の抜粋): 発酵を 6 時間に書き換えました。次は成形の手順に進みます。このまま進めてよいですか
- 私(09:20): お願いします

「酸味は控えめにしたいので…」は理由つきの判断、「お願いします」は指示だけです。

測り方 ​

比べたものは 3 つの軸です。2 × 3 × 3 = 18 回で、1 つの組み合わせにつき 1 回です。

軸条件
知見の指示A = いまのまま(v0.141.2 の課題そのまま)/ B = A に 1 節を足した版
AI の抜粋の長さ冒頭 200 字+末尾 300 字 / 末尾 200 字 / 末尾 100 字
会話3 本。本人の発言が 35 件の会話(多)、6 件の会話(中)、1 件の会話(少)

B で足した節の要点は 2 つです。

  1. 本人の行(「私」)から出る点を先に拾う。AI の行は、何への返事かを補うためだけに使う
  2. AI の行だけが根拠の点は AI の見立てであり、本人の発見・判断として書かない。残すなら本文の最初の文で AI が述べたことだと明示し、確かさの段階は「解釈」までにする

やり方。

  • vault の写しを作り、写しの中で、同梱の MCP(v0.141.2)から知見の課題を受け取りました。本物の vault には書いていません。
  • 下書き役は 18 体(1 体が 1 本)です。課題を実行して知見を作らせましたが、提出(保存)はしていません。
  • 判定役は、条件(指示と抜粋の長さ)を伏せて 1 体が知見 60 件の全件を判定しました。根拠が本人の発言か AI の行か、種類は何か、書き方は適切か、どの発言の中身を運んでいるかを見ています。
  • 発言の重さの印は、別の 1 体が素材だけを見て付けました。知見は見せていません。
  • 抜粋の長さごとに「本人の発言の意味が取れるか」を、さらに別の 1 体が判定しました。3 本の会話の発言 42 件を、短い抜粋の素材から順に読み、何への返事かが分かるかを見ています。こちらは抜粋の長さそのものを見る判定なので、条件は伏せていません。
重さの印意味
2理由つきの判断
1理由の無い判断
0指示だけ
  • 下書き役と判定役は、Claude Sonnet を Claude Code の中で動かしたものです。

結果 ​

指示の前後 ​

多の会話と中の会話の 6 回ずつを合算しました。少の会話は、全条件で 0 件です。

項目A いまのままB 足した版
知見の件数2634
根拠が本人の発言だけ18(69%)29(85%)
本人の発言+AI の行の中身85
AI の行だけ00
種類が本人の判断20(77%)27(79%)
種類が作業の記録67
AI の中身を本人のものとして書いた52
AI の中身を AI のものと明示した33
重い発言(印 2)を拾えた16 / 1818 / 18
判断のある発言(印 1 以上)を拾えた24 / 3931 / 39
  • 多の会話だけを抜粋の長さごとに見ても、向きは同じでした(本人の発言だけを根拠にした件数は 5→9・4→7・5→8、判断のある発言を拾えた数は 7→10・7→9・7→9)。
  • 中の会話は、ほぼ差がありませんでした。

抜粋の長さ ​

知見についての行は、多と中の会話の 4 回ずつの合算です。「発言の意味が取れる」の 3 行は、3 本の会話の発言 42 件を素材ごとに判定したもので、実行の回数とは関係しません。字数の行は多の会話の値で、課題全体の字数は指示 A の版です。

項目冒頭 200+末尾 300末尾 200末尾 100
知見の件数231918
根拠が本人の発言だけ171317
本人の発言+AI の行の中身661
AI の中身を本人のものとして書いた151
重い発言を拾えた11 / 1212 / 1211 / 12
判断のある発言を拾えた19 / 2617 / 2619 / 26
発言の意味が取れる(42 件中)393631
文脈が要る発言(29 件)のうち、意味が取れる262318
何への返事か分からない022
素材の字数(多)18,4339,3416,039
素材に占める AI の字の割合(多)93%85%75%
課題全体の字数(多)78,20669,64666,443

発言が 1 件だけの会話 ​

本人の発言が 1 件だけの会話です。作業の短い指示にひとこと添えたもので、重さの印は 1(理由の無い判断)でした。指示の前後・抜粋の長さの 6 通りすべてで 0 件でした。B の節を足しても、この発言から知見を作ることは起きませんでした。会話 1 本の結果です。

決めたこと ​

決めること判断理由
知見の指示B の節を足す(会話の素材のときだけ)。いまのアプリはこうしています本人の発言だけを根拠にした知見が増え(69% → 85%)、判断のある発言の拾いが増え(24/39 → 31/39)、AI の中身を本人のものとして書く件数が減りました(5 → 2)。発言が 1 件だけの会話の 0 件は保たれました
AI の抜粋の長さ冒頭 200 字+末尾 300 字のまま短くしても本人の発言の拾いに差は読み取れません(19 → 17 → 19 / 26)。一方で、発言の意味が取れる件数は落ちます(文脈が要る 29 件のうち 26 → 23 → 18)。費用は課題の固定部分(約 6 万字)が大半で、短くしても多の会話で 15%、中の会話で 3% しか減りません

前の試行と食い違った点 ​

この測定の前に、同じ種類の会話で小さな試行をしていました。次の 3 点が食い違いました。

  • 前の試行では、いちばん重い発言が 1 件も拾われませんでした。今回は、指示を足す前(A)でも 3 回中 3 回拾われました。A で落ちたのは、別のある 1 件の発言で、2 回です。
  • 前の試行では、発言 6 件の会話の知見 4 件がすべて AI の行を根拠にしていました。今回の同じ条件(中・冒頭 200+末尾 300・A)は 2 件で、本人の発言だけが 1 件、本人の発言+AI の行が 1 件でした。AI の行だけが根拠の知見は、全 60 件で 0 件でした。
  • 1 回ごとのばらつきが大きいです。同じ会話・同じ条件の課題から、前の試行では 4 件、今回は 2 件の知見が出ました。前の試行の判定は書き手が自分で読んだもので、今回の判定役とは物差しが違います。

限界 ​

  • 1 つの組み合わせにつき 1 回です。合算の表は、もう片方の軸をまたいで足したものです(指示の比較は、抜粋 3 通り × 会話 2 本の 6 回。抜粋の比較は、指示 2 通り × 会話 2 本の 4 回)。
  • 会話は 3 本です。重い発言があるのは、多の会話の 6 件だけです。
  • 下書き役は Claude Code の中で動かした Claude Sonnet で、アプリの中の AI の設定とは違います。
  • 知見の判定役は 1 体(Claude Sonnet)です。重さの印と、発言の意味が取れるかの判定は、それぞれ別の 1 体が付けました。人の目での確かめはしていません。
  • B は 2 つの文を一緒に足しました。どちらが効いたかは分けていません。
  • 写しの vault には、同じ会話から手で作った知見(57 件)が、既存の知見として入っています。全条件で同じです。既存の知見への書き足しは 1 件も起きませんでした。
  • 末尾 200 字で「AI の中身を本人のものとして書いた」が 5 件に増えたのは、1 回(多・A)の 3 件が効いています。長さの効果とは言えません。

Released under the Apache License 2.0.