過去の会話のことを別の AI に聞く 2026-11-19 測定 · v0.147.1
確かめたこと。 Claude Code との会話を Graphium に取り込んだあと、MCP サーバーでつないだ別の AI が「前にこれをどう決めた?理由は?」に答え、元の会話まで示せるのかを測りました。あわせて、会話の本文を探すだけの場合と比べて、会話からナレッジを作ると答えが良くなるのかも見ました。
ひとことで。
- 探すだけのとき、答えは想定した要点 40 個のうち 35 個(88%)を押さえました。ナレッジを作ったときは 38 個(95%)でした。
- 3 つの条件すべてで、記録から答えられる問いの答えは元の会話の名前を挙げました(14 問中 14 問)。記録に無いことを聞いた 4 問は、すべて「記録に無い」と答えました。
- 探すだけとナレッジありの差は、3 問で 3 個です。どちらも 1 回ずつの結果なので、目安として読んでください(限界)。
- AI は、トピックを開くための道具(
get_topic)を 1 回も使いませんでした。検索の結果にトピックの開き方を添えたところ、14 問中 3 問で使うようになりました。押さえた要点は同じ(40 個中 38 個)でした。記録と食い違う記述は 2 件から 1 件になりましたが、1 回ずつの結果なので差とは言えません。
測ったもの
| 記録 | Graphium の作り方について私が話した会話 10 本、合計約 8.6 万字。ほかの人や組織の話が出る会話は外し、名前は AI が読む前に伏せました |
| AI が読めたもの | この 10 本だけを入れた別の vault。MCP サーバーの読み取りの道具を渡しました。シェルと Web 検索は無効にし、どの回でもほかの道具は使われていません |
| AI | Codex CLI(gpt-6-astra、推論の強さは medium) |
| 問い | 別の役が作った 18 問。1 本の会話で答えられる問いが 9 問、2〜3 本の会話が要る問いが 5 問、記録に答えが無い問いが 4 問 |
| 想定した要点 | 答えられる 14 問で合計 40 個 |
| 採点 | 別の役が、54 件の答えを順番を混ぜ、条件を知らせずに、元の記録と照らして採点しました |
問いの例(パン作りに置き換えた作り話です): 「全粒粉の割合を決めたとき、結局どうして、その理由は何だったっけ?」
条件
| 条件 | vault の中身 | 検索の結果 |
|---|---|---|
| A. 探すだけ | 会話 10 本 | そのまま |
| B. ナレッジあり | 会話 10 本と、そこから作った知見 80 件・トピック 12 件(うち 3 件は複数の会話をまたぐ) | そのまま |
| C. ナレッジあり(直したあと) | B と同じ | トピックの開き方と、会話の本文は search_media で探せることを添える |
結果
| A. 探すだけ | B. ナレッジあり | C. 直したあと | |
|---|---|---|---|
| 押さえた要点 | 35 / 40(88%) | 38 / 40(95%) | 38 / 40(95%) |
| 1 本の会話の問い | 21 / 25 | 23 / 25 | 23 / 25 |
| 会話をまたぐ問い | 14 / 15 | 15 / 15 | 15 / 15 |
| 元の会話の名前を挙げた問い | 14 / 14 | 14 / 14 | 14 / 14 |
| 記録に無いことに「無い」と答えた問い | 4 / 4 | 4 / 4 | 4 / 4 |
| 記録と食い違う記述 | 1 | 2 | 1 |
| AI の案を私の決定として述べた箇所 | 0 | 0 | 0 |
| 1 問あたりの平均時間(3 問ずつ同時に実行) | 36 秒 | 34 秒 | 35 秒 |
| 1 問あたりの平均入力トークン | 126,658 | 122,509 | 123,931 |
AI の読み方:
| A | B | C | |
|---|---|---|---|
get_source_text(会話を読む) | 51 | 39 | 46 |
search_media | 52 | 33 | 37 |
search_notes | 37 | 40 | 35 |
get_note | 0 | 10 | 2 |
get_topic | 0 | 0 | 6 |
| 答えられる問いのうち、ナレッジのページを開いた問い | — | 4 / 14 | 4 / 14 |
回数には、失敗した呼び出しも含みます(get_source_text は A で 4 回、C で 1 回)。A では、このほかに list_folders を 1 回呼びました。
どの条件でも、答えられる 14 問すべてで AI は元の会話を開きました。ナレッジのページは入口が 1 つ増えた形で、会話を読むことの代わりにはなっていません。
決めたこと
- 両方を残します。 会話の本文を探せるだけで、多くの問いに答えられ、元の会話までたどれました。ナレッジ化は、選んだときだけ動くままにします。
- 検索の結果の直しは残します。 トピック 1 件につき 1 行増えるだけで、出典も一緒に返す道具で開かれるようになりました。
限界
- 規模が小さい。 1 つの話題の会話 10 本は、答えやすい条件です。記録がずっと多いときに正しい会話を見つけられるかは、この測定では分かりません。
- 1 回ずつ。 問いごと・条件ごとに 1 回、モデルは 1 種類です。3 個の差は、回ごとのばらつきの範囲かもしれません。
- 問いは同じ会話から作っています。 記録を読んだ役が作ったので、数か月後に実際に聞く問いより答えやすい可能性があります。
- 要点の一部は AI の提案に頼っています。 私が「それで」とだけ答えた場面では、決めた中身を直前の AI の行から取りました。
- 採点は完全には伏せられていません。 答えがナレッジのページに触れていると、条件が分かることがあります。
問いと答えの生データは、私自身の会話に由来するので公開していません。

