Skip to content

過去の会話のことを別の AI に聞く 2026-11-19 測定 · v0.147.1 ​

確かめたこと。 Claude Code との会話を Graphium に取り込んだあと、MCP サーバーでつないだ別の AI が「前にこれをどう決めた?理由は?」に答え、元の会話まで示せるのかを測りました。あわせて、会話の本文を探すだけの場合と比べて、会話からナレッジを作ると答えが良くなるのかも見ました。

ひとことで。

  • 探すだけのとき、答えは想定した要点 40 個のうち 35 個(88%)を押さえました。ナレッジを作ったときは 38 個(95%)でした。
  • 3 つの条件すべてで、記録から答えられる問いの答えは元の会話の名前を挙げました(14 問中 14 問)。記録に無いことを聞いた 4 問は、すべて「記録に無い」と答えました。
  • 探すだけとナレッジありの差は、3 問で 3 個です。どちらも 1 回ずつの結果なので、目安として読んでください(限界)。
  • AI は、トピックを開くための道具(get_topic)を 1 回も使いませんでした。検索の結果にトピックの開き方を添えたところ、14 問中 3 問で使うようになりました。押さえた要点は同じ(40 個中 38 個)でした。記録と食い違う記述は 2 件から 1 件になりましたが、1 回ずつの結果なので差とは言えません。

測ったもの ​

記録Graphium の作り方について私が話した会話 10 本、合計約 8.6 万字。ほかの人や組織の話が出る会話は外し、名前は AI が読む前に伏せました
AI が読めたものこの 10 本だけを入れた別の vault。MCP サーバーの読み取りの道具を渡しました。シェルと Web 検索は無効にし、どの回でもほかの道具は使われていません
AICodex CLI(gpt-6-astra、推論の強さは medium)
問い別の役が作った 18 問。1 本の会話で答えられる問いが 9 問、2〜3 本の会話が要る問いが 5 問、記録に答えが無い問いが 4 問
想定した要点答えられる 14 問で合計 40 個
採点別の役が、54 件の答えを順番を混ぜ、条件を知らせずに、元の記録と照らして採点しました

問いの例(パン作りに置き換えた作り話です): 「全粒粉の割合を決めたとき、結局どうして、その理由は何だったっけ?」

条件 ​

条件vault の中身検索の結果
A. 探すだけ会話 10 本そのまま
B. ナレッジあり会話 10 本と、そこから作った知見 80 件・トピック 12 件(うち 3 件は複数の会話をまたぐ)そのまま
C. ナレッジあり(直したあと)B と同じトピックの開き方と、会話の本文は search_media で探せることを添える

結果 ​

A. 探すだけB. ナレッジありC. 直したあと
押さえた要点35 / 40(88%)38 / 40(95%)38 / 40(95%)
1 本の会話の問い21 / 2523 / 2523 / 25
会話をまたぐ問い14 / 1515 / 1515 / 15
元の会話の名前を挙げた問い14 / 1414 / 1414 / 14
記録に無いことに「無い」と答えた問い4 / 44 / 44 / 4
記録と食い違う記述121
AI の案を私の決定として述べた箇所000
1 問あたりの平均時間(3 問ずつ同時に実行)36 秒34 秒35 秒
1 問あたりの平均入力トークン126,658122,509123,931

AI の読み方:

ABC
get_source_text(会話を読む)513946
search_media523337
search_notes374035
get_note0102
get_topic006
答えられる問いのうち、ナレッジのページを開いた問い—4 / 144 / 14

回数には、失敗した呼び出しも含みます(get_source_text は A で 4 回、C で 1 回)。A では、このほかに list_folders を 1 回呼びました。

どの条件でも、答えられる 14 問すべてで AI は元の会話を開きました。ナレッジのページは入口が 1 つ増えた形で、会話を読むことの代わりにはなっていません。

決めたこと ​

  • 両方を残します。 会話の本文を探せるだけで、多くの問いに答えられ、元の会話までたどれました。ナレッジ化は、選んだときだけ動くままにします。
  • 検索の結果の直しは残します。 トピック 1 件につき 1 行増えるだけで、出典も一緒に返す道具で開かれるようになりました。

限界 ​

  • 規模が小さい。 1 つの話題の会話 10 本は、答えやすい条件です。記録がずっと多いときに正しい会話を見つけられるかは、この測定では分かりません。
  • 1 回ずつ。 問いごと・条件ごとに 1 回、モデルは 1 種類です。3 個の差は、回ごとのばらつきの範囲かもしれません。
  • 問いは同じ会話から作っています。 記録を読んだ役が作ったので、数か月後に実際に聞く問いより答えやすい可能性があります。
  • 要点の一部は AI の提案に頼っています。 私が「それで」とだけ答えた場面では、決めた中身を直前の AI の行から取りました。
  • 採点は完全には伏せられていません。 答えがナレッジのページに触れていると、条件が分かることがあります。

問いと答えの生データは、私自身の会話に由来するので公開していません。

Released under the Apache License 2.0.