検証の記録
Graphium の AI の動き方を変えるとき、何を既定でオンにするかを決めるとき、私はその前に測ります。このセクションは、その測定を残す場所です。何を知りたかったか、どう測ったか、何が出たか、何を決めたかを載せています。
なぜ公開するのか
- 既定の設定に理由があると分かるようにするため。 「既定でオフ」「既定はこのモデル」は選択です。その根拠をここに置きます。
- 私自身が忘れないため。 もう一度見つけられない結果は、次の判断の材料になりません。
- Graphium は、ものの出どころを残すためのアプリだから。 来歴を記録するアプリは、自分の設計の裏付けも示すべきだと考えています。
測り方
| 同じ条件で比べる | 同じ質問や同じ出典を、条件ごとに続けて試す |
| 条件を伏せる | AI が回答を採点するときは A / B として見せ、どの設定の回答かを知らせない |
| 出典と照らす | 回答や文は、それらしさでなく、元のノートや文書と照らして判定する |
| 日付と版 | どのページにも、測った日と版を書く。モデルも Graphium も変わるので、測り直したら新しいページにする |
| 限界を書く | 問の数は少ない（9 件の作業〜60 問）。結果がどれだけ動きうるか、何を試していないかを各ページに書く |
多くは私自身の作業ノートを使っているので、質問と回答そのものは公開していません。各ページには、合計、方法、限界を載せています。
評価の一覧
| 測定日 | 問い | 決めたこと |
|---|---|---|
| 2026-11-05 | 「おまかせで整える」でデスクトップアプリが 11 GB 使ったのはなぜか | 埋め込みエンジンを ONNX Runtime 1.23 に固定し、1 回 8 節ずつ埋め込む |
| 2026-11-05 | 「じっくり調べてから答える」は役に立つか | 既定でオフ。Claude Opus 5 のようなモデルならオンにする価値がある |
| 2026-10-27 | 正しい箇所を見つけるのは、どの埋め込みモデルか | 既定はパソコン上の bge-m3（v0.99.0） |
| 2026-10-20 | 手元の小さなモデルを、既定の AI にできるか | 既定にはしない。代わりに Copilot をボタン 1 つでつなげるようにした（v0.92.2） |
| 2026-09 | 長い資料を窓に分けて読む | 長い資料は、重なりのある窓と全体の見取り図で読む（v0.80.0） |