手元の小さなモデルを、既定の AI にできるか 2026-10-20 測定 · v0.90
確かめたこと。 AI を使ったことがない人にとって、AI の設定はいちばん難しい一歩です。パソコン上で動く小さなモデルが既定なら、アカウントもキーもなしに、最初の起動から AI が動きます。4B〜8B のモデルは、会議の要約や、ノートのナレッジ化に足りるのでしょうか。
ひとことで。 まだ足りません。小さなモデルの出力 9 件のうち、そのまま見せてよい品質だったのは 1〜2 件だけで、主な失敗は、出典に無い数値のでっち上げでした。Graphium は、AI がいつでも出典をたどれることを約束しています。そのため、手元のモデルを既定にはしませんでした。代わりに、v0.92.2 で GitHub Copilot のアカウントをボタン 1 つでつなげるようにし、このパソコンで動かす は使いたい人のために残しています。
測り方
| マシン | Apple M1 Max、64 GB（ベースの M1〜M3 の 3〜4 倍ほど速い） |
| モデル | このパソコン上で Ollama 経由: gemma3:4b、qwen3:4b、qwen3:8b。比較用に API 経由の gpt-oss-120b |
| 作業 | 9 件。会議の文字起こしの要約（3）、ノートのナレッジ化（4）、新しいトピックの作成（2）。入力は私自身の文字起こしとノート |
| 採点 | 各作業の 4 つの出力を、モデル名を伏せ、順番をランダムにして A〜D として見せた。AI の採点者が、忠実さ・網羅・役立ちを 1〜5 で評価し、そのままプロダクトに出してよいかも答えた |
結果
そのまま見せてよい品質だった出力:
| モデル | 会議の要約 | ナレッジ | トピック | 合計 | 時間・中央値（要約・ナレッジ・トピック） |
|---|---|---|---|---|---|
| gpt-oss-120b（API） | 3 / 3 | 4 / 4 | 2 / 2 | 9 / 9 | 7 秒・13 秒・7 秒 |
| gemma3:4b | 0 / 3 | 0 / 4 | 1 / 2 | 1 / 9 | 36 秒・51 秒・20 秒 |
| qwen3:4b | 0 / 3 | 1 / 4 | 1 / 2 | 2 / 9 | 248 秒・141 秒・244 秒 |
| qwen3:8b | 1 / 3 | 0 / 4 | 1 / 2 | 2 / 9 | 171 秒・219 秒・123 秒 |
ノートをナレッジにしたときの忠実さ（1〜5、平均）: gpt-oss-120b 4.2、gemma3:4b 3.0、qwen3:4b 2.8、qwen3:8b 1.8。
分かったこと
- 失敗は、核になる約束を壊すものでした。 小さなモデルは、ノートに無い数値をナレッジに書き込みました（たとえば、手順しか書かれていないノートに対して）。また、残す内容が少なすぎたり（ノート全体から知見が 1 件だけ）、音声認識の断片を決定事項として扱ったりしました。
- 遅くもありました。 速いマシンでも、考えるタイプのモデルは 1 作業に 2〜4 分かかりました。
- 新しい人に必要なのは、手元のモデルでなく、手順の少なさです。 そこで、代わりに Copilot をボタン 1 つでつなげるようにしました。
限界
- 作業とモデルごとに 1 回ずつ、合計 9 件です。
- 入力は私自身のもので、材料の研究に偏っています。
- AI の採点者の点数は相対的です。 2 回目では、同じ
gpt-oss-120bの出力をより強いモデルの隣で採点し直したところ、9 / 9 から 2 / 9 に下がりました。比べるのは同じ回の中のモデルどうしだけにして、回をまたいだ合計は比べないでください。