どの AI 機能に、どの大きさのモデルが要るか 2026-11-07 測定 · v0.124.1
確かめたこと。 Graphium は、AI に頼む仕事を 5 つの割り当て枠（デフォルト・チャット・洞察・世界照合・音声ノートの清書と要約）に分けて、枠ごとに別のモデルを選べるようにしています。けれど、どの枠にどの大きさのモデルが要るのかは、これまで測っていませんでした。設定の説明は、デフォルトモデルを「速くて安いモデルが向いています」としていました。そこで、AI を呼ぶ機能を枠ごとにすべて洗い出し、上位のクラウドのモデルから、このパソコンで動く 10B 級のモデルまで、5 つのモデルで同じ入力を動かして比べました。
ひとことで。 枠によって、要る大きさがはっきり違いました。
- チャット（回答・点検・出典照合・題付け）は、品質ならどの大きさでもほぼ足ります。10B 級でも、回答はそのまま見せられる品質が 10 件中 10 件でした。ただし 10B 級は遅く、題付けや出典照合に数分かかります。
- デフォルトは、ナレッジ化に加えて、論文からの手順の抽出・計画づくり・計画の根拠の照合まで受け持ちます。
gpt-oss-120bは、手順のつながりと計画づくりで崩れました。 - 洞察と音声ノートの清書も、強いモデルが要りました。
- 世界照合は例外で、このパソコンの 30B 級が Claude Opus 5 と同じ点を取りました。
この結果をもとに、この記録と同じ変更で、割り当ての枠を機能ごとから難しさ別の 3 段（デフォルト・標準・精密）に組み直しました。くわしくは末尾の「判断」に書いています。
測り方
| モデル | Claude Opus 5、Copilot の gpt-5.6-luna、gpt-oss-120b（OpenAI 互換の API 経由）、このパソコンの qwen3.6-35b-a3b（30B 級、MoE）と qwen3.5-9b（10B 級）。このパソコンのモデルは LM Studio で、1 モデルずつ、文脈 65,536 トークン・同時 1 本で読み込んだ |
| マシン | Apple M1 Max、64 GB |
| 機能 | 5 つの枠が受け持つ機能を 18 種類（下の表）。入力は私自身の作業ノートとナレッジの写し（ノート 194 本）、公開論文 3 本、会議の文字起こし 3 本など。作業ごとに 1〜16 件、各モデル 1 回ずつ |
| 自動で採点したもの | 誤りを仕込んで拾えたかを数える作業（点検・出典照合・計画の根拠の照合・洞察の重複判定・トピックの統合・世界照合）と、正解のある作業（論文からの手順の抽出・名寄せ）。手順の抽出は 意味で照らす採点 を使った |
| AI が採点したもの | ナレッジ化・トピックの振り分けと改訂・洞察の抽出・翻訳・計画づくり・チャットの回答・清書・要約・題付け。5 つの出力をモデル名を伏せて A〜E として並べ、AI の採点者（Claude Sonnet）が出典と照らして、忠実さ・網羅を 1〜5 で、出典に無いことを断定していないか、そのまま見せてよいかを判定した。失敗（空・時間切れ）も「見せられない」として分母に残した |
設定画面の目安では、Opus 5 と gpt-5.6-luna を「上位のクラウド」、gpt-oss-120b を「オープンな大型」に数えています。
結果
そのまま見せてよい出力の数（AI の採点）と、自動採点の結果です。
| 枠 | 作業 | Opus 5 | gpt-5.6-luna | gpt-oss-120b | 30B 級 | 10B 級 |
|---|---|---|---|---|---|---|
| デフォルト | ナレッジ化 | 5/5 | 5/5 | 4/5 | 3/5 | 2/5 |
| デフォルト | トピックの振り分け・改訂 | 8/8 | 7/8 | 5/8 | 4/8 | 6/8 |
| デフォルト | 論文から手順（つながりの範囲内 F1） | 0.77 | 0.78 | 0.31 | 0.56 | 0.45 |
| デフォルト | 名寄せ（寄せるべき 25 組のうち寄せた数） | 19 | 10 | 13 | 10 ¹ | 11 |
| デフォルト | 翻訳 | 3/4 | 4/4 | 3/4 | 3/4 | 1/4 |
| デフォルト | 回答から計画を作る | 2/2 | 2/2 | 0/2 | 0/2 | 0/2 |
| デフォルト | 計画の根拠の照合（仕込んだ誤り） | 6/6 | 6/6 | 5/6 | 6/6 | 3/6 ² |
| チャット | 回答 | 10/10 | 10/10 | 10/10 | 8/10 | 10/10 |
| チャット | 点検・出典照合（仕込んだ誤り） | 12/12 | 11/12 | 11/12 | 12/12 | 10/12 |
| チャット | トピックの統合（仕込んだ重複） | 4/4 | 4/4 | 4/4 | 4/4 | 4/4 |
| チャット | ノートの題付け | 6/6 | 6/6 | 6/6 | 6/6 | 6/6 |
| 洞察 | 知見の抽出 | 4/4 | 4/4 | 0/4 | 2/4 | 0/4 ³ |
| 洞察 | 重複の判定（12 組） | 12/12 | 12/12 | 11/12 | 12/12 | 12/12 |
| 世界照合 | 一般知識の主張 16 件の正答 | 15 | 8 | 9 | 15 | 13 |
| 音声 | 清書 | 2/3 | 3/3 | 0/3 | 0/3 | 0/3 |
| 音声 | 要約 | 2/3 | 3/3 | 1/3 | 1/3 | 2/3 |
- 30B 級は、正解に無い寄せを 68 件出しました（寄せてはいけない 8 組のうち 1 組を寄せた）。正解に無い寄せは減点していませんが、妥当かは確かめていません。同じ「10」でも
gpt-5.6-lunaとは中身が違います。 - 6 件のうち 1 件は、15 分で終わらず打ち切りました。
- 4 件とも 15 分で終わらず打ち切りました。品質ではなく時間の問題です。
時間。 ナレッジ化 1 件の中央値は、Opus 5 が 74 秒、gpt-5.6-luna が 21 秒、gpt-oss-120b が 15 秒、30B 級が 104 秒、10B 級が 205 秒でした（成功した呼び出しだけの中央値。10B 級は空の出力 1 件と打ち切り 1 件を除いた 3 件）。10B 級は 30B 級と比べて、作業によって 1〜56 倍かかりました（チャットの回答はほぼ同じ、題付けと名寄せは約 50 倍）。測定側で 15 分の上限を置いており、10B 級では 8 件がそこで打ち切りになりました。
分かったこと
- デフォルトの枠は、受け持つ範囲が広く、質の要る仕事を含みます。 名前は「デフォルト」ですが、論文からの手順の抽出、名寄せ、回答からの計画づくり、計画の根拠の照合を受け持っています。
gpt-oss-120bは、ナレッジ化と翻訳では十分でしたが、手順の抽出では 1 本の論文で操作を 33 個に増やし、つながりの範囲内 F1 が 0.31 まで落ちました。回答から計画を作る仕事は 2 件とも、そのまま見せられる品質になりませんでした。 - チャットの枠は、品質なら小さなモデルでも足ります。 ノートを開いて質問する回答は、10B 級でも 10 件中 10 件がそのまま見せられる品質で、ノートに答えが無い問（5 件）でも作り話をしませんでした。30B 級の 8/10 は、数値の誤り 1 件と、ノートにあることを「無い」と答えた 1 件です。点検と出典照合も、仕込んだ誤りの 8〜10 割を拾いました。ただし 10B 級は、題付けに約 3 分、出典照合に約 4 分かかりました。
- それなのに、洞察・世界照合・清書と要約は、空欄だとチャットのモデルを使っていました。 チャットを小さなモデルにすると、知見の抽出（10B 級は 4 件とも時間切れ）と清書（0/3）まで一緒に崩れます。そこで、空欄のときの行き先をデフォルトに変えました。
- 清書は、強いモデルでないと発言を変えてしまいます。
gpt-oss-120bと 30B 級は、聞き違いを別の語に置き換えたり、言っていないことを足したりしました（30B 級は 1 件が出力の上限で切れた）。10B 級は、2 件でほとんど何も直さず、1 件は 15 分で終わりませんでした。Opus 5 でも、いちばん長い会議（213 発言）の清書は出力の上限で切れました。gpt-5.6-lunaは 3 件ともそのまま見せられる品質でしたが、推測での訂正や、ためらいの言い回しが言い切りに変わった箇所がありました。 - 世界照合は、このパソコンの 30B 級で足ります。 30B 級は 16 件中 15 件を正しく判定し、Opus 5 と同じでした。
gpt-5.6-lunaとgpt-oss-120bは、16 件中 7 件を「判定できない」にしました。誤った主張を正しいとした例は、どのモデルにもありませんでした。 - 大きさだけでは決まりません。 同じクラウドでも、
gpt-5.6-lunaは多くの作業で Opus 5 と並び、gpt-oss-120bは手順と計画で崩れました。設定画面の目安は大きさの区分で出していますが、区分の中でも差があります。
測定で見つかった問題と、その後に確かめたこと
測定の道具はアプリの画面を通さず、サーバーの窓口を直接呼んでいました。そのため、測定中に「問題」に見えたもののうち、アプリの中ではすでに手当てされていたものがあります。コードと照らして確かめた結果です。
- このパソコンのモデルの失敗が、そのままの英文で返っていました。 モデルの入れ替えの競合や読み込みの失敗が、「Bad Request」「Internal Server Error」とだけ出て、原因が分かりませんでした。→ 直しました（別の変更。LM Studio でモデルが読み込まれているか、ほかのアプリが別のモデルを読み込ませていないかを確かめるよう案内します）。
- LM Studio を既定の設定で読み込んだままだと、標準や精密の段の仕事は動きません。 10B 級は文脈 8,192 トークン・同時 4 本（1 本あたり約 2,000 トークン）で読み込まれていて、短い入力でも文脈が足りずに落ちました。トピックの振り分けは既存のトピックを全件（この測定では 414 件、約 4 万トークン）渡します。→ アプリは、文脈が足りないときに「コンテキスト長を上げ、同時に処理する数を 1 にして読み込み直す」よう案内します。その設定（65,536 トークン・同時 1 本）では、30B 級も 10B 級も振り分けを最後まで終えました。
- 失敗が「何も見つからなかった」に見えるのでは、と疑いました。 サーバーは失敗しても 200 で空の結果を返すことがあります。→ アプリの側では、洞察の抽出・点検・出典照合とも、添えられたエラーを見て失敗として表示していました。洞察の重複判定だけは、失敗を「別物」として扱います。誤って統合しないための、意図した作りです。
- 長い会議の清書が、Opus 5 でも出力の上限で切れました。 → 測定の道具が 213 発言を 1 回で送ったためです。アプリは長い会議を 5,000 字・120 発言ずつに分けて送り、切れた塊は 1 回やり直し、それでも切れたら元の発言のまま残します。
- 遅いモデルで 5 分で切れるのでは、と疑いました。 → アプリのサーバーから AI への呼び出しは、応答を最長 30 分待つ作りでした。5 分で切れたのは測定の道具の側だけです。
限界
- 作業ごとの件数は少なく（1〜16 件）、各モデル 1 回ずつです。1 件の違いで順位が入れ替わる作業がたくさんあります。
- 2 回に分けて測りました。 最初の回は、4 つの作業群が同じ LM Studio を同時に使ったため、このパソコンのモデルの多くが失敗しました。そこで、このパソコンの 2 つのモデルだけを、1 モデルずつ読み込み直して測り直しました。表の自動採点と時間は、クラウドの 3 モデルが最初の回、このパソコンの 2 モデルが測り直した回の値です（入力は同じで、クラウドのモデルは測り直していません）。AI の採点は、測り直したあとに全部の出力を並べ直して、すべて採点し直しました。
- AI の採点者への指示は、最初の回の採点を見たあとに 1 点直しました。 出典から導いた一般化や解釈を、推論だと分かる書き方なら作り話に数えない、という方向です（最初の回では、Opus 5 のナレッジ化 5 件のうち 4 件がこの理由で作り話とされていました）。
- 採点者に伏せきれていない部分があります。 失敗した出力は「失敗」と表示されるので、どのモデルかを推測できます。AI の採点者（Claude Sonnet）は、測った Claude Opus 5 と同じ系列で、手順の抽出の意味の照合も Claude Opus 5 が判定しています。Claude の出力に甘い可能性があります。
- 仕込みが易しい作業があります。 点検の仕込みは元のページを写して書き換えたもので、元のページと並ぶ分、見つけやすくなっています。重複の判定の「同じ」6 組は私が言い換えて作った易しい例です。トピックの統合は 5 モデルとも満点で、差が付かない難しさでした（力が同じという意味ではありません）。
- 誤警報は確かめていません。 計画の根拠の照合で、誤りを仕込んでいない計画で挙がった項目（Opus 5 が 5、
gpt-5.6-lunaが 7、gpt-oss-120bが 13、30B 級が 10）が本物かは監査していません。点検では 30B 級が対照 2 ページのうち 1 ページに、出典照合では 10B 級が対照 3 か所のうち 1 か所に、誤警報を出しました。 - 名寄せの正解は、前回の抽出（Claude を含む）の寄せから作りました。 Opus 5 に有利かもしれません。
- 世界照合の主張は、パン作り・料理・材料科学の一般知識 16 件です。 アプリと同じく Wikipedia と OpenAlex の検索結果も使って判定するので、検索の時点で結果が変わりえます。中位の 2 つで「判定できない」が多かった理由が、モデルの性質か検索との相性かは切り分けていません。
- 15 分の打ち切りは測定の側の上限で、アプリの上限ではありません。
- このパソコンのモデルは、M1 Max（64 GB）での値です。メモリの少ないパソコンでは、30B 級は動かないか、もっと遅くなります。
- 入力の多くは私自身の材料研究のノートです。ほかの分野では結果が変わるかもしれません。
- 「じっくり調べてから答える」は、この測定には入れていません（別の測定を見てください）。
判断
- 枠を、機能ごとから難しさ別の 3 段に組み直しました。デフォルトは軽い処理（チャット・点検・出典照合・トピックの統合・題付け・世界照合）、標準はナレッジ化・翻訳・トピックの振り分けと改訂・種類付与、精密は手順の抽出と名寄せ・計画とその根拠の確認・洞察の発見・音声ノートの清書と要約です。ほかの段を空欄にすると、精密は標準、標準はデフォルトのモデルを使います。
- 機能ごとに変えられるのはチャットだけです（機能ごとに変える。空欄ならデフォルト）。世界照合は、このパソコンの 30B 級が上位と同点だったので軽い処理に置き、いつもデフォルトのモデルで動きます。音声ノートの清書と要約は、別に決めていなければ精密な処理のモデルを使います。洞察モデルは無くなり、精密な処理のモデルに吸収しました。
- 説明も直しました。デフォルトは「軽い処理。速いモデルやこのパソコンのモデルでも足ります」、精密は「強いモデルが向きます」です。測定で、チャットや世界照合は小さなモデルでも足り、手順の抽出・計画・洞察・清書は強いモデルが要るとわかったためです。
- 既存の設定は、1 回だけ移し替えます。旧チャットモデルは新しいデフォルトに、旧デフォルトは（チャットと違っていれば）標準に、旧洞察モデルは精密に入ります。チャット・点検・出典照合と、旧デフォルトが受け持っていたナレッジ化・翻訳は、移し替えの前後で同じモデルを使い続けます。洞察モデルを決めていた人は、手順の抽出と計画もそのモデルで動くようになります。世界照合のモデルを別に決めていた人は、世界照合がデフォルトのモデルに変わります。音声ノートの清書と要約は、移し替えで使うモデルが変わる人だけ、元のモデルを清書と要約の欄に入れて保ちます。
- 設定の各段の下に、モデルの目安（上位のクラウド・オープンな大型・このパソコン 30B 級・10B 級）を、向く／条件つき／向かないで出すようにしました。
- 測定で見つかった問題のうち、本当に直す必要があったのは、このパソコンのモデルのエラー文だけでした（別の変更で直しました）。