公開されているモデルだけで、どの AI 機能まで賄えるか 2026-11-12 測定 · v0.129
確かめたこと。 前回の測定では、作業ごとに 1〜16 件を 1 回ずつ流しました。そのため、1 件の違いで順位が入れ替わりました。公開されているモデルのうち、API 経由で測ったのは 1 つ(gpt-oss-120b)だけでした。
そこで今回は、件数と回数を増やし、採点の手順を先に決めました。そのうえで、公開されているモデル 9 つを同じ 18 作業で測り直しました。知りたかったのは、上位のクラウドのモデルを使わずに、どの機能まで賄えるかです。
ひとことで。 作業ごとにモデルを選べば、18 作業のうち 13 作業で、いちばん良いモデルの点が基準点(gpt-5.6-luna)の 9 割以上でした。基準点とは、比べるものさしにした gpt-5.6-luna の点のことです。
- その 13 作業は、チャットの回答・出典照合・トピックの統合・点検・題付け・世界照合・トピックの振り分け・翻訳・論文からの手順・名寄せ・計画の根拠の照合・重複の判定・要約です。どれも基準点が .70 以上の作業です。
- 残りの 5 作業は、基準点も .60 以下でした。 トピックの改訂と清書は、いちばん良いモデルが基準点の 9 割弱です。回答からの計画の下書きと知見の一般化は、半分以下でした。ナレッジ化は、基準点も含めてどのモデルも .25 以下で、比べられませんでした。
- 同じ大きさでも、モデルによって差が大きく出ました。 30B 級の 3 つのうち、1 つは多くの作業で上位でした。別の 1 つは、名寄せで、寄せてはいけない組の 9 割を寄せました。
- 4B 級以下の 2 つは、ほぼ全作業で足りませんでした。 もう 1 つ(
llm-jp-3.1-8x13b-instruct4)は、決まった形の応答を返せないことが多く、採点できる出力がほとんどありませんでした。
「9 割以上」は平均どうしの比べ方で、差が無いという証明ではありません(下の「限界」を見てください)。
この結果を受けて、設定の「モデルの目安」を 1 か所だけ直しました。高度な処理の段で、オープンな大型を「向かない」から「条件つき」にしています。
測り方
| 測った版 | v0.129.11 の 1 つ後の main。アプリの画面を通さず、サーバーの窓口を直接呼んだ |
| 基準点 | Copilot の gpt-5.6-luna(1 回だけ) |
| 公開されているモデル | gpt-oss-120b、Weblab-MedLLM-gpt-oss-120b、Kimi-K2.7-Code、Qwen3.6-35B-A3B、gemma-4-31B-it、Qwen3-VL-30B-A3B-Instruct、llm-jp-3.1-8x13b-instruct4、Phi-4-mini-instruct-cpu、Qwen3-0.6B-cpu。どれも OpenAI 互換の API 経由で、各 3 回 |
| 入力 | 架空の題材(家庭のカレー作りとパン作りの記録)。翻訳と論文からの手順は英語から日本語。実際のノートは使っていない |
| 件数 | 作業ごとに 6〜60 件(下の表)。呼び出しは基準点が 251 回、ほかは 1 モデル 753 回 |
| 時間切れ | 1 回の呼び出しは 10 分で打ち切り、失敗として数えた |
| 測定側の失敗 | 接続の失敗と回数制限は、モデルの失敗に数えず、流し直した。流し直したあと、未測定は 0 件 |
採点の方法。 作業によって、自動で採点するものと、AI に採点させるものがあります。
自動で採点したのは、正解のある 8 作業です。誤りを仕込んで拾えたかを数える作業と、寄せるべき組が決まっている作業が含まれます。清書も、仕込んだ聞き違いを直せたかを自動で数えています。
残りの生成の作業は、AI の採点者 2 系統が別々に採点しました。対象は、チャットの回答・題付け・翻訳・ナレッジ化・トピックの改訂・知見の一般化・計画の下書き・要約・論文からの手順です。2 系統は、Claude Sonnet と、Copilot の GPT 系のモデル 1 つです(どちらも測る対象にしていません)。採点者には、どのモデルの出力かを伏せています。
- 要約と論文からの手順を除く 7 作業では、作業ごとに 3〜5 個の基準を決め、基準ごとに合格か不合格かを付けます。全部の基準に合格した出力だけを、「全基準に合格」に数えます(このページの初版では「そのまま見せてよい」と呼んでいました)。
- 2 系統の判定が割れる出力があるので、合格率は幅で出します。下限は 2 系統とも合格した率、上限はどちらかが合格した率です。
- 要約と論文からの手順では、採点者が出力を正解と 1 つずつ照らし合わせ、そこから再現率と F1 を計算します。論文からの手順の F1 は、Claude 系統の値を載せています(GPT 系統との差は .01 以内でした)。
- 採点したのは、1 回目の全件と、2・3 回目の先頭 5 件ずつです。全部で 1,883 件でした。
人との照合。 採点者の判定が正しいかを確かめるために、私が 30 件(139 個の判定)を付けました。このとき、採点者の判定は見ていません。30 件は、先に測った 3 つのモデル(gpt-5.6-luna・gpt-oss-120b・Qwen3.6-35B-A3B)の出力から選んでいます。あとから測った 7 つのモデルの採点は、人が確かめていません。
| Claude 系統 | GPT 系統 | |
|---|---|---|
| 基準ごとの判定の一致(139 個・何も見ずに) | 79.1% | 77.0% |
| 「全基準に合格」の一致(30 件・何も見ずに) | 30 件中 18 件 | 30 件中 17 件 |
| 基準ごとの判定の一致(採点者の理由を読んで付け直したあと) | 92.7% | 90.5% |
| 「全基準に合格」の一致(付け直したあと) | 30 件中 25 件 | 30 件中 22 件 |
- 偶然の一致を差し引いた指標(κ)は、何も見ずに付けた判定で 0.23 と 0.30 でした。合格の多い基準が多いので、一致率の割に低く出ています。
- 2 系統がそろって私と食い違った判定が 21 個ありました。これを、採点者の理由を読みながら付け直しました。17 個は採点者が正しく、そのうち 13 個は私の見落としでした。残りの 4 個は、2 個が採点者の見落とし、2 個が基準のあいまいさによるものでした。付け直したあとの一致率は、あいまいだった 2 個を除いた値です。
- 付け直しは、採点者の理由を見たあとの判定なので、独立した判定ではありません。主の数字は、何も見ずに付けた判定のほうです。
- 2 系統がそろった判定は、あいまいだった 2 個を除く 118 個です。そのうち 116 個で、付け直したあとの私の判定と合いました。2 系統が割れた 19 個では、私の判定は Claude 側に 11 個、GPT 側に 8 個合い、どちらが正しいとも言えませんでした。合格率を幅で読むことにしたのは、このためです。
結果
指標の読み方。 どの値も 0〜1 の割合で、ほとんどは大きいほど良い指標です。↓ の付いた行だけ、小さいほど良い指標です。「会議に無い項目の数」だけは割合でなく、会議 1 件あたりの個数です。指標の名前は、作業名の後ろに書いてあります(全基準に合格・検出率・再現率・正答率・F1・訂正率など)。
全モデルで低い行について。 ナレッジ化の「全基準に合格」は、基準点を含めてどのモデルも .25 以下です。知見の一般化も、基準点(.30〜.50)を除いて .15 以下です。これは、その作業ができないという意味ではありません。1 回の出力に主張が 10〜20 個入り、1 つでも基準に外れると出力全体が不合格になるため、差が見えなくなっていました。基準のうちいくつに合格したかで数え直した値は、次の測定に載せています(上位のクラウドのナレッジ化は .71〜.86)。
AI が採点した作業は「下限〜上限」で示しています。行の色は、その作業が動く段を表します(軽い 標準 高度)。
列の名前は短くしてあります。oss = gpt-oss-120b、Weblab = Weblab-MedLLM-gpt-oss-120b、Kimi = Kimi-K2.7-Code、Q3.6 = Qwen3.6-35B-A3B、gemma = gemma-4-31B-it、QVL = Qwen3-VL-30B-A3B-Instruct、llm-jp = llm-jp-3.1-8x13b-instruct4、Phi = Phi-4-mini-instruct-cpu、Q0.6 = Qwen3-0.6B-cpu。
| 段 | 作業(件数)と指標 | luna | oss | Weblab | Kimi | Q3.6 | gemma | QVL | llm-jp | Phi | Q0.6 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 軽い | 回答(30)全基準に合格 | .97〜1.00 | .84〜.91 | .83〜.90 | .93〜.98 | .87〜.97 | .97〜1.00 | .83〜.90 | .52〜.61 | .40〜.41 | .24〜.28 |
| 軽い | 出典照合(24)検出率 | .96 | .97 | .86 | .96 | .99 | .97 | .76 | .00 | .22 | .03 |
| 軽い | トピックの統合(24)再現率 | 1.00 | .82 | .81 | .97 | .85 | 1.00 | .71 | .00 | .18 | .24 |
| 軽い | 点検(24)検出率 | .75 | .58 | .56 | .63 | .74 | .88 | .42 | .00 | .00 | .08 |
| 軽い | 題付け(20)全基準に合格 | 1.00 | .90〜.92 | .80〜.85 | 1.00 | .83〜.93 | .85〜1.00 | .73〜.75 | .00 | .12〜.15 | .35〜.43 |
| 軽い | 世界照合(20)検出率 | .70 | .68 | .67 | .75 | .65 | .75 | .62 | .00 | .07 | .00 |
| 標準 | ナレッジ化(20)全基準に合格 | .10〜.20 | .05〜.22 | .07〜.18 | .05〜.18 | .00 | .05〜.23 | .17〜.25 | .00 | .00 | .00〜.12 |
| 標準 | 翻訳(12)全基準に合格 | .83〜.92 | .25〜.58 | .19〜.25 | .78〜.89 | .31〜.39 | .58 | .08〜.28 | .00 | .00 | .00 |
| 標準 | トピックの振り分け(20)合格率 | .90 | .87 | .92 | .97 | .83 | .95 | .25 | .00 | .18 | .13 |
| 標準 | トピックの改訂(20)全基準に合格 | .50〜.65 | .38〜.50 | .30〜.45 | .43〜.58 | .37〜.43 | .40 | .33〜.37 | .00 | .00 | .00 |
| 高度 | 論文から手順(7)工程の F1 | .89 | .87 | .84 | .76 | .79 | .88 | .88 | .00 | .00 | .00 |
| 高度 | 論文から手順(7)属性値の F1 | .53 | .40 | .54 | .62 | .53 | .57 | .45 | .00 | .00 | .00 |
| 高度 | 名寄せ(30)再現率 | .93 | .82 | .79 | .96 | .98 | .80 | .93 | .00 | .09 | .53 |
| 高度 | 名寄せ(30)誤った寄せの率 ↓ | .00 | .00 | .00 | .00 | .01 | .09 | .91 | .00 ¹ | .08 | .32 |
| 高度 | 計画の根拠の照合(24)検出率 | .88 | .71 | .75 | .90 | .75 | .83 | .32 | .00 | .00 | .01 |
| 高度 | 回答から計画を作る(10)全基準に合格 | .50 | .00 | .10 | .03 | .00 | .07〜.27 | .00 | .00 | .00 | .00〜.03 |
| 高度 | 知見の一般化(20)全基準に合格 | .30〜.50 | .10 | .05 | .00〜.05 | .00〜.07 | .05〜.15 | .00 | .00 | .00 | .10 ² |
| 高度 | 重複の判定(36)正答率 | 1.00 | .98 | .98 | 1.00 | 1.00 | 1.00 | .89 | .00 | .62 | .33 |
| 高度 | 清書(60 か所)訂正率 | .60 | .27 | .18 | .36 | .39 | .52 | .17 | .00 | .00 | .00 |
| 高度 | 清書 発言の中身を変えた率 ↓ | .12 | .04 | .04 | .07 | .13 | .18 | .03 | - ³ | .81 | .47 |
| 高度 | 要約(6)決定事項の再現率 | .75 | .71 | .55 | .87 | .69 | .73 | .65 | .00 | .08 | .00 |
| 高度 | 要約 会議に無い項目の数 ↓ | 0.2 | 1.6〜2.0 | 1.3〜1.9 | 0.8〜1.1 | 1.1〜1.6 | 0.3〜0.6 | 2.4〜3.8 | - ³ | 5.8〜6.0 | 1.8〜2.3 |
↓ は、低いほど良い指標です。「誤った寄せの率」は、寄せてはいけない 30 組のうち、寄せた組の割合です。「会議に無い項目の数」は会議 1 件あたりの数で、2 系統の採点者それぞれの値を並べています。
llm-jp-3.1-8x13b-instruct4は、形の合う応答をほとんど返さなかったので、寄せ自体がありません。- 一般化できる内容が無い入力では、空の出力が正解です。
Qwen3-0.6B-cpuの .10 は、その空の出力が正解に当たった分です。 - 採点できる出力が 1 つもありませんでした。
失敗した呼び出し。 次の表は、753 回の呼び出しのうち、失敗した回数を原因別に数えたものです。「窓に入らない」は、入力が、モデルが一度に読める長さ(窓)に収まらなかった場合です。
| モデル | 形式 | 窓に入らない | 応答を読めない | 時間切れ |
|---|---|---|---|---|
gemma-4-31B-it | 2 | 0 | 0 | 0 |
Qwen3.6-35B-A3B | 9 | 0 | 0 | 1 |
gpt-oss-120b | 11 | 0 | 0 | 0 |
Weblab-MedLLM-gpt-oss-120b | 11 | 5 | 0 | 0 |
Qwen3-VL-30B-A3B-Instruct | 4 | 0 | 5 | 1 |
Kimi-K2.7-Code | 0 | 0 | 0 | 19 |
Qwen3-0.6B-cpu | 41 | 0 | 11 | 6 |
Phi-4-mini-instruct-cpu | 78 | 221 | 0 | 10 |
llm-jp-3.1-8x13b-instruct4 | 399 | 30 | 57 | 3 |
基準点の gpt-5.6-luna は、251 回で失敗が 0 回でした。
分かったこと
以下で「30B 級以上の 6 つ」は、oss・Weblab・Kimi・Q3.6・gemma・QVL のことです。「95% 区間が重なる」は、基準点と差があるとは言えない、という意味です。
- 軽い処理は、作業とモデルによって結果が違いました。 回答・出典照合・世界照合では、30B 級以上の 6 つすべてが、基準点と 95% 区間が重なりました。トピックの統合・題付け・点検は、モデルで分かれます。6 作業すべてで区間が重なったのは、
gemma-4-31B-itとKimi-K2.7-Codeの 2 つです。Qwen3-VL-30B-A3B-Instructは 3 作業で重なりました。点検では、gemma-4-31B-itが .88 で、基準点の .75 より上でした(区間は重なります)。 - 照らし合わせる仕事は、高度な処理でも足りました。 論文からの手順・名寄せ・計画の根拠の照合・重複の判定では、30B 級以上の 6 つのうち 5 つが、基準点と区間が重なりました。前回は
gpt-oss-120bが手順のつながりで崩れましたが、今回の工程の F1 は .87 でした。ただし、採点の指標と入力が違うので、前回から良くなったとは言えません。 - ゼロから書く仕事は、点が大きく離れました。 回答からの計画の下書きは、基準点が .50 で、30B 級以上の 6 つは .00〜.27 です。知見の一般化は、基準点の .30〜.50 に対して .00〜.15 でした。ただし、件数が 10 件と 20 件で、基準点は 1 回だけなので、区間が重なるモデルもあります(計画の下書きは 1 つ、知見の一般化は 3 つ)。
- ナレッジ化は、基準点でも .10〜.20 でした。 今回は、5 個の基準すべてに合格して初めて「全基準に合格」に数えます。前回の「5 件中 4 件」とは、物差しが違います。どのモデルも足りないのか、基準が厳しすぎるのかは、この測定では分けられません。
- 翻訳は、モデルによって大きく分かれました。
Kimi-K2.7-Codeは .78〜.89 で、基準点(.83〜.92)に近い値でした。gemma-4-31B-itは .58 で、30B 級以上の残り 4 つは .08〜.58 でした。 - 清書は、基準点でも 60 か所のうち 6 割しか直せませんでした。 30B 級以上の 6 つは .17〜.52 です。発言の中身を変えた率は .03〜.18 で、基準点(.12)と大きくは違いません。あまり直さないモデルは、発言を変えることも少なくなります。
- 要約は、決定事項を拾えても、会議に無い項目を足すモデルが多くありました。 30B 級以上の 6 つの再現率は .55〜.87 で、基準点は .75 です。会議に無い項目は 1 件あたり 0.3〜3.8 個で、基準点は 0.2 個でした。
- 同じ大きさでも、モデルによって差が出ました。 30B 級の 3 つを比べると、清書は
gemma-4-31B-itが .52、Qwen3-VL-30B-A3B-Instructが .17 です。Qwen3-VL-30B-A3B-Instructは名寄せで、寄せるべき組の 93% を寄せましたが、寄せてはいけない組も 91% 寄せました。トピックの振り分けも .25 でした。大きさの区分は、目安にしかなりません。 - 4B 級以下の 2 つは足りませんでした。
Phi-4-mini-instruct-cpuは、一度に読める長さ(窓)が 4,096 トークンです。長い入力の作業では、221 回が窓に入りませんでした。Qwen3-0.6B-cpuは、回答が .24〜.28 でした。 llm-jp-3.1-8x13b-instruct4は、大きさよりも応答の形式で落ちました。 JSON という決まった形を求める作業で、形の合わない応答が 753 回中 399 回ありました。そのため、自動採点の作業はほぼ 0 でした。文章で答える回答は .52〜.61 でした。- 世界照合は、検出率で見ています。 正しい文を正しいと言う率だけを見ると、何も指摘しない
Qwen3-0.6B-cpuが満点になってしまうためです。
限界
- 基準点は 1 回だけです。 ほかのモデルは 3 回なので、基準点の値は揺れが大きめです。95% 区間が重なるかで比べると、基準点の区間が広いために、18 作業すべてで、どれかのモデルは「重なる」になってしまいます。そこで、「ひとことで」の 13 作業は、平均が基準点の 9 割以上かどうかで数えました(AI が採点した作業は、下限どうしで比べています)。これは平均どうしの比べ方です。差が無いことも、差があることも証明しません。
- 上位のクラウドのモデルは、1 つしか測っていません。 前回は Claude Opus 5 も測りましたが、今回の基準点は
gpt-5.6-lunaだけです。 - 「いちばん良いモデル」は、同じ測定で選び、同じ測定で報告しています。 作業ごとに良い値を選んでいるので、結果は少し甘めに出ます。
- 件数の少ない作業があります。 要約は 6 件、論文からの手順は 7 件、計画の下書きは 10 件、翻訳は 12 件です。翻訳の
Kimi-K2.7-Codeの下限は、区間が .58〜.94 です。基準点は .58〜1.00 なので、どちらが上かは言えません。 - 採点の基準は、最初の採点を見たあとに 1 度書き直しました。 測定は段階を分けて行いました。最初の 3 モデルの 1 回目の採点で、2 系統の判定が大きく割れました。原因は 2 つあります。1 つは、GPT 側の採点者に共通の指示が渡っていなかった不具合です。もう 1 つは、2 通りに読める基準の文言でした。両方を直して、採点をやり直しています。結果を見たあとの書き直しなので、2 系統の一致が上がったことは、基準が正しい証拠になりません。そのあと、残りの 7 モデルは、基準・入力・採点者への指示を固定して測りました。
- 自動採点も、最初の 3 モデルを測ったあとに直しました。 落ちた出力を読んで、採点の誤りを 8 か所直しています。モデルへの入力は変えていません。直したのは、正解データ(トピックの統合・トピックの振り分け・ナレッジ化で 1 件ずつ)と、指標の定義(清書の「変えた率」、出典照合の誤った指摘の率、トピックの振り分け)です。読んだのは、最初の 3 モデルの出力だけです。
- 人との一致は、決めていた線(80%)に届きませんでした。 何も見ずに付けた判定との一致は、基準ごとで 79.1% と 77.0%、「全基準に合格」では 30 件中 18 件と 17 件です。食い違いの大半は私の見落としだったので、基準は書き直さず、合格率を幅で読むことにしました。照合した 30 件は、採点者の判定が割れた件を半分近く入れて選んだので、全体より難しい側に寄っています。
- 入力は、Claude Sonnet が書いた架空の記録で、題材は料理です。 研究のノートでは、結果が変わるかもしれません。論文からの手順の正解は、前回の抽出(Claude を含む)から作りました。
- 時間は比べていません。 API の混み具合で変わるためです。
Kimi-K2.7-Codeは回数制限が厳しく、4 つの作業群を同時に流すと、136 回がはじかれました(流し直して埋めました)。続けて多く呼ぶ作業では、待ちが出ます。 - パソコン上で動かした場合は測っていません。 30B 級の 3 つも API 経由です。LM Studio などで量子化した版を動かすと、品質も速さも変わります。10B 級のモデルは、今回測っていません。
- 世界照合は、検索の結果に左右されます。 10 分で打ち切った呼び出しが、9 つのうち 6 つのモデルで 1〜3 件ありました。
- 埋め込みのモデルと音声認識のモデルは、対象にしていません。
判断
- 設定の「モデルの目安」を 1 か所直しました。高度な処理の段で、オープンな大型を「向かない」から「条件つき」にしています。100B 級以上の 3 つ(oss・Weblab・Kimi)では、照らし合わせる仕事(手順の抽出・名寄せ・根拠の照合・重複の判定)が基準点と区間が重なりました。一方で、計画の下書きと知見の一般化は離れていたためです。「条件つき」は、その段の作業の一部だけが基準点に近い、という意味です。
- 目安の下の説明も直しました。高度な処理の説明は、「手順の抽出や根拠の照合は、オープンなモデルでも足りることがあります。計画づくりと知見の発見は、強いモデルが向いています」です。
- ローカル 30B 級の目安は変えていません。 今回の 30B 級は、API 経由で測っただけです。前回パソコン上で測ったときは、計画づくりが 2 件中 0 件、清書が 3 件中 0 件でした。パソコン上で測り直すまで、その結果をそのまま残します。
- 音声ノートの欄の目安も変えていません。 清書の訂正率は、オープンな大型の 3 つで .18〜.36 で、基準点の .60 から離れていました。
- 軽い処理と標準の段の目安は、変えていません。10B 級の目安も、今回は測っていないので変えていません。
- 既定のモデルや、段への機能の割り当ても変えていません。標準と高度の段の目安で「向く」とされているのは、どちらも上位のクラウドのモデルだけです。今回の結果で分かれたのは、段よりも「照らし合わせる仕事」と「ゼロから書く仕事」でした。段の分け方を見直すかどうかは、上位のクラウドのモデルを複数と、パソコン上のモデルを測ってから決めます。
- その後(2026-11-14)、上位のクラウドのモデル 2 つと、パソコン上のモデル 3 つを、同じ 18 作業で足しました(上位のクラウドとパソコン上のモデルを足して、AI 機能ごとに測る)。軽い処理の段で、ローカル 30B 級を「向く」から「条件つき」に下げました。
- この測定は、1 つの提供元の API で行いました。一度に読める長さ(窓)の大きさや回数制限には、モデルではなく提供元の設定で決まる部分があります。目安の変更を 1 か所に絞ったのは、そのためでもあります。

