Skip to content

公開されているモデルだけで、どの AI 機能まで賄えるか 2026-11-12 測定 · v0.129 ​

確かめたこと。 前回の測定では、作業ごとに 1〜16 件を 1 回ずつ流しました。そのため、1 件の違いで順位が入れ替わりました。公開されているモデルのうち、API 経由で測ったのは 1 つ(gpt-oss-120b)だけでした。

そこで今回は、件数と回数を増やし、採点の手順を先に決めました。そのうえで、公開されているモデル 9 つを同じ 18 作業で測り直しました。知りたかったのは、上位のクラウドのモデルを使わずに、どの機能まで賄えるかです。

ひとことで。 作業ごとにモデルを選べば、18 作業のうち 13 作業で、いちばん良いモデルの点が基準点(gpt-5.6-luna)の 9 割以上でした。基準点とは、比べるものさしにした gpt-5.6-luna の点のことです。

  • その 13 作業は、チャットの回答・出典照合・トピックの統合・点検・題付け・世界照合・トピックの振り分け・翻訳・論文からの手順・名寄せ・計画の根拠の照合・重複の判定・要約です。どれも基準点が .70 以上の作業です。
  • 残りの 5 作業は、基準点も .60 以下でした。 トピックの改訂と清書は、いちばん良いモデルが基準点の 9 割弱です。回答からの計画の下書きと知見の一般化は、半分以下でした。ナレッジ化は、基準点も含めてどのモデルも .25 以下で、比べられませんでした。
  • 同じ大きさでも、モデルによって差が大きく出ました。 30B 級の 3 つのうち、1 つは多くの作業で上位でした。別の 1 つは、名寄せで、寄せてはいけない組の 9 割を寄せました。
  • 4B 級以下の 2 つは、ほぼ全作業で足りませんでした。 もう 1 つ(llm-jp-3.1-8x13b-instruct4)は、決まった形の応答を返せないことが多く、採点できる出力がほとんどありませんでした。

「9 割以上」は平均どうしの比べ方で、差が無いという証明ではありません(下の「限界」を見てください)。

この結果を受けて、設定の「モデルの目安」を 1 か所だけ直しました。高度な処理の段で、オープンな大型を「向かない」から「条件つき」にしています。

測り方 ​

測った版v0.129.11 の 1 つ後の main。アプリの画面を通さず、サーバーの窓口を直接呼んだ
基準点Copilot の gpt-5.6-luna(1 回だけ)
公開されているモデルgpt-oss-120b、Weblab-MedLLM-gpt-oss-120b、Kimi-K2.7-Code、Qwen3.6-35B-A3B、gemma-4-31B-it、Qwen3-VL-30B-A3B-Instruct、llm-jp-3.1-8x13b-instruct4、Phi-4-mini-instruct-cpu、Qwen3-0.6B-cpu。どれも OpenAI 互換の API 経由で、各 3 回
入力架空の題材(家庭のカレー作りとパン作りの記録)。翻訳と論文からの手順は英語から日本語。実際のノートは使っていない
件数作業ごとに 6〜60 件(下の表)。呼び出しは基準点が 251 回、ほかは 1 モデル 753 回
時間切れ1 回の呼び出しは 10 分で打ち切り、失敗として数えた
測定側の失敗接続の失敗と回数制限は、モデルの失敗に数えず、流し直した。流し直したあと、未測定は 0 件

採点の方法。 作業によって、自動で採点するものと、AI に採点させるものがあります。

自動で採点したのは、正解のある 8 作業です。誤りを仕込んで拾えたかを数える作業と、寄せるべき組が決まっている作業が含まれます。清書も、仕込んだ聞き違いを直せたかを自動で数えています。

残りの生成の作業は、AI の採点者 2 系統が別々に採点しました。対象は、チャットの回答・題付け・翻訳・ナレッジ化・トピックの改訂・知見の一般化・計画の下書き・要約・論文からの手順です。2 系統は、Claude Sonnet と、Copilot の GPT 系のモデル 1 つです(どちらも測る対象にしていません)。採点者には、どのモデルの出力かを伏せています。

  • 要約と論文からの手順を除く 7 作業では、作業ごとに 3〜5 個の基準を決め、基準ごとに合格か不合格かを付けます。全部の基準に合格した出力だけを、「全基準に合格」に数えます(このページの初版では「そのまま見せてよい」と呼んでいました)。
  • 2 系統の判定が割れる出力があるので、合格率は幅で出します。下限は 2 系統とも合格した率、上限はどちらかが合格した率です。
  • 要約と論文からの手順では、採点者が出力を正解と 1 つずつ照らし合わせ、そこから再現率と F1 を計算します。論文からの手順の F1 は、Claude 系統の値を載せています(GPT 系統との差は .01 以内でした)。
  • 採点したのは、1 回目の全件と、2・3 回目の先頭 5 件ずつです。全部で 1,883 件でした。

人との照合。 採点者の判定が正しいかを確かめるために、私が 30 件(139 個の判定)を付けました。このとき、採点者の判定は見ていません。30 件は、先に測った 3 つのモデル(gpt-5.6-luna・gpt-oss-120b・Qwen3.6-35B-A3B)の出力から選んでいます。あとから測った 7 つのモデルの採点は、人が確かめていません。

Claude 系統GPT 系統
基準ごとの判定の一致(139 個・何も見ずに)79.1%77.0%
「全基準に合格」の一致(30 件・何も見ずに)30 件中 18 件30 件中 17 件
基準ごとの判定の一致(採点者の理由を読んで付け直したあと)92.7%90.5%
「全基準に合格」の一致(付け直したあと)30 件中 25 件30 件中 22 件
  • 偶然の一致を差し引いた指標(κ)は、何も見ずに付けた判定で 0.23 と 0.30 でした。合格の多い基準が多いので、一致率の割に低く出ています。
  • 2 系統がそろって私と食い違った判定が 21 個ありました。これを、採点者の理由を読みながら付け直しました。17 個は採点者が正しく、そのうち 13 個は私の見落としでした。残りの 4 個は、2 個が採点者の見落とし、2 個が基準のあいまいさによるものでした。付け直したあとの一致率は、あいまいだった 2 個を除いた値です。
  • 付け直しは、採点者の理由を見たあとの判定なので、独立した判定ではありません。主の数字は、何も見ずに付けた判定のほうです。
  • 2 系統がそろった判定は、あいまいだった 2 個を除く 118 個です。そのうち 116 個で、付け直したあとの私の判定と合いました。2 系統が割れた 19 個では、私の判定は Claude 側に 11 個、GPT 側に 8 個合い、どちらが正しいとも言えませんでした。合格率を幅で読むことにしたのは、このためです。

結果 ​

指標の読み方。 どの値も 0〜1 の割合で、ほとんどは大きいほど良い指標です。↓ の付いた行だけ、小さいほど良い指標です。「会議に無い項目の数」だけは割合でなく、会議 1 件あたりの個数です。指標の名前は、作業名の後ろに書いてあります(全基準に合格・検出率・再現率・正答率・F1・訂正率など)。

全モデルで低い行について。 ナレッジ化の「全基準に合格」は、基準点を含めてどのモデルも .25 以下です。知見の一般化も、基準点(.30〜.50)を除いて .15 以下です。これは、その作業ができないという意味ではありません。1 回の出力に主張が 10〜20 個入り、1 つでも基準に外れると出力全体が不合格になるため、差が見えなくなっていました。基準のうちいくつに合格したかで数え直した値は、次の測定に載せています(上位のクラウドのナレッジ化は .71〜.86)。

AI が採点した作業は「下限〜上限」で示しています。行の色は、その作業が動く段を表します(軽い 標準 高度)。

列の名前は短くしてあります。oss = gpt-oss-120b、Weblab = Weblab-MedLLM-gpt-oss-120b、Kimi = Kimi-K2.7-Code、Q3.6 = Qwen3.6-35B-A3B、gemma = gemma-4-31B-it、QVL = Qwen3-VL-30B-A3B-Instruct、llm-jp = llm-jp-3.1-8x13b-instruct4、Phi = Phi-4-mini-instruct-cpu、Q0.6 = Qwen3-0.6B-cpu。

段作業(件数)と指標lunaossWeblabKimiQ3.6gemmaQVLllm-jpPhiQ0.6
軽い回答(30)全基準に合格.97〜1.00.84〜.91.83〜.90.93〜.98.87〜.97.97〜1.00.83〜.90.52〜.61.40〜.41.24〜.28
軽い出典照合(24)検出率.96.97.86.96.99.97.76.00.22.03
軽いトピックの統合(24)再現率1.00.82.81.97.851.00.71.00.18.24
軽い点検(24)検出率.75.58.56.63.74.88.42.00.00.08
軽い題付け(20)全基準に合格1.00.90〜.92.80〜.851.00.83〜.93.85〜1.00.73〜.75.00.12〜.15.35〜.43
軽い世界照合(20)検出率.70.68.67.75.65.75.62.00.07.00
標準ナレッジ化(20)全基準に合格.10〜.20.05〜.22.07〜.18.05〜.18.00.05〜.23.17〜.25.00.00.00〜.12
標準翻訳(12)全基準に合格.83〜.92.25〜.58.19〜.25.78〜.89.31〜.39.58.08〜.28.00.00.00
標準トピックの振り分け(20)合格率.90.87.92.97.83.95.25.00.18.13
標準トピックの改訂(20)全基準に合格.50〜.65.38〜.50.30〜.45.43〜.58.37〜.43.40.33〜.37.00.00.00
高度論文から手順(7)工程の F1.89.87.84.76.79.88.88.00.00.00
高度論文から手順(7)属性値の F1.53.40.54.62.53.57.45.00.00.00
高度名寄せ(30)再現率.93.82.79.96.98.80.93.00.09.53
高度名寄せ(30)誤った寄せの率 ↓.00.00.00.00.01.09.91.00 ¹.08.32
高度計画の根拠の照合(24)検出率.88.71.75.90.75.83.32.00.00.01
高度回答から計画を作る(10)全基準に合格.50.00.10.03.00.07〜.27.00.00.00.00〜.03
高度知見の一般化(20)全基準に合格.30〜.50.10.05.00〜.05.00〜.07.05〜.15.00.00.00.10 ²
高度重複の判定(36)正答率1.00.98.981.001.001.00.89.00.62.33
高度清書(60 か所)訂正率.60.27.18.36.39.52.17.00.00.00
高度清書 発言の中身を変えた率 ↓.12.04.04.07.13.18.03- ³.81.47
高度要約(6)決定事項の再現率.75.71.55.87.69.73.65.00.08.00
高度要約 会議に無い項目の数 ↓0.21.6〜2.01.3〜1.90.8〜1.11.1〜1.60.3〜0.62.4〜3.8- ³5.8〜6.01.8〜2.3

↓ は、低いほど良い指標です。「誤った寄せの率」は、寄せてはいけない 30 組のうち、寄せた組の割合です。「会議に無い項目の数」は会議 1 件あたりの数で、2 系統の採点者それぞれの値を並べています。

  1. llm-jp-3.1-8x13b-instruct4 は、形の合う応答をほとんど返さなかったので、寄せ自体がありません。
  2. 一般化できる内容が無い入力では、空の出力が正解です。Qwen3-0.6B-cpu の .10 は、その空の出力が正解に当たった分です。
  3. 採点できる出力が 1 つもありませんでした。

失敗した呼び出し。 次の表は、753 回の呼び出しのうち、失敗した回数を原因別に数えたものです。「窓に入らない」は、入力が、モデルが一度に読める長さ(窓)に収まらなかった場合です。

モデル形式窓に入らない応答を読めない時間切れ
gemma-4-31B-it2000
Qwen3.6-35B-A3B9001
gpt-oss-120b11000
Weblab-MedLLM-gpt-oss-120b11500
Qwen3-VL-30B-A3B-Instruct4051
Kimi-K2.7-Code00019
Qwen3-0.6B-cpu410116
Phi-4-mini-instruct-cpu78221010
llm-jp-3.1-8x13b-instruct439930573

基準点の gpt-5.6-luna は、251 回で失敗が 0 回でした。

分かったこと ​

以下で「30B 級以上の 6 つ」は、oss・Weblab・Kimi・Q3.6・gemma・QVL のことです。「95% 区間が重なる」は、基準点と差があるとは言えない、という意味です。

  • 軽い処理は、作業とモデルによって結果が違いました。 回答・出典照合・世界照合では、30B 級以上の 6 つすべてが、基準点と 95% 区間が重なりました。トピックの統合・題付け・点検は、モデルで分かれます。6 作業すべてで区間が重なったのは、gemma-4-31B-it と Kimi-K2.7-Code の 2 つです。Qwen3-VL-30B-A3B-Instruct は 3 作業で重なりました。点検では、gemma-4-31B-it が .88 で、基準点の .75 より上でした(区間は重なります)。
  • 照らし合わせる仕事は、高度な処理でも足りました。 論文からの手順・名寄せ・計画の根拠の照合・重複の判定では、30B 級以上の 6 つのうち 5 つが、基準点と区間が重なりました。前回は gpt-oss-120b が手順のつながりで崩れましたが、今回の工程の F1 は .87 でした。ただし、採点の指標と入力が違うので、前回から良くなったとは言えません。
  • ゼロから書く仕事は、点が大きく離れました。 回答からの計画の下書きは、基準点が .50 で、30B 級以上の 6 つは .00〜.27 です。知見の一般化は、基準点の .30〜.50 に対して .00〜.15 でした。ただし、件数が 10 件と 20 件で、基準点は 1 回だけなので、区間が重なるモデルもあります(計画の下書きは 1 つ、知見の一般化は 3 つ)。
  • ナレッジ化は、基準点でも .10〜.20 でした。 今回は、5 個の基準すべてに合格して初めて「全基準に合格」に数えます。前回の「5 件中 4 件」とは、物差しが違います。どのモデルも足りないのか、基準が厳しすぎるのかは、この測定では分けられません。
  • 翻訳は、モデルによって大きく分かれました。 Kimi-K2.7-Code は .78〜.89 で、基準点(.83〜.92)に近い値でした。gemma-4-31B-it は .58 で、30B 級以上の残り 4 つは .08〜.58 でした。
  • 清書は、基準点でも 60 か所のうち 6 割しか直せませんでした。 30B 級以上の 6 つは .17〜.52 です。発言の中身を変えた率は .03〜.18 で、基準点(.12)と大きくは違いません。あまり直さないモデルは、発言を変えることも少なくなります。
  • 要約は、決定事項を拾えても、会議に無い項目を足すモデルが多くありました。 30B 級以上の 6 つの再現率は .55〜.87 で、基準点は .75 です。会議に無い項目は 1 件あたり 0.3〜3.8 個で、基準点は 0.2 個でした。
  • 同じ大きさでも、モデルによって差が出ました。 30B 級の 3 つを比べると、清書は gemma-4-31B-it が .52、Qwen3-VL-30B-A3B-Instruct が .17 です。Qwen3-VL-30B-A3B-Instruct は名寄せで、寄せるべき組の 93% を寄せましたが、寄せてはいけない組も 91% 寄せました。トピックの振り分けも .25 でした。大きさの区分は、目安にしかなりません。
  • 4B 級以下の 2 つは足りませんでした。 Phi-4-mini-instruct-cpu は、一度に読める長さ(窓)が 4,096 トークンです。長い入力の作業では、221 回が窓に入りませんでした。Qwen3-0.6B-cpu は、回答が .24〜.28 でした。
  • llm-jp-3.1-8x13b-instruct4 は、大きさよりも応答の形式で落ちました。 JSON という決まった形を求める作業で、形の合わない応答が 753 回中 399 回ありました。そのため、自動採点の作業はほぼ 0 でした。文章で答える回答は .52〜.61 でした。
  • 世界照合は、検出率で見ています。 正しい文を正しいと言う率だけを見ると、何も指摘しない Qwen3-0.6B-cpu が満点になってしまうためです。

限界 ​

  • 基準点は 1 回だけです。 ほかのモデルは 3 回なので、基準点の値は揺れが大きめです。95% 区間が重なるかで比べると、基準点の区間が広いために、18 作業すべてで、どれかのモデルは「重なる」になってしまいます。そこで、「ひとことで」の 13 作業は、平均が基準点の 9 割以上かどうかで数えました(AI が採点した作業は、下限どうしで比べています)。これは平均どうしの比べ方です。差が無いことも、差があることも証明しません。
  • 上位のクラウドのモデルは、1 つしか測っていません。 前回は Claude Opus 5 も測りましたが、今回の基準点は gpt-5.6-luna だけです。
  • 「いちばん良いモデル」は、同じ測定で選び、同じ測定で報告しています。 作業ごとに良い値を選んでいるので、結果は少し甘めに出ます。
  • 件数の少ない作業があります。 要約は 6 件、論文からの手順は 7 件、計画の下書きは 10 件、翻訳は 12 件です。翻訳の Kimi-K2.7-Code の下限は、区間が .58〜.94 です。基準点は .58〜1.00 なので、どちらが上かは言えません。
  • 採点の基準は、最初の採点を見たあとに 1 度書き直しました。 測定は段階を分けて行いました。最初の 3 モデルの 1 回目の採点で、2 系統の判定が大きく割れました。原因は 2 つあります。1 つは、GPT 側の採点者に共通の指示が渡っていなかった不具合です。もう 1 つは、2 通りに読める基準の文言でした。両方を直して、採点をやり直しています。結果を見たあとの書き直しなので、2 系統の一致が上がったことは、基準が正しい証拠になりません。そのあと、残りの 7 モデルは、基準・入力・採点者への指示を固定して測りました。
  • 自動採点も、最初の 3 モデルを測ったあとに直しました。 落ちた出力を読んで、採点の誤りを 8 か所直しています。モデルへの入力は変えていません。直したのは、正解データ(トピックの統合・トピックの振り分け・ナレッジ化で 1 件ずつ)と、指標の定義(清書の「変えた率」、出典照合の誤った指摘の率、トピックの振り分け)です。読んだのは、最初の 3 モデルの出力だけです。
  • 人との一致は、決めていた線(80%)に届きませんでした。 何も見ずに付けた判定との一致は、基準ごとで 79.1% と 77.0%、「全基準に合格」では 30 件中 18 件と 17 件です。食い違いの大半は私の見落としだったので、基準は書き直さず、合格率を幅で読むことにしました。照合した 30 件は、採点者の判定が割れた件を半分近く入れて選んだので、全体より難しい側に寄っています。
  • 入力は、Claude Sonnet が書いた架空の記録で、題材は料理です。 研究のノートでは、結果が変わるかもしれません。論文からの手順の正解は、前回の抽出(Claude を含む)から作りました。
  • 時間は比べていません。 API の混み具合で変わるためです。Kimi-K2.7-Code は回数制限が厳しく、4 つの作業群を同時に流すと、136 回がはじかれました(流し直して埋めました)。続けて多く呼ぶ作業では、待ちが出ます。
  • パソコン上で動かした場合は測っていません。 30B 級の 3 つも API 経由です。LM Studio などで量子化した版を動かすと、品質も速さも変わります。10B 級のモデルは、今回測っていません。
  • 世界照合は、検索の結果に左右されます。 10 分で打ち切った呼び出しが、9 つのうち 6 つのモデルで 1〜3 件ありました。
  • 埋め込みのモデルと音声認識のモデルは、対象にしていません。

判断 ​

  • 設定の「モデルの目安」を 1 か所直しました。高度な処理の段で、オープンな大型を「向かない」から「条件つき」にしています。100B 級以上の 3 つ(oss・Weblab・Kimi)では、照らし合わせる仕事(手順の抽出・名寄せ・根拠の照合・重複の判定)が基準点と区間が重なりました。一方で、計画の下書きと知見の一般化は離れていたためです。「条件つき」は、その段の作業の一部だけが基準点に近い、という意味です。
  • 目安の下の説明も直しました。高度な処理の説明は、「手順の抽出や根拠の照合は、オープンなモデルでも足りることがあります。計画づくりと知見の発見は、強いモデルが向いています」です。
  • ローカル 30B 級の目安は変えていません。 今回の 30B 級は、API 経由で測っただけです。前回パソコン上で測ったときは、計画づくりが 2 件中 0 件、清書が 3 件中 0 件でした。パソコン上で測り直すまで、その結果をそのまま残します。
  • 音声ノートの欄の目安も変えていません。 清書の訂正率は、オープンな大型の 3 つで .18〜.36 で、基準点の .60 から離れていました。
  • 軽い処理と標準の段の目安は、変えていません。10B 級の目安も、今回は測っていないので変えていません。
  • 既定のモデルや、段への機能の割り当ても変えていません。標準と高度の段の目安で「向く」とされているのは、どちらも上位のクラウドのモデルだけです。今回の結果で分かれたのは、段よりも「照らし合わせる仕事」と「ゼロから書く仕事」でした。段の分け方を見直すかどうかは、上位のクラウドのモデルを複数と、パソコン上のモデルを測ってから決めます。
  • その後(2026-11-14)、上位のクラウドのモデル 2 つと、パソコン上のモデル 3 つを、同じ 18 作業で足しました(上位のクラウドとパソコン上のモデルを足して、AI 機能ごとに測る)。軽い処理の段で、ローカル 30B 級を「向く」から「条件つき」に下げました。
  • この測定は、1 つの提供元の API で行いました。一度に読める長さ(窓)の大きさや回数制限には、モデルではなく提供元の設定で決まる部分があります。目安の変更を 1 か所に絞ったのは、そのためでもあります。

Released under the Apache License 2.0.