上位のクラウドとパソコン上のモデルを足して、AI 機能ごとに測る 2026-11-14 測定 · v0.129
確かめたこと。 前回の測定では、公開されているモデル 9 つを API 経由で測りました。基準点(比べるものさしにしたモデル)の gpt-5.6-luna は 1 回だけで、パソコン上で動かすモデルは測っていませんでした。
そこで今回は、同じ 18 作業・同じ入力・同じ採点の手順で、次の 5 つを足しました。
- 上位のクラウドのモデル 2 つ(
gpt-5.6-lunaを 3 回に増やし、gpt-6.1-solを 3 回) - パソコン上(LM Studio)のモデル 3 つ(
gemma-4-31b-qat・qwen3.6-35b-a3b・qwen3.5-9bを 1 回ずつ)
知りたかったのは、設定の「モデルの目安」の残りのマス(ローカル 30B 級・10B 級)と、難しさで分けた 3 段が今も役に立つかです。
ひとことで。 3 段のどの段でも、多くのモデルが「一部の作業だけ基準点に近い」になり、段ごとの目安では差が出ませんでした。差がはっきり出たのは、照らし合わせる仕事と書く仕事の違いです。
- 照らし合わせる仕事(出典照合・点検・名寄せ・重複の判定など)は、オープンなモデルでも多くが基準点に近い値でした。
- 書く仕事(回答・翻訳・ナレッジ化・知見の一般化・要約・清書など)は、モデルによって大きく差が付きました。
- パソコン上の 30B 級は、出典照合や題付けなら足ります。 ただし、長い入力の作業は、10 分に収まらないか、API 経由より点が下がりました。
- 10B 級は、書く仕事のほとんどで足りませんでした。
この結果を受けて、設定の「モデルの目安」を 1 か所だけ直しました。軽い処理の段で、ローカル 30B 級を「向く」から「条件つき」にしています。
測り方
| 測った版 | v0.129.11 の 1 つ後の main(前回と同じ)。アプリの画面を通さず、サーバーの窓口を直接呼んだ |
| 基準点 | Copilot の gpt-5.6-luna。前回の 1 回を使わず、今回 3 回流し直した |
| 上位のクラウド | Copilot の gpt-6.1-sol(3 回) |
| パソコン上 | LM Studio の google/gemma-4-31b-qat・qwen/qwen3.6-35b-a3b・qwen3.5-9b(1 回ずつ)。Apple M1 Max・メモリ 64 GB。1 モデルずつ読み込み、一度に読める長さ(窓)は 65,536 トークン、同時に 1 本 |
| 入力・件数 | 前回と同じ。架空の題材(家庭のカレー作りとパン作りの記録)で、作業ごとに 6〜60 件 |
| 時間切れ | 1 回の呼び出しは 10 分で打ち切り、失敗として数えた |
| 採点 | 前回と同じ。AI の採点者 2 系統(Claude Sonnet と、Copilot の GPT 系のモデル 1 つ)が別々に採点した。今回足した分は 833 件で、返答の形が合わない採点は、やり直しのあと 2 系統とも 0 件 |
前回の 9 モデルの値は、そのまま使っています。表の基準点だけ、今回の 3 回の値に置き換えました。
指標の読み方
どの値も 0〜1 の割合で、大きいほど良いものがほとんどです。↓ の付いた行だけ、小さいほど良い指標です。「会議に無い項目の数」だけは割合でなく、会議 1 件あたりの個数です。
| 表の語 | 何の割合か |
|---|---|
| 全基準に合格 | AI の採点者が、作業ごとに決めた 3〜5 個の基準のすべてに合格を付けた出力の割合。前回は「見せてよい」と呼んでいました。「.83〜.94」の幅は、2 系統とも合格(下限)〜どちらかが合格(上限)です |
| 基準の合格率 | 1 つの出力が、基準のうちいくつに合格したかの割合。2 系統の平均です。時間切れなどで出力が無いものは 0 として数えます |
| 検出率・再現率 | 見つけるべき誤りや組のうち、見つけた割合 |
| 正答率・合格率 | 正解と一致した割合 |
| F1 | 取りこぼしと余計な抽出の両方を見た値 |
| 訂正率 | 仕込んだ聞き違いのうち、直した割合 |
「全基準に合格」が全モデルで低い作業について。 ナレッジ化と知見の一般化は、1 回の出力に主張が 10〜20 個入ります。そのうち 1 つでも基準に外れると、出力全体が不合格です。そのため、gpt-6.1-sol を除くどのモデルも、下限が .25 前後以下になり、差が見えなくなっていました。前回のページで「どのモデルも足りないのか、基準が厳しすぎるのかは分けられない」と書いたのは、この行です。
そこで今回は、この 2 作業とトピックの改訂に「基準の合格率」を足し、目安の判定にはこちらを使いました。上位のクラウドのナレッジ化は .71〜.86 で、作業そのものはできています。全部の基準がそろう出力が少ないだけです。この指標は、結果を見たあとに足したものです。
結果
AI が採点した「全基準に合格」は「下限〜上限」で示しています。行の色は、その作業が動く段を表します(軽い 標準 高度)。
列の名前は短くしてあります。luna = gpt-5.6-luna(基準点)、sol = gpt-6.1-sol、gemma = gemma-4-31B-it、Q3.6 = Qwen3.6-35B-A3B、Q3.5 = qwen3.5-9b。「API」は前回 API 経由で測った値(3 回)、「手元」は今回パソコン上で測った値(1 回)です。gemma と Q3.6 は、API 経由とパソコン上で同じ名前の重みですが、パソコン上は量子化した版です。
| 段 | 作業(件数)と指標 | luna | sol | gemma API | gemma 手元 | Q3.6 API | Q3.6 手元 | Q3.5 手元 |
|---|---|---|---|---|---|---|---|---|
| 軽い | 回答(30)全基準に合格 | .99〜1.00 | 1.00 | .97〜1.00 | 1.00 | .87〜.97 | .87〜.90 | .83〜.90 |
| 軽い | 出典照合(24)検出率 | .97 | 1.00 | .97 | 1.00 | .99 | .92 | 1.00 |
| 軽い | トピックの統合(24)再現率 | 1.00 | 1.00 | 1.00 | .67 | .85 | .83 | .83 |
| 軽い | 点検(24)検出率 | .76 | .82 | .88 | .00 ¹ | .74 | .71 | .42 |
| 軽い | 題付け(20)全基準に合格 | .90〜.95 | 1.00 | .85〜1.00 | .95〜1.00 | .83〜.93 | .85〜.90 | .75〜.85 |
| 軽い | 世界照合(20)検出率 | .68 | .67 | .75 | .35 | .65 | .70 | .40 |
| 標準 | ナレッジ化(20)基準の合格率 | .71 | .86 | .67 | .56 | .60 | .70 | .62 |
| 標準 | ナレッジ化 全基準に合格 | .08〜.22 | .15〜.57 | .05〜.23 | .10〜.25 | .00 | .00〜.15 | .10〜.15 |
| 標準 | 翻訳(12)全基準に合格 | .83〜.94 | 1.00 | .58 | .83〜.92 | .31〜.39 | .08〜.17 | .08〜.17 |
| 標準 | トピックの振り分け(20)合格率 | .87 | .95 | .95 | .95 | .83 | .50 | .90 |
| 標準 | トピックの改訂(20)基準の合格率 | .89 | .92 | .86 | .74 | .82 | .61 | .69 |
| 標準 | トピックの改訂 全基準に合格 | .40〜.55 | .53〜.67 | .40 | .35〜.50 | .37〜.43 | .10〜.15 | .20〜.35 |
| 高度 | 論文から手順(7)工程の F1 | .89 | .88 | .88 | .00 ¹ | .79 | .89 | .67 |
| 高度 | 論文から手順(7)属性値の F1 | .54 | .70 | .57 | .00 ¹ | .53 | .49 | .48 |
| 高度 | 名寄せ(30)再現率 | .96 | 1.00 | .80 | 1.00 | .98 | .77 | .83 |
| 高度 | 名寄せ(30)誤った寄せの率 ↓ | .01 | .00 | .09 | .00 | .01 | .47 | .00 |
| 高度 | 計画の根拠の照合(24)検出率 | .85 | .96 | .83 | .42 | .75 | .46 | .63 |
| 高度 | 回答から計画を作る(10)全基準に合格 | .50〜.63 | .17〜.43 | .07〜.27 | .00〜.10 ¹ | .00 | .00 | .00〜.10 |
| 高度 | 知見の一般化(20)基準の合格率 | .78 | .91 | .73 | .26 | .62 | .57 | .04 ¹ |
| 高度 | 知見の一般化 全基準に合格 | .25〜.28 | .48〜.83 | .05〜.15 | .00〜.20 | .00〜.07 | .00 | .00 ¹ |
| 高度 | 重複の判定(36)正答率 | 1.00 | 1.00 | 1.00 | 1.00 | 1.00 | .97 | 1.00 |
| 高度 | 清書(60 か所)訂正率 | .66 | .58 | .52 | .00 ¹ | .39 | .32 | .00 ¹ |
| 高度 | 清書 発言の中身を変えた率 ↓ | .19 | .05 | .18 | - ² | .13 | .18 | .00 ³ |
| 高度 | 要約(6)決定事項の再現率 | .80 | .98 | .73 | .78 | .69 | .67 | .72 |
| 高度 | 要約 会議に無い項目の数 ↓ | 0.3 | 0.2 | 0.3〜0.6 | 0.8〜1.0 | 1.1〜1.6 | 1.0〜2.0 | 0.7〜1.3 |
「誤った寄せの率」は、寄せてはいけない 30 組のうち、寄せた組の割合です。「会議に無い項目の数」は、2 系統の採点者それぞれの値を並べています。
- 全部またはほとんどの呼び出しが、10 分の時間切れでした(下の表)。
- 採点できる出力が 1 つもありませんでした。
- 時間切れでなかった 1 回(6 回中)だけの値です。ほとんど直していないので、変えた率も低く出ています。
失敗した呼び出し。 パソコン上の 3 つは 251 回ずつ、クラウドの 2 つは 753 回ずつ呼びました。
| モデル | 1 回の時間(中央値) | 時間切れ | 形式 | 時間切れが多かった作業 |
|---|---|---|---|---|
gpt-5.6-luna | 23 秒 | 2 | 0 | - |
gpt-6.1-sol | 24 秒 | 0 | 0 | - |
gemma-4-31b-qat(手元) | 264 秒 | 57 | 1 | 知見の一般化 20 回中 14・計画の下書き 10 回中 9・論文から手順 7 回中 7・清書 6 回中 6・点検 6 回中 6・ナレッジ化 20 回中 6・根拠の照合 8 回中 5・トピックの改訂 20 回中 3・トピックの統合 3 回中 1 |
qwen3.6-35b-a3b(手元) | 11 秒 | 0 | 0 | - |
qwen3.5-9b(手元) | 208 秒 | 41 | 1 | 知見の一般化 20 回中 19・翻訳 12 回中 7・清書 6 回中 5 |
照らし合わせる仕事と、書く仕事
18 作業の指標を、2 つに分けて数えました。それぞれ 10 個の指標のうち、平均が基準点の 9 割以上(↓ の指標は、基準点 ÷ 0.9 以下)だった数です。
- 照らし合わせる仕事: 出典照合・トピックの統合・点検・世界照合・トピックの振り分け・計画の根拠の照合・名寄せ(再現率と誤った寄せの率)・重複の判定・論文からの工程
- 書く仕事(要約は 2 指標): 回答・題付け・ナレッジ化・翻訳・トピックの改訂・知見の一般化・計画の下書き・要約(再現率と会議に無い項目)・清書の訂正率
| モデル | 照らし合わせる仕事 | 書く仕事 |
|---|---|---|
gpt-6.1-sol | 10 | 8 |
gemma-4-31B-it(API) | 8 | 6 |
Kimi-K2.7-Code(API) | 8 | 6 |
Qwen3.6-35B-A3B(API) | 7 | 2 |
gpt-oss-120b(API) | 6 | 3 |
Weblab-MedLLM-gpt-oss-120b(API) | 5 | 1 |
gemma-4-31b-qat(手元) | 5 | 4 |
qwen3.6-35b-a3b(手元) | 5 | 2 |
qwen3.5-9b(手元) | 4 | 1 |
Qwen3-VL-30B-A3B-Instruct(API) | 3 | 1 |
llm-jp-3.1-8x13b-instruct4(API) | 1 | 0 |
Phi-4-mini-instruct-cpu・Qwen3-0.6B-cpu(API) | 0 | 0 |
この分け方は、結果を見たあとに決めたものです。どちらに入れるか迷う作業(論文からの工程は、抜き出す仕事でもあります)もあります。
分かったこと
- 難しさで分けた 3 段では、モデルの差が出ませんでした。 測る前に、「段の全作業で基準点の 9 割以上なら向く、一部なら条件つき」と決めていました。この決め方で数えると、上位のクラウドの軽い処理と標準の処理(向く)と、4B 級以下(向かない)を除いて、ほぼすべてのマスが「条件つき」になります。6 作業のうち 1 つ近いモデルも、5 つ近いモデルも、同じ「条件つき」です。どの段にも照らし合わせる仕事と書く仕事が混ざっているので、差が打ち消し合っていました。
- 照らし合わせる仕事は、オープンなモデルでも多くが基準点に近い値でした。 API 経由の gemma と Kimi は 10 個中 8 個です。
- 書く仕事は、モデルによる落差が大きく出ました。 API 経由の
Qwen3.6-35B-A3Bは照らし合わせる仕事が 10 個中 7 個、書く仕事が 2 個です。Weblab-MedLLM-gpt-oss-120bは 5 個と 1 個、パソコン上の qwen3.6 は 5 個と 2 個でした。一方、gpt-6.1-solと、API 経由の gemma・Kimi の差は、どちらの仕事でも 2 個です。 - 回答からの計画の下書きは、
gpt-6.1-solでも .17〜.43 でした。 基準点の .50〜.63 に届いたモデルはありません。上位のクラウドなら足りる作業ではなく、基準点のモデルだけが高い作業でした。 - 清書の訂正率は、上位のクラウドでも .58〜.66 でした。
gpt-5.6-lunaとgpt-6.1-solの 95% 区間は大きく重なり、差があるとは言えません。発言の中身を変えた率は、gpt-6.1-solが .05 で、gpt-5.6-lunaの .19 より低い値でした。 - パソコン上の gemma は、長い入力の作業が 10 分に収まりませんでした。 点検・論文からの手順・清書は、全部が時間切れです。トピックの統合(.67)も、3 回のうち 1 回が時間切れでした。時間切れでない作業でも、API 経由より低い値がありました。世界照合は .75 → .35、計画の根拠の照合は .83 → .42 です。一方で、翻訳は .83〜.92 で、API 経由(.58)より高い値でした(12 件・1 回の差です)。
- パソコン上の qwen3.6 は、時間切れが 0 回でしたが、API 経由と比べて大きく下がった作業がありました。 1 回の時間は 11 秒です。トピックの振り分けは .83 → .50、名寄せの誤った寄せの率は .01 → .47、翻訳は .31〜.39 → .08〜.17 でした。上がった作業もあります(論文からの工程 .79 → .89、ナレッジ化の基準の合格率 .60 → .70)。量子化の影響かもしれませんが、1 回だけの測定なので、原因は分けられません。
- 10B 級(
qwen3.5-9b)は、書く仕事のほとんどで足りませんでした。 出典照合(1.00)・重複の判定(1.00)・トピックの振り分け(.90)は基準点並みでした。知見の一般化は 20 回中 19 回、清書は 6 回中 5 回が時間切れでした。時間切れでなかった清書の 1 回も、聞き違いを 1 か所も直していません。
限界
- 上位のクラウドは、2 つとも同じ会社の系列です。 採点者の片方(GPT 系)とも同じ系列です。Claude Opus は、今回は費用の都合で測れませんでした。
- パソコン上のモデルは 1 回ずつです。 回ごとのばらつきは測れていません。パソコンも 1 台(M1 Max・64 GB)だけです。
- 10 分の打ち切りは、遅いモデルに厳しい条件です。 パソコン上の gemma は、時間をかければ API 経由に近い点を出せた可能性があります。ただ、1 回に 10 分以上かかる作業は、実際に使うときも待ちきれないと考え、失敗として数えました。
- 照らし合わせる仕事と書く仕事の差には、採点の方法の差も混ざっています。 照らし合わせる仕事の指標は、論文からの工程を除いて自動採点です。書く仕事の指標は、清書を除いて AI の採点(2 系統とも合格の下限)です。また、照らし合わせる仕事には、重複の判定(上限が 1.00)や誤った寄せの率(基準点がほぼ 0)のように、9 割に届きやすい指標が入っています。仕事の性質の差なのか、採点の方法の差なのかは、この測定では分けられません。
- 「基準の合格率」と、照らし合わせる仕事・書く仕事の分け方は、結果を見たあとに決めました。 目安の判定は、測る前に決めた決め方(9 割以上)に、この指標を当てはめて出しています。
- 今回足した 5 つのモデルの採点は、人が確かめていません。 人との照合は、前回の最初の 3 モデルの出力 30 件だけです。
- 基準点を 3 回にすると、前回の値から少し動きました。 たとえば清書の訂正率は .60 から .66 に、ナレッジ化の全基準に合格は .10〜.20 から .08〜.22 になりました。前回のページの「13 作業」は、1 回の基準点で数えた値です。
- そのほかの限界(架空の料理の記録・件数の少ない作業・採点の基準を 1 度書き直したこと)は、前回と同じです。
判断
- 設定の「モデルの目安」を 1 か所直しました。軽い処理の段で、ローカル 30B 級を「向く」から「条件つき」にしています。パソコン上で直接測ったところ、2 つの 30B 級は、6 作業のうち 3 つと 4 つだけが基準点に近い値でした。gemma は点検が時間切れで 0、世界照合が .35 です。qwen3.6 は回答とトピックの統合が届きませんでした。
- 軽い処理の説明も直しました。「出典照合や題付けは、ローカルのモデルでもほぼ足ります。点検や世界照合は、モデルによっては時間がかかったり、見落としが増えたりします」です。
- 設定の「測った結果」のリンクは、このページを指すようにしました。
- ほかのマスは変えていません。 測る前に決めた決め方では、ほとんどのマスが「条件つき」になります。オープンな大型の軽い処理(6 作業のうち 1〜5)や、上位のクラウドの高度な処理・音声ノートの欄も、この決め方では「条件つき」です。それでも設定では「向く」のままにしています。決め方が粗く、6 作業のうち 1 つ近いモデルと 5 つ近いモデルを区別できないので、この結果だけを根拠にマスを動かすことはしませんでした。ローカル 30B 級の軽い処理だけは、これまでパソコン上で測った件数が少なく、今回初めて同じ 18 作業で直接測れたので直しました。どちらの 30B 級も、基準点に近いのは 6 作業のうち半分ほどでした。
- 段の分け方は、今回は変えていません。 データ上は、照らし合わせる仕事と書く仕事に分けるほうが、モデルの差をよく表します。ただ、段はどの機能がどのモデルを使うかを決める、アプリの仕組みそのものです。分け方を変えるときは、今の設定を引き継ぐ方法と合わせて、別に設計します。
その後(2026-11-14)
同じデータを作業ごとに見直しました。照らし合わせる仕事と書く仕事の差は、採点の方法の差では説明できませんでした(AI が採点した論文からの工程はオープンなモデルでも近く、自動で採点した清書は遠い)。書く仕事の差は、出典に無いことを足さない「忠実さ」の基準に集まっていました。
そこで、段の仕組みはそのままにして、必要な強さと段が食い違っていた 4 つの機能だけを移しました。
| 機能 | 移した先 | 理由 |
|---|---|---|
| 洞察の重複の判定 | 高度 → 軽い | 10B 級でも正答率 1.00 |
| トピックの振り分け | 標準 → 軽い | 10B 級でも .90(基準点 .87) |
| URL・PDF・Word からの手順の抽出 | 高度 → 標準 | 工程の F1 で、30B 級 5 つのうち 3 つが基準点の 9 割以上 |
| 翻訳 | 標準 → 高度 | オープンなモデルで基準点の 9 割以上は 1 つだけ。訳の完全さで差が出た |
段の説明も、仕事の性質(軽い = 照合・判定、標準 = ノートをまとめる、高度 = 出典に忠実に長く書く)で書き直しました。翻訳と手順の抽出は、どちらかの段がオンなら使えます。移った先の段がオフのときは、元の段のモデルで動きます。

