Skip to content

上位のクラウドとパソコン上のモデルを足して、AI 機能ごとに測る 2026-11-14 測定 · v0.129 ​

確かめたこと。 前回の測定では、公開されているモデル 9 つを API 経由で測りました。基準点(比べるものさしにしたモデル)の gpt-5.6-luna は 1 回だけで、パソコン上で動かすモデルは測っていませんでした。

そこで今回は、同じ 18 作業・同じ入力・同じ採点の手順で、次の 5 つを足しました。

  • 上位のクラウドのモデル 2 つ(gpt-5.6-luna を 3 回に増やし、gpt-6.1-sol を 3 回)
  • パソコン上(LM Studio)のモデル 3 つ(gemma-4-31b-qat・qwen3.6-35b-a3b・qwen3.5-9b を 1 回ずつ)

知りたかったのは、設定の「モデルの目安」の残りのマス(ローカル 30B 級・10B 級)と、難しさで分けた 3 段が今も役に立つかです。

ひとことで。 3 段のどの段でも、多くのモデルが「一部の作業だけ基準点に近い」になり、段ごとの目安では差が出ませんでした。差がはっきり出たのは、照らし合わせる仕事と書く仕事の違いです。

  • 照らし合わせる仕事(出典照合・点検・名寄せ・重複の判定など)は、オープンなモデルでも多くが基準点に近い値でした。
  • 書く仕事(回答・翻訳・ナレッジ化・知見の一般化・要約・清書など)は、モデルによって大きく差が付きました。
  • パソコン上の 30B 級は、出典照合や題付けなら足ります。 ただし、長い入力の作業は、10 分に収まらないか、API 経由より点が下がりました。
  • 10B 級は、書く仕事のほとんどで足りませんでした。

この結果を受けて、設定の「モデルの目安」を 1 か所だけ直しました。軽い処理の段で、ローカル 30B 級を「向く」から「条件つき」にしています。

測り方 ​

測った版v0.129.11 の 1 つ後の main(前回と同じ)。アプリの画面を通さず、サーバーの窓口を直接呼んだ
基準点Copilot の gpt-5.6-luna。前回の 1 回を使わず、今回 3 回流し直した
上位のクラウドCopilot の gpt-6.1-sol(3 回)
パソコン上LM Studio の google/gemma-4-31b-qat・qwen/qwen3.6-35b-a3b・qwen3.5-9b(1 回ずつ)。Apple M1 Max・メモリ 64 GB。1 モデルずつ読み込み、一度に読める長さ(窓)は 65,536 トークン、同時に 1 本
入力・件数前回と同じ。架空の題材(家庭のカレー作りとパン作りの記録)で、作業ごとに 6〜60 件
時間切れ1 回の呼び出しは 10 分で打ち切り、失敗として数えた
採点前回と同じ。AI の採点者 2 系統(Claude Sonnet と、Copilot の GPT 系のモデル 1 つ)が別々に採点した。今回足した分は 833 件で、返答の形が合わない採点は、やり直しのあと 2 系統とも 0 件

前回の 9 モデルの値は、そのまま使っています。表の基準点だけ、今回の 3 回の値に置き換えました。

指標の読み方 ​

どの値も 0〜1 の割合で、大きいほど良いものがほとんどです。↓ の付いた行だけ、小さいほど良い指標です。「会議に無い項目の数」だけは割合でなく、会議 1 件あたりの個数です。

表の語何の割合か
全基準に合格AI の採点者が、作業ごとに決めた 3〜5 個の基準のすべてに合格を付けた出力の割合。前回は「見せてよい」と呼んでいました。「.83〜.94」の幅は、2 系統とも合格(下限)〜どちらかが合格(上限)です
基準の合格率1 つの出力が、基準のうちいくつに合格したかの割合。2 系統の平均です。時間切れなどで出力が無いものは 0 として数えます
検出率・再現率見つけるべき誤りや組のうち、見つけた割合
正答率・合格率正解と一致した割合
F1取りこぼしと余計な抽出の両方を見た値
訂正率仕込んだ聞き違いのうち、直した割合

「全基準に合格」が全モデルで低い作業について。 ナレッジ化と知見の一般化は、1 回の出力に主張が 10〜20 個入ります。そのうち 1 つでも基準に外れると、出力全体が不合格です。そのため、gpt-6.1-sol を除くどのモデルも、下限が .25 前後以下になり、差が見えなくなっていました。前回のページで「どのモデルも足りないのか、基準が厳しすぎるのかは分けられない」と書いたのは、この行です。

そこで今回は、この 2 作業とトピックの改訂に「基準の合格率」を足し、目安の判定にはこちらを使いました。上位のクラウドのナレッジ化は .71〜.86 で、作業そのものはできています。全部の基準がそろう出力が少ないだけです。この指標は、結果を見たあとに足したものです。

結果 ​

AI が採点した「全基準に合格」は「下限〜上限」で示しています。行の色は、その作業が動く段を表します(軽い 標準 高度)。

列の名前は短くしてあります。luna = gpt-5.6-luna(基準点)、sol = gpt-6.1-sol、gemma = gemma-4-31B-it、Q3.6 = Qwen3.6-35B-A3B、Q3.5 = qwen3.5-9b。「API」は前回 API 経由で測った値(3 回)、「手元」は今回パソコン上で測った値(1 回)です。gemma と Q3.6 は、API 経由とパソコン上で同じ名前の重みですが、パソコン上は量子化した版です。

段作業(件数)と指標lunasolgemma APIgemma 手元Q3.6 APIQ3.6 手元Q3.5 手元
軽い回答(30)全基準に合格.99〜1.001.00.97〜1.001.00.87〜.97.87〜.90.83〜.90
軽い出典照合(24)検出率.971.00.971.00.99.921.00
軽いトピックの統合(24)再現率1.001.001.00.67.85.83.83
軽い点検(24)検出率.76.82.88.00 ¹.74.71.42
軽い題付け(20)全基準に合格.90〜.951.00.85〜1.00.95〜1.00.83〜.93.85〜.90.75〜.85
軽い世界照合(20)検出率.68.67.75.35.65.70.40
標準ナレッジ化(20)基準の合格率.71.86.67.56.60.70.62
標準ナレッジ化 全基準に合格.08〜.22.15〜.57.05〜.23.10〜.25.00.00〜.15.10〜.15
標準翻訳(12)全基準に合格.83〜.941.00.58.83〜.92.31〜.39.08〜.17.08〜.17
標準トピックの振り分け(20)合格率.87.95.95.95.83.50.90
標準トピックの改訂(20)基準の合格率.89.92.86.74.82.61.69
標準トピックの改訂 全基準に合格.40〜.55.53〜.67.40.35〜.50.37〜.43.10〜.15.20〜.35
高度論文から手順(7)工程の F1.89.88.88.00 ¹.79.89.67
高度論文から手順(7)属性値の F1.54.70.57.00 ¹.53.49.48
高度名寄せ(30)再現率.961.00.801.00.98.77.83
高度名寄せ(30)誤った寄せの率 ↓.01.00.09.00.01.47.00
高度計画の根拠の照合(24)検出率.85.96.83.42.75.46.63
高度回答から計画を作る(10)全基準に合格.50〜.63.17〜.43.07〜.27.00〜.10 ¹.00.00.00〜.10
高度知見の一般化(20)基準の合格率.78.91.73.26.62.57.04 ¹
高度知見の一般化 全基準に合格.25〜.28.48〜.83.05〜.15.00〜.20.00〜.07.00.00 ¹
高度重複の判定(36)正答率1.001.001.001.001.00.971.00
高度清書(60 か所)訂正率.66.58.52.00 ¹.39.32.00 ¹
高度清書 発言の中身を変えた率 ↓.19.05.18- ².13.18.00 ³
高度要約(6)決定事項の再現率.80.98.73.78.69.67.72
高度要約 会議に無い項目の数 ↓0.30.20.3〜0.60.8〜1.01.1〜1.61.0〜2.00.7〜1.3

「誤った寄せの率」は、寄せてはいけない 30 組のうち、寄せた組の割合です。「会議に無い項目の数」は、2 系統の採点者それぞれの値を並べています。

  1. 全部またはほとんどの呼び出しが、10 分の時間切れでした(下の表)。
  2. 採点できる出力が 1 つもありませんでした。
  3. 時間切れでなかった 1 回(6 回中)だけの値です。ほとんど直していないので、変えた率も低く出ています。

失敗した呼び出し。 パソコン上の 3 つは 251 回ずつ、クラウドの 2 つは 753 回ずつ呼びました。

モデル1 回の時間(中央値)時間切れ形式時間切れが多かった作業
gpt-5.6-luna23 秒20-
gpt-6.1-sol24 秒00-
gemma-4-31b-qat(手元)264 秒571知見の一般化 20 回中 14・計画の下書き 10 回中 9・論文から手順 7 回中 7・清書 6 回中 6・点検 6 回中 6・ナレッジ化 20 回中 6・根拠の照合 8 回中 5・トピックの改訂 20 回中 3・トピックの統合 3 回中 1
qwen3.6-35b-a3b(手元)11 秒00-
qwen3.5-9b(手元)208 秒411知見の一般化 20 回中 19・翻訳 12 回中 7・清書 6 回中 5

照らし合わせる仕事と、書く仕事 ​

18 作業の指標を、2 つに分けて数えました。それぞれ 10 個の指標のうち、平均が基準点の 9 割以上(↓ の指標は、基準点 ÷ 0.9 以下)だった数です。

  • 照らし合わせる仕事: 出典照合・トピックの統合・点検・世界照合・トピックの振り分け・計画の根拠の照合・名寄せ(再現率と誤った寄せの率)・重複の判定・論文からの工程
  • 書く仕事(要約は 2 指標): 回答・題付け・ナレッジ化・翻訳・トピックの改訂・知見の一般化・計画の下書き・要約(再現率と会議に無い項目)・清書の訂正率
モデル照らし合わせる仕事書く仕事
gpt-6.1-sol108
gemma-4-31B-it(API)86
Kimi-K2.7-Code(API)86
Qwen3.6-35B-A3B(API)72
gpt-oss-120b(API)63
Weblab-MedLLM-gpt-oss-120b(API)51
gemma-4-31b-qat(手元)54
qwen3.6-35b-a3b(手元)52
qwen3.5-9b(手元)41
Qwen3-VL-30B-A3B-Instruct(API)31
llm-jp-3.1-8x13b-instruct4(API)10
Phi-4-mini-instruct-cpu・Qwen3-0.6B-cpu(API)00

この分け方は、結果を見たあとに決めたものです。どちらに入れるか迷う作業(論文からの工程は、抜き出す仕事でもあります)もあります。

分かったこと ​

  • 難しさで分けた 3 段では、モデルの差が出ませんでした。 測る前に、「段の全作業で基準点の 9 割以上なら向く、一部なら条件つき」と決めていました。この決め方で数えると、上位のクラウドの軽い処理と標準の処理(向く)と、4B 級以下(向かない)を除いて、ほぼすべてのマスが「条件つき」になります。6 作業のうち 1 つ近いモデルも、5 つ近いモデルも、同じ「条件つき」です。どの段にも照らし合わせる仕事と書く仕事が混ざっているので、差が打ち消し合っていました。
  • 照らし合わせる仕事は、オープンなモデルでも多くが基準点に近い値でした。 API 経由の gemma と Kimi は 10 個中 8 個です。
  • 書く仕事は、モデルによる落差が大きく出ました。 API 経由の Qwen3.6-35B-A3B は照らし合わせる仕事が 10 個中 7 個、書く仕事が 2 個です。Weblab-MedLLM-gpt-oss-120b は 5 個と 1 個、パソコン上の qwen3.6 は 5 個と 2 個でした。一方、gpt-6.1-sol と、API 経由の gemma・Kimi の差は、どちらの仕事でも 2 個です。
  • 回答からの計画の下書きは、gpt-6.1-sol でも .17〜.43 でした。 基準点の .50〜.63 に届いたモデルはありません。上位のクラウドなら足りる作業ではなく、基準点のモデルだけが高い作業でした。
  • 清書の訂正率は、上位のクラウドでも .58〜.66 でした。 gpt-5.6-luna と gpt-6.1-sol の 95% 区間は大きく重なり、差があるとは言えません。発言の中身を変えた率は、gpt-6.1-sol が .05 で、gpt-5.6-luna の .19 より低い値でした。
  • パソコン上の gemma は、長い入力の作業が 10 分に収まりませんでした。 点検・論文からの手順・清書は、全部が時間切れです。トピックの統合(.67)も、3 回のうち 1 回が時間切れでした。時間切れでない作業でも、API 経由より低い値がありました。世界照合は .75 → .35、計画の根拠の照合は .83 → .42 です。一方で、翻訳は .83〜.92 で、API 経由(.58)より高い値でした(12 件・1 回の差です)。
  • パソコン上の qwen3.6 は、時間切れが 0 回でしたが、API 経由と比べて大きく下がった作業がありました。 1 回の時間は 11 秒です。トピックの振り分けは .83 → .50、名寄せの誤った寄せの率は .01 → .47、翻訳は .31〜.39 → .08〜.17 でした。上がった作業もあります(論文からの工程 .79 → .89、ナレッジ化の基準の合格率 .60 → .70)。量子化の影響かもしれませんが、1 回だけの測定なので、原因は分けられません。
  • 10B 級(qwen3.5-9b)は、書く仕事のほとんどで足りませんでした。 出典照合(1.00)・重複の判定(1.00)・トピックの振り分け(.90)は基準点並みでした。知見の一般化は 20 回中 19 回、清書は 6 回中 5 回が時間切れでした。時間切れでなかった清書の 1 回も、聞き違いを 1 か所も直していません。

限界 ​

  • 上位のクラウドは、2 つとも同じ会社の系列です。 採点者の片方(GPT 系)とも同じ系列です。Claude Opus は、今回は費用の都合で測れませんでした。
  • パソコン上のモデルは 1 回ずつです。 回ごとのばらつきは測れていません。パソコンも 1 台(M1 Max・64 GB)だけです。
  • 10 分の打ち切りは、遅いモデルに厳しい条件です。 パソコン上の gemma は、時間をかければ API 経由に近い点を出せた可能性があります。ただ、1 回に 10 分以上かかる作業は、実際に使うときも待ちきれないと考え、失敗として数えました。
  • 照らし合わせる仕事と書く仕事の差には、採点の方法の差も混ざっています。 照らし合わせる仕事の指標は、論文からの工程を除いて自動採点です。書く仕事の指標は、清書を除いて AI の採点(2 系統とも合格の下限)です。また、照らし合わせる仕事には、重複の判定(上限が 1.00)や誤った寄せの率(基準点がほぼ 0)のように、9 割に届きやすい指標が入っています。仕事の性質の差なのか、採点の方法の差なのかは、この測定では分けられません。
  • 「基準の合格率」と、照らし合わせる仕事・書く仕事の分け方は、結果を見たあとに決めました。 目安の判定は、測る前に決めた決め方(9 割以上)に、この指標を当てはめて出しています。
  • 今回足した 5 つのモデルの採点は、人が確かめていません。 人との照合は、前回の最初の 3 モデルの出力 30 件だけです。
  • 基準点を 3 回にすると、前回の値から少し動きました。 たとえば清書の訂正率は .60 から .66 に、ナレッジ化の全基準に合格は .10〜.20 から .08〜.22 になりました。前回のページの「13 作業」は、1 回の基準点で数えた値です。
  • そのほかの限界(架空の料理の記録・件数の少ない作業・採点の基準を 1 度書き直したこと)は、前回と同じです。

判断 ​

  • 設定の「モデルの目安」を 1 か所直しました。軽い処理の段で、ローカル 30B 級を「向く」から「条件つき」にしています。パソコン上で直接測ったところ、2 つの 30B 級は、6 作業のうち 3 つと 4 つだけが基準点に近い値でした。gemma は点検が時間切れで 0、世界照合が .35 です。qwen3.6 は回答とトピックの統合が届きませんでした。
  • 軽い処理の説明も直しました。「出典照合や題付けは、ローカルのモデルでもほぼ足ります。点検や世界照合は、モデルによっては時間がかかったり、見落としが増えたりします」です。
  • 設定の「測った結果」のリンクは、このページを指すようにしました。
  • ほかのマスは変えていません。 測る前に決めた決め方では、ほとんどのマスが「条件つき」になります。オープンな大型の軽い処理(6 作業のうち 1〜5)や、上位のクラウドの高度な処理・音声ノートの欄も、この決め方では「条件つき」です。それでも設定では「向く」のままにしています。決め方が粗く、6 作業のうち 1 つ近いモデルと 5 つ近いモデルを区別できないので、この結果だけを根拠にマスを動かすことはしませんでした。ローカル 30B 級の軽い処理だけは、これまでパソコン上で測った件数が少なく、今回初めて同じ 18 作業で直接測れたので直しました。どちらの 30B 級も、基準点に近いのは 6 作業のうち半分ほどでした。
  • 段の分け方は、今回は変えていません。 データ上は、照らし合わせる仕事と書く仕事に分けるほうが、モデルの差をよく表します。ただ、段はどの機能がどのモデルを使うかを決める、アプリの仕組みそのものです。分け方を変えるときは、今の設定を引き継ぐ方法と合わせて、別に設計します。

その後(2026-11-14) ​

同じデータを作業ごとに見直しました。照らし合わせる仕事と書く仕事の差は、採点の方法の差では説明できませんでした(AI が採点した論文からの工程はオープンなモデルでも近く、自動で採点した清書は遠い)。書く仕事の差は、出典に無いことを足さない「忠実さ」の基準に集まっていました。

そこで、段の仕組みはそのままにして、必要な強さと段が食い違っていた 4 つの機能だけを移しました。

機能移した先理由
洞察の重複の判定高度 → 軽い10B 級でも正答率 1.00
トピックの振り分け標準 → 軽い10B 級でも .90(基準点 .87)
URL・PDF・Word からの手順の抽出高度 → 標準工程の F1 で、30B 級 5 つのうち 3 つが基準点の 9 割以上
翻訳標準 → 高度オープンなモデルで基準点の 9 割以上は 1 つだけ。訳の完全さで差が出た

段の説明も、仕事の性質(軽い = 照合・判定、標準 = ノートをまとめる、高度 = 出典に忠実に長く書く)で書き直しました。翻訳と手順の抽出は、どちらかの段がオンなら使えます。移った先の段がオフのときは、元の段のモデルで動きます。

Released under the Apache License 2.0.