Skip to content

取得型のモデルなら、今の OCR で読めない手書きまで読めるか 2026-11-18 測定 · v0.141 ​

確かめたこと。 Graphium は画像の文字を tesseract.js で読んでいます。これを、取得して使う小さなモデルや OS 標準の OCR に替えると、手書きまで読めるようになるのでしょうか。精度は上がるのでしょうか。

ひとことで。 今の OCR(tesseract.js)は、手書きの 160 句を 1 句も拾えませんでした。約 22〜180 MB の検出・認識モデル(PP-OCR)は、写真と表を大きく、活字を少し改善しますが、手書きは日付と数値までで、文は読めません。確かめた手書きの句の多くを拾えたのは(正解は私の下書きで、ノートの持ち主の確認はまだです)、macOS 標準の Vision と、GB 級の OCR 専用の視覚言語モデル(glm-ocr)でした。この測定では、既定の OCR はまだ変えていません。 どれを載せるかは未決定で、Windows は測っておらず、glm-ocr のライセンスと配布形態も確かめていません。

測り方 ​

機材Apple M1 Max、macOS 27.2。時間はこの機材の値です
エンジンtesseract.js 7(今と同じ。jpn+eng、4.0.0_best_int)。PP-OCRv5(mobile 約 22 MB、server 約 180 MB)と PP-OCRv6 の日本語(small 約 31 MB、medium は検出と認識で約 139 MB)を、rapidocr 3.10.0 と onnxruntime 1.32.0 で動かした。Apple Vision(VNRecognizeTextRequest、accurate、ja-JP と en-US。macOS のみで、取得するものはない)
視覚言語モデル同じ日に ollama 0.40.6 で動かした。長辺 2000px に縮めて渡し、temperature は 0。glm-ocr(2.7 GB)、deepseek-ocr(6.7 GB)、gemma3:4b(3.4 GB)、qwen3-vl:4b(3.3 GB)
合成データ測定用に作った 16 枚。活字・小さい字・表・暗い画面・縦書き・写真風の劣化で、題材はパン作り。正解は全文
手書き利用者から提供された 7 枚。実験ノート 6 ページとメモ 1 枚を iPhone で撮った写真(3024×4032)で、向きだけ直した。正解は全文ではなく、縮小画像で確信を持って読めた 160 句。正解の下書きは、私が AI の補助を受けて作りました。持ち主の確認はまだです
採点(合成)文字誤り率(CER)。NFKC で正規化し、空白を除いた。読み順を無視した誤り(文字の多重集合の F1)も見た
採点(手書き)句が出力のどこかに出ているか(句にいちばん合う部分文字列との編集距離 ÷ 句の長さ)。0.2 以下を「当たり」とした

手書きの中身は、ここには載せません。そこに書かれている文や数値も、引用しません。

結果 ​

合成 16 枚(平均 CER。小さいほど良い)。

カテゴリtesseract.jsPP-OCRv5 mobilePP-OCRv5 serverPP-OCRv6 small(日本語)PP-OCRv6 medium(日本語)Apple Visionglm-ocr
活字0.0290.0010.0140.0000.0000.0080.002
小さい字0.0820.0280.0540.0030.0030.0160.045
暗い画面0.0390.0000.0000.0000.0000.0100.000
写真風0.5370.1410.0260.0040.0660.0720.003
表0.8210.0000.0110.0070.0340.0000.000
縦書き0.9270.7800.7800.7800.7801.0000.000
ms/枚374289262836113831401447
  • glm-ocr の 16 枚全体の CER は 0.007 でした。
  • Apple Vision は、縦書きの 1 枚で出力が空でした。

手書き 160 句(当たりの割合。大きいほど良い)。

エンジンサイズ全体日付(30)日本語の句(88)数値・単位(42)完全一致秒/枚
tesseract.js同梱済み0 %0 %0 %0 %0 %20.0
PP-OCRv5 mobile約 22 MB40 %83 %12 %67 %21 %1.4
PP-OCRv5 server約 180 MB47 %93 %19 %71 %30 %11.2
PP-OCRv6 small(日本語)約 31 MB45 %93 %18 %67 %32 %未集計
PP-OCRv6 medium(日本語)約 139 MB48 %93 %19 %76 %33 %未集計
Apple Vision0(macOS のみ)69 %93 %70 %50 %38 %0.5
glm-ocr2.7 GB69 %97 %52 %86 %54 %27.9
deepseek-ocr(測れていない)6.7 GB32 %77 %8 %50 %24 %約 24
gemma3:4b3.4 GB16 %33 %6 %26 %8 %約 18
qwen3-vl:4b(測れていない)3.3 GB9 %(7 枚中 5 枚が空の出力)13 %5 %14 %7 %約 127

qwen3-vl:4b と deepseek-ocr は、指示文や思考トークンの扱いを詰めていません。前者の空の出力と後者の崩れ(表のタグや無関係な語)は、モデルの実力を表すものとは言えません。この 2 つは「測れていない」扱いです。指示文は、glm-ocr が Text Recognition:、deepseek-ocr が Free OCR.、ほかの 2 つは日本語の書き起こしを頼む普通の文でした。

分かったこと ​

  • 縦書きと傾いた写真での PP-OCR の誤りは、実行スクリプトの並べ順が原因でした。 列を左から読み、傾いた行を独自に束ねる処理です。文字そのものは読めていて、順序を無視した誤りは、縦書きで 0.04〜0.06、写真風で 0.02 以下でした。
  • Vision と glm-ocr は、得意なところが逆でした。 日本語の文は Vision が上(70 % 対 52 %)、数値・単位(86 % 対 50 %)と完全一致(54 % 対 38 %)は glm-ocr が上です。全体は 69 % で並びました。
  • glm-ocr には、行を飛ばして、別の語で文を閉じてしまう誤りがありました。 たとえば、2 行にまたがる文の後半が落ちて、別の語で終わります。文字化けではなく読める文になるので、気づきにくい誤りです。
  • 汎用の小型モデル(gemma3:4b)は、書かれていない語と数値を作りました。 OCR には向きません。
  • PP-OCRv5 の ch モデルは、簡体字が混ざります。
  • PP-OCR は、手書きの日付と数値は拾いますが、続け字の日本語の句はほとんど拾えません。tesseract.js は、手書きから意味のある文字を出せませんでした。

限界 ​

  • 手書きは 1 人の筆跡・7 枚です。正解は、読みやすい句に偏っています。
  • 正解の下書きは私が AI の補助で作ったもので、持ち主の確認はまだです。
  • 合成データは、実写より易しいです。縦書きと暗い画面は、1 枚ずつです。
  • 時間は M1 Max だけで測りました。Windows は測っていません。Vision は macOS にしかありません。
  • 視覚言語モデルには、長辺 2000px に縮めた画像を渡しました。別の大きさでは結果が変わるかもしれません。
  • 接続済みの AI は測っていません。
  • glm-ocr のライセンスと配布形態(ONNX 化できるか、ollama なしで動かせるか)は、確かめていません。PP-OCRv6 のモデルの出どころとライセンスも、まだ控えていません。

決めたこと ​

  • 測った時点では何も変えていませんでした。Graphium の OCR は tesseract.js のままで、どのエンジンを、どの環境に足すかは決めていませんでした。そのあとのことは次の節に書きます。

その後に変えたこと ​

  • v0.142.0: デスクトップ版は PP-OCRv6 small で画像を読みます。 モデルは、最初に画像を読むときに裏で取得します。取得が済むまでの間、失敗したとき、ブラウザ版では、これまでどおり tesseract.js で読みます。アプリが既に持っている ONNX Runtime の上に Rust で書き直したエンジンは、合成 16 枚で Python の実行スクリプトと同じ出力でした。縦書きだけは違い、右の列から読むようにしたので CER が 0.780 から 0.049 になりました。検出の前に長辺を 1600 px に縮める上限を入れても、手書きの当たり率は同じ範囲(42〜46 %)に収まり、メモリのピークは 4.75 GB から 1.13 GB に下がりました。
  • 細い縦長の画像でメモリを使い切る問題がありました。 この変更を攻撃する側の目で見直したところ、1×20000 px の画像で検出の入力が約 10 GB になると分かりました。検出の入力の大きさ、1 回の入力の大きさ、同時に走る件数、時間に上限を入れました。リリースの前に直しています。
  • macOS では、OS 標準の文字認識の読みも、探すためだけに持ちます。 2 つのエンジンは得意が逆なので、どちらかの読みに句があれば見つかったと数えるとどうなるかを測りました。表示・コピー・書き出し・AI に渡す文字は PP-OCR の読みのままで、もう 1 つの読みは検索にだけ入ります。v0.142.0 の次のリリースに入ります。
探すときに使う読み(手書き 160 句。アプリに組み込んだエンジン)全体日付日本語の句数値・単位
PP-OCRv6 small だけ44 %90 %16 %71 %
OS 標準の文字認識だけ72 %93 %76 %48 %
2 つのどちらか82 %97 %80 %79 %

上に書いた限界はそのままです。1 人の筆跡、7 枚の写真で、正解はノートの持ち主の確認がまだです。Windows には、もう 1 つの読みはありません。

Released under the Apache License 2.0.