Skip to content

23 万行の CSV を取り込むと、画面はどれだけ固まるか 2026-11-18 測定 · v0.138 ​

確かめたこと。 データ表は「行数の制限なし」と案内していましたが、動作を確かめた記録は 2,000 行まででした。23 万行・188 MB の CSV を取り込むと、画面はどれだけ固まるのでしょうか。

ひとことで。 直す前は、ファイルを落としてから取り込み画面が開くまでに、画面が最大 16 秒ほど固まりました。取り込みと表示を小分けにすると、同じ条件で最大 0.5 秒ほどになりました。上限は今回も設けません。Web 版(Chromium)で、23 万行を取り込んでも止まる時間が最大 0.5 秒ほどに収まることを確かめたので、その範囲をマニュアルに書きました。デスクトップアプリは、このあとで測りました(デスクトップアプリでの測定)。

  • 固まった時間(最大の 1 回)は、4 つの場面すべてで短くなりました。
  • 確定してからデータ表が出るまでの時間は、逆に長くなりました(2.3〜2.6 秒から 4.1〜4.3 秒)。変換を小分けにし、列の読み取りを先に済ませるためです。その間も画面は止まりません(描画フレームの間隔は最大 0.2 秒ほど)。
  • メモリの増減は測っていません。

測り方 ​

機材Apple M1 Max・64 GB、macOS 27.2
実行環境Web 版を開発用サーバー(vite dev。本番ビルドではありません)で動かし、保存先は隔離したフォルダのサーバー保存。ヘッドレスの Chromium(Playwright)で操作した
データ合成の CSV。233,000 行 × 16 列・188 MB。うち 2 列は、数値 28 個の配列を引用符で包んだセル。ページの中で生成し、エディタへのドロップから流した
固まった時間10 ミリ秒ごとのタイマーの遅れを「画面が固まった時間」とした。最大の 1 回と、100 ミリ秒を超えた遅れの合計を見た。直した後の版は、描画フレームの間隔でも同じ傾向を確かめた
回数直す前は 2 回、直した後は 5 回
場面ファイルを落とす → 確定する → 本文に 31 文字打つ → 保存して開き直す

結果 ​

固まった時間(最大の 1 回)。

場面直す前(2 回)直した後(5 回)
ファイルを落として取り込み画面が開くまで16.3〜17.1 秒0.50〜0.55 秒
確定してデータ表が出るまで1.8〜1.9 秒0.06〜0.20 秒
その後、本文に 31 文字打つ1.5〜1.6 秒0.03 秒以下(固まりとして数えた遅れは 0)
保存して開き直し、表が出るまで7.6〜7.7 秒(合計 9.4〜9.5 秒)0.15〜0.22 秒(合計 0.15〜0.45 秒)

かかった時間(操作から表示まで)。

場面直す前直した後
取り込み画面が開くまで16.7〜17.6 秒0.8 秒前後
確定してデータ表が出るまで2.3〜2.6 秒4.1〜4.3 秒
保存して開き直し、表が出るまで(保存後に置いた 2.5 秒の待ちを含む)12.9〜13.2 秒7.3〜8.1 秒

確定からデータ表が出るまでは、長くなっています。

変換の関数だけの予備測定。 直す前のコードを Node 上で動かし、実ファイルの CSV(155 MB・233,103 行 × 16 列)を読ませました。推定 11.2 秒、変換 5.0 秒、列の読み取り 1.6 秒で、プロセスのメモリは最大約 1.2〜1.3 GB でした。行数と列数は、正規の CSV パーサ(Python の csv)と一致しました。

分かったこと ​

直す前に固まっていた理由は 4 つでした。

  1. 取り込み画面が、区切り文字の候補 4 つを全行で試していた。
  2. 全行を一息で表に変換していた。
  3. データ表の列を数値として読む処理が、本文を編集するたび(0.25 秒後)に全行ぶん走っていた。
  4. その結果の比較も、毎回まるごと文字列にして比べていた。

直したこと ​

  • 推定は先頭 5,000 行で行い、終了行だけファイルの末尾から決めます。
  • 2 万行を超えるファイルは、取り込み画面では先頭 2,000 行だけ変換します。全行の変換は、データ表が表示するときに小分けで行います。
  • 列の読み取りは 1 回だけ行い、素材が変わらないかぎり読み直しません。本文が約 200 万文字を超える素材では、全行の変換と列の読み取りを小分けにします。
  • 比較は、同じものは中身を見ずに済ませます。

測定中に見つけて直したもの ​

  • チャートの「素材のデータから」で、1,000 行を超えるファイルを選ぶと確定ボタンが押せませんでした。 文書の表の上限が、表を作らないこの経路にも掛かっていました。上限を外しました。
  • 新しいノートの最初の保存が終わる前にデータ表が入ると、入れた表が消えました。 保存の完了でエディタが作り直されるためです。直す前の版の測定では起きませんでした。画面が固まっている間に最初の保存が済むためと考えています。取り込みが速くなったことで、当たりやすくなりました。保存を 3 秒遅らせる条件で確実に再現し、挿入の前に最初の保存を待つようにして、同じ条件で表が残ることを確かめました。直した後は、まっさらな保存先からの 1 回を含めて 10 回続けて表が入りました。
  • 小分けの処理の譲り方に scheduler.yield を使うと、変換の間じゅう描画フレームが出ませんでした(約 1.6 秒)。 MessageChannel に変えると出るようになりました。

限界 ​

  • この時点では、デスクトップアプリ(Web ビューは WebKit)では測っていませんでした。あとで測った結果は、デスクトップアプリでの測定にあります。
  • 本番ビルドでは測っていません(開発用サーバー)。
  • メモリの増減は測っていません。ファイルの本文と変換後の行を、どちらもメモリに持つ作りは変えていません。
  • 測ったのは、取り込み・表示・本文の編集・開き直しです。表のスクロール・並べ替え・チャートの描画は測っていません。
  • 1 種類の形・1 つの大きさ(23 万行 × 16 列)でしか測っていません。列の多い表や、もっと大きなファイルは測っていません。
  • データ表に計算した列を足しているときは、列の読み取りを覚えておけず、編集のたびに読み直します(今回は対象外)。
  • チャートが大きな素材を直接読む経路は、今も全行を一息で変換します(今回は対象外)。
  • 128 MB を超える素材は、同じ中身かどうかの照合(重複の検出)を行いません(既存の仕様)。
  • 推定を先頭 5,000 行に限った代償として、前置きが 5,000 行を超えるファイルや、先頭より後ろにもっと長い表があるファイルでは、推定が外れます。終了行と区切りは手で直せます。
  • 回数は、直す前が 2 回、直した後が 5 回です。

決めたこと ​

  • データ表の行数に、上限は設けません。Web 版(Chromium)で、23 万行(188 MB)を取り込んでも止まる時間が最大 0.5 秒ほどに収まることを確かめたので、マニュアルにはその範囲を書きます。デスクトップアプリは、このあとで測りました。

その後に直したもの ​

  • 同じ原因で、新しいノートの最初の保存が遅いときに、その最中に打った文字も消えることが分かりました。 保存を 3 秒遅らせて確かめました。新しいノートに ID が付いてもエディタを作り直さないようにして、根本から直しました。保存の最中に打った文字と挿したデータ表が、画面にも再読み込みの後にも残ることを確かめました。
  • データ表の挿入の前に最初の保存を待つ処理は、外しました。 作り直しが起きなくなったので、要らなくなりました。
  • 23 万行のチャートは、描画で 45 秒以上固まりました。 同じ合成データの 4 列版(233,000 行)を、チャートの「素材のデータから」で読ませて測りました。変換ではなく、全点を描く処理が重く、描いた後は本文に 1 文字打つのに 52〜153 秒かかりました。1 系列あたり 4,000 点を超えたら描画用の点だけを間引き、本文を編集しただけでは描き直さないようにしました。確定から描画までが 45.3〜50.0 秒から 1.2 秒(止まる時間は最大 0.4 秒)に、1 文字あたりの遅れが最大 0.064 秒になりました。500 行と 3,000 行のチャートは、今までどおり全点を描きます。積み上げや規格化は全点で計算します。
  • 素材のプレビューは、23 万行 × 16 列の全行を一度に描画していました。 先頭 1,000 行・200 列までを描画し、全体の行数と列数を添えるようにしました。並べ替えは全行に対して行います。開くまで 3.3 秒、文字列の列の並べ替えは 0.6〜1.1 秒でした(直す前は測っていません)。

デスクトップアプリでの測定 ​

上の測定のあと、デスクトップアプリでも同じ合成データ(233,000 行 × 16 列・188 MB)を流しました。ここまでの修正をすべて入れたビルドです。直す前のデスクトップアプリは測っていません。

機材Apple M1 Max・64 GB、macOS 27.2
ビルドリリースと同じ最適化のビルド。本番のアプリと分けるため、識別子と内部のポートだけを変えた。保存先は一時のフォルダ
操作確認用のビルドにだけ入れた小さな仕掛けが、ページの中で合成データを作り、エディタへのドロップ → 確定 → 打鍵 → 保存 → 再読み込みを自動で行う
回数1 回
場面かかった時間固まった時間(最大の 1 回)
ファイルを落として取り込み画面が開くまで0.7 秒0.5 秒
確定してデータ表が出るまで6.1 秒1.0 秒
その後、本文に 31 文字打つ—0.01 秒
再読み込みしてデータ表が出るまで6.0 秒1.1 秒
  • 23,300 行(19 MB)では、確定から表が出るまで 0.6 秒、再読み込みから表が出るまで 0.8 秒でした。
  • 画面を描くプロセスのメモリは、取り込みの最中に最大 3.2 GB、開き直した後は 2.1 GB でした。
  • Web 版より確定と開き直しが遅いのは、素材の保存と読み戻しで、ファイル全体を base64 の文字列にして受け渡すためです。188 MB の素材で、読み戻しは受け取り 0.5 秒・復号 0.4 秒・バイト列への写し 0.2 秒、保存は符号化 0.6 秒・送信 0.9 秒でした。復号・写し・符号化の間は画面が止まります。
  • 最適化なしの開発用ビルドでは、確定から表が出るまで 9.3 秒、再読み込みから 15.3 秒でした。開発用ビルドの数字は、リリースの目安になりません。

絞り込んで取り込むときの測定 ​

そのあと、v0.144.0 で取り込み画面に「絞り込む」の段を足しました(一部だけを取り込む)。同じ合成データ(233,000 行 × 16 列・188 MB)で、段を開いてから取り込むまでを測りました。v0.144.0 と同じコードを、Web 版・開発用サーバー・ヘッドレスの Chromium で 1 回流した結果です。

場面かかった時間固まった時間(最大の 1 回)
段を開いて、全体の行と列の中身を読み終えるまで3.6 秒0.09 秒
条件の値を入れて、残る行数が出るまで0.20 秒0.18 秒
確定して、絞ったデータ表(466 行)が出るまで0.8 秒0.05 秒
その後、本文に 27 文字打つ—0.03 秒
  • 段を閉じたままなら、全体は読みません。条件や列の選択を残したまま畳んだときと、絞り込んだ表から取り込み直すときは読みます。
  • 段を開かずに取り込む場合の時間は、この節では測っていません。
  • 空のセル、日付の比較、元のファイルから消えた列、読み取りの中断は、単体テストだけで確かめました。
  • デスクトップアプリでは動かしていません。

Released under the Apache License 2.0.