長い資料を窓に分けて読む 2026-09 測定 · v0.79
確かめたこと。 資料をトピックのページにするとき、AI はこれまで資料を一度に読んでいて、最初の 80,000 文字より後ろは切り捨てられていました。長い資料を、重なりのある窓に分けて読むと、資料が裏づける文は増えるのでしょうか。また、関係なさそうな窓を AI が読み飛ばせるようにすると、役に立つのでしょうか。
ひとことで。 試した長い資料は学位論文 1 本（111,000 文字）で、裏づけのある文の割合が 40% から 84% に上がり、そのほぼ半分は、これまで切り捨てられていた部分から来ていました。「関係ない」窓の読み飛ばしでは、何も省けませんでした。すべての窓が関係ありと判定されたからです。v0.80.0 からは、長い資料を 400 文字ずつ重ねた 4,000 文字の窓で読み、資料全体の短い見取り図を添えます。読み飛ばしはしません。
測り方
| 条件 | W0: 全文を 1 回の呼び出しで（従来）。W1: 窓ごとにページを書き直す。W2: W1 に資料全体の短い見取り図を足す。W3: W2 に加えて、関係なさそうな窓を AI が読み飛ばしてよい |
| 資料 | 短い資料: 調査文書 6 本（最大 18,000 文字、17 窓）。長い資料: 115 ページの学位論文 1 本、111,240 文字（32 窓） |
| 書き手 | gpt-oss-120b。短い資料は条件ごとに 3 回、長い資料は 1 回実行 |
| 採点 | AI が、仕上がったページの各文を、5 文ずつ資料と照らした。裏づけあり / 誤りか資料に無い / 判断できない |
結果
短い資料（3 回の平均）:
| 条件 | 文の数 | 裏づけあり | 誤りか資料に無い | 判断できない | 裏づけの割合 | 入力文字数 | 時間 |
|---|---|---|---|---|---|---|---|
| W0 1 回で読む | 12.3 | 9.3 | 2.0 | 1.0 | 77% | 88,511 | 88 秒 |
| W1 窓 | 31.0 | 18.7 | 3.7 | 8.7 | 61% | 187,411 | 337 秒 |
| W2 窓 + 見取り図 | 50.7 | 34.3 | 4.0 | 12.3 | 68% | 183,426 | 316 秒 |
| W3 + 読み飛ばし（1 回） | 61 | 40 | 9 | 12 | 66% | 201,360 | 476 秒 |
長い資料（1 回）:
| 条件 | 文の数 | 裏づけあり | 誤りか資料に無い | 裏づけの割合 | 80,000 文字より後ろの本文で裏づけられた文 | 時間 |
|---|---|---|---|---|---|---|
| W0 1 回で読む | 10 | 4 | 6 | 40% | 0 | 19 秒 |
| W2 窓 + 見取り図 | 50 | 42 | 5 | 84% | 42 のうち 20 | 590 秒 |
分かったこと
- 長い資料では、窓に分ける価値があります。 ページの文は 5 倍になり、その多くが裏づけられ、これまで切り捨てられていた部分をやっと使えるようになりました。
- 短い資料では、コストのほうが増えます。 窓と見取り図（W2）では、裏づけのある文が 3.7 倍になり（9.3 から 34.3）、誤った文はページの 16% から 8% に減りました。ただ、判断できない文が増えたので、確かめられた割合は下がり、入力は 2 倍、時間は約 3.6 倍かかりました。そのため、窓を使うのは、資料が 1 つの窓に収まらないときだけです。
- 見取り図は効きます。 資料全体の短い見取り図を足すと（W2）、ただの窓（W1）より、文の数も裏づけの割合も上がりました。
- 読み飛ばしでは、何も減りませんでした。 17 窓も 32 窓も、すべて関係ありと判定されたので、読み飛ばしは入れませんでした。
- 新しく出た誤りの多くは、窓そのものでなく、PDF から文字を取り出すときに数値や単位が崩れたことが原因でした。
限界
- 長い資料の結果は、1 本の資料と 1 回の実行によるものです。
- 短い資料は実行ごとに ±15 点ほどのばらつきがあるので、1 回の実行では、近い条件の順位は決められません。
- AI の採点者を変えると、結果が大きく変わりました。 途中で採点者のモデルを変える必要が出ました。そこで、全条件を同じ採点者で採点し直し、上の数字はすべてこの 2 回目の採点の結果です。
- 資料は私自身の調査文書です。