Skip to content

トピックを、もの自体の名前で付ける 2026-11-10 測定 · v0.129 ​

確かめたこと。 トピックの中に、ある材料の性質ごとに 1 ページずつ、のような「X の Y」型のものがありました。この型だと、1 つの X に小さなページがいくつもできてしまいます。

そこで、新しいトピックの名前を「もの自体」で付けるよう、AI に指示しました。資料がそのものについて言うことは、そのページの節に書かせます。この指示で、「X の Y」型のページは出なくなるのでしょうか。同じ規則は、既存のトピックを整理するときにも使えるのでしょうか。また、すでに「X の Y」のページが多いライブラリでは、どうなるのでしょうか。

ひとことで。 新しい規則は、資料を取り込んで新しいトピックを作るときには効きました。既存トピックの整理には使えませんでした。

  • 既存トピックが空の状態では、AI が作った題のうち「X の Y」型は 9% から 0% になりました。
  • 既存の一覧に「X の Y」のページが多いときは、どちらの規則でも大半が既存のページの改訂に回りました。新しく作られる題の差は、この回数でははっきりしませんでした。「X の Y」の題を作った回は旧規則 6 回中 3 回、新規則 6 回中 1 回です。ただし、新規則のその 1 回は 7 件まとめて作りました。
  • もの単位にまとめるを済ませた状態では、「X の Y」の題を作った回は旧規則 9 回中 2 回、新規則 9 回中 0 回でした。
  • 既存トピックの整理では、寄せ先が存在しない題が多く出て、使えませんでした。そこで、この規則は資料を取り込むときにだけ使います。

測り方 ​

4 つの測定はすべて 2026-11-10 に、gpt-oss-120b で行いました。v0.129.1 に規則の変更だけを足した版(新規則)と、足さない版(旧規則)を、同じ入力で同時に実行しています。

実行したのは、資料をどのトピックに振り分けるかを決める段階だけです。ページの本文は書かせていません。次のものは付けていません。

  • 資料全体の見取り図
  • 既存トピックの一行の定義(既存トピックの一覧として渡したのは、題と種別だけです)
  • アプリ側の「題が同じなら既存の改訂に回す」後処理

長い資料は、区切って読ませます。表の「窓」は、その 1 区画のことです。

渡した既存トピック資料回数
測定 1空から開始。ある窓で作られた題を、次の窓に見せる一覧へ足した私の手元のライブラリから 6 本。今のトピック数が多いもの 3 本(34・30・28 件)と、少ないもの 3 本(9・8・8 件)。1,037〜80,090 文字、1〜23 窓。機械学習の長い論文 2 本、金属学の補足資料 1 本(中くらいの長さ)、材料科学の短い資料 3 本各条件 2 回(条件ごとに 12 回)
測定 2振り分けのテストではない。既存トピック 401 件の題を、題を統合する案を出す段階に 1 回だけ渡し、対応表だけを見た。統合はしていない401 件の題各条件 1 回
測定 3同じ 401 件の題。「X の Y」のページが多い材料科学の短い資料 3 本(窓 1 枚に収まる)各条件 2 回(条件ごとに 6 回)
測定 4329 件の題。401 件に「もの単位にまとめる」の組分けをかけ、一般的な語の 3 組を除く 14 組について、吸収される 72 ページを除いた後の題。一覧を計算で作っただけで、実際のページの統合はしていない同じ 3 本各条件 3 回(条件ごとに 9 回)

結果 ​

測定 1: 既存トピックが空の状態(条件ごとに 12 回)。

旧規則新規則
作られた題213201(-6%)
題に「の」「における」を含むもの19(9%)0(0%)
失敗した呼び出し00
入力トークン338,792340,434
出力トークン99,63891,717

「の」を含む題が出たのは、材料科学の短い資料 3 本のうち 2 本と、機械学習の長い論文 1 本(1〜2 件)だけでした。新規則でも、組成ごとの題が 1 件出た回がありました。物性だけの題(その材料に限らない一般的な物性名)が複数出た回もありました。

題の総数は、小さい資料では回ごとに揺れました。ある資料では、2 回目に新規則 11 件・旧規則 5 件でした。

パン作りの語で作った例です。旧規則では「ライ麦サワー種の発酵時間」「ライ麦サワー種の酸度」でしたが、新規則では「ライ麦サワー種」「発酵時間」「酸度」になります。

測定 2: 既存 401 件の整理(対応表だけ、各条件 1 回)。

旧規則新規則
別の題へ寄せる案が出た題17117
うち、寄せ先が既存の題ではないもの041(寄せ先は 11 種類)

今の統合は、寄せ先のページが無いと、組の先頭のページを残す側にして題を変えません。そのため、ある性質の題のページが十数枚を吸収することになります。これが、整理に新規則を使えない主な理由です。

117 件の大半は、規則どおり「もの」へ寄せる案でした。関係の薄いページをまとめたとはっきり言えるのは、1 群(7 件)だけでした。時間とトークン数は端末の出力にしか残っておらず、生データにはありません(旧規則 68 秒・約 2.2 万、新規則 85 秒・約 2.5 万)。

測定 3: 既存 401 件の題を既存一覧として渡した状態(条件ごとに 6 回)。

旧規則新規則
既存の改訂に回したトピック46(うち「の」31)42(32)
新しく作った題9(うち「の」5)15(7)

「X の Y」の題を作った回は、旧規則が 6 回中 3 回(合わせて 5 件)、新規則が 6 回中 1 回(7 件)でした。新規則のその 1 回は、既存の付け方に倣って「材料名 の 物性」を 7 件まとめて作っています。新規則の別の 1 回は、物性だけの題を 4 件作りました。

件数で見ると新規則のほうが多く、回数で見ると旧規則のほうが多いので、6 回では、新規則が効いたとも効かなかったとも言えません。言えるのは、次のことまでです。既存に「X の Y」のページが多いと、新規則でもその付け方に倣う回がありました。物性だけの題と混ざる回もありました。

測定 4: 「もの単位にまとめる」を済ませた状態の題の一覧を渡した場合(条件ごとに 9 回)。

旧規則新規則
既存の改訂に回したトピック54(うち「の」8)55(8)
新しく作った題22(うち「の」9)19(0)

旧規則は 9 回のうち 2 回で「材料名 の 物性」の題を作りました(4 件と 5 件)。残りの 7 回は旧規則でも作っていません。新規則は 9 回とも 0 件でした。新規則で作られたのは、物性だけの題と手法の題でした。

まとめた後は、旧規則でも多くの回で「X の Y」が出なくなっています。既存の題の付け方が、新しく作る題の付け方を引っ張るように見えます。新規則の上乗せは、9 回中 2 回と 0 回の差です。この回数では小さな差です。

決めたこと ​

  • 新しい規則は、資料を取り込むときにだけ使います。 新しいトピックを、もの自体の名前で付けます。
  • 既存トピックの整理は、旧規則のままにします。 設定の「トピックを整理」と、手入れの「おまかせで整える」の最初の段階です。
  • 既存の「X の Y」ページは、自動では変えません。 まとめたい場合は、手入れのもの単位にまとめるを先に使ってください。今回の測定では、まとめた後の一覧のほうが、どちらの規則でも「X の Y」の題が出にくくなりました(測定 3 と 4)。

限界 ​

  • 資料は最大 6 本(測定 3・4 は 3 本)、回数は 2〜3 回、モデルとライブラリは 1 つずつです。測定 2 は 1 回ずつです。
  • 測ったのは題の付け方だけです。本文の質(もののページが長くなりすぎないか、物性だけのページが材料をまたいで雑多にならないか)は測っていません。
  • 測定 4 の既存一覧は計算で作ったもので、実際にまとめた後のライブラリではありません。アプリの「もの単位にまとめる」は資料から作ったトピックだけが対象ですが、この計算は全トピックにかけています。
  • 測定 3・4 の資料 3 本は、すでにライブラリに取り込み済みのものです。既存の一覧には、その資料から作られたページも入っています(取り込み直しに近い条件です)。
  • 資料全体の見取り図なし、一行の定義なし、後処理なしで測りました。アプリはこれらの一部を付けます。
  • 「の」の判定は正規表現だけです(測定 1 は「の」「における」、測定 3・4 は「の」だけ)。「X データセット」のような型や、英語の題は数えていません。
  • 測定 2 で「関係の薄いページをまとめた」と数えた 1 群は、私が目で見て判断したものです。

Released under the Apache License 2.0.