Skip to content

トピックの文ごとに、元の一節を控える 2026-11-14 測定 · v0.132 ​

知りたかったこと。 トピックのページは、資料の内容を自分の言葉で書き直します。そのため、文をそのまま資料の文字と照らしても一致しません。では、文を書く AI に、その文が言い換えた資料の一節も引用の中に原文のまま写させたらどうでしょうか。そうすれば、Graphium がその一節を資料の文字と照らせます。ただの文字列の照合なので、何度やっても同じ結果になります。一節が資料に無ければ、その引用は違う場所を指していると分かります。一節が資料にあれば、PDF のどこを見ればよいかも分かります。AI は一節を原文どおりに写せるのか、写させると何が増えるのかを測りました。

短い答え。 おおむね写せます。最終の指示では、一節の 99%(73 件中 72 件)が資料の文字に見つかりました。見つからなかった 1 件は、AI が語を「直した」ものでした。一節を写させても、ページの要点の数が一貫して減ることはありませんでした。引用のある文は、1・2 回目は一節つきのほうが多く、3 回目は少なくなりました(3 回の合計で、一節なし 231、一節つき 252)。一方で、出力のトークンは 1.5〜1.8 倍になりました。トピックと問答のページの改訂では、すべての引用に一節を写させるようにしました。保存の前に、確かめられない一節は Graphium が外します。

測り方 ​

すべて 2026-11-14 に gpt-oss-120b で測りました。Graphium を 2 つ並べ、同じ入力で同時に動かしました。どちらも v0.132 に「トピックの改訂で別の資料の文を消さない仕組み」を足したもので、片方にだけ一節の指示を足しました。呼んだのは、資料 1 本からトピックを書き直す段だけです。振り分けの段と、長い資料の見取り図は使っていません。

資料私のライブラリから 6 本。機械学習の長い論文 3 本(PDF。それぞれ最初の 3 窓だけ)と、ノート 3 本(約 2,700〜21,000 字)
トピック資料ごとに、その資料を引いている既存のトピックを 2 件(連鎖 12 本)
1 本の連鎖空のページから始め、資料の窓を順に 1 つずつ当てて書き直す
回数3 回。3 回目は最終の指示で、「1 続きの箇所を写す。『…』で省かない」と「保存の前に照合する」を足した

一節が「見つかる」かは、アプリと同じ文字列の照合で決めました。照合が無視するのは、大文字小文字、空白と改行、全角半角と合字(Unicode の NFKC)です。ダッシュの字形と、欧文の英字 2 つに挟まれたハイフンも無視します。PDF の行末で分かれた語も一致させるためです。[8] のような参照番号と、一節の末尾の . , ; : ! ? も無視します。言い換えと「…」での省略は無視しません。長さはこれらを除いたあとで数え、8 字未満の一節は見つかったとは数えません。

結果 ​

1 回目2 回目3 回目(最終)
引用のある文: 一節なし / 一節つき67 / 8381 / 9883 / 71
一節が付いた引用100%(85/85)100%(98/98)100%(73/73)
一節が資料に見つかった94%(80/85)97%(95/98)99%(72/73)
数字を含む文で、その数字がすべて一節にもあった93%(43/46)81%(30/37)74%(26/35)
次の窓を当てたあとも、AI が一節をそのまま写し直した97%(72/74)97%(72/74)98%(61/62)
出力トークン: 一節なし / 一節つき30,520 / 53,97534,564 / 60,78935,321 / 51,483
  • 要点の数は、条件の違いより回ごとの揺れのほうが大きく出ました。3 回目だけ見ると一節つきのほうが少ない(71 と 83)ので、この回数では、少し減る可能性は否定できません。
  • 読んでいる資料以外を指す引用は、どちらの条件でも 0 件でした。
  • どちらの条件でも、同じくらいの呼び出しが失敗しました(28 回のうち 10〜11 回)。すべて、そのトピックの話が無い PDF の窓でした。AI は指示どおり空のページを返しました。取り込みでは、振り分けの段が選んだ窓にしか書き直しを当てないので、この形にはなりません。トピックを資料から作り直すときは全部の窓を読み、このような窓は飛ばします。
  • 見つからなかった一節で AI が変えていたこと: 1・2 回目に「…」を 2 回使いました(うち 1 回は 2 か所をつなぐもの)。これは最終の指示で出なくなりました。ほかに、2 か所を 1 つの文にまとめたもの、3 回目にアポストロフィを「直した」ものがありました。表記の違い(PDF の行末のハイフン、ダッシュの字形、参照番号の脱落、末尾の読点を句点に変えたもの)は照合で吸収しました。

測定中に見つけて直したもの。 論文の一節には「[12]」のような角括弧がよく入ります。最初の引用の読み取りは、一節の途中に「]」があるものも、一節が「]」で終わるものも読めませんでした。アプリでは、その引用がページから消えるか、一節が途中で切れるところでした。今はどちらも読めます。一節に入れられないのは、終わりの印「]]」だけです。

見直しで見つけて直したもの。 長い資料は窓ごとに読みます。前の窓で写した一節は次の窓の文字には無いので、最初の照合は、次の窓でそれを外していました。今は、同じ資料の一節がすでにページにあれば残します。トピックの統合では、一節を照合していませんでした。今は、統合する前のページのどれかにあった一節だけを残します。

決めたこと ​

  • トピックと問答のページの改訂では、すべての引用に一節を写させます。既定で有効で、設定はありません。保存の前に、ページに新しく入る一節を、そのとき読んだ資料の文字と照らします。見つからない一節は外します。引用そのものは残り、その文はこれまでどおり出典照合で判定します。
  • 一節は、AI が変えずに写し直す限り、そのあとの改訂や統合でも文に付いたまま残ります。AI が変えた一節は、確かめようがなくなるので外します。そのため、ページにある一節はどれも、最初に書いたときに資料の中で見つかったものです。
  • 文末の @資料 を押すと、PDF はその一節の位置で開きます。出典照合では、3 つの条件がそろったときに、控えた一節を抜粋にします。AI が抜粋を返さなかった。判定が「出典に書かれていない」ではない。一節が資料の文字の中に見つかる。判定そのものは変えません。
  • トークンが増えるので、一節を写させるのはこの改訂だけです。資料の要約と、チャットの答えから問答を初めて書くときは、一節を求めません。

その後に変えたこと。 次のリリースから、資料に見つからない一節は外さず、印を付けて残すようにしました。その文の後ろに「(AI が写した一節が資料に見つからない)」と出し、出典照合の詳細にもその一節を出します。あわせて、一節を資料の全文と照らすようにしたので、ページを書いたあとで編集されたノートの一節も見つかります。

限界 ​

  • モデルは 1 つ(gpt-oss-120b)だけです。Claude と Copilot のモデルでは測っていません。
  • 資料 6 本・連鎖 12 本・3 回です。PDF は機械学習の論文 3 本の最初の 3 窓だけで、表の多い PDF や 2 段組みは別に試していません。
  • 一節がその文の根拠として妥当かは、直接は測っていません。代わりに、文の数字が一節にあるかを見ました(74〜93%)。
  • 表の数字は、AI が書いたものを数えています。見直しで直した点は、アプリが何を残すかを変えるもので、AI が書くものは変えません。

Released under the Apache License 2.0.