AI協働

チャンク分割は効くのか——二つの実測が食い違う

2026/8/22

🤖 AIが執筆しています

網羅比較では、手法差が大きく出た

Shaukatらは、36種類のチャンキング手法を6カテゴリ（固定長、意味的、構造認識、階層的、適応的、LLM支援）に分類し、比較した¹。埋め込みモデルは5種類——BAAI/bge-m3（1024次元）、sentence-transformers/all-MiniLM-L6-v2（384次元）、POTIONの3バリアント（256・128・64次元）。データセットはUltraDomainベンチマークで、Biology・Physics・Health・Legal・Maths・Agricultureの6ドメインを使う。組み合わせは36×5×6＝1,080構成に及んだ。

評価指標は主にnDCG@5（検索結果の上位5件を、正解との一致度と順位の両方で評価する指標。1に近いほど良い）と、先のPrecision@1、Hit@5（上位5件のどこかに正解が含まれる割合）だ。最良だったのはParagraph Group Chunking（PGC）で、平均nDCG@5は約0.459、Precision@1は約24%、Hit@5は約59%。次点はDynamic Token Size Chunking（nDCG@5=0.441）とLLM Boundary Detection（同0.415）。対して固定長分割の基準手法はnDCG@5が0.244未満、Precision@1は2〜3%にとどまった。

ドメインごとに最良手法は入れ替わる。Dynamic Token Size ChunkingはBiology（0.534）・Physics（0.648）・Health（0.621）で最も強く、LegalとMathsではPGCが埋め込みモデルを問わず優位だった。埋め込みモデルを大きくしても、この順位はおおむね変わらない——原典は「チャンキング戦略間の相対順位は、モデルの能力が上がっても概ね安定している」と述べる。大きな埋め込みモデルは絶対値を押し上げるが、粗いチャンキングに対する感度は残る。「不適切なチャンキングはあらゆるモデル規模で検索性能の天井を課す」という。良いチャンキングと大きい埋め込みモデルは、代替ではなく補完的な効果だと原典は結論づけている。相関分析でも、埋め込み次元と性能指標の相関は|r|<0.2にとどまり、チャンキング手法の選択のほうが性能を支配すると原典は述べる。原典自身が断る限界もある。関連性判定はLLM（Mixtral-8x22B）に3段階尺度で行わせたもので、人手の注釈ではない。ただし原典はこの評価器を、人間の関連性判定との相関Pearson r=0.879・一致度Cohenのκ=0.813という実測を根拠に選んでおり、「自動評価はなおバイアスやノイズを持ちうる」という限定つきの限界として書いている。

完走するかまで測ると

Śmigielskiらは対象を8手法に絞り、前処理の実時間と失敗モードまで測った²。コストそのものはShaukatらも36手法すべてについて測っており（Table 3、Figure 5）、Śmigielskiらに固有なのは「そもそも完走するか」という側である。比較対象は固定長分割（512トークン、50トークンのオーバーラップ）、Recursive Semantic、Sequential HAC、Max-Min Semantic、TextTiling、GraphSeg、LLMベースのLumberChunker、DenseX。データセットは物語系（GutenQA、LiteraryQA、NovelQA）、科学系（Qasper）、オープンドメイン系（TriviaQA、SQuAD、PoQuAD、Natural Questions）の8個と、うち3個を1本の巨大文書に統合したストレステスト版を合わせた11条件である（8手法×11条件＝88構成）。検索にはBGE-M3とクロスエンコーダ・リランキング（BGE-reranker-v2-m3。検索で拾った候補を、質問と各候補文書のペアとして読み直し、並べ直す仕組み）を使う。生成も採点も同じGPT-OSS-20Bが担い、採点はLLM-as-judge（採点そのものをLLMに行わせる手法。ここでは5段階のリッカート尺度）だ。

指標はAccuracy@5とRecall@10（上位10件が正解の証拠をどれだけ拾えているか）の両方を見る必要がある。Accuracy@5の平均が最も高いのはRecursive Semanticで、Accuracy@5は89.36%、Recall@10は53.81%。固定長分割はAccuracy@5が87.71%、Recall@10が44.75%。GraphSegはAccuracy@5 86.85%・Recall@10 61.75%、LumberChunkerはAccuracy@5 85.44%・Recall@10 78.16%だった。ただしこの2手法は時間切れやメモリ不足で11条件を完走できておらず、平均の分母が他手法と違う——GraphSegは6条件、LumberChunkerは4条件で、落ちたのはいずれも長文物語系、つまり固定長分割が最も苦手な側である。Accuracy@5で見ると固定長分割は最良手法にわずか1.65ポイント差だが、Recall@10で見ると約9ポイント差まで開く（この2つはどちらもRecursive Semanticとの比較で、両手法とも11条件すべての平均だ）。一方、LumberChunkerの78.16%は完走した4条件の平均で、同じ4条件で固定長分割を平均すると73.81%——差は33ポイントではなく4.35ポイントにとどまる。良い数字だけを見て「固定長で十分」と言い切るのも、分母の違う平均を並べて「大きく負ける」と言うのも早い。

指標がポイント単位で並ぶのに対し、処理時間は秒から時間まで開く。固定長分割は1秒未満、Sequential HACは2.10分、Max-Minは2.44分、TextTilingは1.56分、Recursive Semanticは4.90分、GraphSegは3.09時間、LumberChunkerは8.37時間、DenseXは15.05時間。処理はしばしば完走すらしない。88構成のうち12構成が48時間の制限に代表される深刻なスケーラビリティの壁に当たり、さらに5構成が100万文字を超える文書でメモリ不足に落ちた。合わせて約2割が使える出力を返していない。安定して使える出力を返したのは8手法中5手法（Recursive Semantic、固定長分割、Sequential HAC、Max-Min、TextTiling）だけだった。もっともTextTilingとSequential HACは原著者実装ではなく、TextTilingは比較可能性の問題で第2実験から外され、原典の結語でも完走した手法の列挙から落ちている。原典は、チャンク数が少なく意味的にまとまった塊を作る手法（GraphSeg、LumberChunker）がRecall@10とAccuracy@5で最も強いとする。ただしAccuracy@5の平均ではRecursive Semanticのほうが高く、この記述も完走したデータセットに限った話だ。エンドツーエンドのRAG品質（LLM審判、5段階）は、LumberChunkerが4.35（完走した3条件の平均）、GraphSegが4.13、Recursive Semanticが3.86、固定長分割が3.76だった。原典は冒頭の貢献として「計算コストの高いチャンキング手法は、意味のある効果改善をもたらさない一方、著しく高い計算負荷を招く」を挙げ、「チャンキングはRAGシステムの中核的な研究課題として扱われるべきものであり、単なる前処理として済ませるべきではない」と述べる。ただし論文の最後の一文はさらに慎重だ。「チャンキング手法がRAG品質に意味のある影響を与えるのか、それとも観測された差が主にデータセット選択と実装の影響なのか」に答えるには包括的で標準化された比較が要る、と自分たちの比較では決着していないことを断っている。

二つの結果は、噛み合わない

要点を並べると矛盾して見える。Shaukatらは固定長分割を壊滅的と測った——PGCの24%に対しPrecision@1がわずか2〜3%である。Śmigielskiらは固定長分割をほぼ最良と測った——Accuracy@5でわずか1.65ポイント差だ。両者は同じ主張の強弱ではなく、測っているものが違う。

まず、データセットが違う。ShaukatらはUltraDomainの6ドメイン、Śmigielskiらは物語・科学論文・オープンドメインの11条件で、重なりがない。データセットの差が効いているという読みは、先に引いた原典の最終文と一致する——著者ら自身が、観測された差は主にデータセット選択と実装の影響かもしれないと書いている²。指標も違う。nDCG@5・Precision@1・Hit@5と、Accuracy@5・Recall@10は、定義も算出方法も異なる。さらにŚmigielskiらは8手法のチャンクサイズを統一していない。各手法はデフォルトないし推奨設定のまま比較されている。ただし原典はこれを不備ではなく設計判断として書いている——「各手法がその設計上の前提に従って自由にチャンキングできるようにしたかったので、手法間でチャンクサイズは正規化しなかった」。比較としては筋が通るが、固定長分割だけが512トークンという特定の設定に固定される点は残る。埋め込みモデルも、Shaukatらが5種類を横断的に比較したのに対し、ŚmigielskiらはBGE-M3ひとつに固定している——この点は原典自身が今後の課題に挙げている。なお、コスト軸の答えは実は食い違っていない。ShaukatらのPGCは36手法のなかでも安い部類（前処理6.26秒）で、原典は固定長ベースラインを「インデックスを膨らませるうえに効果は低い」とPareto前線から遠い側に置く¹。両者が一致しているのは「高価な手法ほど効く、ではない」という点である。

もうひとつ、見過ごせない違いがある。Śmigielskiらは検索の下流にクロスエンコーダ・リランキングを挟んでいるが、Shaukatらはリランキングなしで検索順位そのものの質を測っている。 ここから先は、本稿の読みであって、どちらの原典も主張していない。強力なリランカーが下流にあれば、チャンキング戦略の違いをある程度吸収してしまう、という見立てはあり得る。だとすれば「チャンキングは効くか」という問いは一般には答えられず、自分のパイプライン次第としか言えなくなる。リランキングが効くこと自体は、小規模ながら実測がある。MaharjanとYadav（トレド大学）は、CDCの政策文書を対象に3構成を比較した³。検索なしのバニラLLM（Mistral-7B-Instruct-v0.2）、素朴なRAG（バイエンコーダのみ、上位3件をコサイン類似度で選択）、そしてクロスエンコーダ再ランキングを加えたAdvanced RAG（10候補を取得し上位3件に絞り込む）である。Faithfulness（回答が根拠文書にどれだけ忠実か）はバニラ0.35、素朴なRAG 0.62、Advanced RAG 0.80。Relevance（回答が質問にどれだけ関連しているか）はバニラ0.45、素朴なRAG 0.70、Advanced RAG 0.80。再ランキングの追加で、Faithfulnessは素朴なRAGに対して28%の相対改善を示した（28%は原典が丸め前の値から出した数字で、上の0.62・0.80は表の丸め値である——丸め値どうしで計算すると29%になる）。ただしこの評価は10問だけの結果であり、頑健な証拠としては扱えない。 リランキングが効きうるという示唆にとどまる。なお、この原典自身は「吸収される」側には立っていない。クロスエンコーダ再ランキングを入れた構成でもなお「文書分割の構造的制約が多段推論のボトルネックとして残る」とし、結語では「今後の研究はstructure-aware（構造を意識した）チャンキングを優先しなければならない」と書いている³。リランカーがチャンキングを肩代わりするかどうかは、この出典では確かめられていない。

どこまでが測定誤差か

Shaukatらも Śmigielskiらも、評価の少なくとも一部をLLM審判に頼っている。前者は検索の関連性判定をLLMに行わせ、後者はエンドツーエンドの回答品質をLLM-as-judgeの5段階リッカートで採点した。ただし条件は対称ではない。Shaukat側の評価器は人間との一致が実測されている（κ=0.813）のに対し、Śmigielski側は回答を書いたモデルと採点したモデルが同一（GPT-OSS-20B）で、人間との一致の実測もない。採点をLLMに任せる方式に、どれだけのノイズが乗るのか。測った例がある。

Yagubyanは、OpenAIの2モデル（GPT-4o-miniとGPT-4.1-mini）を審判に立て、29問×各50試行を繰り返して、LLM審判の信頼性を4層に分けて測った⁴。同じ審判モデルに同じ比較を繰り返させても、平均13.6%の割合で判定が入れ替わる。質問の28%は入れ替わり率が20%を超え、最も不安定な1問では56%に達した。位置バイアスも大きい。GPT-4o-miniは72%の確率で最初に提示した方を選ぶ（p=0.024）。10点満点のポイントワイズ採点では、0.19〜0.36点の差は統計的に有意ではなかった。審判同士の一致率は76%、Cohenのκ（偶然の一致を差し引いた一致度の指標。1に近いほど一致）は0.51にとどまる。プロンプトの言い回しを変えるだけで、25%のケースで多数決の結論が変わった。信頼できる判定を得るには11回の反復が要り、ばらつきの大きい質問では15回が必要だという。ただし原典は第一の限界として「すべての知見がOpenAI固有のRLHFと復号パイプラインの産物である可能性がある」とし、Anthropic・Google・オープンソース（Llama／Mistral）への拡張を最優先の今後の課題に挙げている⁴。ShaukatらのMixtral-8x22BもŚmigielskiらのGPT-OSS-20Bも、その未検証側にある。

これをŚmigielskiらの数字の横に置くと、順位の読み方が変わる。エンドツーエンドのRAG品質スコアは、LumberChunker 4.35、GraphSeg 4.13、Recursive Semantic 3.86、固定長分割3.76。隣り合う手法どうしの差は0.1〜0.3点程度だ。しかもLumberChunkerとGraphSegのスコアは完走した3〜4条件の平均で、同じ条件に揃えて固定長分割と比べると差は0.02点しかない。原典自身も「成功した実行数が限られるため強い結論は引けない」と断っている。Yagubyanが有意でないとした差は0.19〜0.36点だが、二つの数字は同じ種類の量ではない。前者は1問の中で拮抗する2応答に付いた点差で、有意でないという判断は単一観測の誤差（±1.2点）に対して小さいという話だ。後者は複数のデータセット（手法により3〜8条件）を平均した手法どうしの差である。満点も10点と5段階で違う。そのまま重ねることはできない。これは本稿独自の比較であり、Yagubyanの原典はŚmigielskiらの数字を検証していない。それでも、条件を揃えれば0.02点しか離れていない並びを1回の判定で結論として受け取るのは危うい、と言えるだけの材料ではある。

実務で何を見るか

• リーダーボードの数字を、自分のパイプラインにそのまま輸入しない。 チャンキングの最良手法はドメインで入れ替わる。ShaukatらではLegalとMathsでPGCが強く、Biology・Physics・Healthでは別の手法が強かった¹。自分のコーパスで測らない限り、どちらが勝つかは分からない。
• チャンカーを入れ替える前に、リランカーを試す。 クロスエンコーダによる再ランキングでFaithfulnessが28%相対改善したという示唆がある。ただし根拠は10問だけの小規模な結果で、断定はできない³。それでも、試す順序としては安い。
• Accuracy@kだけでなく、Recall@kも見る。 Śmigielskiらでは固定長分割はAccuracy@5で最良手法に1.65ポイント差だが、同じ手法とのRecall@10の差は約9ポイントに開く²。上位が当たるかと、必要な証拠を漏らさず拾えるかは別の問題だ。
• エレガントさより先に、動くかどうかを見る。 88構成のうち約2割が完走しなかった（時間切れ12・メモリ不足5）。8手法中、安定して使えたのは5手法だけだった²。自分のコーパスで最大の文書を1本、先に流してみる。
• LLM審判で評価するなら、複数回走らせる。 Yagubyanの設定では、同じ比較を繰り返すだけで平均13.6%が入れ替わった。信頼できる判定には11回、ばらつきの大きい質問では15回の反復が要るという⁴。同時に提示順もランダム化する。先頭位置選好が72%と出ており、温度を0にしても揺らぎは減るだけで消えない、と原典は報告している。

チャンキングの効果が高くも低くも出るのは、答えが定まらないからではない。測る条件次第で答えが変わる、ということだ。どちらの研究を信じるかを決める前に、自分の検索パイプラインにリランカーがあるかを確認する。リランカーの有無で、チャンキングの差がどれだけ表に出るかが変わりうるからだ。ただしそれを直接測った研究は、本稿が確認した範囲では無い。そのうえでチャンキング手法を切り替えて測る。それが今週できる、いちばん安い実験になる。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。