In Silico

AIエージェント

リランカーとは：埋め込み検索との違いとNemotron 3.5の文書画像検索

2026/11/3

🤖 AIを使用して執筆

  • リランカー
  • 情報検索
  • RAG
  • Nemotron 3.5 Embed
  • Nemotron 3.5 Rerank
  • ViDoRe V3
  • Qwen3-VL-Reranker
  • SBERT
  • 埋め込みモデル
  • クロスエンコーダ
  • ベクトル
  • 上位k件
  • テキスト抽出
  • ページ画像
  • nDCG
  • 内積
  • ロジット
  • モデルカード
  • Hugging Face
  • NVIDIA
  • トークン
  • エージェント
目次
背景・問い・要点
背景

技術文書の PDF（Portable Document Format）には、仕様の表やグラフのように、文章ではなく図表に事実が載っている部分が多い。こうした文書に質問する仕組みは、文書の中から質問に関係する部分を探して取り出し、その部分を LLM（Large Language Model、大規模言語モデル）に渡して答えを書かせる。この構成を RAG（Retrieval-Augmented Generation、検索拡張生成）と呼ぶ。検索を繰り返して答えを組み立てるエージェントも、同じ検索の段を使う。

検索の段は、実際には二つに分かれる。一つ目の段は、文書を前もって固定の長さの数値の並び（ベクトル）に変えて保存しておき、質問が来たら質問のベクトルとの近さで大量の文書から候補を速く拾う。二つ目の段は、拾った少数の候補を、質問と一組ずつ読み合わせて並べ直す。従来は PDF から文字を取り出して二つの段に渡しており、この取り出しでは、表の行と列の対応やグラフの値が落ちやすい。さらに、並べ直しが弱いと、関係の薄い部分が LLM に多く渡り、LLM が一度に読める量を消費する。

本稿は、NVIDIA の Nemotron 3.5 Embed と Nemotron 3.5 Rerank を例に、二つの段の違いを調べる。NVIDIA は、文字だけを扱った前の世代に対し、この世代でページの画像を直接読む型を公開した。本稿がこの二つを例に選んだのは、二つの段をどちらも公開モデルとして出し、入力と使い方をモデルカードに書いているので、読者が自分で確かめられるからである。同じ役割のモデルは他の作り手にもあり、これは例の一つにあたる。

問い

リランカーは埋め込み検索と何が違い、どんな場面で足すとよいのか。

要点

リランカーは、埋め込み検索が拾った上位の候補を、質問と一組ずつ同時に読んで並べ直すモデルである。リランカーは、正解が上位の候補には入るのに LLM に渡す数件から漏れるときに、埋め込み検索の後ろに足す。

埋め込みモデルは文書を前もってベクトルにしておけるので大量の文書から速く拾えるが、リランカーは前もって計算できず組の数だけ計算が要るので、上位の少数の候補にだけ使う。

Nemotron 3.5 では、NVIDIA が二段ともページ画像を直接読む型を公開した。ただし、画像を読むリランカーの上乗せは、作り手の測定では 8〜9 ポイントあったが、ベンチマークの論文が別のモデルで測ると 0.2 ポイントだった。

モデル・例示

1 つの質問に対して、上位 50 件を並べ直し、上位 5 件だけを渡す

※ この節の例は、説明のために作った架空のものです。

この例は、正解のページが埋め込み索引の上位 50 件には入るのに上位 5 件から漏れるとき、リランカーが並べ直すと、渡す件数を増やさずに正解をエージェントに渡せることを示す。ある部品のデータシートが 10,000 ページ分あり、各ページは表やグラフを含む画像であるとする。エージェントは「型番 A の最大定格電流は何アンペアか」と問い、答えはあるページの表の「型番 A｜最大定格電流｜8 A」の行にあるとする。埋め込み索引は 10,000 ページを前もってベクトルにして保存しており、質問のベクトルとの内積（二つのベクトルの対応する要素を掛けて足した値）が大きい順に上位 k=50k = 50 件を拾う。リランカーはその 50 件を並べ直し、上位 5 件を返す。

  1. エージェント埋め込み索引1. 型番 A の最大定格電流を問う
  2. 埋め込み索引2. 質問をベクトルにし、保存済みの 10,000 ページ分と内積を比べる
  3. 埋め込み索引リランカー3. 内積の大きい上位 50 ページを渡す
  4. リランカー4. 質問とページ画像を 1 組ずつ読み、50 組の点数を出す
  5. リランカーエージェント5. 点数の高い上位 5 ページを返す

埋め込み索引が質問のために新しく計算するのは、質問 1 つ分のベクトルだけである。10,000 ページ分のベクトルは、質問が来る前に作ってある。そのため、10,000 ページを比べる作業は、内積という軽い計算の繰り返しで済む。

リランカーは、質問とページ画像を 1 組にして読むので、点数を出す計算を組の数だけ行う。上位 50 件に限れば 1 つの質問あたり 50 組で、10,000 ページ全部に使えば 10,000 組になる。組の数は 200 分の 1 になる。

並べ直しの効果は、正解のページの順位で見る。埋め込み索引の順位では、正解のページが 23 位にあり、上位 5 件には「型番 A｜通常動作電流｜5 A」の行を載せたページや、別の型番の最大定格電流を載せたページが入っているとする。埋め込み索引はページのベクトルを質問より前に作るので、ページのどの行が問われるかを知らないまま、ページ全体を一つのベクトルにしている。そのため、型番 A や電流の語を共有するページどうしは、内積では差が付きにくいことがある。リランカーは質問と 23 位のページ画像を一つの入力として読むので、点数は、質問の「最大定格電流」と表の行の項目が対応するかどうかで変わりうる。リランカーがこの対応を読んで 23 位のページを 1 位に上げたとすると、渡す件数は 5 件のまま、正解がエージェントに届く。

この仕組みには限界がある。リランカーが並べ直せるのは、埋め込み索引が上位 50 件に入れた候補だけであり、正解が 51 位以下なら、リランカーは正解を見ない。

検索を二段に分けるのは計算量の理由であり、リランカーは前もって計算できないので上位 kk 件にだけ使う

埋め込みモデルは、文書や質問の内容を固定の長さのベクトルに変えるモデルである。文書のベクトルは質問が来る前に作って保存でき、質問が来たら質問のベクトルを作り、内積で近さを比べる。リランカーは、質問と文書を 1 つの入力に連結して関連度を出すモデルで、この形をクロスエンコーダと呼ぶ。Nemotron 3.5 Rerank も、クロスエンコーダの形で作られている1。

クロスエンコーダを全文書に使うと重くなることは、数字で分かる。Reimers と Gurevych の SBERT（Sentence-BERT）の論文によると、BERT（Bidirectional Encoder Representations from Transformers）のクロスエンコーダで 1 万文の中から最も似た組を探すと、約 5,000 万回の推論が要る2。かかる時間は約 65 時間である2。同じ探索を、文ごとに作った埋め込みで行うと、約 5 秒である2。この数字は 1 万文のすべての組を比べる問題のもので、1 つの質問に対して文書を探す検索とは、比べる組の数が違う。

クロスエンコーダは質問と文書の組を一緒に読むので、質問が来るまで文書の側の計算を済ませられない1。そのため、文書が増えるほど質問ごとの費用が同じ倍率で増える。ここからは本稿の推論である。モデルが画像を読むようになっても、組で読む構造は変わらず、この性質は設計に由来する。二段に分けると、安い段が大量の候補から少数に絞り、高い段が少数だけを読むので、費用が収まる。

NVIDIA のリランカーのモデルカードは、入力を 1 つの質問と 1 つの文書（文字、画像、またはその両方）の組とし、出力を確率でない生のロジット（点数）と書く3。同じカードは、埋め込みモデルが候補を拾い、リランカーが再採点する二段の使い方を書き、ベンチマークでは Nemotron 3.5 Embed の 1B 版が拾った上位 50 件を並べ直したと記す3。上位何件を並べ直すとよいかという一般の推奨は、カードに無い3。そのため kk は、自分の検索で正解が埋め込みの順位の何位までに入るかを測って決める。

足すかどうかの基準は三つある。第一に、正解が上位 kk 件には入るが、エージェントに渡す少数には入らない場合である。第二に、質問ごとに kk 組の推論を追加で払える場合で、モデルカードはハードウェアに A100 80GB、H100 80GB、GB200 を挙げる3。第三に、渡すページの減る分が、追加の費用を上回る場合である。NVIDIA は、根拠が弱いとエージェントが検索を繰り返し、より多くの文書を読むと説明し、並べ直しはエージェントが一度に読めるコンテキストの量を有効に使うのを助けると書く1。作り手自身の測定では、リランカーを足すと 1 つの質問あたりのトークン（モデルが読む文字列の単位）の費用が、8B の埋め込みで約 14%、1B の埋め込みで約 13% 減り、精度も上がった1。これは作り手の測定であり、本稿は再現していない。

図表を含む文書では、ページ画像を読む検索がテキスト抽出を読む検索を上回り、作り手は並べ直す段も画像を読む構成で出している

図表を含む文書の検索では、ページ画像を読む検索器が、文字を取り出して読む検索器を上回ったという評価がある。この評価に使われた ViDoRe V3（ViDoRe は Visual Document Retrieval の略）は、10 のデータセット、約 26,000 ページ、人が確かめた 3,099 の質問、6 つの言語からなる4。文字を読む検索器には NeMo Retriever の抽出で作った Markdown を、画像を読む検索器にはページ画像を渡して比べた4。nDCG@10（normalized Discounted Cumulative Gain、上位 10 件の中で正解が上位にあるほど高い、0 から 100 の指標）の平均は、画像を読む最良の検索器 ColEmbed-3B-v2 が 59.8、文字を読む最良の Qwen3-8B が 51.0 である4。同じ Jina-v4 を使っても、画像を渡すと 57.6、文字を渡すと 50.4 だった4。著者は、画像を読む検索器が文字を読む検索器を上回ると結論する4。この論文の著者に NVIDIA の所属の者が含まれ、最良の ColEmbed-3B-v2 は NVIDIA のモデルで、文字側の入力に NVIDIA の抽出ツールが使われている。そのため、この比較は NVIDIA から完全に独立した評価ではない。

作り手の製品も同じ向きに動いた。NVIDIA は、前の世代の Nemotron 3 Embed が文字を中心にしていたのに対し、Nemotron 3.5 Embed は表、グラフ、図解を含む文書の画像から検索すると説明する1。Nemotron 3.5 Embed と Nemotron 3.5 Rerank は 2026-10-20 に Hugging Face で公開され、2026-11-01 時点の直近 1 か月のダウンロードはそれぞれ 5,601 と 5,016 である53。文字だけの入力から作るベクトルは Nemotron 3 Embed と一致する見込みなので、既存の文字の索引を再利用できる、とも書く1。モデルカードによれば、入力の質問は文字だけで、文書は画像、文字、またはその両方を受け付ける5。同じカードは、このモデルが質問に対して常に正しい文書を取るとは限らないと明記する5。

並べ直す段も画像を読む。Nemotron 3.5 Rerank は、埋め込みモデルと同じ土台のモデルをクロスエンコーダの形にして、質問と文書の組を一緒に点数にする1。NVIDIA は、画像と文字の ViDoRe v3.1 で、このリランカーが 60.49、Qwen3-VL-Reranker-8B が 59.17 だったと報告する1。これは作り手の測定であり、独立した追試は本稿が引く資料に無い。NVIDIA と Qwen のほか、Jina AI も 2025 年に、並べ直す段を画像を読む型の jina-reranker-m0 として出していた6。

ただし、見たことのない文書では文字を読む方式が強いという独立した比較もある。Most らは、画像を読む ColPali と、OCR（Optical Character Recognition、光学文字認識）で文字を取り出す方式を、品質の異なる文書で比べた。画像を読む方式は微調整に使った文書ではよく働いたが、見たことのない品質の文書には OCR の方式のほうがよく対応した、と著者は書く7。

画像を読むリランカーの上乗せは、測る人と組み合わせで大きく違う

ViDoRe V3 の論文が評価した画像を読むリランカーは jina-reranker-m0 の一つで、上乗せ（リランカーを足す前と後の nDCG@10 の差）は小さかった6。文字を読む検索器の Jina-v4 に文字のリランカー zerank-2 を足すと、nDCG@10 の平均が 50.4 から 63.6 に上がり、上乗せは 13.2 だった6。画像を読む Jina-v4 に画像を読むリランカー jina-reranker-m0 を足すと、57.6 から 57.8 で、上乗せは 0.2 にとどまり、4 つのデータセットで下がった6。並べ直しまで含めた組どうしでも、文字を読む組の 63.6 が、画像を読む組の 57.8 を上回った6。著者は、より良い多言語の画像を読むリランカーが要ると書く6。この論文は 2026 年 1 月に公開され、ACL 2026 に載ったもので、評価した個々のモデルの結果であり、Nemotron 3.5 Rerank は含まれない。

NVIDIA の ViDoRe v3.1 の数値は、版が違うので、上の数値と比べられない。比較の相手も違う。作り手の 60.49 対 59.17 は、画像を読むリランカー同士の差が約 1.3 であることを示すだけで、リランカーを足したときの上乗せではない1。一方、NVIDIA のリランカーのモデルカードは上乗せも報告している。ViDoRe V3 で Nemotron 3.5 Embed の 1B 版が拾った上位 50 件を並べ直すと、画像の nDCG@10 が 58.02 から、Nemotron 3.5 Rerank で 67.22、Qwen3-VL-Reranker-8B で 66.02 に上がった3。Qwen3-VL-Reranker-8B の値も NVIDIA の測定である。論文とは土台の検索器が違うので、0.2 と 8〜9 を直接は比べられない。モデルカードも、有意味な順位が常に得られるとは限らないと書く3。

画像を読むリランカーはまだ出ている数が少なく、上乗せは今後のモデルで変わりうる。しかしこれは、本稿が確かめた事実ではない。独立した評価で上乗せが大きくなった報告を、本稿は見つけていない。したがって、図表を含む文書の検索に今すぐ画像を読むリランカーを足すかどうかは、自分の文書で、足す前と後の正解の順位を測って決めることになる。

出典7件

  1. NVIDIA「Nemotron 3.5 Embed, Rerank, and Parse: Advancing Agents with World-Class Retrieval Models」Hugging Face, 2026. https://huggingface.co/blog/nvidia/nemotron-retriever-world-class-agentic-retrieval — 画像を読む二段の公開と設計の理由、約14%のトークン減少（作り手の測定）。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9

  2. Reimers, Gurevych「Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks」EMNLP, 2019. https://arxiv.org/abs/1908.10084 — 一組ずつ読む方式は1万文で約65時間、埋め込みなら約5秒という計算量の差。 ↩ ↩2 ↩3

  3. NVIDIA「Nemotron-3.5-Rerank-8B-BF16 model card」Hugging Face, 2026. https://huggingface.co/nvidia/Nemotron-3.5-Rerank-8B-BF16 — 入力は質問と文書の1組、出力は生のロジット。上位50件の再採点で画像58.02→67.22。直近1か月のダウンロード5,016（2026-11-01取得）。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6 ↩7

  4. Loison ほか「ViDoRe V3: A Comprehensive Evaluation of Retrieval Augmented Generation in Complex Real-World Scenarios」ACL, 2026. https://arxiv.org/abs/2601.08620 https://doi.org/10.18653/v1/2026.acl-long.755 — 画像の検索59.8が文字の51.0を上回る。著者にNVIDIA所属。 ↩ ↩2 ↩3 ↩4 ↩5

  5. NVIDIA「Nemotron-3.5-Embed-8B-BF16 model card」Hugging Face, 2026. https://huggingface.co/nvidia/Nemotron-3.5-Embed-8B-BF16 — 入力は質問が文字、文書が画像か文字。2026-10-20公開、直近1か月のダウンロード5,601（2026-11-01取得）。 ↩ ↩2 ↩3

  6. Loison ほか「ViDoRe V3」（リランカーの節）ACL, 2026. https://arxiv.org/abs/2601.08620 https://doi.org/10.18653/v1/2026.acl-long.755 — 文字のリランカーは+13.2、画像のリランカーは+0.2で4データセットが低下。著者は多言語の画像リランカーの改善を求める。 ↩ ↩2 ↩3 ↩4 ↩5 ↩6

  7. Most ほか「Lost in OCR Translation? Vision-Based Approaches to Robust Document Retrieval」ACM DocEng, 2025. https://arxiv.org/abs/2505.05666 — 画像を読む方式は微調整した文書で強く、未知の品質の文書には OCR の方式が強い。 ↩

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。