NVIDIA Nemotron 重排序模型
NVIDIA 提供四个可商用的重排序模型,其中三个公开权重。最新的 Nemotron-3.5-Rerank-8B(2026 年 10 月 20 日)用一个 8.38B 参数的模型给文本、页面图片或两者一起打分,上下文 32,768 token。更早的 llama-nemotron 系列小得多:一个 1.7B 的视觉语言重排序模型,以及 1B 和 500M 两个文本重排序模型,三者都以 NVIDIA NIM 容器提供。
四个模型
| 模型 | 规模 | 输入 | 上下文 | 许可证 |
|---|---|---|---|---|
nvidia/Nemotron-3.5-Rerank-8B-BF16 | 8.38B,基于 Ministral-3-8B | 文本、页面图片,或两者一起 | 32,768 token | OpenMDW-1.1 |
nvidia/llama-nemotron-rerank-vl-1b-v2 | 约 1.7B,基于 Llama 3.2 1B 加 SigLIP 2 视觉编码器 | 文本、页面图片,或两者一起 | NIM 中 8,192 token | NVIDIA Open Model License |
nvidia/llama-nemotron-rerank-1b-v2 | 1B,基于 Llama 3.2 1B | 文本,评测过 26 种语言 | 8,192 token | OpenMDW-1.1 |
nvidia/llama-nemotron-rerank-500m-v2 | 500M | 文本 | NIM 中 8,192 token | 仅 NIM;没有 Hugging Face 模型卡 |
四个都是交叉编码器,对每个查询–文档对输出一个原始 logit:越高越相关,但它不是概率。OpenMDW 许可证允许商用;视觉语言模型用的 NVIDIA Open Model License 也允许,另外还要遵守 Llama 3.2 许可证。500M 没有 Hugging Face 模型卡,只以 NIM 提供。NVIDIA 还通过 Baseten、DeepInfra、FriendliAI 和 OpenRouter 提供 8B;从 NIM 2.4 版起,它也有了 NIM 容器 nemotron-rerank。这个 NIM 默认把每个查询–段落对限制在 10,240 token,设置 NIM_PIPELINE_MAX_SEQ_LEN 才能用满模型的 32,768。三个 llama-nemotron 模型仍留在 NIM 2.3 版。
分数,以及是谁测的
Nemotron-3.5-Rerank-8B
| 模型 | ViDoRe V3,页面图片 | ViDoRe V3,文本 | ViDoRe V3,图片 + 文本 | MIRACL-VISION |
|---|---|---|---|---|
| 只用第一阶段(Nemotron-3.5-Embed-1B) | 58.02 | 57.80 | 58.82 | 68.93 |
| Qwen3-VL-Reranker-8B | 66.02 | 64.88 | 66.03 | 75.06 |
| Nemotron-3.5-Rerank-8B | 67.22 | 66.89 | 67.56 | 78.69 |
NVIDIA 自己的测试,取自模型卡:NDCG@10,两个重排序模型都对 NVIDIA 的 Nemotron-3.5-Embed-1B 召回的前 50 条重新排序。MIRACL-VISION 是 18 种语言的页面图片。NVIDIA 的博客还给出了新的 ViDoRe v3.1 重排序排行榜(另一套设置):图片加文本输入时,8B 得 60.49,Qwen3-VL-Reranker-8B 得 59.17。
相比 Qwen3-VL-Reranker-8B,它在 ViDoRe V3 上领先一到两分,在多语言的 MIRACL-VISION 上领先近四分。不过先把 Qwen 的数字和其他来源放在一起看:Qwen 自己的模型卡给同一个模型的 ViDoRe V3 是 66.7*,LightOn 测的是 64.23*,各自的第一阶段和设置都不同(见 Qwen3-VL-Reranker 页面)。这张表最清楚的是相对第一阶段的提升:ViDoRe V3 上约九分,MIRACL-VISION 上约十分。
llama-nemotron-rerank-vl-1b-v2
| 模型 | 文本 | 页面图片 | 图片 + 文本 |
|---|---|---|---|
| 只用第一阶段(llama-nemotron-embed-vl-1b-v2) | 71.04% | 71.20% | 73.24% |
| jina-reranker-m0 | 69.31% | 78.33% | — |
| llama-nemotron-rerank-vl-1b-v2 | 76.12% | 76.12% | 77.64% |
NVIDIA 自己的测试,取自模型卡:在 ViDoRe V1、V2、V3 和两个 NVIDIA 数据集(DigitalCorpora-10k 和 Earnings V2)上的平均 Recall@5,对 llama-nemotron-embed-vl-1b-v2 召回的候选重新排序。NVIDIA 只用文本和图片分别测了 jina-reranker-m0,因为它不能同时接收两者。
只看页面图片时 jina-reranker-m0 分数更高,但它的权重不可商用;NVIDIA 这个模型的优势在于许可证,以及能同时接收图片和文本。
llama-nemotron-rerank-1b-v2
NVIDIA 只在自家的「向量召回 + 重排序」流程里报告这个模型,而且用的是 Recall@5 而不是 NDCG。对 llama-nemotron-embed-1b-v2 召回的候选重排后,NQ、HotpotQA、FiQA 和 TechQA 上的平均值从 68.60% 提到 73.64%。同一流程在 NVIDIA 抽样的多语言 MIRACL 上是 65.80%,在跨语言的 MLQA 上是 86.83%。这些都不能和 BEIR NDCG@10 比,所以模型对比表里不列。
快速上手
用 sentence-transformers 跑 Nemotron-3.5-Rerank-8B
pip install "sentence-transformers[image]" "transformers==5.20.0"
from sentence_transformers import CrossEncoder
model = CrossEncoder(
"nvidia/Nemotron-3.5-Rerank-8B-BF16",
device="cuda",
model_kwargs={"dtype": "bfloat16", "attn_implementation": "flash_attention_2"},
)
query = "What is NVIDIA NeMo Framework?"
documents = [
{"image": "https://example.com/page_3.png", "text": "NeMo Framework offers ..."},
"NeMo Framework offers comprehensive functionalities for developing LLMs.",
{"image": "https://example.com/page_3.png"},
]
rankings = model.rank(query, documents, batch_size=1)
一个文档可以是文本、一张页面图片,或两者一起。示例需要先装 Flash Attention 2。NVIDIA 的模型卡用 Transformers 5.20.0 测过,并提醒 5.17 到 5.19 版里 Flash Attention 2 处理图片输入可能出错。需要 CUDA GPU;NVIDIA 列出的是 A100、H100 80GB 和 GB200。
用 vLLM 部署 8B
模型卡用 vllm serve --runner pooling 加上检查点自带的聊天模板来部署,通过 /classify 接口给每一对打分。不要用 /score 或 /rerank:NVIDIA 说明这两个接口可能处理错模型的图片占位符。每个文档最多一张图片。
通过 NIM 使用 llama-nemotron 模型
两个公开权重的 llama-nemotron 模型都能从 Hugging Face 用 transformers 加载,视觉语言那个也能用 sentence-transformers 的 CrossEncoder。生产环境里,NVIDIA 把它们和 500M 一起打包成 NIM 容器(2.3 版),支持 A100、H100、B200、RTX PRO 6000 Blackwell 和 DGX Spark。1B 还可以在 build.nvidia.com 上作为托管 API 调用。
什么时候选 NVIDIA
- 适合:你要重排 PDF 页面、幻灯片或扫描件(可能还带着提取出的文本),并且需要可商用的许可证:有 GPU 就用 Nemotron-3.5-Rerank-8B,没有就用 llama-nemotron-rerank-vl-1b-v2。
- 适合:你已经在用 NVIDIA NIM,想要一个能直接放进同一套部署的重排序模型。
- 适合:用小模型做多语言文本:1B 文本重排序模型评测过 26 种语言,支持 8,192 token。
- 可能不适合:只能用 CPU 部署,或者需要和 BEIR 分数对比。可以看看 bge-reranker 或 GTE 重排序模型。
优缺点
优点
- 公开权重,可商用
- 一个模型同时处理文本、页面图片或两者
- 在 NVIDIA 的 ViDoRe V3 和 MIRACL-VISION 对比里,8B 领先
- 生产环境有 NIM 容器和托管 API
缺点
- 公布的分数都是 NVIDIA 自己测的,大多用的是自家流程
- 8B 需要大显存 GPU;实际上没有一个适合用 CPU 跑
- 8B 用 vLLM 部署要严格照 NVIDIA 的配置
- 太大,放不进本站的浏览器 Demo