NVIDIA Nemotron 重排序模型

开放权重 + NIM · NVIDIA ·

可商用文本和页面图片需要 GPU

NVIDIA 提供四个可商用的重排序模型,其中三个公开权重。最新的 Nemotron-3.5-Rerank-8B(2026 年 10 月 20 日)用一个 8.38B 参数的模型给文本、页面图片或两者一起打分,上下文 32,768 token。更早的 llama-nemotron 系列小得多:一个 1.7B 的视觉语言重排序模型,以及 1B 和 500M 两个文本重排序模型,三者都以 NVIDIA NIM 容器提供。

四个模型

模型规模输入上下文许可证
nvidia/Nemotron-3.5-Rerank-8B-BF168.38B,基于 Ministral-3-8B文本、页面图片,或两者一起32,768 tokenOpenMDW-1.1
nvidia/llama-nemotron-rerank-vl-1b-v2约 1.7B,基于 Llama 3.2 1B 加 SigLIP 2 视觉编码器文本、页面图片,或两者一起NIM 中 8,192 tokenNVIDIA Open Model License
nvidia/llama-nemotron-rerank-1b-v21B,基于 Llama 3.2 1B文本,评测过 26 种语言8,192 tokenOpenMDW-1.1
nvidia/llama-nemotron-rerank-500m-v2500M文本NIM 中 8,192 token仅 NIM;没有 Hugging Face 模型卡

四个都是交叉编码器,对每个查询–文档对输出一个原始 logit:越高越相关,但它不是概率。OpenMDW 许可证允许商用;视觉语言模型用的 NVIDIA Open Model License 也允许,另外还要遵守 Llama 3.2 许可证。500M 没有 Hugging Face 模型卡,只以 NIM 提供。NVIDIA 还通过 Baseten、DeepInfra、FriendliAI 和 OpenRouter 提供 8B;从 NIM 2.4 版起,它也有了 NIM 容器 nemotron-rerank。这个 NIM 默认把每个查询–段落对限制在 10,240 token,设置 NIM_PIPELINE_MAX_SEQ_LEN 才能用满模型的 32,768。三个 llama-nemotron 模型仍留在 NIM 2.3 版。

分数,以及是谁测的

Nemotron-3.5-Rerank-8B

模型ViDoRe V3,页面图片ViDoRe V3,文本ViDoRe V3,图片 + 文本MIRACL-VISION
只用第一阶段(Nemotron-3.5-Embed-1B)58.0257.8058.8268.93
Qwen3-VL-Reranker-8B66.0264.8866.0375.06
Nemotron-3.5-Rerank-8B67.2266.8967.5678.69

NVIDIA 自己的测试,取自模型卡:NDCG@10,两个重排序模型都对 NVIDIA 的 Nemotron-3.5-Embed-1B 召回的前 50 条重新排序。MIRACL-VISION 是 18 种语言的页面图片。NVIDIA 的博客还给出了新的 ViDoRe v3.1 重排序排行榜(另一套设置):图片加文本输入时,8B 得 60.49,Qwen3-VL-Reranker-8B 得 59.17。

相比 Qwen3-VL-Reranker-8B,它在 ViDoRe V3 上领先一到两分,在多语言的 MIRACL-VISION 上领先近四分。不过先把 Qwen 的数字和其他来源放在一起看:Qwen 自己的模型卡给同一个模型的 ViDoRe V3 是 66.7*,LightOn 测的是 64.23*,各自的第一阶段和设置都不同(见 Qwen3-VL-Reranker 页面)。这张表最清楚的是相对第一阶段的提升:ViDoRe V3 上约九分,MIRACL-VISION 上约十分。

llama-nemotron-rerank-vl-1b-v2

模型文本页面图片图片 + 文本
只用第一阶段(llama-nemotron-embed-vl-1b-v2)71.04%71.20%73.24%
jina-reranker-m069.31%78.33%—
llama-nemotron-rerank-vl-1b-v276.12%76.12%77.64%

NVIDIA 自己的测试,取自模型卡:在 ViDoRe V1、V2、V3 和两个 NVIDIA 数据集(DigitalCorpora-10k 和 Earnings V2)上的平均 Recall@5,对 llama-nemotron-embed-vl-1b-v2 召回的候选重新排序。NVIDIA 只用文本和图片分别测了 jina-reranker-m0,因为它不能同时接收两者。

只看页面图片时 jina-reranker-m0 分数更高,但它的权重不可商用;NVIDIA 这个模型的优势在于许可证,以及能同时接收图片和文本。

llama-nemotron-rerank-1b-v2

NVIDIA 只在自家的「向量召回 + 重排序」流程里报告这个模型,而且用的是 Recall@5 而不是 NDCG。对 llama-nemotron-embed-1b-v2 召回的候选重排后,NQ、HotpotQA、FiQA 和 TechQA 上的平均值从 68.60% 提到 73.64%。同一流程在 NVIDIA 抽样的多语言 MIRACL 上是 65.80%,在跨语言的 MLQA 上是 86.83%。这些都不能和 BEIR NDCG@10 比,所以模型对比表里不列。

快速上手

用 sentence-transformers 跑 Nemotron-3.5-Rerank-8B

pip install "sentence-transformers[image]" "transformers==5.20.0"

from sentence_transformers import CrossEncoder

model = CrossEncoder(
    "nvidia/Nemotron-3.5-Rerank-8B-BF16",
    device="cuda",
    model_kwargs={"dtype": "bfloat16", "attn_implementation": "flash_attention_2"},
)

query = "What is NVIDIA NeMo Framework?"
documents = [
    {"image": "https://example.com/page_3.png", "text": "NeMo Framework offers ..."},
    "NeMo Framework offers comprehensive functionalities for developing LLMs.",
    {"image": "https://example.com/page_3.png"},
]
rankings = model.rank(query, documents, batch_size=1)

一个文档可以是文本、一张页面图片,或两者一起。示例需要先装 Flash Attention 2。NVIDIA 的模型卡用 Transformers 5.20.0 测过,并提醒 5.17 到 5.19 版里 Flash Attention 2 处理图片输入可能出错。需要 CUDA GPU;NVIDIA 列出的是 A100、H100 80GB 和 GB200。

用 vLLM 部署 8B

模型卡用 vllm serve --runner pooling 加上检查点自带的聊天模板来部署,通过 /classify 接口给每一对打分。不要用 /score 或 /rerank:NVIDIA 说明这两个接口可能处理错模型的图片占位符。每个文档最多一张图片。

通过 NIM 使用 llama-nemotron 模型

两个公开权重的 llama-nemotron 模型都能从 Hugging Face 用 transformers 加载,视觉语言那个也能用 sentence-transformers 的 CrossEncoder。生产环境里,NVIDIA 把它们和 500M 一起打包成 NIM 容器(2.3 版),支持 A100、H100、B200、RTX PRO 6000 Blackwell 和 DGX Spark。1B 还可以在 build.nvidia.com 上作为托管 API 调用。

什么时候选 NVIDIA

优缺点

优点

  • 公开权重,可商用
  • 一个模型同时处理文本、页面图片或两者
  • 在 NVIDIA 的 ViDoRe V3 和 MIRACL-VISION 对比里,8B 领先
  • 生产环境有 NIM 容器和托管 API

缺点

  • 公布的分数都是 NVIDIA 自己测的,大多用的是自家流程
  • 8B 需要大显存 GPU;实际上没有一个适合用 CPU 跑
  • 8B 用 vLLM 部署要严格照 NVIDIA 的配置
  • 太大,放不进本站的浏览器 Demo

要给页面图片选模型?

选型指南对比了 NVIDIA、Qwen3-VL-Reranker、LightOn-rerank 和几种托管方案在视觉文档上的表现。

按场景选型 → 全部模型 →

其他模型