LightOn-rerank

开源权重 · LightOn · 更新于 2026 年 10 月 16 日

LightOn-rerank 是一组六个重排序模型，用同一个模型给文本段落和文档页面图片打分，所以一个第二阶段就能同时服务文本索引和 PDF 页面索引。它有三个尺寸（0.8B、2B、4B），每个尺寸都有逐点和列表式两个版本，基于 Qwen3.5，Apache 2.0 许可。在视觉文档上，列表式 4B 是 LightOn 自己对比里最强的；在文本上它落后于 jina-reranker-m0。

逐点还是列表式

每个尺寸都有两个版本，而选哪个版本比选尺寸更重要：

• PW（逐点）单独给每个候选打分，分数是“Yes”和“No”两个 logit 之差。每个候选一次前向计算，便于批处理，可以直接用 sentence-transformers 的 CrossEncoder 加载。
• LW（列表式）在一个提示里同时读四个候选，生成它们的顺序，比如 [2] > [4] > [1] > [3]。更长的列表用宽度为四、每次移动两个的滑动窗口从下往上排。能同时看到多个候选，让它在每个尺寸上处理视觉文档都更强，代价是延迟大约是逐点的三倍。

训练数据只有英文。借助多语言底座，法语不需要额外训练也能用，但比英文略差。

分数，以及是谁测的

LightOn 自己的测试，数据来自模型卡，所有模型都在同一套流程下重新评测。ViDoRe V3：对 ColQwen2.5 召回的前 100 张页面图片重排，指标 NDCG@10。BEIR：对 BM25 召回的前 100 个结果重排，指标 NDCG@10，取 11 个没进过 LightOn 训练数据的数据集平均。两者都和厂商自己公布的数字对不上：比如 Qwen 的模型卡按自己的设置给 8B 的 ViDoRe V3 分数更高（见 Qwen3-VL-Reranker 页面）。

这张表说明三件事。列表式模型越大越强，LW-4B 以大约一半的参数略微超过 Qwen3-VL-Reranker-8B；逐点 4B 并不比逐点 2B 好。在文本上，三个公布了分数的 LightOn 模型比 jina-reranker-m0 低三到四分，而 m0 的权重只能非商用。另外，PW-0.8B 的分数比它重排的第一阶段还低，所以不要拿它处理页面图片。

快速上手

逐点模型，用 sentence-transformers

pip install "sentence-transformers[image]"   # 5.4 or later

from sentence_transformers import CrossEncoder

model = CrossEncoder("lightonai/LightOn-rerank-PW-2B")

query = "What is late interaction in neural information retrieval?"
documents = [
    "ColBERT computes token-level query-document interactions at search time...",
    "https://example.com/page_2.png",   # a page image: URL, path or PIL.Image
]
rankings = model.rank(query, documents)

文本候选和图片候选可以放在同一次调用里。模型训练时用的对话模板已经打包在检查点里，不需要额外代码就能正确格式化输入。

列表式模型

LW 模型不能用 CrossEncoder 加载：它们生成的是顺序而不是分数。模型卡里附了一段简短的 transformers 实现，包括四候选窗口和在长列表上的滑动。用 vLLM 部署任何一种时，都要关掉思考模式（enable_thinking: False；Qwen3.5 的模板默认开启，会扭曲分数），给整页图片排序时上下文至少留 16,384 token。

什么时候选 LightOn-rerank

• 适合：你检索的是 PDF 页面、幻灯片或扫描件，并且需要能商用的许可：要性价比选 LW-2B，要最好效果选 LW-4B。
• 适合：一个模型要同时给文本索引和页面图片索引重排序。
• 可能不适合：只有文本。这时 Qwen3-Reranker 这类文本重排序模型更合适。
• 可能不适合：英语和法语以外的语言，它既没在这些语言上训练过，也没测过。

优缺点

其他模型