NDCG 与 MRR 计算器
reranker 有没有帮上忙?把每条查询的候选按返回顺序给出相关度标签,重排序前一份、重排序后一份,就能读出 NDCG@k、MRR 和 Hit@1。全部在浏览器里计算:你输入的内容不会发送到任何地方。如何准备标签见评测指南。
你的排序结果
结果
| 指标 | 重排序前 | 重排序后 | 变化 |
|---|
逐条查询
| 查询 | NDCG 前 | NDCG 后 | 首个相关结果的名次 |
|---|
标签怎么填
每行是一条查询。按排名顺序给每个候选写一个数字,用空格或逗号隔开:0 表示不相关,1 表示相关;如果你给相关度分级,可以用 2、3。「重排序前」是检索器返回的顺序,「重排序后」是同一批候选经 reranker 重新排列的顺序。同一条查询的两行必须包含相同的标签,只是顺序不同。
这些数字是什么意思
- NDCG@k —— 前 k 个结果的折损累计增益,除以这批候选能达到的最好得分。1.0 表示最好的候选都排在最前面。增益取标签本身,折损为 1 / log2(名次 + 1)。
- MRR —— 前 k 名内第一个相关结果的 1 / 名次的平均值,没有则记 0。
- Hit@1 —— 排第一的结果是相关的查询所占比例。
完全没有相关候选的查询不计入平均值,因为任何 reranker 都救不了它们;这样的查询很多的话,问题出在检索而不是重排序。只有你列出的候选会被打分,所以这里衡量的是重新排序的效果,不是召回。只有 30 条查询时,小幅差异可能只是噪声:一两个点的提升当作持平,信它之前先看逐条查询的表。