NDCG 与 MRR 计算器

工具 ·

reranker 有没有帮上忙?把每条查询的候选按返回顺序给出相关度标签,重排序前一份、重排序后一份,就能读出 NDCG@k、MRR 和 Hit@1。全部在浏览器里计算:你输入的内容不会发送到任何地方。如何准备标签见评测指南。

你的排序结果

结果

重排序前后的平均排序质量
指标重排序前重排序后变化

逐条查询

每条查询的 NDCG 和倒数排名
查询NDCG 前NDCG 后首个相关结果的名次

标签怎么填

每行是一条查询。按排名顺序给每个候选写一个数字,用空格或逗号隔开:0 表示不相关,1 表示相关;如果你给相关度分级,可以用 2、3。「重排序前」是检索器返回的顺序,「重排序后」是同一批候选经 reranker 重新排列的顺序。同一条查询的两行必须包含相同的标签,只是顺序不同。

这些数字是什么意思

完全没有相关候选的查询不计入平均值,因为任何 reranker 都救不了它们;这样的查询很多的话,问题出在检索而不是重排序。只有你列出的候选会被打分,所以这里衡量的是重新排序的效果,不是召回。只有 30 条查询时,小幅差异可能只是噪声:一两个点的提升当作持平,信它之前先看逐条查询的表。

需要标注的候选?

在线 Demo 展示 cross-encoder 如何重新排列一份候选名单,在标注真实数据集之前,可以先直观地看看哪种排序更好。

打开在线 Demo →

继续阅读