NDCG和MAP的含义 map的含义
准做出了改进,这些改进基于以下两个原则:
第一,在信息检索中,相关可以分为多个级别,高度相关的文档比部分相关的文档更有价值,其在评价中应该赋予更大的权值。
第二,文档在序列中的位置越靠后,这个文档的价值越小,从用户的角度考虑,由于时间、精力以及从已经阅读过的文档中所得到了信息等原因,用户可能根本不会去看这些文档。
在这种评价方法中,每一个文档都对它所在的位置有一定的贡献,其贡献值与文档的相关度有关,然后,从1到n的所有的位置上的贡献值都被加起来作为最终的评价结果。这样,一个一定长度的文档序列被转换成了一个相关分值的序列。给定一个排序后的文档序列,在第r位的NDCG 值NDCG@r 的计算公式为
NDCG@r=Nr*(j从1到r的下式的和:2的r(j)次幂-1/log(1+j)),其中r(j)是第j个文档的级别,Nr是归一化参数,它使得最优的排序的NDCG@r的值始终为1;如果结果序列中文档的个数n要少于r,则计算公式返回NDCG@n的值。
下面我们用一个简单的例子来说明NDCG值的计算过程。例如,假设有四
个不同级别的贡献值0、1、2 和3,其中3 代表最有价值而0表示没有价值。有
一个由上述文档组成的序列,其各个位置上的文档所贡献分值为G:
G = (3, 2,3,0,0,1, 2, 2,3,0。。)
这样,到第i 位累计的贡献为从第1 位到第i 的贡献值之和。我们把第i位上的贡献记为G[i],而从第1 位到第i位的贡献之和记为CG[i],其中CG[i]=CG[i-1]+G[i],i=1时CG[i]=G[1],上述CG并没有反映出NDCG在提出的时候的第二点——文档所排的位置越靠后,其重要性就越小,因此对于具有相同贡献值的文档,其所在的位置越靠后,则其加在CG上的值应该越小。一个简单的办法就是在其贡献值上除以其位置值的对数函数,这样我们就得到了DCG[i],]/log ifi<b则DCG[i]=CG[i],否则DCG[i]=DCG[i-1]+G[i]/logi(b为底数)。为了便于比较,我们需要把DCG进行归一化,使得所有的值都在0 到1之间,因此在每一个位置上都除以其最优排序时的DCG值。形式化的表达为:给定一个根据某个排序计算出来的DCG 序列:
(v1 ,v2 , , ,vk)而根据最优排序计算出的DCG 序列为
(i1,i2 , , ,ik) 则这个排序对应的NDCG 序列为:
(v1/i1, v2/i2, , ,, vk/ik)。
AvgPi=Σ Precision (j)* pos(j)/(number of documents relevant toQi),其中j从1到M(检索到的文档的总数),Precision(j)是前j个检索到的
文档的查准率,pos(j)是一个0-1 函数,如果排在第j个文档是相关的,其值为
1,否则为0。这样平均查准率的均值MAP 的计算公式为:
MAP = ΣAvgPi/(number of queries)
更多阅读
手指上斗和簸箕的含义 手指纹路十个簸箕说法
民间谚语:“一斗穷二斗富,三斗四斗卖豆腐,五斗六斗开当铺,七斗八斗把官做,九斗十斗享清福。”(斗是圆圈,簸萁是条纹)说法一:下面是几个斗几个簸箕人的性格和命运的解释(不一定真,但古书都是这么解释的):0个斗(10个簸箕):直率,与人为善,埋头苦干,脚踏实
中国国旗国徽含义的解释 国旗和国徽的含义
将我们的理想、信念、价值和诉求铭刻在我们的旗帜上——关于国旗和国徽含义的建议中华人民共和国共和国宪法第一百三十六条规定“中华人民共和国国旗是五星红旗”;第一百三十七条规定“中华人民共和国国徽,中间是五星照耀下的天安门
备份属于 理解语段中重要词语和句子的含义 理解重要句子的含义
记叙文专题训练二:理解语段中重要词语和句子的含义(一)语段中重要词语的理解1、考点精析:理解词语在文中的含义是阅读的基础,能在上下文语境中迅速地领悟词语的含义,是高水平阅读的一项重要标志,也是中考现代文阅读考查的一项重要内容。这
BNF 和EBNF的含义与用法 bnf ebnf
草贝星球's C++ BlogHappy coding开元编译器 UCC 研究 - 符号表 编译原理知识加电-[转]BNF 和EBNF的含义与用法(感谢译者:Sunnybill)皮贝贝 posted @ 2009年9月16日 10:08 in 编译器 with tags 编译原理 BNF EBNP LL LR , 6 阅读开源编
男生送女生手表的含义.送女生代表什么.女生送男生 女生送男生钱包的含义
现在有很多的情侣之间相互赠送手表,那么你知道男生送女生手表和女生送男生手表的含义是什么吗?手表不但是用来看时间的,也是女生男士们必备的饰品之一,送手表代表什么?其实含义有很多,下面为大家说一下送手表的含义。一、朋友之间送手表的