企业网站建设

建站知识

今日已发布信息: 283450
累计注册用户: 82486590

传统IR的相关排序方法2

词的文档数量

概述: 下面听我细细道来。   每篇文章每个网页几乎都含有“的”这个字,嗯,你想到了吧。在搜索引擎中搜这个字,出来的结果数量可以理解为所有的文档数量,然后再搜你的目标词即为包含这个词的文档数量,这一数据也就得到了解决,下面是我弄的一个例子:        好了,有了这些数据,我们接下来看看能够做些什么出来。

 

  既然是二,就是顺着上一篇文章《TF-IDF:传统IR的相关排序技术》写下来的。所以,有兴趣的同学请先看完第一篇文章再来继续。

  好,我们继续开始二。

  关于词频,只要你的分词工具够牛逼,就很好理解和实现。关于反文档频率,各位亲们,看到时会不会初时感觉很牛叉,然后细想会很有疑惑?

  逆文档频率(idf)=log(文档总数/包含关键词的文档数量)

  对,疑惑就在怎么获得“文档总数”与“包含关键词的文档数量”上。

  在搜索引擎上,可以有一个不错的替代方式,下面听我细细道来。

  每篇文章每个网页几乎都含有“的”这个字,嗯,你想到了吧。在搜索引擎中搜这个字,出来的结果数量可以理解为所有的文档数量,然后再搜你的目标词即为包含这个词的文档数量,这一数据也就得到了解决,下面是我弄的一个例子:

 

  太仓建网站  拍卖公司   今日推荐免费建站   分类信息   平顶山网站建设公司

 

  

 

  好了,有了这些数据,我们接下来看看能够做些什么出来。

  将网站中每个网页进行分词,去掉语气助词停顿词之后按照tf-idf值从大到小进行排序。

  网页A={a1,b1,c1,d1,e1……z1}

  网页B={a1,b2,c1,d5,e2……z6}

  网页C={a2,b1,c2,d1,e2……z2}

  ……

  显然从{a1,b1,c1,d1,e1……z1}中就可以了解到网页A所表达的意思,B、C亦然。

  如果通过一个方法将A、B、C中的词进行比对,那岂不是就可以算出来……,你想对了,页面之间的相似程度。

  这个方法,就是余弦值。具体操作,如下:

  我们首先从A、B、C中选出前N个可以表达页面主题的词,组成一个集合。

  {a1,c1,d1,e1,b2,d5,e2,a2,b1,c2}

  然后计算A、B、C页面针对这个集合中每个词的词频(如有必要,请使用相对词频),组成对应的向量。

  A=[2,1,3,5,0,0,0,0,1,0]

  B=[……]

  C=[……]

  请记住这个高中时就学到的公式。

  

 

  OK,经过此公式的计算,不但是页面之间的相似度,同样一个页面最相关的推荐文章也即可由此产生。

  有兴趣的同学们,请试验一下吧。

 

http://taicang.kvov.com.cn/jzxx40798.html