rt
想要通过使用算法实现判断相似的 url 来去除结构相似的页面,减少后续功能的工作量。
现在看到网上推荐的爬虫去重有 BloomFilter 和 simhash 。
之前没有接触过去重这块的知识,有没有用过这两种算法的 V 友,或者说有更好的方法实现去重的,给点建议
1
knightdf 2017-01-18 17:46:34 +08:00 1
url 就用 bloomfilter, 如果是页面内容可以用 LSH
|
3
binux 2017-01-18 17:54:41 +08:00 2
BloomFilter 个 simhash 不是一类东西,要怎么放在一起比较?
bloomfilter 是用来降低去重空间复杂度的。 simhash 是用来降低相似度比较复杂度的。 根本不是一个东西。而且,这两个东西 bloomfilter ,如果你的 url 数小于 10 亿,不用考虑 bloomfilter ,直接数据库去重。 simhash , url 文本空间太小,不好使。用去除无用参数解决。 |
5
sleshep 2017-01-19 17:44:17 +08:00
bloomfilter 生产环境用过,有个很难受的地方就是,你无法从历史数据里删除某个 url
|