1. 百度每天抓数十万的网站,他们的正文提取,标题提取,发表时间统一格式化,文章出处等,都是专人去写 xpath, re, css selector, bs 吗?
2. 还有个问题,数十万的网站,他们的文章翻页有上千种,他们怎么去做到的翻页问题,难道也是专人去写 xpath, re, css selector, bs 吗?
3. 很多网站做了图片、视频防盗链,但是百度将原网站所有的图片、视频等全包同步到了自己的存储器里面,请问,对于防盗链的网站的资源,他们也是专人去做处理吗?
4. 本人是个爬虫新手,遇到的问题就是上面的问题,其实这几个问题也是通用爬虫的问题,求各位给点意见和建议。
5. 不胜感激涕零。
1
xray888 2017-08-01 17:53:26 +08:00
有人给解答一下吗
|
2
gamexg 2017-08-01 18:12:18 +08:00 1
|
3
gamexg 2017-08-01 18:26:53 +08:00
对了,关于 1.2. 记得有开源实现,google 网页 正文 识别 。
|
4
huangfs 2017-08-01 23:56:26 +08:00
会有抓取模版匹配的。
|
5
yeless 2017-08-02 13:10:32 +08:00
正文抽取算法:
1.基于文本长度的算法,计算字符集密度 2.K-means,聚类中心点取值算法 3.标签模板 |