dgivan 最近的时间轴更新 dgivan 最近的时间轴更新 |
dgivanV2EX 第 191011 号会员，加入于 2016-09-09 10:52:36 +08:00 |
dgivan 最近回复了
2017-04-09 10:40:33 +08:00 回复了 SummerSun 创建的主题 › Python › 爬虫代理 IP 推荐 |
你可以用一些收费的代理
比如阿布云代理 站二爷代理 云代理，等等
比如阿布云代理 站二爷代理 云代理，等等
2016-09-18 15:42:23 +08:00 回复了 pc10201 创建的主题 › Python › 如何采集大众点评网的千万数据？它有严格的反爬虫措施 |
每一，别一天干掉一个站，慢点爬，设置下载延迟
第二，修改请求头，浏览器
第三，用高质量代理。企业建议用：阿布云代理等等
第四，禁止 Cookie
第五，分布式爬取
可以用下这个代理： http://www.abuyun.com
第二，修改请求头，浏览器
第三，用高质量代理。企业建议用：阿布云代理等等
第四，禁止 Cookie
第五，分布式爬取
可以用下这个代理： http://www.abuyun.com
2016-09-18 15:40:35 +08:00 回复了 ccbikai 创建的主题 › 程序员 › 大家都是怎么处理爬虫代理问题的？ |
Select Language