1
explon 2013-06-09 11:49:08 +08:00
关闭网站别人就抓不到了
|
3
Zhang 2013-06-09 12:01:24 +08:00
转换成图片?
|
4
Zhang 2013-06-09 12:01:38 +08:00
像京东那样!
|
5
lch21 2013-06-09 12:01:51 +08:00
全部用java script 输出内容
|
9
shizhuan 2013-06-09 12:16:45 +08:00
藏一些彩蛋,然后用法律武器搞死他!
参见最近豆瓣旅游爬别人数据被抓的案例... |
10
y051313 2013-06-09 12:27:52 +08:00
@shizhuan
个人网站没功夫折腾的。。。 我网站上的图片和文字被一个香港人拷贝,然后放到ebay上面了,图片上面还有我的水印。我发邮件给ebay,ebay让我给出证据,我说水印不是证据吗?答复说不行,需要公证 |
11
airyland 2013-06-09 12:54:14 +08:00
除了做成图片,写一个chrome插件基本破掉所有的限制。不过,做成图片的话,相当蛋疼吧。
|
13
xingzhi 2013-06-09 14:17:58 +08:00 1
robbin的这篇文章总结得很好: http://robbinfan.com/blog/11/anti-crawler-strategy
|
14
Rabbit52 2013-06-09 14:21:26 +08:00
那样SEO就不好咯~
|
15
ejin 2013-06-09 16:31:06 +08:00
全站flash 不解释 什么js都弱爆了
|
16
code4craft 2013-06-09 22:23:39 +08:00
根本上来说,因为html的特点,没啥好办法,更何况还要照顾搜索引擎爬虫。
ajax加载只是增加一些爬取的成本,写半小时的代码变成写一小时代码,没啥区别。 Cookie没啥用,之前还写过一个带自动登录功能的爬虫,去爬人人日志... 限制IP频率可以拦住一些小站或者个人,算是比较靠谱的办法。 |
17
binux 2013-06-09 22:31:29 +08:00
如果认真思考过“信息是什么”就知道——这不可能
|
18
cloudzen 2013-06-09 23:03:36 +08:00
只要是给人看的网站就没办法组织别人抓取
|
19
Air_Mu 2013-06-10 01:03:38 +08:00
在footer诅咒采集狗是比较靠谱的办法。
|
20
xhinking 2013-06-10 01:50:56 +08:00
开放api并规定相关使用条约也许是个不错的选择。
|