百度Spider已经在抓取ajax内容了？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 4555 天前的主题，其中的信息可能已经有所发展或是发生改变。

今天看日志
222.73.181.15 - - [31/May/2012:10:00:04 +0800] GET /api/related_articles.php?contentid=2550559 HTTP/1.1 "200" 5 "http://www.xxx.com" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" "123.125.71.73, 118.180.6.72, 222.73.181.15"

/api/related_articles.php?contentid=2550559

这个请求是放在js文件内 ajax的～

有朋友对这个有关注么？

PHP

contentid

9 条回复 • 1970-01-01 08:00:00 +08:00

skywinger

2012-05-31 14:47:39 +08:00

百度的spider亮了。

alexkh

2012-05-31 14:50:31 +08:00

是会抓取的，他会把JS中的路径抽取出来，用以发现新页面，百度站长俱乐部中lee之前也说过这个。不过暂时观察是用于找到新页面，尚未发现用于传递权重。

richiefans

2012-05-31 14:53:21 +08:00

@alexkh 原来如此不过js解析能力还行啊参数都拼上了
在js内的代码是
$.ajax({
type: "GET",
url: "http://www.xxx.com/api/related_articles.php",
data: "contentid="+$("#data_contentid").val(),

success: function(data){
$("#related_articles").html(data);
}
});

lyxint

2012-05-31 15:22:10 +08:00

referer怎么是xxx，有点和谐啊

alexkh

2012-05-31 15:36:50 +08:00

@richiefans 那是，百度也做浏览器的。搜索引擎还会解析CSS，用于判断页面元素的重要程度。

seerhut

2012-05-31 15:43:32 +08:00

baidu的spider会用gecko渲染页面，也会模拟点击，ajax什么的无压力。

samuel

2012-05-31 15:54:34 +08:00

@seerhut sunhao是不是，哈哈

seerhut

2012-05-31 16:13:22 +08:00

@samuel duanmiao么。。。。

samuel

2012-05-31 21:31:39 +08:00

@seerhut 没错儿，世界真是小啊哈哈