拿大家最常用的 chrome 浏览器来看,网页查看原始码方式有二种 1.键盘 Ctrl+U 查看源代码:就是别人服务器发送到浏览器的原封不动的代码,也就是最原始的代码 2.键盘 F12 检查元素:看到的就是最终的 html 代码。即:源代码 + 网页 js 渲染 有些网页是 Javascript 渲染的技术建置,所以会有 Ctrl+U 查不到文字,而 F12 查的到内文 因此想问大家,百度爬虫的话,是爬取 Ctrl+U 还是 F12 的原始码?
1
TimePPT 2022-11-16 16:12:32 +08:00 1
好多年没做这块了。
我了解的情况是: 首先看站方想让爬虫怎么爬。有些站点(比如过去的知乎,现在不清楚)给 spider 的内容是静态化过的,给用户的是 js 动态渲染的。 另外,动态渲染的页面早在十几年前搜索引擎就能做了,但百度一直做的不好。现在啥情况不清楚。 |
2
TimePPT 2022-11-16 16:15:38 +08:00
还有就是,如果站点想让搜索引擎收录并有排名,肯定是搜索引擎爬虫怎么方便怎么来。一般都会做对应优化。这是所谓 SEO 优化的一部分。
以及,有些家的爬虫也不讲武德。经常无视 robot.txt 的协议,且非增量爬取。过去有搜索引擎 spider 把站点爬瘫痪的笑话发生。 |
3
Sue6080 OP To TimePPT:
这样感觉搜寻引擎爬虫比较方便是 抓還沒渲染文字的 Javascript?也就是 Ctrl+U |