这是一个创建于 2003 天前的主题，其中的信息可能已经有所发展或是发生改变。
加什么标识可以让它不爬取特定连接吗？话说为啥百度一个页面都不收录？
 |
1
silencefent 2019-05-29 10:04:57 +08:00  1
nofollow?
|
 |
2
vinsony 2019-05-29 10:21:38 +08:00
百度现在废物一个，蜘蛛都不怎么爬的
|
 |
3
airyland 2019-05-29 12:01:54 +08:00 via iPhone 1
在 robots.txt 里 disallow，在 webmaster 里可以临时移除收录。
|
 |
4
hoyixi 2019-05-29 12:12:08 +08:00
G 喜欢新站，给你机会，然后就看你内容水平怎么样了
B 是存量大佬的世界，增量如果不是土豪，基本歇菜 |
|
5
hoyixi 2019-05-29 12:17:05 +08:00 1
某链接不爬：
你模板里该链接加个属性：<a ref="nofollow" 生成站点 sitemap （自己开发，or 找工具生成，最后 sitemap 里面的链接，通常都是你网站文章的 url ），向谷歌提交 |
 |
6
ningfeng 2019-05-29 12:19:37 +08:00 via Android
百度爬虫太懒了
|
 |
7
d5n 2019-05-29 12:33:05 +08:00 via iPhone 1
百毒不需要爬虫，百家号自己内部数据库搜索
|
Select Language