这是一个创建于 2583 天前的主题，其中的信息可能已经有所发展或是发生改变。
在注册之初就选择了不允许搜索引擎索引我的主题这一选项 但是在前几天发现我的主题还是被搜索到了 这到底是怎么回事? 百度用的什么爬虫就这么厉害? 麻烦管理员处理一下,删了被搜索到的主题帖子 实在不喜欢这种明明是社区分享却要被强制放到社区外去
 |
1
ysc3839 2017-10-28 18:35:14 +08:00 via Android
什么网站？在哪选择的？
|
 |
2
ryd994 2017-10-28 18:45:35 +08:00 via Android
这个选项只是设置了 nofollow
实际上爬虫还是可以看见，只不过守规矩的爬虫会自觉回避 你觉得百度的爬虫是个守规矩的么？ 理论上检测爬虫 ua 可以识别，然而 ua 也是一个靠自觉的属性 只要这个信息可公开查阅，随你怎么反爬，总还是有办法，毕竟你不能影响普通用户浏览 |
 |
5
580a388da131 2017-10-28 19:24:33 +08:00
百度的文档说，meta 标签 禁止搜索引擎跟踪网页的链接，而只对网页建索引
貌似只是对页面里的链接有效，页面本身还是会收录。 |
 |
6
littleylv 2017-10-28 19:28:45 +08:00
如同 2 楼说的，你的这个主题的页面是有 <meta name="robots" content="noindex, nofollow" /> 的
|
 |
7
lslqtz 2017-10-28 19:31:25 +08:00
 |
|
9
580a388da131 2017-10-28 19:34:04 +08:00
@ysc3839 设置 右侧 隐私设置
|
1 |
11
zhx1991 2017-10-29 23:13:38 +08:00
这个选项靠搜索引擎自觉
|
Select Language