比如自己网站的链接 https://2.example.com/example/?example=example
被 https://www.test.com 插入到自己页面中,如果防止 https://2.example.com 被搜索引擎索引?
加 https://2.example.com/robots.txt 貌似没用
robots.txt 内容:
User-agent: *
Disallow: /
1
szlytlyt 2018-11-12 19:40:43 +08:00 via Android 1
直接拒绝搜索引擎蜘蛛 UA 的访问?
|
2
xiri 2018-11-12 20:01:34 +08:00 via Android
兄弟,你这个 robots.txt 写的,是不想要搜索引擎的流量了吗?
|
3
wenzichel 2018-11-12 20:04:11 +08:00
那就把链接作为文本展示,或者过滤掉
|