首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
广告
V2EX
›
程序员
请问大佬们,有没有什么办法可以屏蔽 facebook 的爬虫爬取我网站的内容,感谢
CCKurokawa
·
2023-05-24 21:29:27 +08:00
· 1321 次点击
这是一个创建于 486 天前的主题,其中的信息可能已经有所发展或是发生改变。
下面是我在 cloudflare 的数据截图。
Cloudflare
屏蔽
请问
Facebook
3 条回复
•
2023-05-25 10:30:19 +08:00
1
oceana
2023-05-24 21:36:21 +08:00
应该配置一下 robot.txt 就好了吧
2
Yourshell
2023-05-24 21:50:36 +08:00
https://geekflare.com/cloudflare-firewall-block-bots/
3
gam2046
2023-05-25 10:30:19 +08:00
都已经上 cf 了,WAF 里可以直接配置的,拒绝自动化程序。
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
2546 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 29ms ·
UTC 08:45
·
PVG 16:45
·
LAX 01:45
·
JFK 04:45
Developed with
CodeLauncher
♥ Do have faith in what you're doing.