如何做到网站内容只能会员查看，但又不影响搜索引擎抓取内容及排名？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐书目

› 高性能网站建设进阶指南

› High Performance Web Sites

› Google Hacks: Tips & Tools for Finding and Using the World's Information

关于 Google SEO 最好的一本书

这是一个创建于 1301 天前的主题，其中的信息可能已经有所发展或是发生改变。

这是一个矛盾啊

搜索引擎

内容

会员

查看

11 条回复 • 2021-05-07 08:06:22 +08:00

Jooooooooo

2021-05-06 22:01:43 +08:00

放过爬虫呗

虽然有可能会被钻漏洞, 但还是很小一部分

herozzm

2021-05-06 22:02:25 +08:00

@Jooooooooo 搜索引擎官方指南说：它看到的就要是用户看到的，不然就是违规，有被惩罚的风险

opengps

2021-05-06 22:03:35 +08:00

这个要求显然冲突，搜索引擎爬虫能爬的都是可以直接打开的

herozzm

2021-05-06 22:04:48 +08:00

@opengps 前端用 js 判断是否为会员，不是的话，各种遮挡？

FragmentLs

2021-05-06 22:08:30 +08:00

meta keywords

herozzm

2021-05-06 22:11:33 +08:00 via Android

@FragmentLs 对于搜索引擎来说 meta keyword 是不够的啊

miyuki

2021-05-06 22:15:04 +08:00

搜索引擎不是还有快照吗

herozzm

2021-05-06 22:38:55 +08:00

@miyuki 这不是重点，历史信息无所谓，关键还是问题如何解决

iBugOne

2021-05-06 22:40:08 +08:00

一般这样用户体验会很差，不过真想做的话可以参考 Red Hat 的知识库，不付费只能看到标题和前几行字，也不影响搜索引擎抓取

还有 Expers-Exchange，这个网站在 Stack Overflow 上常常被戏称做 dash-site，因为上面内容质量很差而且还有 pay wall

lovestudykid

2021-05-07 02:53:23 +08:00

有这个插件，https://github.com/iamadamdev/bypass-paywalls-chrome，刚好是反你要做的事情

zachlhb

2021-05-07 08:06:22 +08:00 via iPhone

程序判断蜘蛛，如果是蜘蛛直接放行