能不能拦截 Internet Archive 的数据请求？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2125 天前的主题，其中的信息可能已经有所发展或是发生改变。

不知道有没有可能在 V 站的 robots.txt 加一条规则，从而排除来自这个网站的爬虫。

6 条回复 • 2019-01-29 04:10:39 +08:00

wjm2038

2019-01-28 23:28:14 +08:00 via Android

/t/531025
你俩可以唠唠嗑

dalieba

2019-01-28 23:31:00 +08:00

有情 @Livid

Tink

2019-01-28 23:36:16 +08:00 via iPhone

这是有啥讲究么？屏蔽这个网站

ryd994

2019-01-29 01:32:52 +08:00 via Android

@Tink 估计是有不想留下记录的文章
然而 robots.txt 只是一种约定俗成，并不是严格规范，不遵守的爬虫多了去了。

Trumeet

2019-01-29 02:03:57 +08:00 via Android

1. 没有意义
2. 没用
3. 可以实现

phy25

2019-01-29 04:10:39 +08:00 via Android

对于编辑的限制是为了让大家对发表在 V2EX 的言论更加负责。https://www.v2ex.com/faq