最近搜东西时,发现微信的 robots.txt 文件禁止了除首页和几个页面的爬虫索引: https://mp.weixin.qq.com/robots.txt
User-Agent: *
Allow: /$ #关于此指令解释在链接 [2] 文末
Allow: /debug/
Allow: /qa/
Allow: /wiki
Allow: /cgi-bin/loginpage
Allow: /cgi-bin/wx
Disallow: /
作为中文互联网最大的内容平台之一,微信竟然只对其他搜索引擎开放了几个页面[1],如果需要搜微信公众号的文章必须得在微信内,或者腾讯系搜索引擎——搜狗内进行搜索,这是否已经涉嫌违反了《反垄断法》?
[1] https://www.google.com/search?q=site:mp.weixin.qq.com
[1] https://www.baidu.com/s?wd=site%3Amp.weixin.qq.com
[2] https://developers.google.com/search/reference/robots_txt
1
PureWhiteWu 2020-12-25 10:36:25 +08:00 4
不涉嫌。
这是知识产权问题。 |
2
lakehylia 2020-12-25 10:44:21 +08:00 3
不涉嫌,这是 WWW 的设计问题,robots.txt 就是一个行业自律协议而已,没有法律效力的。
|
3
takemeaway 2020-12-25 10:49:35 +08:00 14
微信本身就涉嫌垄断了,还需要管 robots 文件?
|
4
captray OP |
5
helionzzz 2020-12-25 10:57:45 +08:00
一个日活 12 亿的软件本身已经处在实质垄断的地位了,不缺你一个行业自律 txt
|
6
Jooooooooo 2020-12-25 10:58:10 +08:00
那淘宝也应该开放百度抓取?
|
7
longaiwp 2020-12-25 10:58:37 +08:00 4
这个文件完全没有任何违规,但是微信垄断也不需要这个文件来证明,我们从它的行为已经能判断出它垄断了。
|
8
PureWhiteWu 2020-12-25 11:05:32 +08:00
@lakehylia robots.txt 有法律效力。
|
9
captray OP |
11
luoqeng 2020-12-25 11:35:34 +08:00 1
南山必胜客了解下
|
12
natashahollyz 2020-12-25 11:41:14 +08:00
第一 wx 本身就是垄断了,和 robots 无关
第二 你家不让人进,这不是很正常吗? |
13
duhongle 2020-12-25 12:43:39 +08:00
robots 可以遵守也可以不遵守。。。关键是你爬取微信文章使用。。。微信直接搞死你
|
14
EminemW 2020-12-25 13:16:31 +08:00 via iPhone
想啥呢?
|
16
glennv2ex 2020-12-25 13:31:02 +08:00
robots 就是个君子协议
|
17
passerbytiny 2020-12-25 14:12:44 +08:00 via Android
如果微信公众号占有市场主导地位,那么这么做是垄断的。在这一点上确实没垄断,因为微信公众号在内容平台市场不具有主导地位,事实上也不可能有任何商业公司能够主导国内的内容平台市场。
|
18
prodcd 2020-12-25 14:56:20 +08:00
https://www.taobao.com/robots.txt
User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: / |
19
xhpan10 2020-12-25 17:20:20 +08:00
是垄断了。。用户发的文章,他不能去强制决定这篇文章不能被其它搜索引擎收录
|
20
x86 2020-12-25 17:26:50 +08:00 via iPhone 1
写爬虫还理直气壮了咋不要求微信给你个 api 直接调呢
|
24
zhoushiya 2020-12-25 20:30:17 +08:00
求问如果直接在 robots.txt 里写了禁止爬虫的目录,比如后台 admin 目录。。。但是通过网址直接打开 http://xxx.com/robots.txt 不就看到了后台的地址?
|
25
mmdsun 2020-12-25 22:17:01 +08:00 via Android
腾讯:只要我招聘国家退休官员够多,永远别想搞我反垄断。(梗来源于腾讯招要求)
|
26
watzds 2020-12-25 22:23:13 +08:00 via Android
说得好!淘宝禁止百度爬商品带的头
|
27
Urutora 2020-12-25 23:55:47 +08:00 via iPhone
整天盯着蚊子吸你血,吸血鬼当没看见,服了。行政机关的垄断算不算垄断呢?怎么没人不服?
|
28
iamsad3508 2020-12-26 08:27:17 +08:00 via Android
1.法律.txt 不改也行
2.以前有 MSN,QQ 不构成垄断。现在有钉钉,说不定还是不能构成垄断呢 3.360 的案子好像是说明 robot 还是有一些效力的吧? |
29
dfkjgklfdjg 2020-12-26 12:55:01 +08:00 via iPhone
@zhoushiya
Disallow: /,然后 allow 你想要开放的目录就可以了,方向思考一下呗 |
30
zhoushiya 2020-12-26 12:58:14 +08:00
@dfkjgklfdjg #29 明白了,先禁用所有,然后打开指定目录,多谢
|