1
msg7086 2016-08-09 15:36:00 +08:00 via Android 1
可以的。
|
3
lazycat 2016-08-09 17:43:16 +08:00
RDNS
|
4
ZE3kr 2016-08-09 21:17:10 +08:00 via iPhone
有一个 IP 不一定能随便设置 rdns ,一般的,只有当那个域名解析到了那个 IP 才能设置。就算设置上了,一般 gethost 还会再验证一下域名有没有解析到你这个 IP 才行。
|
5
aaa0009 OP @ZE3kr 谢谢。那这么说,如果我要判定 ip 是否是合法的 robots ,比如 google , baidu 的,只要通过 ip ,得到 googlebot.com 或 crawl.baidu.com 就可以了吗? Baidu 的文档认为这样就可以了,但是 google 的任务需要再通过 hostname 得到 ip 匹配才可以。
|
6
ZE3kr 2016-08-09 21:27:49 +08:00 via iPhone
@aaa0009 dig -x [ip] 查出来的是 IP 对应的域名,和 gethost 一样,但实际上可能是随便设置甚至恶意设置的,所以最好再通过域名正向查询一下解析到的 IP 地址,但这样会增加延迟。一般的做法是:如果从域名解析到的 IP 如果不是那个 IP ,直接屏蔽掉。
|
8
aaa0009 OP @ZE3kr 哟,如果这样的话,那么百度的 robots 不就是无法验证了?比如百度 180.76.15.159 得到 baiduspider-180-76-15-159.crawl.baidu.com ,但是 baiduspider-180-76-15-159.crawl.baidu.com 却得不到相应 IP 。
|