如题
如何抓去一个网站的友情链接和友情链接网站的友情链接,和友情链接网站的友情链接网站的友情链接………
说起来比较繁琐哈,就是我想抓去一个博客的友情链接,然后在抓去他博客友情链接站点的链接…一直重复…
大佬们有什么好的解决方案嘛?
我主要是想通过 rss 订阅一些有价值博客的文章,用于快速阅读
1
Tink 2019-12-07 20:31:05 +08:00 via iPhone 1
如果没有特征的话,可能真的需要一个一个适配
|
3
Tink 2019-12-07 21:34:08 +08:00 via iPhone
@GeekYun7 #2 关键不是这个问题,关键问题是如何找到每一个站点的友情链接页面,找到之后就很简单了,抓取非本站点 url 就行了
|
4
GeekYun7 OP @Tink 直接匹配非本站链接就可以了一般 /links 或者 /friends 就是了,首页也有
|
5
ysyk 2019-12-31 16:55:57 +08:00
友情链接最常见的情况是,在首页存在。
所以就可以限定网站首页非此网站域名,且判定链接是域名,或二级域名,或一级目录。 其他的可以不做考虑。 |