V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
coyove
V2EX  ›  分享创造

Explore to V2EX:发现更多的博客

  •  
  •   coyove ·
    coyove · 2016-07-06 14:48:23 +08:00 · 3797 次点击
    这是一个创建于 3091 天前的主题,其中的信息可能已经有所发展或是发生改变。

    为什么要写博客?各人的理由都不尽相同,但有一点是一样的:那就是希望自己的思想被更多人看到。

    在现在的环境下,搭建一个博客是异常容易的,但对于我们这样默默无闻的普通程序员、学生或者科技爱好者来说,想要获得人气则是很困难的。

    所以 Explore to V2EX 这个项目就诞生了:为了发现更多的博客

    当然这个项目不可能像 Hacker News 之类的聚合网站一样可以给博客新增数万访问。

    但至少,闲的无聊的时候按一下按钮,也许正好就发现了一篇自己感兴趣的博文,一个爱好相同的博主,一个设计非常符合自己口味的网站。这种偶然带来的喜悦更让人回味无穷。

    Explore to V2EX

    Github: https://github.com/coyove/awesome-v2ex

    注:由于在不使用 API 的情况下, V2EX 并没有提供通过 ID 找用户的方法。所以本程序使用的是爬取特定用户的回复列表,从中提取出更多用户名,然后继续爬的方法。所以肯定会有较大遗漏。

    同时程序在获取链接后会尝试访问两次,如果都失败则会把链接剔除,所以也会有误报。网络环境: Linode 日本

    15 条回复    2016-07-08 09:34:02 +08:00
    ZGLHHH
        1
    ZGLHHH  
       2016-07-06 15:04:14 +08:00
    通过 ID 爬用户信息可以看看 V2EX API :
    https://www.v2ex.com/p/7v9TEc53
    coyove
        2
    coyove  
    OP
       2016-07-06 15:09:38 +08:00
    @ZGLHHH API 每小时限制 120 次请求,太慢了
    doublleft
        3
    doublleft  
       2016-07-06 15:10:30 +08:00
    这个。。我记得最早在 WordPress 中文社区上见过,还参加了。。
    endoffight
        4
    endoffight  
       2016-07-06 15:10:38 +08:00
    哈哈,看到我的了,已 star
    vitodesign
        5
    vitodesign  
       2016-07-06 17:21:31 +08:00
    感觉不如把所有博客首页截个图,用列表的形式放出来。。。这个按钮,点两次就不想点了哇
    yuhu
        6
    yuhu  
       2016-07-06 17:36:16 +08:00
    额,应该是 I ‘’ m feeling lucky 吧。
    Jeremial
        7
    Jeremial  
       2016-07-06 17:50:09 +08:00
    这个不错, 也看到了我的啦 哈哈
    wbing
        8
    wbing  
       2016-07-06 21:48:54 +08:00
    中间 I'm feeling lucky 的按钮, 如果能支持 vimium 就更好,每次都要用鼠标点,好麻烦
    RqPS6rhmP3Nyn3Tm
        9
    RqPS6rhmP3Nyn3Tm  
       2016-07-07 02:03:53 +08:00 via Android
    我在想,通过文章 ID 来爬会不会一种比较好的方法…枚举会比较方便?
    coyove
        10
    coyove  
    OP
       2016-07-07 10:32:30 +08:00   ❤️ 1
    @wbing
    已改

    @BXIA
    两种方法都差不多,直接爬用户个人页可以同时获得用户的个人信息和最近回复,直接爬文章的话只能获得一串用户名,之后还要再爬一遍个人页。

    V 站对于访问频率也有限制,单个 IP 大概在 1~3s ,太快的话很快就会返回 access denied
    csy123
        11
    csy123  
       2016-07-07 15:45:54 +08:00
    好像把很多 github 和企业官网也抓进来了呀
    tilv37
        12
    tilv37  
       2016-07-07 17:06:02 +08:00
    也看到我的了, stared
    samael
        13
    samael  
       2016-07-07 17:30:53 +08:00
    看到我了, 嗯, 已 star
    wbing
        14
    wbing  
       2016-07-07 23:56:29 +08:00
    刚才用了一会,发现太多的企业网站还有 github 的了,连淘宝店铺都有....
    coyove
        15
    coyove  
    OP
       2016-07-08 09:34:02 +08:00
    @wbing
    @csy123
    如果有网站链接则跳转网站链接,如果没有,则跳转 github 用户页。因为有些用户没有在 v 站标明自己的个人网站地址,但可以在 github 上看到

    淘宝链接已经移出,对于企业官网,目前除了手动排查外也没有想到什么好方法。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1258 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 23:59 · PVG 07:59 · LAX 15:59 · JFK 18:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.