V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
qbhy
V2EX  ›  程序员

老司机开车啦,下载指定 tumblr 博客的视频和照片到本地~

  •  
  •   qbhy ·
    qbhy · 2018-04-21 21:21:54 +08:00 · 8962 次点击
    这是一个创建于 2399 天前的主题,其中的信息可能已经有所发展或是发生改变。

    项目地址: https://github.com/qbhy/go-tumblr-crawler mac 同学 clone 下来可以直接运行 ./tumblr 运行。 windows or linux 同学需要自己编译一下,golang 编写的,需要 go build 一下(注意依赖)。 有些的不好的地方欢迎指出或者 PR ~

    20 条回复    2018-05-10 21:48:40 +08:00
    qbhy
        1
    qbhy  
    OP
       2018-04-21 21:24:12 +08:00
    # go-tumblr-crawler
    Easily download all the photos/videos from tumblr blogs. 下载指定的 Tumblr 博客中的图片,视频。golang 版本。

    ## 配置和运行
    配置需要爬取的站点: `sites.json`
    ```
    [
    {
    "site": "truenorthshow",
    "video": true,
    "photo": true
    },
    {
    "site": "photosbygerardo",
    "video": true,
    "photo": true
    }
    ]
    ```
    配置代理 : `proxies.json`
    ```
    {
    "http": "socks5://127.0.0.1:1080",
    "https": "socks5://127.0.0.1:1080"
    }
    ```
    然后保存文件,双击运行 `./tumblr.exe`(还没编译好,你可以自行编译).
    mac 用户可以直接运行 `./tumblr`
    jisibencom
        2
    jisibencom  
       2018-04-21 21:39:45 +08:00 via Android
    怎么编译呢
    qbhy
        3
    qbhy  
    OP
       2018-04-21 21:40:43 +08:00
    @jisibencom 啥系统
    wangxiaoaer
        4
    wangxiaoaer  
       2018-04-21 21:48:46 +08:00 via Android
    笑死了,今天是怎么了,刚分享了一个在线下载的就碰到楼主这个
    https://www.v2ex.com/t/448720#reply8
    qbhy
        5
    qbhy  
    OP
       2018-04-21 21:53:17 +08:00
    @wangxiaoaer 哈哈,我也是默默点了收藏
    sola97
        6
    sola97  
       2018-04-21 23:16:25 +08:00 via Android
    我自己用 scrapy 写了个递归抓取的,同时保存每个视频的评论,然后入库后用 MySQL8.0 的正则查询评论存在关键词的视频的源地址,用 aria2c 下载,实际上效果不错
    Osk
        7
    Osk  
       2018-04-21 23:22:17 +08:00
    看了下代码好像不支持下载原始分辨率的图片,差评 /doge/
    aice114
        9
    aice114  
       2018-04-21 23:50:00 +08:00 via Android
    默默收藏一个
    qbhy
        10
    qbhy  
    OP
       2018-04-22 00:18:18 +08:00
    @sola97 我这个这版本没有做数据库存储,有时间再改进
    qbhy
        11
    qbhy  
    OP
       2018-04-22 00:18:45 +08:00
    @Osk 写的比较急,后面会完善~
    谢谢关注~
    qbhy
        12
    qbhy  
    OP
       2018-04-22 00:19:14 +08:00
    @sola97 谢谢老司机~稳
    ihciah
        13
    ihciah  
       2018-04-22 01:06:18 +08:00 via iPad
    顺便,我的 telegram bot 也可以开 tumblr ………
    支持自动抓取并推送至私聊,channel 或者群聊。抓取列表,推送对象等都可以通过 tg 聊天管理。

    https://www.v2ex.com/t/448493
    hizzx
        14
    hizzx  
       2018-04-22 08:01:36 +08:00 via Android
    @sola97 开源了吗
    redmofang
        15
    redmofang  
       2018-04-22 13:16:04 +08:00 via Android
    能区分博主自己上传与转发他人的帖子吗?
    suyuanhxx
        16
    suyuanhxx  
       2018-04-23 09:30:21 +08:00
    前段时间,我刚分享过一个这玩意...
    k7262140
        17
    k7262140  
       2018-04-23 09:52:45 +08:00
    能否 下载 指定博客的 喜欢?
    qbhy
        18
    qbhy  
    OP
       2018-04-23 10:05:10 +08:00
    @redmofang 应该可以的,回头我研究一下
    qbhy
        19
    qbhy  
    OP
       2018-04-23 10:06:37 +08:00
    @k7262140 应该也可以,回头研究一下~也欢迎 PR
    exxfzc
        20
    exxfzc  
       2018-05-10 21:48:40 +08:00
    @qbhy mac 小白,看不懂怎么操作...
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3392 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 04:45 · PVG 12:45 · LAX 20:45 · JFK 23:45
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.