V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
Weny
V2EX  ›  分享创造

给前几天的 NSFW 数据集写了一个多线程下载支持

  •  
  •   Weny · 2019-01-22 22:51:57 +08:00 · 3734 次点击
    这是一个创建于 2161 天前的主题,其中的信息可能已经有所发展或是发生改变。

    本来是想跑个 CNN classifier 练练手的,结果 3 个小时只下了 16GB 的数据,无奈写了一个多线程支持,刚刚跑了一个小时,已经下了 25GB 数据。

    https://github.com/WenyXu/nsfw_data_scrapper

    9 条回复    2019-01-23 13:11:17 +08:00
    billyu
        1
    billyu  
       2019-01-22 22:56:25 +08:00 via Android
    weny 臭傻逼
    jiezhi
        2
    jiezhi  
       2019-01-22 23:02:36 +08:00 via iPhone
    厉害了 我之前跑了下好像因为并发多 IP 被限制了呀,楼主没这个问题么

    最后能文件能共享下😁
    Weny
        3
    Weny  
    OP
       2019-01-22 23:14:38 +08:00
    @jiezhi 现在跑下来好像还剩 phncdn imgur 还没可以下载,IP 被限制这个问题就比较麻烦了,上代理池?文件实属太大,一共 20 万条数据,现在下到 14 万条左右已经 30GB 了
    fantasylidong
        4
    fantasylidong  
       2019-01-23 04:39:16 +08:00 via Android
    楼主下完提供个网盘地址吧,我也想学学姿势
    Weny
        5
    Weny  
    OP
       2019-01-23 06:57:08 +08:00 via iPhone
    @fantasylidong 网盘是不可能网盘的,怕是涉嫌传播淫色内容被抓走
    jiezhi
        6
    jiezhi  
       2019-01-23 08:02:09 +08:00 via iPhone
    Resilio sync 考虑一下?
    123s
        7
    123s  
       2019-01-23 10:02:41 +08:00
    哈哈。怎么一楼骂你
    locoz
        8
    locoz  
       2019-01-23 11:03:00 +08:00
    @billyu #1 看来关系不一般
    siknet
        9
    siknet  
       2019-01-23 13:11:17 +08:00 via Android
    你们口味真重,大自然也和普通美女照也下
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3083 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 13:42 · PVG 21:42 · LAX 05:42 · JFK 08:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.