V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Hzzone
V2EX  ›  Amazon Web Services

有什么好的方法提高亚马逊 EC2 的上传速度

  •  
  •   Hzzone · 2017-04-24 18:33:43 +08:00 · 3944 次点击
    这是一个创建于 2749 天前的主题,其中的信息可能已经有所发展或是发生改变。

    穷学生做深度学习,有 80 个 G 的数据需要上传。 阿里云太贵了,所以选择了 AWS...但是速度有点感人... 希望大家能提供一个好的办法!

    15 条回复    2017-04-24 23:08:13 +08:00
    prondtoo
        1
    prondtoo  
       2017-04-24 18:37:50 +08:00 via Android
    没钱还敢用 Aws ?我最怕这种按量收费的东西了
    Hzzone
        2
    Hzzone  
    OP
       2017-04-24 18:45:19 +08:00
    @prondtoo 相对来说 aws 要便宜得多:)
    davidzhanwork
        3
    davidzhanwork  
       2017-04-24 18:48:27 +08:00 via Android
    是本地上传到 ec2 还是 ec2 到其他呢?

    后者可以开个速度快的 vps 中转一下
    lyhiving
        4
    lyhiving  
       2017-04-24 18:48:56 +08:00 via Android
    你的 ec2 在哪个区?最佳方案 GCP 开个 vps ,先将数据传到 GCP ,再同步到 EC2
    davidzhanwork
        5
    davidzhanwork  
       2017-04-24 18:49:02 +08:00 via Android
    后者 -> 前者
    WilliamSang
        6
    WilliamSang  
       2017-04-24 18:51:11 +08:00
    可以使用基于 UDP 的,我以前用过穿过几个 TB 的数据: http://dev.cmcm.com/archives/184
    Hzzone
        7
    Hzzone  
    OP
       2017-04-24 19:07:14 +08:00
    @davidzhanwork 本地到 ec2

    @WilliamSang 看起来很好,我还没试过,谢谢了
    Hzzone
        8
    Hzzone  
    OP
       2017-04-24 19:19:43 +08:00
    @WilliamSang 我是本地传到 ec2...
    WilliamSang
        9
    WilliamSang  
       2017-04-24 19:39:39 +08:00
    @Hzzone 本地有外网 IP 的话很容易的。如果没有。。。
    1. 使用 bz2 压缩,大幅减少体积
    2. 上传到阿里云 OSS ,然后从国外拉取 OSS 数据, 速度可以的
    mianju
        10
    mianju  
       2017-04-24 20:31:02 +08:00
    讲道理 aws 的 g2.2xlarge 速度还没有 750ti 快
    visualwind
        11
    visualwind  
       2017-04-24 20:33:48 +08:00
    shaowsocks+final speed 试试
    Jboys
        12
    Jboys  
       2017-04-24 20:40:55 +08:00
    选个快点的云主机,多压缩跟分片下。挂机。等国外上传完了,再传到 EC2 上,速度杠杠的~
    或者可以按带宽开个国内的云主机,再传出去。开之前先测测速度。
    青云按秒计费。
    zhengxiaowai
        13
    zhengxiaowai  
       2017-04-24 22:15:41 +08:00
    aws 流量可不便宜。
    国外大数据量,我之前是先传到七牛,然后再从七牛下载。。
    Tink
        14
    Tink  
       2017-04-24 22:28:58 +08:00 via iPhone
    本地传上去主要看你的上行吧
    Alphabetcn
        15
    Alphabetcn  
       2017-04-24 23:08:13 +08:00 via Android
    学生的话为啥不用教育网的 ipv6 , 100M 上行不能更爽了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2580 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 11:19 · PVG 19:19 · LAX 04:19 · JFK 07:19
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.