V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
walkInCloud
V2EX  ›  分享创造

跨国大文件传输工具-比 FTP 快 10 倍

  •  
  •   walkInCloud · 2018-02-07 12:33:19 +08:00 · 11333 次点击
    这是一个创建于 2476 天前的主题,其中的信息可能已经有所发展或是发生改变。

    镭速 RaySync 传输系统,目标是解决跨洲大文件传输速度慢的问题 请参考 https://www.raysync.cn/

    目前的功能:

    • 底层传输协议采用可靠 UDP 协议,跨国文件传输比 FTP 快 10 倍以上
    • 分为免费版 /专业版 /企业版,免费版可以满足大多数个人使用需要
    • 支持上传 /下载文件,以及进度查看
    • 支持上传 /下载文件夹(无文件数量限制),以及进度查看
    • 服务器支持 Windows 和 Linux 部署
    • 客户端支持 Windows

    阿里云海外 9 个数据中心到阿里云深圳的文件传输的详细对比评测数据

    大部分比 FTP 速度传输快 10 倍。 https://yq.aliyun.com/articles/430997?spm=a2c4e.11155435.0.0.39f83312MbTV5l

    希望对有需要的朋友有用。

    第 1 条附言  ·  2018-02-08 15:59:14 +08:00

    留言中有朋友提到,有没有详细对比数据。我们最近做了阿里云和腾讯云的测试,AWS的数据在春节后第一周会出来。

    阿里云海外9个数据中心到阿里云国内的文件传输对比数据信息,包括截图信息 阿里云海外各数据中心到阿里云国内(深圳)对比评测数据

    腾讯云海外13个数据中心到腾讯云国内的文件传输对比数据信息(包括部分非腾讯自营的数据中心),包括截图信息 腾讯云海外各数据中心到腾讯云国内(广州)对比评测数据

    有一些V2EX的同学看到帖子后,已经使用上了,也给我们提了不少产品建议,在这里一并谢谢大家。

    39 条回复    2018-02-09 17:53:34 +08:00
    gouchaoer
        1
    gouchaoer  
       2018-02-07 12:48:24 +08:00
    问一下 qq 文件传输比这个速度如何,qq 也是基于 UDP 的
    mt7620
        2
    mt7620  
       2018-02-07 12:57:49 +08:00
    底层用的是 KCP 协议?
    gs139
        3
    gs139  
       2018-02-07 13:03:00 +08:00
    本来只有 1m 的网速,怎样实现 100m 的传输速度
    walkInCloud
        4
    walkInCloud  
    OP
       2018-02-07 13:04:56 +08:00
    @mt7620 不是用的 KCP,底层协议是我们公司的协议工程师开发的,功能上跟 KCP 完成的是类似的。 不过 KCP 只是一个传输协议,镭速 RaySync 是一个完整的传输应用系统。
    walkInCloud
        5
    walkInCloud  
    OP
       2018-02-07 13:07:45 +08:00
    @gs139 1m 的网速是无法实现 100m 的传输速度的。 跨洲的文件传输,目前的重要问题是丢包时延导致带宽利用不足。
    xomix
        6
    xomix  
       2018-02-07 13:10:47 +08:00
    @gouchaoer 我没去看,不过他敢说 10 倍,就肯定中间有 cdn 做跳转的。
    ajeef
        7
    ajeef  
       2018-02-07 13:19:58 +08:00 via Android
    只能放独服,VPS 上,大部分都限制 udp 流量
    xenme
        8
    xenme  
       2018-02-07 13:21:30 +08:00
    @xomix 这个一般就是找了一个对普通客户端很不友好的线路,然后 FTP 只有几十几百 K,这种才有 10 倍的提升而已。
    7654
        9
    7654  
       2018-02-07 13:23:05 +08:00
    小水管越用越小不是没理由的
    h4lbhg1G
        10
    h4lbhg1G  
       2018-02-07 13:46:07 +08:00
    国内那些开源镜像是怎么同步的 都是上百 TB 的数据同步
    msg7086
        11
    msg7086  
       2018-02-07 14:04:25 +08:00
    @h4lbhg1G 请教下哪些镜像是上百 TB 数据同步的……
    h4lbhg1G
        12
    h4lbhg1G  
       2018-02-07 14:07:28 +08:00   ❤️ 1
    @msg7086 我是凭感觉说的 https://mirrors.tuna.tsinghua.edu.cn/status/#server-status
    http://mirrors.ustc.edu.cn/status/

    好像都只有 50T 不到的样子。好吧 夸大其词了
    mrzx
        13
    mrzx  
       2018-02-07 14:13:28 +08:00   ❤️ 1
    底层传输协议采用可靠 UDP 协议

    看到这个我就笑了。笑死了。真的是笑抽掉了。

    最多是应用层采用可靠的协议来弥补传输层 UDP 协议的可靠性不足。
    lyhiving
        14
    lyhiving  
       2018-02-07 14:16:24 +08:00 via Android
    不看速度,只看总耗时。一般说来,会有两三倍提速。十倍估计有点难度
    msg7086
        15
    msg7086  
       2018-02-07 14:21:16 +08:00   ❤️ 1
    @h4lbhg1G 主流镜像都不大的。你看 Debian 镜像的桌面架构才 1T 都不到。
    开源镜像同步,一个是可以链式同步(可以就近找节点,不需要回到初始节点),一个是可以分布式同步(多源并行同步),再加上时间跨度很大,每次同步的数据很小(一批最多也就几十个包),网速几乎不是问题。

    @mrzx 明眼人都能看明白是 UDP 上追加了应用层处理,一个最多算作有些语病的句子也能笑死吗,感觉笑点略低了。
    bhqt
        16
    bhqt  
       2018-02-07 14:28:08 +08:00
    看介绍,似乎还有网页加速功能?
    enenaaa
        17
    enenaaa  
       2018-02-07 14:32:48 +08:00
    试过和多线程下载比吗
    hp3325
        18
    hp3325  
       2018-02-07 14:37:56 +08:00 via Android
    有什么是 rsync + kcptun 解决不了的?

    话说 Filezilla 叠加 Kcptun 比较一下?
    terrytw
        19
    terrytw  
       2018-02-07 14:40:16 +08:00
    UDP 协议怎么能说可靠,很多 ISP 都对 UDP 有限速的好吧...
    goldenlove
        20
    goldenlove  
       2018-02-07 14:47:57 +08:00
    有木有 Mac 客户端? 有需求想试试
    bao3
        21
    bao3  
       2018-02-07 15:01:01 +08:00 via iPhone
    我汗,syncthing 开源而且天生 kcp,人家也没好意思跟 FTP 比
    walkInCloud
        22
    walkInCloud  
    OP
       2018-02-07 15:06:27 +08:00
    @goldenlove Mac 客户端预计在 2 季度会有,现在暂时还没有。
    weyou
        23
    weyou  
       2018-02-07 15:10:20 +08:00
    @bao3 syncthing 好像最近才加入 kcp 的,有没有测试过效果怎么样?
    jy02201949
        24
    jy02201949  
       2018-02-07 15:12:34 +08:00   ❤️ 1
    貌似前段时间刚看到帖子有人问米国几 T 的数据怎么拖回来,应该是楼主你的目标客户
    f2f2f
        25
    f2f2f  
       2018-02-07 15:14:19 +08:00
    有什么是一根 100M CN2 独享不能解决的问题吗?
    Yvette
        26
    Yvette  
       2018-02-07 15:28:03 +08:00
    看到可靠 UDP 协议的时候愣了一下。只能怪我见识太少……
    walkInCloud
        27
    walkInCloud  
    OP
       2018-02-07 15:41:08 +08:00
    @jy02201949 你是说这个 https://www.v2ex.com/t/427807 吗? 他现在正在使用中。
    missdeer
        28
    missdeer  
       2018-02-07 16:10:16 +08:00
    @weyou
    @bao3
    syncthing 的 kcp 好像就是个摆设,公司和家里都在路由器后面,从来没连上过。

    --------------------
    另外,FTP 协议的实现不同客户端 /服务端差别很大,至少我观察下来 Windows 资源管理器作为 FTP 客户端吞吐比 FileZilla 大很多倍,十多年来没变过。
    xuminzhong
        29
    xuminzhong  
       2018-02-07 16:40:04 +08:00
    这里很多都是程序员,程序员都明白 UDP 的反义词是 「可靠」。
    defunct9
        30
    defunct9  
       2018-02-07 20:43:25 +08:00 via iPhone
    对比一下测测速,扔张对比图吧
    myleon
        31
    myleon  
       2018-02-07 22:30:55 +08:00
    udp 好像俗称不可靠协议吧
    walkInCloud
        32
    walkInCloud  
    OP
       2018-02-07 22:41:15 +08:00
    @myleon 基于 UDP 之上封装的可靠传输协议,比如 google chrome 里面的 QUIC、酸酸常结合用的 KCP,都是基于 UDP 之上完成报文序列、确认、重发等一系列可靠保障的可靠传输协议。
    inflationaaron
        33
    inflationaaron  
       2018-02-08 00:33:48 +08:00
    这种基于 UDP 的协议跟 HTTP 多线程比较呢?比较了很多传输协议,似乎 HTTP 多线程最快。
    inflationaaron
        34
    inflationaaron  
       2018-02-08 00:35:44 +08:00
    同样是基于 UDP 的 UDT 协议速度也很快啊,感觉没多少优势。
    ovear
        35
    ovear  
       2018-02-08 01:18:34 +08:00
    我选择 synctrayzor
    mrzx
        36
    mrzx  
       2018-02-08 11:13:10 +08:00
    @walkInCloud 的确是这样的,肯定是应用层协议来解决可靠性吗,但是我是笑他说话说的那么不严谨,尤其大家都是做技术这么多年了。
    Equim
        37
    Equim  
       2018-02-08 14:30:18 +08:00
    只能用 UDP 吗?有 QoS 怎么办?
    walkInCloud
        38
    walkInCloud  
    OP
       2018-02-08 15:48:14 +08:00
    @Equim 无法保证 UDP 一定不被 Qos,目前的开发计划,在 3 月底发布的版本会有 UDP 被 Qos 的情况下,自动切换到 TCP 进行传输。
    jingniao
        39
    jingniao  
       2018-02-09 17:53:34 +08:00 via Android
    丢包对传统 tcp 拥塞算法影响较大,bbr 不就干这个活的么?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5869 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 53ms · UTC 02:36 · PVG 10:36 · LAX 18:36 · JFK 21:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.