V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
RatioPattern
V2EX  ›  问与答

网络文件系统的选择

  •  
  •   RatioPattern · 2022-03-13 01:21:49 +08:00 · 1914 次点击
    这是一个创建于 1016 天前的主题,其中的信息可能已经有所发展或是发生改变。

    鉴于目前局势,打算备份下海外的数据回国内

    因为海外小机硬盘不够了,所以想远程挂载国内服务器的硬盘过去,数据有 3T 。

    手头资源:

    3T 的数据需要海外机器 A 用 wget 下载回来,但是海外机器 A 本地硬盘只有 200G 缓存不下,而且不好拆分太多碎文件,打算挂着慢慢下
    国内机器 B 有 5T 硬盘挂载在本地 /DATA 目录

    额外限制条件:

    国内机器 B 硬盘大但是上行(向外发送)只有 12M ,下行(下载接收)倒是 100M 够用
    海外机器上下行都 1Gbps
    两台机器间日常有丢包现象但不是特别严重
    暂时不考虑用代理的方式下载,用的是类似 wget 的下载方式但是实际上比较复杂

    初步打算:

    1.用 NFS 把国内机器 B 的 /DATA 目录挂载到海外机器 A 的 /DATA 目录下
    2.在海外机器 A 的 /DATA 目录下 wget 挂在后台慢慢下

    问题是:

    1.海外线路一定会丢包,经验 NFS 一般是局域网用,NFS 用在公网而且是跨国际线路会有哪些问题?
    2.听说 NFS 是 UDP 协议,NFS 是否有自己处理类似 TCP 的数据包重发和验证?
    3.安全性上打算直接限制公网 IP ,然后账号密码,是否够用?
    4.如果 NFS 不是好选择,还有哪些替代?

    第 1 条附言  ·  2022-03-15 18:46:32 +08:00
    感谢各位帮助,最后还是上了 NFS ,为了挂载到之后能 df -h 看到,确实非常慢,读写速度几 mb 而且不稳定但是不至于掉盘
    7 条回复    2022-03-13 11:12:28 +08:00
    shanmin
        1
    shanmin  
       2022-03-13 01:33:37 +08:00 via Android   ❤️ 1
    先上传至 backblaze b2 然后国内下载? b2 国内速度感觉也不错
    plko345
        2
    plko345  
       2022-03-13 01:36:17 +08:00 via Android   ❤️ 1
    有明显丢包就不要用这方案了,1 楼建议可以参考,或类似的
    RatioPattern
        3
    RatioPattern  
    OP
       2022-03-13 01:44:18 +08:00
    @shanmin @plko345 感谢,看了下 backblaze 似乎也是类似 S3 的存储,还是希望能够远程挂载分区到海外机上
    shanmin
        4
    shanmin  
       2022-03-13 01:58:01 +08:00 via Android
    @RatioPattern 我是觉得你两台机器之间的网络连接不够稳定,我自己也有几个 t 的数据放 b2 上,你海外 3 个 t 上传到 b2 两天就可以传完了,这种方式我也得效率还高点。
    另外如果你有 vultr 的机器,那下载流量都不用钱
    ysc3839
        5
    ysc3839  
       2022-03-13 02:50:15 +08:00 via Android
    建议用 Bittorrent 或者 Resilio Sync 等支持分块传输的协议
    orangie
        6
    orangie  
       2022-03-13 10:26:41 +08:00
    直接 python3 -m http.server 临时开一下,下载,然后关掉。如果怕数据泄漏,打包加密一下。
    nonduality
        7
    nonduality  
       2022-03-13 11:12:28 +08:00
    传输大量数据建议用 rsync ,走 ssh 很安全,wget 不可靠。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3149 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 13:02 · PVG 21:02 · LAX 05:02 · JFK 08:02
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.