V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
iamtuzi3333
V2EX  ›  问与答

大佬们, 30TB 文件数据。有很多子目录,迁移请教

  •  
  •   iamtuzi3333 · 19 小时 56 分钟前 · 942 次点击
    小弟需要把华为云服务器 30TB 的文件数据都迁移到本地磁盘,用 2 个 16TB 的磁盘,如何把这个数据最快迁移下来,华为云服务器是 Windows Server ,数据文件很多,有三层子目录,按日期生成的数据文件,去年到今年的,非常多,有什么好办法能快速把数据拷贝到磁盘中。
    第 1 条附言  ·  18 小时 29 分钟前
    15 条回复    2025-02-21 19:41:27 +08:00
    ipfox
        1
    ipfox  
       19 小时 44 分钟前
    syncthing 试试?
    只发送
    只接收
    Raynard
        2
    Raynard  
       19 小时 34 分钟前
    两个 16tb 硬盘空间小于 30tb
    iamtuzi3333
        3
    iamtuzi3333  
    OP
       19 小时 25 分钟前
    @ipfox 我搜索看看,目前查的是 robocopy 。
    @Raynard 没事,能存多少就存多少,对数据不是完全要求存储完。
    路过的大佬们多多指点一下,都是 Windows ,就是想把数据文件备份下来。
    opticalproperti
        4
    opticalproperti  
       19 小时 18 分钟前
    刚刚处理完火山云两个服务器之间的数据迁移,用的是 tosutil 转移到 oss 挂载然后 cp 过去,纯内网很快
    以前也有类似需要下载到本地的需求,是联系客服邮寄硬盘的方式
    cpstar
        5
    cpstar  
       19 小时 7 分钟前
    既然是 windows ,是不是可以直接搞 diskgenius 的盘对盘扇区拷贝,省的重建分区表,让磁头反复在分区表和数据区里挪移。
    iamtuzi3333
        6
    iamtuzi3333  
    OP
       19 小时 7 分钟前
    @opticalproperti 华为云的 oss 非常昂贵,还需要付流量费,我现在就是想直接把数据拷贝到本地磁盘,然后把服务器的上数据清理一下
    iamtuzi3333
        7
    iamtuzi3333  
    OP
       19 小时 6 分钟前
    @cpstar 一个是云服务器,一个是在我本地机器插的硬盘,想把数据拷进硬盘哦,这样能行吗
    opticalproperti
        8
    opticalproperti  
       19 小时 3 分钟前
    @iamtuzi3333 有没有可能,oss 内网传输都是免费的呢,只需要给存储费用,并且 oss 存储费用应该比你的服务器挂载便宜吧,并且你如果只是拷贝,拷贝完了就删除桶,费用应该不是特别高
    iamtuzi3333
        9
    iamtuzi3333  
    OP
       18 小时 56 分钟前
    @opticalproperti 我发个工单问问华为云,之前有说过要钱,挂载花钱没事,不是我们出钱,但是把数据拉下来要自己花钱就不值得了,哈哈哈
    ETiV
        10
    ETiV  
       18 小时 53 分钟前 via iPhone
    最快的办法当然是来回邮寄硬盘…🤣


    1. 文件特别多的话,最好先 tar (别压缩)打包一下,每月一个包;或者你想省时间、并且计划中以后未必还用得到这些文件就压缩一下,如果碰到压缩率很高的情况,能省不少传输时间和流量费用
    2. 你准备拿什么协议拷
    3. 走网络的话,你带宽多少
    4. 还需要考虑断点续传

    走网络的话可以试试 rclone ,能并发、支持的协议多、还能断点续传
    back0893
        11
    back0893  
       18 小时 49 分钟前
    寄硬盘 这个最快 不要小瞧高速公路上的硬盘的带宽
    cpstar
        12
    cpstar  
       18 小时 42 分钟前
    OP 7# 哦,忘了这个因素了。你看看服务器上有没有腾挪空间,如果没有,可以考虑临时动态增加容量,然后把文件打包之后,往回拽。否则按文件往回拽,太费劲了。

    至于寄硬盘,我倒要看看云服务商怎么把云服务器的硬盘寄给用户。
    iamtuzi3333
        13
    iamtuzi3333  
    OP
       18 小时 36 分钟前
    @back0893 华为的云服务器也能邮寄吗,这个我得问问那边的工单了。
    @ETiV 云服务器邮寄应该不方便把,现在数据文件已经给 rar 压缩一次了,协议搜了一个 ROBOCOPY ,能可以断点续传,直接走网络,带宽在 30MB 左右。
    @cpstar 是的,我也在想,云服务器厂家怎么把这个数据能拷贝到我的硬盘,然后寄送给我。现在这个空间很小了,只剩下 200G 左右了。
    Loyle5
        14
    Loyle5  
       18 小时 12 分钟前
    如果走网络的话最大速度是云服务器的上传速度和你本地下载速度两者的最小值,能接受这个再决定用啥方案吧,前提是非流量计费
    stiangao
        15
    stiangao  
       16 小时 0 分钟前
    这么大的数据量确实应该走离线,阿里云有这服务的,内网转存到 NAS 里然后邮寄,数据转走你再寄回去。
    我们当初也是 10T 的数据视频数据
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2881 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 03:41 · PVG 11:41 · LAX 19:41 · JFK 22:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.