V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
通过以下 Referral 链接购买 DigitalOcean 主机,你将可以帮助 V2EX 持续发展
DigitalOcean - SSD Cloud Servers
MrLonely
V2EX  ›  VPS

云上 NAS 存的数据如何同步到 OneDrive?

  •  
  •   MrLonely · 2023-03-26 04:16:16 +08:00 · 1286 次点击
    这是一个创建于 603 天前的主题,其中的信息可能已经有所发展或是发生改变。
    之前搞活动的时候买了个 4T HDD 的 VPS 来当云上 NAS 。下载 PT 到 NAS 里不难,上传到 OneDrive 应该也不难。但实际上现在处处碰壁。

    之前在这里发帖问了要怎么限制 CPU 使用来符合 VPS 商家的 ToC,最后用了 cpulimit 。

    现在 limit 了以后倒是不会用量过高而被停机了,但是我从 PT 上下载到 VPS 里的 2T 视频不知道要怎么搞出来。

    这 2T 视频都是一个种子的资源,想要通过尽量简单的方式把所有视频上传到一个 5T 的 OneDrive 里。

    一开始的方法是通过 docker 部署了一个 firefox ,把文件目录挂载进去,然后通过浏览器窗口进行上传。在关掉 cpulimit 的时候用量会很高。打开之后倒是看起来似乎能正常上传,但是上传一段时间后就会中断,并且报告说无法上传。

    打开 onedrive 能看到部分上传的文件。后续我把文件大概拆为 3 份,每次上传 1/3 也是同样的结果。再拆更多份可能会过于麻烦,也还没去尝试。


    后来我又试了 rclone copy 。因为 cpulimit 的原因,rclone 在 terminal 里的进程一段时间后会 stop ,然后又从后台继续进行。但是这时候 shell 本身是没有 attach 的。也就无从查看实际的进行步骤。

    刚开始的时候通过 top 还能看到 rclone copy 的进程时不时地出现在顶部。但是后来就看不到了。通过网卡速度也能看出这个 rclone 大概率是停掉了。

    所以有什么办法可以让这个上传操作在不违反 CPU 用量的情况下实现呢?
    5 条回复    2023-03-27 10:50:04 +08:00
    ruixue
        1
    ruixue  
       2023-03-26 11:16:35 +08:00
    rclone 都经常 stop ,这 cpu limit 到底是有多狠,给 rclone 限一下速试试,onedrive 的 api 本身也有比较严格的速率限制,跑快了也会经常被服务器拒绝传输,即使是用限制最小的 onedrive 官方客户端,每天上传 900 多 G 后当天也无法继续上传了

    如果还不行,现在能想到的方案就是暂时停止 torrent 客户端,另外开一个允许长时间跑满 cpu 的大流量 vps ,比如 hetzner 的 cloud ,用 scp 、rsync 、webdav 之类的协议把文件拖出来再上传 onedrive
    leaflxh
        2
    leaflxh  
       2023-03-26 11:56:15 +08:00
    在 screen 里执行 rclone copy 会挂吗
    wxxxcxx
        3
    wxxxcxx  
       2023-03-26 15:56:13 +08:00 via Android
    nohup 或者 tmux/screen 运行 rclone 试试
    MrLonely
        4
    MrLonely  
    OP
       2023-03-26 23:05:54 +08:00
    @ruixue onedrive 本身的 limit 我倒是忘记关注了。所以 onedrive 如果用浏览器上传的 limit 是多少呀?用另外的机器的话,其实对我来说这个 4T 的 VM 就意义不大了。本来它就是用来倒腾种子和视频的。再搞个其他的机器我不如直接用那个机器处理了。


    @leaflxh 大概率会,这个不是我的 ssh 断了,而是 ssh 里的 shell 和 rclone copy 这个进程断开了链接。 有点像是 ssh 运行中按 ctrl+c 的效果。


    @wxxxcxx nohup 我觉得可以试一下。

    多谢各位指点。
    ruixue
        5
    ruixue  
       2023-03-27 10:50:04 +08:00
    @MrLonely onedrive 用浏览器上传经常会出现超时,所以也不清楚 limit 到底是多少

    如果有其它网盘比如 google drive 也可以试一试 rclone 上传到这些网盘,最后再用 mover 转移到 onedrive
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5882 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 03:37 · PVG 11:37 · LAX 19:37 · JFK 22:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.