V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
qanniu
V2EX  ›  分享发现

OneDrive google drive 同步方法 share & 请教

  •  
  •   qanniu · 2018-09-16 16:31:45 +08:00 · 7096 次点击
    这是一个创建于 2261 天前的主题,其中的信息可能已经有所发展或是发生改变。
    # 请教各位 v 友,想把 OneDrive 文件 /文件夹 同步 到 google driver 上有什么好的办法吗?

    # share 一下我用的方法&缺点:
    1. flow.microsoft.com
    优点: 配置简单
    缺点: 只能同步文件, 不能同步文件夹。
    现状: 放弃

    2. rclone.org
    优点: 客制化方便
    缺点:google driver 经常同步过程中自动 killed。我已经用了 tmux。见下文 log。
    现状: 放弃

    ```
    root@Klg_VPS:~# rclone copy -v "fan_gdriver:Google Photos" "school_gdriver:Google Photos"
    2018/09/16 03:57:18 INFO :
    Transferred: 0 / 0 Bytes, -, 0 Bytes/s, ETA -
    Errors: 0
    Checks: 0 / 0, -
    Transferred: 0 / 0, -
    Elapsed time: 1m0.8s

    ^C
    root@Klg_VPS:~# rclone copy --stats 3s "fan_gdriver:Google Photos" "school_gdriver:Google Photos"
    Killed
    root@Klg_VPS:~#
    ```

    3. 台湾的某 cloudsync。
    缺点: 发现照片同步了一部分就停止了。
    现状: 放弃
    19 条回复    2018-09-27 07:31:36 +08:00
    zhxhwyzh14
        1
    zhxhwyzh14  
       2018-09-16 16:48:28 +08:00
    Kyon945
        2
    Kyon945  
       2018-09-16 16:49:33 +08:00 via iPhone
    AirExplorer 手松,取决于本地网络,实质为下载后再上传
    qanniu
        3
    qanniu  
    OP
       2018-09-16 16:57:07 +08:00
    @zhxhwyzh14

    其实第三个就是指 https://www.multcloud.com
    3. 台湾的某 cloudsync。
    缺点: 发现照片同步了一部分就停止了。
    现状: 放弃
    Moorj
        4
    Moorj  
       2018-09-16 17:09:03 +08:00
    群晖
    kslr
        5
    kslr  
       2018-09-16 17:10:39 +08:00
    你起码把 rclone 日志打印出来
    qanniu
        6
    qanniu  
    OP
       2018-09-16 17:15:50 +08:00 via iPhone
    @kslr 开 log 后帮忙看看可以吗,请教您用 rclone 大量文件 copy 如何?
    qanniu
        7
    qanniu  
    OP
       2018-09-16 17:16:47 +08:00 via iPhone
    @Moorj 别安利群晖啦,请问现在上传照片到群晖体验如何?
    kslr
        8
    kslr  
       2018-09-16 17:18:06 +08:00
    @qanniu 你先打出来看看 -vvv google
    google drive 每天限制 750G
    qanniu
        9
    qanniu  
    OP
       2018-09-16 17:27:20 +08:00
    @kslr 感谢


    2018/09/16 05:26:10 DEBUG : pacer: Rate limited, sleeping for 2.191554469s (2 consecutive low level retries)
    2018/09/16 05:26:10 DEBUG : pacer: low level retry 2/10 (error googleapi: Error 403: Rate Limit Exceeded, rateLimitExceeded)
    2018/09/16 05:26:12 DEBUG : pacer: Rate limited, sleeping for 4.429970431s (3 consecutive low level retries)
    2018/09/16 05:26:12 DEBUG : pacer: low level retry 3/10 (error googleapi: Error 403: Rate Limit Exceeded, rateLimitExceeded)
    2018/09/16 05:26:12 DEBUG : pacer: Rate limited, sleeping for 1.371816901s (1 consecutive low level retries)
    kslr
        10
    kslr  
       2018-09-16 17:32:26 +08:00
    @qanniu tpslimit 等和 retries
    Moorj
        11
    Moorj  
       2018-09-16 17:33:15 +08:00
    @qanniu 母鸡。。我都是文件传输。。我跟你需求差不多,我 2 家公司,分别是不同的坚果云账户, 想一起同步到我个人的 onedrive 上,目前是用群晖解决的
    qanniu
        12
    qanniu  
    OP
       2018-09-16 17:34:14 +08:00
    @kslr
    参考下文是说 gdriver 流量限制, 但我的数据不多, 就不到 500g 的照片。
    https://forum.rclone.org/t/sending-data-to-gdrive-403-rate-limit-exceeded/3469/21
    kslr
        13
    kslr  
       2018-09-16 17:36:35 +08:00
    @qanniu 按照日志是速率请求,我建议你等恢复了,然后限制每秒 api 数量
    qanniu
        14
    qanniu  
    OP
       2018-09-16 17:43:25 +08:00
    @kslr 感谢指导。如你推测,的确是的。参考下文,
    但不确定限制多少合适?

    Add --tpslimit and --tpslimit-burst to limit transactions per second …

    … for HTTP

    This is useful if you are being rate limited or banned by your cloud
    storage provider.


    https://github.com/ncw/rclone/issues/1351
    https://github.com/ncw/rclone/commit/6f71260acf5235bd86b27ff664bd692d985e9a41
    qanniu
        15
    qanniu  
    OP
       2018-09-16 17:45:06 +08:00
    @kslr 兄台也是台风中家里呆着吧?
    ETiV
        16
    ETiV  
       2018-09-16 17:54:59 +08:00
    出 killed 应该看一下内核日志,看是不是 out of memory 啥的,被杀了
    neteroster
        17
    neteroster  
       2018-09-16 19:39:55 +08:00 via Android
    看 rclone 的 log 应该是被 oom killer 杀掉了 可以开一台大内存 VPS, swap 也拉大应该可以解决
    alexkhh
        18
    alexkhh  
       2018-09-27 06:35:13 +08:00
    你好 OneDrive 使用 rclone 复制到 GD 中途是不是不能断开 SSH 的?
    qanniu
        19
    qanniu  
    OP
       2018-09-27 07:31:36 +08:00 via iPhone
    @alexkhh 可以,nohup,screen,tmux
    我用 tmux
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2963 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 12:46 · PVG 20:46 · LAX 04:46 · JFK 07:46
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.