这是一个创建于 1310 天前的主题，其中的信息可能已经有所发展或是发生改变。
我有这样一个情景：我要从服务器 A 下载一个巨大的文件夹到本地（大约 2T，文件夹中每个文件大约 10G ），但是无奈一个 IP 限速 10Mbps，所以我想要开启多个虚拟机，每个虚拟机拿不同 ip，同时对这一个文件夹进行同步，如果不对这个文件夹进行切分可以办到吗？或者有没有什么工具可以实现
 |
1
buster 2021-04-19 15:39:09 +08:00  1
rsync + 文件名正则呢 ？
|
 |
2
willis 2021-04-19 16:23:41 +08:00
按文件名或者子文件夹进行同步
|
 |
3
rationa1cuzz 2021-04-19 16:44:58 +08:00
我记得是由参数存在的就不复制，但是还是要扫描整个文件夹，你这么大估计也很慢
|
 |
4
GM 2021-04-19 16:52:37 +08:00
大文件没必要用 rsync，直接装个 nginx，然后把目录、文件名列出来，加上 IP 、端口，组装成完整网址，然后迅雷批量下载还方便一些。
|
 |
7
ik 2021-04-19 17:34:35 +08:00 via iPhone
我能想到的也是 http 方便点， 配合 aria2 多线程拖，限速的问题可以套个 cdn，例如 cf(也许还要加一些魔法)
|
 |
9
doyel 2021-04-19 17:42:29 +08:00
rsync 本身并不适合用来同步单个超大文件。。。
|
 |
10
killva4624 2021-04-19 19:19:48 +08:00
换个思路吧，服务器 A 上生成文件列表，然后切成几个文件，分发给不同的 IP 去下载（ rsync 可以从文件列表里读下载文件。）
|
 |
12
herts 2021-04-20 00:13:28 +08:00 via Android
2T/10G=200 个，
|
 |
13
peaceful123 2021-04-20 09:52:55 +08:00
可以先压缩再传，另外你考虑了服务器 A 的带宽限制吗，还有服务器 A 上有其它服务在运行吗，要注意不要因为带宽占满问题，影响其它服务。下载方法的话，太多了，需要考虑断点续传，因为文件太大了。
|
 |
14
jecvay 2021-04-20 10:56:29 +08:00 via iPhone
|
Select Language