1
kingwkb 2013-12-11 08:53:25 +08:00
用scp
|
2
likuku 2013-12-11 08:59:22 +08:00 via iPhone 1
记得rsync有参数可以不比对直接复制的
|
3
megaforce 2013-12-11 09:11:15 +08:00
|
4
arkilis OP @megaforce Thanks,我只用了两个参数
-a: archive --partial: keep partially transferred files 网络连接两个设备,但是都是千兆的网卡,速度应该不慢. 磁盘没有问题. |
6
lch21 2013-12-11 09:56:59 +08:00
btsync 快
|
7
Admstor 2013-12-11 10:19:50 +08:00
大文件小文件?小文件当然很慢很慢了
|
8
nocoo 2013-12-11 11:00:27 +08:00
@Admstor 刚好相反,这张情况下小文件反而快,因为很多很多小文件,有更大可能性大部分在前后两次备份的时候没有发生变化而跳过。
楼主可以讲讲文件的类型和结构,如果是一个大文件,而且内容经常发生变化,rsync这时候并不能发挥优势。rsync在处理大文件的时候会将文件分块然后hash,相同的块会跳过。因此一些基于行或者有固定元素大小的文件在这个时候会有优势。 |
10
ericFork 2013-12-11 13:48:45 +08:00
不要用 ssh 协议,用 rsync daemon,可以大幅提升速度
|
15
nocoo 2013-12-12 07:48:36 +08:00
@likuku binary实际上也可以,binary文件可以理解为外星文文本或者乱码文本文件,只要发生修改的时候部分位移/覆盖/删除/追加,都有可能导致分块恰好不变而节约传输。
|
16
arkilis OP @nocoo 就是用来备份的,有时候保证数据的完整性,我特意运行RSYNC两次,所以这个时候时间问题就来了. 总的来说以50m左右的binary文件为主,还有一些文本文件.总共的大小为300~500GB.
|
17
julyclyde 2013-12-12 11:19:19 +08:00
试试-W
|
18
likuku 2013-12-12 23:38:31 +08:00
@arkilis 这样…两头机器磁盘IO都得很强才行…
前两年搞过一台备份服务器是32G内存跑Freebsd,直接拿SATA 2T硬盘x2作ZFS的mirror,跑rsyncd服务,zpool持续写入速度120MBytes/sec 吧 |