环境是Windows Server,要求如下:
1 服务器多硬盘 主备 不同硬盘间双向实时同步备份
2 与其他备份服务器定时或者实时数据同步
3 不能占用大量IO资源
目前遇到问题如下:
1.大多数备份软件对于此数量级别的,要么吃满所有IO资源,要么根本无法对这些级别的文件进行备份(包括遗漏/同名文件修改后还是当成旧文件)。
2.不支持多机备份。
有什么好的方案没
1
9999999999999999 2015-04-06 18:51:22 +08:00 via Android
Btrfs
|
2
twd2 2015-04-06 19:36:26 +08:00
存mongo数据库里配置主从 呵呵^_^
|
3
Havee 2015-04-06 20:28:57 +08:00
windows 下不清楚,linux 下我知道 cpio 就是为备份而生的
至于大量小文件要求不吃 IO 的话...NTFS 下是不可能的 |
4
st3488 2015-04-06 20:39:49 +08:00
我们是几个用的server上 搭建一个分布式文件系统,前段做一个索引这种方式存储千万级小文件的。
|
5
VirgilMing 2015-04-06 21:49:03 +08:00
随时都有百万级的流量?所有文件都会变化?应该不至于这么严苛吧。
专门腾一块内存做虚拟盘用于缓冲。不大量 IO 简直是不可能的。 |
6
ryd994 2015-04-06 23:05:40 +08:00
raid+nfs?
|
8
ericFork 2015-04-07 00:07:03 +08:00
Windows Server 下的方案可能只有商业方案才能达到你的需求了
|
9
likuku 2015-04-07 00:17:55 +08:00
@9999999999999999 Btrfs...2012年就测过,直到2014年这玩意依然一坨屎,某次机器重启之后,差点废掉我司一个svn库。还好后来小朋友发觉 read-only mount 后可以正常读取,速度数据备份出来改换 EXT4。
目前类似功能/性能的,可用就是ZFS,能和ZFS匹敌的也只有ZFS。 不怕死,想当烈士的,大胆尝试 btrfs,不用谢。 |
11
mhycy 2015-04-07 01:43:31 +08:00
某些防篡改拷贝软件/文件分发软件可以在驱动层截获修改信息然后同步到另一台服务器进行同样的修改
本地硬盘热备请用raid1 |
12
powergx 2015-04-07 02:06:16 +08:00 via iPhone
机械硬盘 iops 166,单片硬盘同步100万文件需要1.67小时满io,如果放进ssd,3w的iops 就只要几分钟。建议两边都是zfs,硬盘raid10
|
13
msg7086 2015-04-07 08:31:14 +08:00
楼上的某几位亲。卤煮要求用 Windows Server 啊。
Linux的话,试试分布式文件系统呗,比如 GlusterFS 之类的? |
14
raptor 2015-04-07 09:56:14 +08:00
ZFS+1
|
15
raptor 2015-04-07 09:56:45 +08:00
顺便,珍爱生命,远离windows
|
16
Septembers 2015-04-07 10:24:34 +08:00 via Android
|
17
Admstor 2015-04-07 13:17:25 +08:00
1.硬盘直接RAID了,难道你还认为人工干预从一个硬盘复制到另外一个硬盘更安全吗?RAID1或者RAID10,看你数量和容量决定
2.windows定时备份也可以直接打包传输,什么传输你就自己看着办了,FTP,SFTP,SSH都可以,甚至上win版的rsync 3.不占用IO是不可能的,既然是备份那定然是全部都要读取一边,不然叫什么备份...增量式备份也是需要做对比的,除非有win下驱动级,拦截硬盘修改操作,然后生成差异文件 ======== 你们这种情况我建议存储单独隔离出来 上iSCSI这个win也支持,用起来和本地也没啥区别 |
18
AntiGameZ 2015-04-07 13:49:41 +08:00
如果 CWRSYNC 和 Bittorrent Sync 也解决不了你的问题,你就只能自己写一个了
|
19
wangluowangwang OP |