这是一个创建于 1900 天前的主题，其中的信息可能已经有所发展或是发生改变。
部门要整私有云存储,要支持 EB 级别数据量, 请教下技术选型.
目前了解到的开源方案主要是 Ceph, 但 ceph 坑也多, 求有经验的大佬指点
目前了解到的开源方案主要是 Ceph, 但 ceph 坑也多, 求有经验的大佬指点
 |
1
snappyone 2019-09-07 10:02:35 +08:00 via Android
eb 数据应该有专门负责这个的部门了吧
|
 |
2
hst001 2019-09-07 10:26:26 +08:00  7
1 EB = 1024 PB = 1024 * 1024 TB = 131072 块 8 T 容量的硬盘，按 3 份副本存储，需要 393216 块硬盘，接近 40 万块， 按 EB 级别要求看，只能算是个起步，你们部门怕不是得搞个数据中心？
|
 |
3
abcbuzhiming 2019-09-07 10:33:42 +08:00
贵公司的预算是多少，想搞这样的东西，计算机系统的复杂性从来都是来自数量级，每加 1 个 0，难度指数上升
|
 |
4
delectate 2019-09-07 10:44:41 +08:00
eb 级别，至少是几十人团队才能搞，成本很高，不是你能搞得定的。不如买套路云 oss，良心云 cos。
|
 |
5
fredcc 2019-09-07 10:56:17 +08:00
1EB 数据，在 AWS 宁夏区存储每个月大概 17w 多，流量成本另外计算。自建 200w 级别搞定 IDC+硬件+研发+维护+团队？这个数量级别，老实上公有云吧，不放心就多云备份。
|
 |
6
PowerMax 2019-09-07 10:59:25 +08:00 1
按 1EB 数据来算 硬盘价格就要 3 个亿左右
1EB 数据也不是突然了出现的 你们原来是怎么解决的? 你们公司是作啥的 好奇问一下 |
 |
7
jeffreyji666 OP 原来是公有云, 现在想自建, 还在调研阶段
|
 |
8
x7395759 2019-09-07 11:17:00 +08:00
自建花钱把公有云方案搬一套下来就完事了
|
|
9
jeffreyji666 OP 这套方案也没法搬吧,都是公有云自己研发的,人家吃饭的本领.
|
 |
10
donlxn22 2019-09-07 11:50:45 +08:00
Azure Stack 私有 Azure 云看一下
|
 |
11
cmdOptionKana 2019-09-07 12:03:03 +08:00
要来论坛问方案的话……目测自建会遇到很多麻烦。
|
 |
12
chinvo 2019-09-07 12:07:18 +08:00
联系微软 Azure，做 Azure Hyper Cloud
|
 |
13
Srar 2019-09-07 12:17:36 +08:00
直接 DELL EMC 或者 Hitachi VSP 吧
|
 |
14
realpg 2019-09-07 12:17:46 +08:00 via Android
坐标哪里？专业搞云数据中心的。自己拿地还是租用既有物业？
我这有个自建的项目，自己拿地，存储 |
|
15
realpg 2019-09-07 12:20:49 +08:00 via Android 2
没打完就发出去了
自己拿地自建的，CEPH 方案后端存储，一期项目要求 320PB 初始容量三副本存储，荒郊野岭机房六层楼，基建不含土地总投资 3 亿 |
 |
16
swulling 2019-09-07 12:33:58 +08:00 via iPhone 1
|
|
18
realpg 2019-09-07 12:35:14 +08:00 via Android
这个规模如果是机械硬盘容量盘，就按照 1EB 的规模后段存储，加上固态缓存 tier，大致需要 2000 个标准柜，不考虑扩容房间空间，两层楼机房，全套消防电力配置加上数据中心办公附属，我这最近建设的 2000 标准柜的机房有个参考
不含土地成本 机房主体面积 长 119.2 米宽 48 米的两层楼 包含双幺万市电引入，厂房建设，双变压器，配电，18 套 600kva 的 UPS，电池，配套线缆，机柜，PDU，空调，桥架，监控中心，气体消防设施，总投资 6000 万，坐标辽宁，2020 年 3 月投产 |
|
19
swulling 2019-09-07 12:35:41 +08:00 via iPhone
@jeffreyji666 厉害，好奇你们原来用的哪家公有云？
|
|
20
swulling 2019-09-07 12:39:08 +08:00 via iPhone
EB 级别数据中心，基建加服务器费用加网络费用，三个亿起吧。这么大规模没钱请个资深架构师，跑到论坛上问个啥…
|
|
22
swulling 2019-09-07 12:42:57 +08:00 via iPhone
@fredcc 不好说，毕竟 lz 没说背景。用最便宜的归档存储可以便宜一个数量级，最便宜的归档存储用的磁带机，可麻烦了
|
|
23
swulling 2019-09-07 12:44:07 +08:00 via iPhone 1
另外 ceph 单集群 EB 八成没戏，规模太大了。要么就拆集群，要么做二次开发。
|
|
24
realpg 2019-09-07 12:44:24 +08:00 1
避免嘴炮嫌疑 图纸都可以发
  然后是后端设施 我们这个最终是输出服务不是输出硬件，我个人有权利选型设备，用的都不是比较新代数的服务器，实际存储设计我们这是非常精简成本的，多层多性能都才用了不同方案，大量定制旧代数服务器、主板，甚至在市场上回收大量二手服务器，这个 2000 柜的机房首期建成，IPSAN 公共存储部分都在 2 楼，2 楼所有机房都是，一楼的中心 VIP 区都是计算用外挂二楼的 IPSAN 就这样，综合所有服务器的成本是 3.6 亿 主体网络设施包含各种级别的交换机，光模块，室内光缆，尾纤，我们的采购渠道特殊走运营商 ICT 极便宜的情况下，花了不到 1000 万，如果是社会其他公司来干没有这个网络设备采购渠道要更贵 |
|
25
realpg 2019-09-07 12:47:59 +08:00 1
PS 别以为这是个复杂的事 只要有钱 有高级规划人员
这么大个项目，其实我公司扣掉财务和文员，才二十来个人，其中一多半是机房土木电力空调建设人才，剩下才是真正搞 IT 技术的 当然，项目完全投产以后要上一堆现场维护人员，那都是跟着项目走的，单独的运维公司，输出标准，干活的人员 其他全套建设，全部是固定长期合作方来做，出设计 |
|
26
realpg 2019-09-07 12:51:53 +08:00 1
@swulling #23
一定要拆集群，因为网络交换能力都不行 但是可以在 200Gbps 的层面上做统一 iSCSI 网关 对外可以提供统一服务 实际架构是多级集群 实际生产环境我们最大搞了个 2EB 的，没啥毛病 养了 40 个换硬盘工…… 各种来路不明清零盘，垃圾 SSD，反正看着监控换硬盘就行，成本低廉，可靠性好 |
|
27
swulling 2019-09-07 12:56:26 +08:00 via iPhone
@realpg 抛去 ceph 不说，单集群 2w~3w 服务器是可行的
最大的东西向流量是副本复制的流量，其实还好。南北向看层层收敛比。一般这个规模的集群提供 400Gbps 的南北向流量问题不大。 硬盘还是买好的，要不然太累了… |
|
28
realpg 2019-09-07 13:02:27 +08:00 1
@swulling #27
实际上 固态好的坏的更换都累 机械盘清零盘的故障率其实都挺低的…… 主要是这边的存储网络为了节约成本（￥ 20 的华为万兆光模块满地跑），采用的 2*10GbpE 存储网络，固态节点采用 4*10GbE，没有采用接入层 25GbE 和 2*25GbE，lacp 的负载分担还是利用率有错峰问题，基本上都是手动规划不同的区域不同用途，然后在 2*100GbE 的聚合层面做多个统一网关 ceph 只要你不去动他，不会有故障 我们 ceph 节点的本地系统引导是另外一套可靠性高的用盗版 VSAN 搞的 IPSAN，全固态 5 副本。目前多个项目，就没有 ceph 节点自身系统故障的，ceph 的常用操作封装成 web 界面了，运维都是傻瓜级的，看图点按钮换硬盘而已，实在遇到问题就整节点关机，等大工程师两周巡视一次机房处理 |
 |
29
salmon5 2019-09-07 13:27:32 +08:00
老板投入多少，2 个人，几万块钱
|
 |
30
uleh 2019-09-07 13:37:37 +08:00 via iPhone
加个微信详细聊下
base64 eWV1bGVo |
 |
31
Septembers 2019-09-07 13:43:00 +08:00
|
|
32
fredcc 2019-09-07 13:45:15 +08:00 via Android
@swulling 用 S3 Glacier Deep Archive 的话还能便宜 2/3，磁带机维护成本不便宜啊
|
 |
34
secondwtq 2019-09-07 13:55:19 +08:00 2
1EB ... Backblaze 现在也才 750PB
|
 |
36
reus 2019-09-07 14:05:44 +08:00
主流几家公有云都支持私有部署，别折腾了
|
|
37
realpg 2019-09-07 14:44:52 +08:00 via Android
|
 |
40
zsj950618 2019-09-07 15:13:12 +08:00 via Android
难道除了 ceph 你还有其他选择（ x
|
 |
41
akira 2019-09-07 15:22:18 +08:00
这种需求 直接让阿里云 /华为 /腾讯云 给你们出方案 应该更好吧。。
|
 |
43
liukangxu 2019-09-07 16:10:25 +08:00
#Boss 不懂技术系列
|
 |
46
skyeycirno 2019-09-07 16:23:04 +08:00 via Android
EB 级别…？你是百度的还是？？我记得当初 115 搬家，也才 100PB 的数据，EB 级别的数据我觉得只有百度云才可能有吧？我记得看过新闻，百度云太原还是贵州数据中心，设计时是 4EB 的存储量…
|
 |
47
lostberryzz 2019-09-07 16:29:27 +08:00
115 迁移阿里云是 100PB。你们部门的数据量是 10 个 115...
|
|
48
realpg 2019-09-07 16:31:15 +08:00 1
@skyeycirno #46
估计是他们领导拍脑门子听说了 EB 这个单位 我目前客户只有涉及影像的大存储才会有这个级别 公众业务从来没这么大规模的 医疗影像，公安监控视频，区域卡口图像 其他都是 120PB 的一个集群已经完全可以覆盖 |
 |
49
FS1P7dJz 2019-09-07 18:19:58 +08:00
2E 的项目,买二手服务器,用盗版软件
V2 真 TM 能吹 某楼跟楼主可谓一排即可,争取弄个大项目 |
 |
50
carmark 2019-09-07 21:39:54 +08:00
需要什么样的接口： 对象存储、块存储或文件系统？
存储的内容是什么样类别：大文件，小文件 操作方式频率：读操作，写操作，读写混合 需要提供这些信息才可以，如果你的回答是读写混合，大小文件混合的分布式文件系统，那这个可能开源软件运维起来也比较费劲 |
 |
51
dingzi 2019-09-07 22:13:17 +08:00
你怕是开了个 115 吧
|
|
52
salmon5 2019-09-07 22:17:42 +08:00
还有一个“百万并发”
|
 |
53
Tmier 2019-09-08 08:51:26 +08:00
我就是留个言,参与一下上亿项目的研发~
|
 |
54
szq8014 2019-09-08 14:52:41 +08:00
非专业运维参与过 2P 的 ceph 集群的搭建提供块存储，然后老是有 osd 95% 卡住整个集群。。也没有多少精力去调优。。
|
 |
55
KenGe 2019-09-08 16:00:40 +08:00
话说如果要 ICT 采购网络设备找我 ，我还能参与下上亿的项目
|
 |
56
wanguorui123 2019-09-27 13:35:52 +08:00
1EB 为例：1048576TB 存储需求，2 份副本、4T 硬盘按 900 元。
硬盘成本：524288块、471859200 元（ 4.7 亿元） 磁盘柜：24 盘位按 70000 元、21846 台、1529220000元（ 15.3 亿元） 其次：机柜、网络、软件、建设、电、运维等等 |
Select Language