V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
annoy1309
V2EX  ›  问与答

求一个多硬盘(> 40 块)的本地解决方案

  •  
  •   annoy1309 · 2018-12-01 20:48:02 +08:00 · 3163 次点击
    这是一个创建于 2183 天前的主题,其中的信息可能已经有所发展或是发生改变。

    工作需要,有大于 100T 级别的数据需要低实时处理(要求时延 1 分钟内),处理其实不是 CPU 密集( i3 都跑不满),也不算 IO 密集,但是不可预测到底在哪个盘里
    就是需要保持这些盘处于可用状态
    目前已有:3T 盘 X20+,4T 盘 X10+,各种其他容量的硬盘( 1t,2t,5t)小于 10 块
    商业级别的阵列柜太贵了,支持 30+盘的价格都是 5w 起步,sata 扩展卡也考虑过,看了下 tb,最多支持 4 口的扩展,有点少
    想的是挖矿有那种 16+pcie 口的主板
    有没有原生支持 50+SATA 接口的家用主板或者台式?或者说有没有什么解决方案可以帮助?

    21 条回复    2018-12-02 19:03:30 +08:00
    dream7758522
        1
    dream7758522  
       2018-12-01 21:38:36 +08:00 via Android
    廉价 pc 搭建局域网?同样局域网访问硬盘?
    dream7758522
        2
    dream7758522  
       2018-12-01 21:38:54 +08:00 via Android
    通过局域网访问硬盘
    C2G
        3
    C2G  
       2018-12-01 21:49:11 +08:00 via Android
    12sata 口的 j1900 集成主板多来几块,然后网络访问( smb/其他)。这主板不知道还能不能再加扩展卡
    feverzsj
        4
    feverzsj  
       2018-12-01 21:51:56 +08:00
    jd 上硬盘盒 40 元一个,在买几个 usb hub,linux 下可以用 lvm 把所有硬盘合并成一个分区,2000 以内可以搞定,不过任何一个硬盘的损坏或丢失,都可能导致大量文件的失效
    C2G
        5
    C2G  
       2018-12-01 21:51:57 +08:00 via Android
    @C2G 单主板的话不太实际。除了上面的方案我能想到的就是 pci 再拓展了。pci 拓展还可以再一拖四,但是只有 sata2 还是 sata1 的速度。也可以看看能不能把 pciex16 分成 16 个 pcie 插扩展卡(一下子多了 64 个 sata 口)
    7654
        6
    7654  
       2018-12-01 21:54:45 +08:00
    msi 有一款挖矿主板,拥有 1 个 pci x16、12 个 pci x1 插槽
    H310-F Pro
    zander
        7
    zander  
       2018-12-01 21:59:50 +08:00
    SE326M1,25 盘位,2000 内可以搞定。
    swulling
        8
    swulling  
       2018-12-01 21:59:52 +08:00 via iPhone
    奥睿科的八盘位的外置 USB 3.0 的硬盘盒大概 1900,四十个盘买五个就够了
    alvin666
        9
    alvin666  
       2018-12-01 22:00:12 +08:00 via Android
    @7654 阵列卡好像 x1 塞不进去(?)


    如果是 sas,阵列卡一个能带很多,但是 sata 就比较麻烦了,我觉得多个小千兆主板做存储集群可行。
    7654
        10
    7654  
       2018-12-01 22:17:21 +08:00
    @alvin666 #9 延长线
    矿卡都是这样延伸出来的
    gefranks
        11
    gefranks  
       2018-12-01 22:25:45 +08:00   ❤️ 1
    配这个之前首先是你盘上数据的重要性, 是不是要上 raid, 上 raid 几, 读写速度上有没有要求.
    要是数据又重要, 写又多, 速度还有要求, 那就没便宜的方案了.

    1. 看看国鑫 24 盘位带 SAS expander 的机箱, 搭几个存储服务器.
    如果你不组任何阵列的话那应该这些盘就设成 RAID0 来访问.
    2. 要挂在一个机器上的话看看淘宝上还有没有 rackable 16 盘位的机柜了, 配外置 SAS 卡,可以几个柜子连起来.
    3. 超微有个板子 16 个 SATA 口, 但挺贵的.
    4. 奥睿科的东西不推荐, 容易坏盘. 以前用个 orico 的东西上面带了个自动休眠功能.搞坏 2 块盘,软损坏, 数据全灭, 虽然能恢复吧.但是烦.

    我用过的 SATA 盘基本上都能接 SAS 卡上, 有 1 SAS 转 4 STAT 的线.
    如果不上 RAID 都是单盘的话, 那还要看 raid/hba 卡是不是支持单盘 RAID0. 我以前用过一些 LSI 的是支持的. 当时专门弄了一个 raid0 的盘位,插了个盘用来传递数据.

    以上皆为个人见解, 不喜勿喷.
    daocheng
        12
    daocheng  
       2018-12-01 22:44:21 +08:00
    分布式文件系统? HDFS
    mhycy
        13
    mhycy  
       2018-12-01 22:51:34 +08:00
    二手服务器方案的阵列卡是个好东西(虽说以下推荐的柜子是全新的)

    便宜货柜子做 expander+阵列卡
    例如这个
    https://item.taobao.com/item.htm?id=14763379379

    阵列卡用 LSI 9286CV-8eCC / DELL H730P
    再买个便宜货服务器做主机,上架....
    稳定靠谱美滋滋..
    Wenpo
        14
    Wenpo  
       2018-12-01 22:53:03 +08:00 via Android
    某宝关键词 IPFS 主板
    mhycy
        15
    mhycy  
       2018-12-01 22:59:14 +08:00
    flynaj
        16
    flynaj  
       2018-12-01 23:49:35 +08:00
    多口无盘服务器。三台左右就可以了。
    ryd994
        17
    ryd994  
       2018-12-02 03:54:50 +08:00 via Android   ❤️ 2
    @alvin666 你需要的是 sas hba+expander
    hba 有半高的。而且你看到只有 4 口,那是不对的。一般 sas hba 是 2-4 个 minisas,每个 minisas 是 4 个 sas port。但是,你这个需求哪怕一个 sas port 都足够。因为可以接 expander。每个 sas port 可以接 256 个设备。只不过他们贡献带宽,所以一般还是多配几张 expander

    expander 虽然是全高,但其实不需要 pcie,只需要供电。可以买供电转接板。
    snnn
        18
    snnn  
       2018-12-02 09:06:30 +08:00
    要我肯定选 HDFS。多主机。
    greenskinmonster
        19
    greenskinmonster  
       2018-12-02 13:05:42 +08:00
    annoy1309
        20
    annoy1309  
    OP
       2018-12-02 14:10:54 +08:00
    @7654 我要的是 SATA 不是 pcie
    @zander 好的我去 tb 看看
    @gefranks 对速度几乎无要求,30MB/s 这种数量级就没问题了。
    @swulling 奥睿科的东西质量太不行了,不靠谱
    @ryd994 感谢,我去了解一下相关
    msg7086
        21
    msg7086  
       2018-12-02 19:03:30 +08:00
    首先,如果是工作需要的话,有条件的话还是不要买这种小容量硬盘了。8T 和 10T 价格已经很合理了,组起阵列来会帮你剩下很多管理和接口平台的开销,即使单位价格稍微贵一点,整体的 TCO 并不会上升。

    然后你的需求,100T 容量如果插 10T 盘,少则一个 12 盘位机架式解决,多的话来个 24 盘位的也就解决了。要成本低可以找二手蓝猫的箱子,自带 SAS Expander 的,只要配一块或者两块 50 刀左右的 HBA (或者 RAID 卡回来自己刷 ROM )就能撑下来。

    这点小容量还犯不上搞分布式存储吧……
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2652 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 02:01 · PVG 10:01 · LAX 18:01 · JFK 21:01
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.