V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
caicaiwoshishui
V2EX  ›  Kubernetes

10 macmini4 怎么最大化搞多个 k8s 集群?

  •  
  •   caicaiwoshishui · 2 天前 · 2257 次点击

    测试环境太多,服务器太贵。

    如果本地自建集群,采用 mac mini4 10 台

    内存 16g * 10=160g

    cpu:10c * 10=100c

    瓶颈都在内存里面,怎么才能充分利用呢

    一个集群至少得 20c,64g 吧,这样算才 2.5 个集群。。

    21 条回复    2024-12-20 09:58:13 +08:00
    seers
        1
    seers  
       2 天前 via Android
    去掉 3 台 master ,你只有 7 台可调度
    zeromake
        2
    zeromake  
       2 天前
    ……我印象中 osx 的容器方案都是虚拟机里跑 linux ?
    hyperbin
        3
    hyperbin  
       2 天前 via Android
    10 台 mac mini 买个 256G 的服务器都绰绰有余了
    pckillers
        4
    pckillers  
       2 天前
    测试环境 1 master 9 node 走起啦。
    然后为啥要多个集群? 一个集群 namespace 隔离不行么?
    以及好奇为啥楼主要用 arm64 的 mac 搭。 生产也是 arm64 ? arm64 的镜像与 x64 是不一样的,哪怕是同一个 tag 。注意别到时候生产是 x86_64 结果跑不起来。
    最后 k8s 终究是个依赖 linux 内核的架构。建议找个宿主机系统是 linux 的硬件装而不是在其它系统上上开虚拟机装
    crac
        5
    crac  
       2 天前
    这个预算 搞一台 HP Z8 G5 准系统,然后让商家给你配好 cpu 内存 自己买存储, 你 10 台 mac 可好用太多了 exsi 也有 hpe 的原厂版本
    caicaiwoshishui
        6
    caicaiwoshishui  
    OP
       2 天前
    @pckillers 主要是同时测试的版本太多,需要并行测试。还有就算旧的架构上有问题,不能用 namespace 隔离。。。真是蛋疼。

    镜像的话 基础镜像支持 amd 和 arm ,没啥问题。
    runinhard
        7
    runinhard  
       2 天前 via iPhone
    K3d / kind
    pckillers
        8
    pckillers  
       2 天前
    @caicaiwoshishui 不是,既然程序对 x86_64 与 arm64 不敏感,为啥要买 mac mini 这么贵的硬件来组 k8s 啊? 买 10c16G 内存的 mac mini 的预算买 x86_64 的迷你主机每台机器配 64G 内存不就没任何性能瓶颈了么?
    justdoit123
        9
    justdoit123  
       2 天前 via Android
    mac 的容器化,都是在虚拟机上进行的,跑起来性能打折。何苦用 mac 。
    nativeBoy
        10
    nativeBoy  
       2 天前 via Android
    master 可以用便宜的 x86 来代替吧,10 台全部 worker 比较合适
    caicaiwoshishui
        11
    caicaiwoshishui  
    OP
       2 天前
    @pckillers 嗯 被消费洗脑了,总觉得 m4 是性能怪兽。。。
    jianghuan2
        12
    jianghuan2  
       2 天前
    啊!组三台台式机也就 1.2w 出头吧!为啥要买 10 台 Mac ?
    zedpass
        13
    zedpass  
       2 天前
    为啥要使用 mac mini 做集群,有 mac mini 的钱搞 x86 主机做集群绰绰有余了,兼容性比 mac 好太多,装 K8S 也和生产环境更接近吧,可以搞多台 AMD 迷你主机
    ShadowPower
        14
    ShadowPower  
       2 天前
    需要注意的是 macOS 没有原生支持 k8s ,实际都跑在虚拟机里
    而且 M3/M4 目前都不能直接安装 Linux
    zhangxudong
        15
    zhangxudong  
       2 天前
    搞一台 epyc 洋垃圾服务器性价比更高吧
    pckillers
        16
    pckillers  
       2 天前
    @caicaiwoshishui m4 的"性能怪兽"就和 iPAD 有远超 PC 的生产力 PS5 核显帧数吊打 RTX4080 Intel 做特定编码压缩速度是 AMD 20 倍一样。 仅适用于极个别 AI 有关或有苹果独占软件优势的特定场景。 K8s 这种依赖 linux 内核的场景属于 mac 的短板,此时 MacOS 是扣分项,哪天 m4 芯片上能原生跑 linux 了才有可能一战。
    lithiumii
        17
    lithiumii  
       2 天前 via Android
    买多个 usb4 接口的迷你主机,雷电线互连,获得万兆 mesh 网络,比 mac mini 搭配万兆交换机应该便宜多了。比如主机带 2 个口的话,就可以三台两两互连
    ysicing
        18
    ysicing  
       2 天前
    @ShadowPower 用 OrbStack 起应该可以吧
    ShadowPower
        19
    ShadowPower  
       2 天前   ❤️ 1
    @ysicing 但实际上 mac 的很多“高性能”场景,实际上是因为硬件本身具有一些专用的运算单元,且苹果自己的软件,以及一些专门适配 macOS 的软件会充分利用这些硬件功能,来达到“功耗又低,性能又强”的效果。

    当然还有一些优势来自内存带宽,不过 M4 非 Pro 、Max 版本的内存带宽相比搭配 DDR5 内存的消费级 x86 PC ,内存带宽基本没什么差别。

    在 OrbStack 上跑 Linux ,运行的是 Linux 程序。一方面虚拟机内不一定能利用这些专用运算单元,另一方面给 Linux 编写的软件也不会调用 Mac 特有的硬件模块。
    甚至因为目前 x86 被广泛使用,很多服务端程序对 x86 平台的优化要比 ARM 平台好。
    ShadowPower
        20
    ShadowPower  
       2 天前
    @ysicing 还有 mac 升级内存的价格很贵,同样预算不如多买几台 x86 机器……
    AmaQuinton
        21
    AmaQuinton  
       1 天前
    3(master) + 6(worrker) + 1(harbor)
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2099 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 01:05 · PVG 09:05 · LAX 17:05 · JFK 20:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.