V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
LennonChin
V2EX  ›  程序员

对于大数据集群环境各类资源的审计大家有没有比较好的方案?

  •  
  •   LennonChin · 2022-04-16 21:28:18 +08:00 · 1032 次点击
    这是一个创建于 948 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这种资源审计的目的其实就是为了算钱,计算每类资源、每个作业、每次查询到底花了多少钱,为后续的配额、性能优化做参考。

    我的思考是不管是自建集群还是基于云的集群,本质上是将硬件付费或 IaaS 付费转换为 PaaS 或 SaaS 的计费模式,需要先有外部付费账单,才能内部各类计算资源的消费详单。

    但是大多数的大数据集群环境里存在多种计算引擎或存储引擎,各自的工作模式也不尽相同,这种情况下怎么统一计费的模型就是一个困难点。同时很多服务存在混部情况,难免各自之间会有一定的影响,因此在做资源审计的时候审计数据的采集又是一个比较麻烦的问题。

    目前没有找到类似的开源方案,不过大部分做基于公有云大数据计算环境的都会有一套自己的方案,不知道这些厂商是怎么做的。

    1 条回复    2022-04-17 11:09:12 +08:00
    disk
        1
    disk  
       2022-04-17 11:09:12 +08:00
    外部计费是看得见的,像 aws 什么的,分的很细,按具体的业务、功能和资源使用计费,统计也好做。至于内部资源的审计,成本核算,以及定价方法,就不清楚了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1210 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 18:29 · PVG 02:29 · LAX 10:29 · JFK 13:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.