V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
dtgxx
V2EX  ›  问与答

大佬们进来帮帮忙!如何从 0-1 实现一个 BI 系统

  •  
  •   dtgxx · 2023-01-02 21:18:13 +08:00 · 1933 次点击
    这是一个创建于 720 天前的主题,其中的信息可能已经有所发展或是发生改变。
    今年团队打算实现一个 BI 大数据分析平台,团队人不多,都 1-2 年经验,主要做 hadoop spark flink 这种的大数据开发工作,由于项目太多,而且项目都比较类似,接入数据源、处理分析、输出应用。
    所以就想做一个通用化的平台,业务场景也不复杂,老板给时间让我们自研,所以不考虑使用现成的 BI 产品。

    但是我们对这个都没啥经验,无从下手,前些天看了网易有数,能实现有个简易版的网易有数这种就百分之百可以满足需求了,对于技术这块,有开源的产品可以借鉴吗?或者我们应该储备哪些知识点?都有哪些环节,如何开展呢?

    因为要讲图形化拖拽转化为代码逻辑,这块我就不知道是如何实现了,希望大佬们多给支支招!
    第 1 条附言  ·  2023-01-03 18:07:35 +08:00
    感谢各位大佬,superset 之前使用过,但是好像不能做网易有数那种一个 flow 的数据计算。
    比如在界面拖拽数据源,再退拽算子,然后拖转 sink 的数据库这种
    11 条回复    2023-10-02 10:53:18 +08:00
    xingdu
        1
    xingdu  
       2023-01-02 21:32:54 +08:00   ❤️ 1
    apache superset
    就是搞这种拖拉拽生成图表的,只是后端是 python 写的,不确定二次开发的成本有多大。
    shinyzhu
        2
    shinyzhu  
       2023-01-02 21:41:30 +08:00   ❤️ 1
    现在做个 BI 也很简单了,不像之前还要做一个 EDW 。

    楼上提到的 superset 是一个很好的选择,配套的你把数据流水线弄好就行,推荐 Airflow ,同样是开源项目的。然后用一套 web 承载整个 BI 就可以了。
    512357301
        3
    512357301  
       2023-01-03 00:40:18 +08:00 via Android   ❤️ 1
    真心建议,采购吧,十万预算也可以好好挑挑了。
    备选方案是用市面上的各种低代码平台搭建,不用很高深,让运营能快速上手就行
    haimianbihdata
        4
    haimianbihdata  
       2023-01-03 08:08:22 +08:00 via Android   ❤️ 1
    推荐帆软
    wenqiang1208
        5
    wenqiang1208  
       2023-01-03 09:17:25 +08:00   ❤️ 1
    之前做过 superset 的二开,需要后端 python 和 前端 React 的相关技能。
    superset 只需要配置好数据源, 就可以从数据源中取数据进行数据聚合展示。
    daysv
        6
    daysv  
       2023-01-03 09:25:15 +08:00   ❤️ 1
    以前做过, 这一块东西很复杂的, 1-2 年经验做出来的东西不得行, 建议外购
    ptaooo
        7
    ptaooo  
       2023-01-03 10:07:37 +08:00   ❤️ 1
    楼上说的 airflow 我大概接触过一点,比较适合做任务的调度,不太建议来做数据相关的,他的任务组件之间没有数据流,只有任务间的执行逻辑关系
    jones2000
        8
    jones2000  
       2023-01-03 17:42:21 +08:00   ❤️ 1
    会用 canvas 就可以, 自己画呗。2-3 年用 canvas 开发的就基本可以了。
    512357301
        9
    512357301  
       2023-01-04 00:11:05 +08:00 via Android   ❤️ 1
    如果准备自研的话,产品经理必须给力,研发其实难度并没有那么大,产品经理没有规划的话,做不出来好东西,最好是有从 BI 平台跳过来的产品经理
    leokun
        10
    leokun  
       2023-09-02 16:48:25 +08:00
    bi 现在很简单,我们公司 3 个人 1 个半月就开发出来了
    bojue
        11
    bojue  
       2023-10-02 10:53:18 +08:00
    @daysv 大佬能交流一下哪块复杂,我们也有计划自研
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1208 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 17:44 · PVG 01:44 · LAX 09:44 · JFK 12:44
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.