Go 大数据生态迎来重量级产品 CDS

[kevinwan]

本项目地址：https://github.com/tal-tech/cds

ClickHouse 是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它有着优异的性能，可以快速部署和运行。 不过要想使用 ClickHouse 搭建起数仓用于数据分析，一个重要的问题就是数据如何进入 ClickHouse ？ 我们希望数据源的变化能够自动实时地被同步到 ClickHouse，而且支持方便的动态的添加新的数据源(新的数据库，表)， 能够自动的生成对应数据源的 schema 。

go-zero团队使用 go 语言围绕 ClickHouse 开发了一些方便的组件与服务。

我们得到了下面这样的数据同步设计

该数据同步系统大致由以下三部分组成

1. DM 全量同步服务 github.com/tal-tech/cds/dm
2. RTU 实时增量同步服务 github.com/tal-tech/cds/rtu
3. Galaxy 网页控制台服务 github.com/tal-tech/cds/galaxy

流程如下：

• 用户可以在网页控制台添加数据源，自动生成 DDL，添加同步任务，该任务会被发送到 etcd 。
• dm 会收到全量同步的通知，执行历史数据的全量同步工作。
• 之后网页控制台服务会指定 connector 开启数据库 log 监听工作，数据会进入 kafka 。
• 监听 etcd 集群的 RTU 实时增量同步服务服务会发现有新的任务，RTU 自动领取任务，到 kafka 消费数据并同步至 ClickHouse 。

上述服务的开发使用了 go 语言。借助于go-zero中的工具包，如 goctl 等， 我们快速实现了它。它还加入了支持自适应 mongoDB 结构变化，支持数据分表等。

我们相信这是 go 语言与 ClickHouse 探索大数据的一个不错的起点，我们希望有更多的人能够参与进来。

CDS 项目地址：https://github.com/tal-tech/cds

go-zero 项目地址：https://github.com/tal-tech/go-zero

欢迎大家 star 并加入微信社区 🤝

[gowk]

年轻人不讲武德，总想搞个大新闻，来，骗！

[kevinwan]

@gowk 通过开源来骗？你也来骗一下？

[crayhuang]

这个画图的工具是什么工具来着？

[Wincer]

同问，画图挺好看的，是用什么画的？

[fy1993]

同问画图工具

[ruyuejun]

同问

[Aeoluze]

来，偷袭。劝 lz 耗子尾汁

[matian388]

draw.io

[ahmcsxcc]

@ruyuejun
@fy1993
@Wincer
@crayhuang
drawio 的 sketch 风格

[kevinwan]

@Wincer https://excalidraw.com/

[Wincer]

@ahmcsxcc
@kevinwan
感谢告知

[efaun]

为什么这个帖子没人说推广？不太懂你们道德带师的逻辑

[Livid]

@kevinwan

这个主题已经被移动到 /go/promotions

推广软文只能发布到这个节点。

请阅读 V2EX 的节点使用规则 https://www.v2ex.com/help/node

[kevinwan]

@Livid 收到

[90928yao]

@kevinwan
mysql 的数据 直接进 clickhouse ？ JOIN 怎么办 不用 flink 搞成大宽表 在进 clickhouse 吗