这是一个创建于 3283 天前的主题，其中的信息可能已经有所发展或是发生改变。
举个简单的例子， MySQL 里有订单相关的数据，要对订单做统计分析，订单的变化希望能半实时的同步到 HBase ，然后用 spark 来做统计分析。
怎么比较好的将 MySQL 里的数据变化同步到 HBase 里？大家有什么比较好的方法吗？
能想到的一个方法就是在需要同步的表增加一个 update_time 字段，给 update_time 加索引，用一个脚本将最近更新的数据同步到 HBase 。
怎么比较好的将 MySQL 里的数据变化同步到 HBase 里？大家有什么比较好的方法吗？
能想到的一个方法就是在需要同步的表增加一个 update_time 字段，给 update_time 加索引，用一个脚本将最近更新的数据同步到 HBase 。
 |
1
sleepNULL 2015-12-27 20:44:42 +08:00
用一些 binlog 抽取的中间件来做吧
|
 |
2
morefreeze 2015-12-28 11:20:32 +08:00
同意 LS ， github 可以搜一些 binlog 中间件去自己转成想要的格式存到 HBase 里，比如阿里的叫啥忘了
或者 hadoop 自带的 sqoop(2) 这个是个命令行，可配置的相对少点，也能直接导入 HBase ，但定制性肯定没上面的好 |
Select Language