新手小白刚刚开始学习 Hbase 。昨天了解到 Hbase 在写入时会将数据写入 WAL 和 Memstore ,突然对 WAL 在 Hbase 的存在意义产生了疑问。 Hbase 没有索引和事务,那么 WAL 存在感觉并没有什么用处啊?如果是容灾的话,在写入 WAL 时服务器挂掉照样没法修复啊?这样每次写入数据时都要先进行一次 WAL 的 IO 操作,还不如直接对 Hbase 的数据文件进行 IO 操作。这样大大简化读取和写入的操作流程。 Hbase 引入 WAL 的目的是什么?
1
anexplore 2015-09-20 20:10:25 +08:00
如果 memstroe 中的数据还没 flush ,宕机就丢失了;可以用 wallog 恢复吧
|
4
yuankui 2015-09-21 09:42:02 +08:00
HBase 只有在 WAL 写成功了之后才会对客户端做出承诺说数据谢成功了,如果 WAL 写失败了,客户端会收到报错,这个时候丢数据,是客户端的事,干服务端没关系,可以通过客户端重试解决.
丢数据是, 承诺了存储好的数据,后来去查不到了,这才叫丢数据. |
6
anexplore 2015-09-24 09:40:16 +08:00
hbase 写数据是先放在内存里的,到达一定量后才 flush 到存储。如果没 flush 之前,机器挂了,内存中的数据就丢失了。如果写了 WAL 那么其他机器就可以根据 log 恢复数据。
WAL 是影响性能的,你可以选择关闭 WAL ,你可以选择关闭 WAL ,你可以选择关闭 WAL |
7
yuankui 2015-09-24 09:42:53 +08:00
先看看书吧.
|