Hive与HBase之间的区别及使用方式

聊这个话题之前，先得搞清楚Hive和HBase各自扮演什么角色。很多人一开始容易把两者搞混，觉得都是大数据生态里的“数据库”，但实际上，它们的定位完全不同。

概念

Hive

1. Hive本质上是一个数据仓库管理工具，严格来说并不是数据库。它本身不存储数据，也不处理数据——数据存在HDFS上，计算依赖MapReduce。

2. 它的最大优点就是学习成本低。写SQL总会吧？通过类SQL语句（HSQL）就能快速实现简单的MapReduce任务，省去了专门开发MR程序的麻烦。

3. 但代价也很明显：延迟高。因为底层走的是MapReduce，所以Hive根本不适合做实时数据处理（比如实时查询、实时插入、实时分析）。它天生就是为离线批处理设计的。

HBase

1. HBase是一个分布式、可扩展、支持海量数据存储的NOSQL数据库。

2. 它主要解决海量数据的实时数据处理问题，特别是随机读写场景。

3. 为什么要有HBase？因为HDFS不支持随机读写，而很多业务偏偏需要这个能力。HBase就是为填补这个空白而生的。

共同点

两者都架构在Hadoop之上，底层存储用的都是HDFS。这是它们最大的交集。

区别

1. 定位不同：Hive是为了减少MapReduce编程工作量而诞生的批处理系统；HBase则是为了弥补Hadoop在实时操作上的短板。简单说，Hive离线批处理，HBase实时处理。

2. 存储逻辑不同：Hive本身不存数据也不算数据，完全依赖HDFS和MapReduce，表是纯逻辑的；HBase则是物理表，提供了一张超大的内存哈希表，搜索引擎经常用它来存储索引，方便快速查询。

3. 写入能力不同：由于HDFS的先天限制，Hive不支持随机写操作；而HBase天生支持随机写入。

4. 查询能力不同：HBase只支持简单的键查询，复杂的条件查询不是它的强项。

关系

在实际的大数据架构中，Hive和HBase更多是协作关系，而非互斥关系。下面是一种非常常见的用法：

整个流程大致是这样的：

1. Hive创建一张外部表，和HBase表关联起来。这样一来，查询Hive表就能自动从对应的HBase表中获取数据。

2. 业务采集的数据先落到HBase表中——因为HBase支持随机写，这点可以根据实际业务需求灵活决定。

3. Hive通过HSQL语句创建MapReduce任务，对数据进行分析处理。

4. MapReduce把分析结果存到常用的数据库（比如MySQL）。

5. 最后，前端Web从数据库里拿数据进行可视化展示。

总结

搞清楚Hive和HBase各自的定位和适用场景，是用好它们的关键。一句话概括：离线批处理选Hive，实时操作选HBase，两者配合起来，才是大数据架构中常见的玩法。