当前位置： 移动技术网 > IT编程>数据库>其他数据库 > HBase 文件读写过程描述

HBase 文件读写过程描述

2018年08月27日  | 移动技术网IT编程  | 我要评论

hbase 数据读写过程描述 
我们熟悉的在 hadoop 使用的文件格式有许多种，例如： 
avro：用于 hdfs 数据序序列化与 
parquet：常见于 hive 数据文件保存在 hdfs中 
hfile 
hfile 是 hbase 使用的一种柱状存储文件，非常适合随机和实时读写。 

hfile 文件的头部记载 fileinfo 和 meta 这是元数据。在启动 regionserver 后每一个regionserver 节点会将本地 datanode 保存的 hfile 文件中的 fileinfo 和 meta 加载到自身 jvm 的 memstore （元数据内存空间）中。 
read：对数据的读则由 memstore 检索存储的元数据，将 data 块加载到 regionserver jvm 中的 data 内存空间。现在常用的 hfile v2 只需要将需要的元数据信息加载到内存中即可 
write：每次写入都会在 memstore 中添加信息，而不是写入 hfile 中，只有 memstore 存储空间不够时，元数据信息才会被刷回 hfile 中。 
hfile 自身已经对 hbase 中存储数据进行压缩。 
参考：

您可能感兴趣的文章:

如对本文有疑问， 点击进行留言回复！！

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网