我要评论提问
如何判断hbase major compact是否执行完毕？
解答
这里提供两种查看方式： 一种是hbase webui 界面； 另外一种是hbase shell命令行 。 我们下面看一下。
1. hbase webui
点击web首页compactions按钮查看每一个rs compact完成情况； 点击servername进入rs web页后点击compaction metrics可查看该rs上每一个region compact 完成情况。
2. hbase shell
通过shell方式查看同webui查看大同小异，只不过没有将这些指标可视化而已。如果有兴趣，可以自己采集这些指标做一个漂亮的监控界面~
通过命令 status 'simple' 可查看hbase rs级别的一些指标，其中 compactionprogresspct=1.0 即表明rs compact完成。如下：
hbase(main):002:0> status 'simple'
active master: xxx.xx.xx.xx:6000 1539254611835
1 backup masters
xxx.xx.xx.xx:6000 1539254627238
4 live servers
xxx.xx.xx.xx:6002 1575619570126
requestspersecond=211.0,
numberofonlineregions=293,
usedheapmb=4861,
maxheapmb=16384,
numberofstores=293,
numberofstorefiles=432,
storefileuncompressedsizemb=97691,
storefilesizemb=35689,
compressionratio=0.3653,
memstoresizemb=891,
storefileindexsizemb=0,
readrequestscount=738897443,
writerequestscount=717989941,
rootindexsizekb=5413,
totalstaticindexsizekb=149724,
totalstaticbloomsizekb=63325,
totalcompactingkvs=1389414755,
currentcompactedkvs=1389414755,
compactionprogresspct=1.0,
coprocessors=[hbasesimhashsetbuildsystem, multirowmutationendpoint]
xxx.xx.xx.xx:6002 1575619966048
...
0 dead servers
aggregate load: 962, regions: 1176
通过命令 status 'detailed' 可查看hbase rs region 级别的一些指标，其中 compactionprogresspct=1.0 即表明rs compact完成。如下：
hbase(main):002:0> status 'detailed'
active master: xxx.xx.xx.xx:6000 1539254611835
1 backup masters
xxx.xx.xx.xx:6000 1539254627238
4 live servers
xxx.xx.xx.xx:6002 1575619570126
"namespace:table,20,1577443984105.518a1fbd9dd64e5956e591fa23556f48."
numberofstores=1,
numberofstorefiles=1,
storefileuncompressedsizemb=0,
lastmajorcompactiontimestamp=0,
storefilesizemb=0,
memstoresizemb=0,
storefileindexsizemb=0,
readrequestscount=0,
writerequestscount=0,
rootindexsizekb=0,
totalstaticindexsizekb=0,
totalstaticbloomsizekb=0,
totalcompactingkvs=332285,
currentcompactedkvs=332285,
compactionprogresspct=1.0,
completesequenceid=-1,
datalocality=1.0
"namespace:table,1f,1577443984105.61c4ba95dbed1eb52da78c448e2f4bbf."
...
0 dead servers
知识点补充
1. 计算公式
在上面的shell命令行输出中我们还看到有两个与compact相关的指标，分别是totalcompactingkvs 与 currentcompactedkvs。其实指标 compactionprogresspct 正是由二者计算得来，如下：
float compactionprogresspct = float.nan;
if( this.totalcompactingkvs > 0 ) {
compactionprogresspct = float.valueof(
this.currentcompactedkvs / this.totalcompactingkvs);
}
2. 小版本bug
可能有的朋友会发现自己家的 hbase compactionprogresspct 指标出现了大于100% 情况，或是 currentcompactedkvs>totalcompactingkvs 等情况，其实这是hbase小版本出现的一个bug，该bug在 2.0.0-beta 版本中才修复完毕。相关jira 如下：
- hbase-19767
- hbase-15906
- hbase-11979
文章转自：https://www.cnblogs.com/zpb2016/p/12668662.html
您可能感兴趣的文章:
如您对本文有疑问或者有任何想说的，请 点击进行留言回复，万千网友为您解惑！
网友评论