全方位认识HBase：一个值得拥有的NoSQL数据库（一）
2020-04-18 15:50 | 分类：数据库 | 评论：0 次 | 浏览: 66
前言： 说起HBase这门技术，在认知上对于稍微接触或使用过它的人来讲，可能只是百千数据库中一个很普通的库，大概就像我对Redis的...
CDH6.0.1 搭建过程及所遇到的错误处理
2020-04-17 16:38 | 分类：数据库 | 评论：0 次 | 浏览: 79
一、集群服务器配置说明（整个过程中我会提前把一些小坑填上，有的坑后面没有提到） IP 节点名 OS Cores Memory Dis...
HBase Shell 十大花式玩儿法
2020-04-17 16:38 | 分类：数据库 | 评论：0 次 | 浏览: 55
前言： 工欲善其事必先利其器，今天给大家介绍一下HBase Shell十大花式利器，在日常运维工作中，可以试着用起来。 1. 交互模...
HBase协处理器加载的三种方式
2020-04-17 16:38 | 分类：数据库 | 评论：0 次 | 浏览: 88
本文主要给大家罗列了HBase协处理器加载的三种方式：Shell加载（动态）、Api加载（动态）、配置文件加载（静态）。其中静态加载...
大数据预处理综述
2020-04-16 17:27 | 分类：数据库 | 评论：0 次 | 浏览: 60
数据预处理背景 大数据项目开发流程 数据质量 准确性：数据是正确的，数据存储在数据库中的值对应于真实世界的值。 数据不准确的原因 1...
紫金大数据任务开发和调度平台架构设计
2020-04-14 16:14 | 分类：数据库 | 评论：0 次 | 浏览: 86
一、总体设计 初来公司时，公司还没有大数据，我是作为大数据架构师招入的，结合公司的线上和线下业务，制定了如下的大数据架构路线图。 二...
超200万？约翰斯·霍普金大学数据错误！——谈谈如何保证实时计算数据准确性
2020-04-14 16:14 | 分类：数据库 | 评论：0 次 | 浏览: 62
作为全球新冠疫情数据的实时统计的权威，约翰斯—霍普金斯大学的实时数据一直是大家实时关注的，也是各大媒体的主要数据来源。在今天早上的相...
基于 Hudi 和 Kylin 构建准实时高性能数据仓库
2020-04-13 16:27 | 分类：数据库 | 评论：0 次 | 浏览: 75
在近期的 Apache Kylin × Apache Hudi Meetup 直播上，Apache Kylin PMC Chair ...
直播报名| Kylin on Parquet 介绍及快速上手
2020-04-13 16:24 | 分类：数据库 | 评论：0 次 | 浏览: 70
熟悉的 Kylin 的朋友都知道，Apache Kylin 构建完的数据是存储在 HBase 中的。Kylin on HBase 方...
Spark Streaming 编程入门指南
2020-04-11 15:18 | 分类：数据库 | 评论：0 次 | 浏览: 49
Spark Streaming 是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。可以从许多数据源（例...
如何判断HBase Major Compact是否执行完毕
2020-04-10 16:47 | 分类：数据库 | 评论：0 次 | 浏览: 101
前言： 之前有朋友加好友与我探讨一些问题，我觉得这些问题倒挺有价值的；于是就想在本公众号开设一个问答专栏，方便技术交流与分享，专栏名...
使用ElasticSearch赋能HBase二级索引总结
2020-04-10 16:47 | 分类：数据库 | 评论：0 次 | 浏览: 69
前言： 有时候a向b要数据，有时候b向c要接口，有时候c向a要服务；各个业务线各有各的财产，各自为营，像一个个小诸侯拥兵自重，跑腿费...
Scala为什么是大数据第一高薪语言
2020-04-10 16:47 | 分类：数据库 | 评论：0 次 | 浏览: 63
为什么是Scala 虽然在大数据领域Java的使用更普及，Python也有后来居上的势头，但Scala一直有着不可动摇的地位。我们熟...
资料下载 | 58同城HBase平台及生态建设实践
2020-04-09 16:15 | 分类：数据库 | 评论：0 次 | 浏览: 66
前言： 2020年3月7日晚7点，大佬张祥在微信群向大家详细介绍了58同城HBase平台及其生态的建设实践与相关经验，确实讲得很好。...
Hadoop入门之hdfs
2020-04-08 16:28 | 分类：数据库 | 评论：0 次 | 浏览: 81
大数据技术开篇之Hadoop入门【hdfs】 学习都是从了解到熟悉的过程，而学习一项新的技术的时候都是从这个技术是什么？可以干什么？...
HBase 监控 | HBase Metrics 初探（一）
2020-04-08 16:28 | 分类：数据库 | 评论：0 次 | 浏览: 74
前言： 对于任意一个系统而言，做好监控都是非常重要的，HBase也不例外。经常，我们会从JMX中获取相关指标来做展示、对HBase进...
读者来信 | 设置HBase TTL必须先disable表吗？（已解决）
2020-04-07 16:22 | 分类：数据库 | 评论：0 次 | 浏览: 72
今日有朋友加好友与我探讨一些问题，我觉得这些问题倒挺有价值的；于是就想在本公众号开设一个问答专栏，方便技术交流与分享，专栏名就定为：...
全球疫情实时监控——约翰斯·霍普金斯大学数据大屏实现方案
2020-04-07 16:22 | 分类：数据库 | 评论：0 次 | 浏览: 366
霍普金斯大学的全球疫情分布图 根据约翰斯·霍普金斯大学的最新数据显示，截止北京时间4月5号9时，全球累计报告确诊病例已达 134万+...
Kylin 初入门，从下载安装到体验查询
2020-04-06 15:48 | 分类：数据库 | 评论：0 次 | 浏览: 80
本文旨在为 Kylin 新手用户提供一份从下载安装到体验亚秒级查询的完整流程。文章分为两个部分，分别介绍了有 Hadoop 环境（基...
刚搭完HBase集群，Phoenix一启动，HBase就全崩了，是什么原因?（已解决）
2020-04-06 15:48 | 分类：数据库 | 评论：0 次 | 浏览: 94
前言： 之前有朋友加好友与我探讨一些问题，我觉得这些问题倒挺有价值的；于是就想在本公众号开设一个问答专栏，方便技术交流与分享，专栏名...
hadoop-ha+zookeeper+hbase+hive+sqoop+flume+kafka+spark集群安装
2020-04-05 14:28 | 分类：数据库 | 评论：0 次 | 浏览: 66
创建3台虚拟机 主机为桌面版 其他为迷你版本 ******************************常用命令、进程名称****...
HBase Shell Get 操作常用小技巧
2020-04-05 14:28 | 分类：数据库 | 评论：0 次 | 浏览: 82
在工作中，有时候只是想简单看下HBase表某些关键指标的值，这个时候总不能现写Java代码去查看，以下几个小技巧你可能会经常用到。 ...
【赵强老师】在Spark SQL中读取JSON文件
2020-04-05 14:28 | 分类：数据库 | 评论：0 次 | 浏览: 71
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的...
读者来信 | 如果你家HBase集群Region太多请点进来看看，这个问题你可能会遇到
2020-04-05 14:28 | 分类：数据库 | 评论：0 次 | 浏览: 62
前言： 《读者来信》是HBase老店开设的一个问答专栏，旨在能为更多的小伙伴解决工作中常遇到的HBase相关的问题。老店会尽力帮大家...
【赵强老师】搭建Hadoop环境
2020-04-04 13:41 | 分类：数据库 | 评论：0 次 | 浏览: 80
说明：这里我们以本地模式和伪分布模式伪列，为大家介绍如何搭建Hadoop环境。有了这个基础，大家可以自行搭建Hadoop的全分布模式...
flink 一分钟入门篇
2020-04-04 13:41 | 分类：数据库 | 评论：0 次 | 浏览: 82
1. 业务说：“…… bulabula……，这个需求很简单，怎么实现我不管？” 面对霸气侧漏的业务需求，由于没有大数据知识储备，咱心...
从谷歌 GFS 架构设计聊开去
2020-04-04 13:41 | 分类：数据库 | 评论：0 次 | 浏览: 82
伟人说：“人多力量大。” 尼古拉斯赵四说：“没有什么事，是一顿饭解决不了的！！！如果有，那就两顿。” 研发说：“需求太多，人手不够。...
谷歌 MapReduce 初探
2020-04-04 13:41 | 分类：数据库 | 评论：0 次 | 浏览: 64
谷歌“三驾马车”的出现，才真正把我们带入了大数据时代，毕竟没有谷歌，就没有大数据。 上次的分享，我们对谷歌的其中一驾宝车 GFS 进...
悟懂MapReduce，不纠结！
2020-04-04 13:41 | 分类：数据库 | 评论：0 次 | 浏览: 63
在《谷歌 MapReduce 初探》中，我们通过统计词频的 WordCount 经典案例，对 Google 推出的 MapReduc...
聊起 BigTable，让你不再胆怯
2020-04-04 13:41 | 分类：数据库 | 评论：0 次 | 浏览: 78
谷歌“三驾马车”的出现，才真正把我们带入了大数据时代，并指明了大数据的发展方向。 GFS 作为其中一驾宝车，解决了大数据存储的难题。...