JAVA并发编程 如何解决原子性问题
2020-05-12 16:35 | 分类：数据库 | 评论：0 次 | 浏览: 70
在并发编程中我们知道并发编程的三个bug源头：可见性、原子性、有序性。锁是一种通用的技术方案，java 语言提供的 synchr...
RDD和DataFrame和DataSet三者间的区别
2020-05-12 16:35 | 分类：数据库 | 评论：0 次 | 浏览: 68
在SparkSQL中Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。他们和RDD有什么区别呢？首先从版...
详解SQL中Group By的使用教程
2020-05-12 13:27 | 分类：数据库 | 评论：0 次 | 浏览: 44
1、概述“group by”从字面意义上理解就是根据“by”指定的规则对数据进行分组，所谓的分组就是将一个“数据集”划分成若干个“小区域”，...
Spark读取Mysql，Redis，Hbase数据
2020-05-11 15:48 | 分类：数据库 | 评论：0 次 | 浏览: 47
1、读取Mysql数据 object JdbcRddDemo { def getConn() = { Class.forName(&...
HBase Filter 过滤器之FamilyFilter详解
2020-05-11 15:48 | 分类：数据库 | 评论：0 次 | 浏览: 48
前言： 本文详细介绍了 HBase FamilyFilter 过滤器 Java&Shell API 的使用，并贴出了相关示例代码以供...
流媒体与实时计算，Netflix公司Druid应用实践
2020-05-11 15:48 | 分类：数据库 | 评论：0 次 | 浏览: 39
Netflix(Nasdaq NFLX)，也就是网飞公司，成立于1997年，是一家在线影片[租赁]提供商，主要提供Netflix超大...
Spark高级算子aggregate所遇到的坑
2020-05-10 15:36 | 分类：数据库 | 评论：0 次 | 浏览: 62
val rdd3 = sc.parallelize(List("12","23","...
在一个千万级的数据库查寻中，如何提高查询效率？？？？
2020-05-10 15:36 | 分类：数据库 | 评论：0 次 | 浏览: 64
摸清数据产生量如何，如果是1钞钟1条记录，则一台车一天就有86400条记录，则建议如下： 1、每台车使用单独的表，程序内部使用Cre...
Spark中Broadcast的理解
2020-05-10 15:36 | 分类：数据库 | 评论：0 次 | 浏览: 55
广播变量应用场景：在提交作业后，task在执行的过程中， 有一个或多个值需要在计算的过程中多次从Driver端拿取时，此时会必然会发...
实时流式计算系统中的几个陷阱
2020-05-08 17:00 | 分类：数据库 | 评论：0 次 | 浏览: 48
随着诸如Apache Flink，Apache Spark，Apache Storm之类的开源框架以及诸如Google Datafl...
DataHub——实时数据治理平台
2020-05-07 15:37 | 分类：数据库 | 评论：0 次 | 浏览: 56
DataHub 首先，阿里云也有一款名为DataHub的产品，是一个流式处理平台，本文所述DataHub与其无关。 数据治理是大佬们...
去 HBase，Kylin on Parquet 性能表现如何？
2020-05-06 15:08 | 分类：数据库 | 评论：0 次 | 浏览: 86
Kylin on HBase 方案经过长时间的发展已经比较成熟，但也存在着局限性，因此，Kyligence 推出了 Kylin on...
如何找到Hive提交的SQL相对应的Yarn程序的applicationId
2020-05-05 15:11 | 分类：数据库 | 评论：0 次 | 浏览: 51
最近的工作是利用Hive做数据仓库的ETL转换，大致方式是将ETL转换逻辑写在一个hsql文件中，脚本当中都是简单的SQL语句，不包...
HBase Filter 过滤器之RowFilter详解
2020-05-04 15:00 | 分类：数据库 | 评论：0 次 | 浏览: 55
前言： 本文详细介绍了HBase RowFilter过滤器Java&Shell API的使用，并贴出了相关示例代码以供参考。RowF...
字符串相似度处理函数
2020-05-03 15:17 | 分类：数据库 | 评论：0 次 | 浏览: 57
oracle里面查比如存储过程里面与表SALES有关jobs: SELECT * FROM (SELECT a.name,upper...
如何在 HBase Shell 命令行正常查看十六进制编码的中文？哈哈~
2020-04-28 16:09 | 分类：数据库 | 评论：0 次 | 浏览: 78
今天比较开心，只想哈哈~哈哈哈~ 啥也不多说了，直接看示例吧！绝对比我口才好~ 哈哈！Get到了吗？好意思不帮我分享嘛~哈哈~ 转载...
一小时搭建实时数据分析平台
2020-04-28 16:09 | 分类：数据库 | 评论：0 次 | 浏览: 107
实时数据分析门槛较高，我们如何用极少的开发工作就完成实时数据平台的搭建，做出炫酷的图表呢？ 如何快速的搭建实时数据分析平台，首先我们...
Kylin on Parquet 介绍和快速上手
2020-04-28 16:09 | 分类：数据库 | 评论：0 次 | 浏览: 90
Apache Kylin on Apache HBase 方案经过长时间的发展已经比较成熟，但是存在着一定的局限性。因此，Kylig...
HBase Filter 过滤器之 Comparator 原理及源码学习
2020-04-26 17:02 | 分类：数据库 | 评论：0 次 | 浏览: 70
前言： 上篇文章 "HBase Filter 过滤器概述" 对HBase过滤器的组成及其家谱进行简单介绍，本篇文章主要对HBase过...
hadoop 伪分布配置
2020-04-26 17:02 | 分类：数据库 | 评论：0 次 | 浏览: 74
配置 Hadoop 伪分布式 任务配置说明: VMware 15 Centos 6.5 java -jdk 1.8 hadoop-2...
安装 Hadoop 2.9.1 on Windows 10 64 bit (最全步骤整理)
2020-04-24 17:34 | 分类：数据库 | 评论：0 次 | 浏览: 65
1. Java 下载Java 1.8 64位版本https://java.com/en/download/. 如果不是64位java...
HBase Filter 过滤器概述
2020-04-24 17:34 | 分类：数据库 | 评论：0 次 | 浏览: 72
abc 过滤器介绍 HBase过滤器是一套为完成一些较高级的需求所提供的API接口。 过滤器也被称为下推判断器（push down ...
HBase BucketAllocatorException 异常剖析
2020-04-23 17:39 | 分类：数据库 | 评论：0 次 | 浏览: 62
近日，观察到HBase集群出现如下WARN日志： 2020 04 18 16:17:03,081 WARN [regionserve...
实时OLAP分析利器Druid介绍
2020-04-21 16:58 | 分类：数据库 | 评论：0 次 | 浏览: 102
文章目录 前言 Druid介绍 主要特性 基础概念 数据格式 数据摄入 数据存储 数据查询 查询类型 架构 运维 OLAP方案对比 ...
Kafka 2.5.0发布——弃用对Scala2.11的支持
2020-04-20 16:10 | 分类：数据库 | 评论：0 次 | 浏览: 100
近日Kafka发布了最新版本 2.5.0，增加了很多新功能： 下载地址：https://kafka.apache.org/downl...
hadoop全分布安装和搭建
2020-04-19 17:03 | 分类：数据库 | 评论：0 次 | 浏览: 85
全分布模式安装 1、准备工作 （*）关闭防火墙 systemctl stop firewalld.service systemctl...
hive之大数据仓库
2020-04-19 17:03 | 分类：数据库 | 评论：0 次 | 浏览: 53
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转换、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模...
apache spark
2020-04-19 17:03 | 分类：数据库 | 评论：0 次 | 浏览: 74
基本介绍 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎 。现在形成一个高速发展应用广泛的生态系统...
Hadoop伪分布安装搭建
2020-04-19 17:03 | 分类：数据库 | 评论：0 次 | 浏览: 64
Hadoop伪分布安装搭建 搭建Hadoop的环境 一、准备工作1、安装Linux、JDK、关闭防火墙、配置主机名解压：tar -z...
HBase-2.2.3源码编译-Windows版
2020-04-18 15:50 | 分类：数据库 | 评论：0 次 | 浏览: 86
源码环境一览 下载安装 1. Maven|Git|Java下载安装 Maven、Git 、Java 请先自行下载安装并配置环境变量。...