spark+phoenix
2018-10-15 22:03 | 评论：0 次 | 浏览: 0
phoenix作为查询引擎，为了提高查询效率，为phoenix表创建了二级索引，而数据是sparkstreaming通过hbase api直接向hbase插数据。那么问题来了，对于phoenix的二级索引，直接插入底层hbase的源表，不会引起二级索引的更新，从而导致phoenix索引数据和hbas ...
Kafka到底有几个Offset？——Kafka核心之偏移量机制
2019-08-27 19:45 | 评论：0 次 | 浏览: 0
Kafka是由LinkIn开源的实时数据处理框架，目前已经更新到2.3版本。不同于一般的消息中间件，Kafka通过数据持久化和磁盘读写获得了极高的吞吐量，并可以不依赖Storm，SparkStreaming的流处理平台，自己进行实时的流处理。 Kakfa的Offset机制是其最核心机制之一， ...
超越Storm，SparkStreaming——Flink如何实现有状态的计算
2019-09-04 17:38 | 评论：0 次 | 浏览: 0
流式计算分为无状态和有状态两种情况。无状态计算观察每个独立的事件，Storm就是无状态的计算框架，每一条消息来了以后和前后都没有关系，一条是一条。比如我们接收电力系统传感器的数据，当电压超过240v就报警，这就是无状态的数据。但是如果我们需要同时判断多个电压，比如三相电路，我们判断三相电都高于某个值 ...
SparkStreaming整合Flume的pull方式之启动报错解决方案
2019-10-16 15:20 | 评论：0 次 | 浏览: 0
Flume配置文件： 但是在启动Flume时，报以下错误： 解决方案： 由于用到了agent的sink是 org.apache.spark.streaming.flume.sink.SparkSink类型，需要把spark streaming flume sink_2.11 2.4.3.jar复制到 ...
使用sparkstreaming计算uv并存入redis集群
2020-07-17 14:18 | 评论：0 次 | 浏览: 0
使用sparkstreaming计算uv并存入redis集群首先这是我存入kafka的待分析数据(\t隔开):192.168.101.2--2003717971594541195000POST/ibikeSeries/findNearAllHTTP/1.1https://servicewechat.com/wx7986c9c17e13557a/devtools/page-frame.htmlMac OS X (iPhone)Mobile Safari192.168.101.2