当前位置：移动技术网 > IT编程>开发语言>JavaScript > Flume入门，基础，学习笔记

Flume入门，基础，学习笔记

2020年07月09日 | 移动技术网IT编程 | 我要评论

什么是Flume?

什么是Flume?

Flume是一种分布式，可靠且可用的系统，用于有效地收集，聚合和移动大量日志数据.

Flume组成

Agent：Agent是Flume最重要的组成部分，Flume系统就是由一个一个的Agent组成的.

Source：Agent的内部组件，用于接收日志数据，并将其封装成一个一个的event，然后传给Channel.

event：Flume系统内部将日志数据封装成event进行传输，event的结构是json串.

Channel：传输通道，被动的接收Source传来的数据，并进行缓存.

Sink：目的地，接收event，并将其拆封成原始数据（也可不拆）.

Flume结构图

简单结构

Flume将WebServer产生的日志数据接收到，传输给HDFS进行保存.

复杂结构

多级流动，扇入扇出.

本文地址：https://blog.csdn.net/yuyangchenhao/article/details/107199407

您可能感兴趣的文章:

如对本文有疑问，点击进行留言回复！！

荐从零教你一些CSS架构思想

从零教你一些CSS架构思想我们为什么需要CSS架构?众所周知，一个前端项目主要由HTML/CSS/JS组成，cs... [阅读全文]
vue.js 组件全局，局部注册（十四）

组件注册：全局注册全局注册使用 Vue.component 注册，Vue.component('my-compo... [阅读全文]
webpack的源代码分析：从入口到构建出一个文件

源代码入口我们调用yarn run react:build调用的是webpack的命令，具体命令在这个路径~/w... [阅读全文]
[Node.js] mySQL数据库 -- 英雄英雄管理系统接口

新增接口// 1.写一个新增接口// 参数:heroName heroSkill,heroIcon(文件),使用... [阅读全文]
生产库升级mysql 5.7.28版本到8.0.20

前言服务器系统版本：CentOS Linux release 7.3.1611 (Core)mysql版本： 5... [阅读全文]
javascript 实现Promise.prototype.then

实现Promise.prototype.thenthen方法是Promise中最重要同时也是较为复杂的一部分逻辑... [阅读全文]
小程序：封装双向数据绑定

适合项目表单比较少的微信开发者工具没有像vue上的v-model直接使用的双向数据绑定功能，所以要利用小程序的... [阅读全文]
Jshop开源小程序商城源码

开源Jshop小程序商城官方地址官方网站：https://www.jihainet.com/开源仓库：https... [阅读全文]
微信小程序开发原理与测试注意事项

背景（1）Why：小程序普及率高、提供用户活跃度；（2）What：小程序是什么、具备哪些能力；（3）How：小程... [阅读全文]
服务端之MVC和前后端分离对比

1、MVC框架：全名是Model View Controller，是模型(model)－视图(view)－控制器... [阅读全文]