当前位置: 移动技术网 > IT编程>开发语言>Java > Flink筛选重要配置参数

Flink筛选重要配置参数

2020年08月01日  | 移动技术网IT编程  | 我要评论
1.简单介绍一下flink背景随着科技的发展,大数据框架处理海量数据越来越流行。有状态流计算将会逐步成为企业作为构建数据平台的架构模式,而目前从社区来看,能够满足的只有Apache Flink。Flink通过实现Goolge Dataflow流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架。同时Flink支持高度容错的状态管理,防止状态在计算过程中因为系统异常而出现丢失。Flink具有先进的架构理念,诸多的优秀特性,以及完善的编程接口,而Flink也在每一次的Release版本中,不断推出新的

1.简单介绍一下flink背景

随着科技的发展,大数据框架处理海量数据越来越流行。有状态流计算将会逐步成为企业作为构建数据平台的架构模式,而目前从社区来看,能够满足的只有Apache Flink。Flink通过实现Goolge Dataflow流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架。同时Flink支持高度容错的状态管理,防止状态在计算过程中因为系统异常而出现丢失。Flink具有先进的架构理念,诸多的优秀特性,以及完善的编程接口,而Flink也在每一次的Release版本中,不断推出新的特性。在未来,Flink将不仅作为实时流式处理的框架,更多的可能会成为一套实时的状态存储引擎,让更多的用户从有状态计算的技术中获益。因此批流融合的Flink大数据处理框架越来越受欢迎。
Apache Flink是一个开放源码的分布式数据处理引擎,基于Google Dataflow模型。作为新型的大数据框架,Flink有许多对性能影响较大的配置参数。

2.flink1.7.2参数初步筛选

Flink1.7提供了300多项配置参数,主要分类为:核心,JobManager,TaskManager,分布式协调(通过Akka),REST,Blob服务器,心跳管理器,SSL设置,网络通讯(通过Netty),Web前端,文件系统,编译/优化,运行时算法,Resource Manager,YARN,Mesos,HA,Zookeeper安全。
详细的配置参数请参照。
内容如下图:
html>

本文地址:https://blog.csdn.net/weixin_44052055/article/details/108202170

如您对本文有疑问或者有任何想说的,请点击进行留言回复,万千网友为您解惑!

相关文章:

验证码:
移动技术网