当前位置: 移动技术网 > IT编程>开发语言>Java > kafka基础一

kafka基础一

2019年03月24日  | 移动技术网IT编程  | 我要评论

桑兰最新消息,丘凯敏,listview分页

基本概念:

消息系统的组成由生产者,消费者以及存储系统。消费者从存储系统中读取生产者生产的消息。kafka作为分布式的消息系统支持多个生产者多个消费者,写消息时允许多个生产者写到同一个partition中,一个partition中的消息只允许一个消费者组中的一个消费者消费。
kafka流程图
1.producer:消息生产者
2.consumer:消息消费者
3.topic:一个队列
4.consumer group(cg):这是kafka用来控制单播和多播的手段。但是,每个partion只会把消息发送给该cg中的一个consumer,如果需要实现广播,只需要每个consumer有一个独立的cg就可以了,要想实现单播只要所有的consumer在同一个cg上,用cg还可以将consumer进行自由的分组而不需要多次发送消息到不同的topic
5.broker:一台kafka服务器就是一个broker,一个kafka集群由多个broker组成,一个broker可以容纳多个topic
6.partition:分区,为了实现扩展性,一个非常大的topic可以分不到多个broker上,一个topic可以有多个partition,每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id(offset)。kafka只保证按一个partition中的顺序将消息发送给consumer,不保证也给topic的整体(多个partition间)的顺序
7.offset:kafka的存储文件都是按照offset.kafka来命名,用offset做名字的好处是方便查找

如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复

相关文章:

验证码:
移动技术网