kafka原理及架构是什么

这篇文章主要介绍“kafka原理及架构是什么”，在日常操作中，相信很多人在kafka原理及架构是什么问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对大家解答”kafka原理及架构是什么”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！

成都创新互联公司是创新、创意、研发型一体的综合型网站建设公司，自成立以来公司不断探索创新，始终坚持为客户提供满意周到的服务，在本地打下了良好的口碑，在过去的10余年时间我们累计服务了上千家以及全国政企客户，如PE包装袋等企业单位，完善的项目管理流程，严格把控项目进度与质量监控加上过硬的技术实力获得客户的一致称扬。

kafka背景及应用场景

     由LinkedIn 公司开发的一个分布式的消息系统；
     高吞吐率；
     支持Kafka Server间的消息分区，及分布式消费；
     同时支持离线数据处理和实时数据处理；
     支持在线水平扩展。

kafka基本架构

kafka基本名词解释

kafka顺序写磁盘

Kafka的文件存储机制

Kafka的文件复制原理

Kafka的数据可靠性的保证

request.required.acks=-1参数来设置数据可靠性的级别
min.insync.replicas配合使用

Kafka的发送模式，默认同步producer.type=sync，以下是异步的参数

Kafka的消息传输保障

At most once: 消息可能会丢，但绝不会重复传输
At least once：消息绝不会丢，但可能会重复传输
Exactly once：每条消息肯定会被传输一次且仅传输一次

Kafka的单节点搭建

Kafka版本下载
配置server.properties和consumer.properties
Kafka依赖zookeeper

搭建步骤

1：下载kafka
    地址：http://kafka.apache.org/downloads

2：上传安装包到服务器上面，并且进行解压

3：进入kafka的安装目录下的config目录
    1）编辑server.properties文件，修改zk的服务地址，比如：
    zookeeper.connect=hm02:2181,hs0201:2181,hs0202:2181

    2）编辑consumer.properties文件，修改zk的服务地址，比如：
    zookeeper.connect=hm02:2181,hs0201:2181,hs0202:2181

4：启动zk集群
     ./zookeeper-3.4.8/bin/zkServer.sh start

5：启动kafka的server
    ./bin/kafka-server-start.sh config/server.properties 启动kafka服务

6：克隆一个会话来进行创建一个主题，topic
     ./bin/kafka-topics.sh --create --zookeeper hm02:2181,hs0201:2181,hs0202:2181 --replication-factor 1 --partitions 1 --topic mykaka

    查看有那些topic：
    ./bin/kafka-topics.sh  --list --zookeeper hm02:2181,hs0201:2181,hs0202:2181

7：创建一个生产者，这里是使用命令行的producer
    ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic mykaka

8：创建一个消费者，这里也是用命令行的consumer
     ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mykaka --from-beginning

到此，关于“kafka原理及架构是什么”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注创新互联网站，小编会继续努力为大家带来更多实用的文章！