kafka常见命令（kafka命令详解）

各位老铁们，大家好，今天由我来为大家分享kafka命令详解，以及kafka常见命令的相关问题知识，希望对大家有所帮助。如果可以帮助到大家，还望关注收藏下本站，您的支持是我们最大的动力，谢谢大家了哈，下面我们开始吧！

文章目录：

• 1、关于kafka消费者的命令
• 2、kafka-docker上使用+常用指令
• 3、如何使用命令查看kaf
• 4、kafka配置参数详解
• 5、Kafka:如何高效运维之主题篇
• 6、Kafka系列-主要参数详解

关于kafka消费者的命令

1、sh kafka-consumer-groups.sh –bootstrap-server ip：端口，ip：端口，ip：端口 –group 订阅组 –describe 我在本地idea起了两个进程 那么CONSUMER-ID会有两个，但是CLIENT-ID依旧是一个。

2、第四条消息：生产更多的消息：查看myConsumerGroup，看到多了一个CONSUMER-ID. 说明这个消费者组中有2个消费者。查看消费者组信息。

3、这个消费者组名和它要消费的那个topic的offset信息就会被记录在broker服务器上。

4、消费者组中各个消费者的分区既有可能会发生改变，重新消费之前一定要获取最新的唯一，尽最大努力避免重复消费。调用栈为：KafkaConsumer#close ConsumerCoordinator#close 关闭的时候肯定是要同步提交消费位移的。

5、最近折腾公司的大数据平台，遇到了一个Kafka的消费者消费时无法正常启动，报 afka.common.OffsetOutOfRangeException 的错误。俗称就是Offset的数组越界。其实到撰文的时候，问题还未解决，先把之前的思路理一理。

6、assign的consumer不会拥有kafka的group management机制，也就是当group内消费者数量变化的时候不会有reblance行为发生。assign的方法不能和subscribe方法同时使用。

kafka-docker上使用+常用指令

1、docker exec -it zookeeper /bin/sh 这时查看zk节点只有一个zookeeper docker退出当前容器 快捷键：第一次尝试启动容器是用的第一种方式，后面发现在容器外面连接不了kafka，可能是因为生成的kafka地址是容器内地址。

2、使用docker命令可快速在同一台机器搭建多个kafka，只需要改变brokerId和端口 中间两个参数的 19160.102 改为 宿主机器 的IP地址，如果不这么设置，可能会导致在别的机器问不到 kafka。

3、按照菜鸟的步骤，使用yum安装即可。常用指令如下图，直白用法点我，介绍点击我备注：RUN命令在image文件的构建阶段执行，执行结果都会打包进入image文件；CMD命令则是在容器启动后执行。

4、按照菜鸟的步骤，使用yum安装即可。常用指令如下图，直白用法点 我 ，介绍点击 我 备注：RUN命令在 image 文件的构建阶段执行，执行结果都会打包进入 image 文件；CMD命令则是在容器启动后执行。

5、到Redis或者MySQL中，然后启动后台清理任务即可。了解了这个思路后，具体实施就变得简单了，就是开发一个基于Yarn的master-slave程序即可，然后slave去管理对应的Docker容器，包括接受新的指令。master提供管理界面展示容器信息，运行状态即可。

如何使用命令查看kaf

①打开考生文件夹下SHEKKAF文件夹，选定文件TOUR．PAS；②选择【编辑→复制】命令，或按快捷键Ctrl+C：③打开考生文件夹下CRY\SUMMER文件夹；④选择【编辑→粘贴】命令，或按快捷键Ctrl+V。

命令行直接输入：iptraf（如果没有，使用yum install iptraf安装）打开进入选择ip镜像。 选择监听测试的接口，所有接口。开启监听状态日志，系统默认日志路径。

通过DOS命令查看显卡信息的方法：工具/原料 WIN10系统电脑 同时按住“win键”+“R键”，弹出“运行”界面，并输入“cmd”，点击确定。在弹出对话框中输入“dxdiag”，按回车。弹出硬件信息，按需求点击查看。

Linux查询出当前系统的所有进程的方法使用搜索功能搜索“Terminal”，打开Ubuntu命令行终端。通过控制台Terminal，执行ps的帮助命令“ps–helpa”查看ps命令支持的参数列表。在控制台，使用命令“ps-A”查看当前系统所有的进程。

kafka配置参数详解

配置KAFKA_LISTENERS=PLAINTEXT：//：9092 因为这种场景下主机都是明确的，对谁都一样；任何人都可以通过hostname：9092访问kafka。

可以设置消息压缩，compression.type为kafka的消息压缩类型，对消息进行压缩可以减少网络传输量，从而提高tps。可以考虑设置消息压缩来提高发送消息的效率。

每个kafka broker中配置文件server.properties默认必须配置的属性如下：唯一标识在集群中的ID，要求是正数。

配置Kafka配置文件，指定所有节点的Broker ID、IP地址和端口号。 设定Kafka的拷贝副本数和ISR（同步复制副本）的数量参数，用于确定数据的备份数量和故障恢复的速度。

kafka提供了一个unclean.leader.election配置参数，它的默认值为true。当unclean.leader.election值为true时，controller还是会在非ISR副本中选择一个作为leader，但是这时候使用者需要承担数据丢失和数据不一致的风险。

Kafka:如何高效运维之主题篇

本文属于学习的第二阶段：[ 从运维实战的角度学习 Kafka ]，重点学习 Kafka 的主题，通过运维命令创建、更新主题，从 Topic 的 可运维属性，了解 Topic 在 Kafka 内部的运作机制 。

Zookeeper 是 Kafka 代理和消费者之间的协调接口。Kafka 服务器通过 Zookeeper 集群共享信息。Kafka 在 Zookeeper 中存储基本元数据，例如关于主题，代理，消费者偏移（队列读取器）等的信息。

Kafka按照接收顺序对归集的信息进行缓存，并加入待消费队列。Kafka的consumer读取队列信息，并一定的处理策略，将获取的信息更新到数据库。完成数据到数据中心的存储。

消费者是消费者群组的一部分，也就是说，会有一个或多个消费者共同读取一个主题。群组保证每个分区只能被一个消费者使用。假设这么个场景：我们从Kafka中读取消息，并且进行检查，最后产生结果数据。

Kafka系列-主要参数详解

介绍kafka的两个参数KAFKA_LISTENERS和KAFKA_ADVERTISED_LISTENERS 主要在kafka需要部署在container里面时必须要注意用到。

这个配置限制了缓冲区的消息条数，也可以说是限制了所有未发送的消息条数（Buffer中的消息数量 + 请求已发往ES但还未返回结果的消息数量） 这个配置过高会占用过多kafka connect cluster的内存。

　消息持久化：采用时间复杂度O（1）的磁盘存储结构，即使TB级以上数据也能保证常数时间的访问速度。

在 Kafka 中有一个名为“delete-expired-group-metadata”的定时任务来负责清理过期的消费位移，这个定时任务的执行周期由参数 offsets.retention.check.interval.ms 控制，默认值为600000，即10分钟。

consumer group是kafka提供的可扩展且具有容错性的消费者机制。组内可以有多个消费者或消费者实例（consumer instance），它们共享一个公共的ID，即group ID。

Topic 消息被发送到kafak中都有一个类别，这个类别叫做Topic，kafka中的消息都是通过主题进行组织的，一个Topic可以有1个或多个Partition。

好了，文章到这里就结束啦，如果本次分享的kafka命令详解和kafka常见命令问题对您有所帮助，还望关注下本站哦！