kafka集群的压力测试 一.为什么要对kafka集群进行压测 (1)了解当前集群的处理能力的上限; (2)当修改集群的配置参数后，协助运维人员参考调优的结果; (3)以后参考压测的结果对集群进行扩容，留下有效的证据; 二.测试kafka的案例 install -d /tmp/kafka-test/ vi oldboyedu-kafka-test.sh inohup kafka-consumer-…
004、kafka集群的压力测试
003、kafka集群的监控软件Kafka_Eagle
kafka集群的监控软件Kafka_Eagle 一.kafka启动JMX端口 1.修改kafka启动命令 [root@elk101.oldboyedu.com ~]# egrep export /oldboy/softwares/kafka/bin/kafka-server-start.sh export KAFKA_LOG4J_OPTS="-Dlog4j.configuration=f…
004、kafka常用的脚本使用案例
kafka常用的脚本使用案例 一.kafka集群topic管理 1.查看现有的topic名称 [root@elk101.oldboyedu.com ~]# kafka-topics.sh --zookeeper 172.200.1.102:2181/kafka --list [root@elk101.oldboyedu.com ~]# [root@elk101.oldboyedu.com ~]# …
003、kafka2.8.0集群部署实战案例
kafka2.8.0集群部署实战案例 一.自行部署zookeeper集群 1.使用咱们的自定义脚本启动zookeeper集群 [root@elk101.oldboyedu.com ~]# manager-zk.sh start 启动服务 ========== zk101.yinzhengjie.com zkServer.sh start ================ ZooKeeper JMX…
002、分布式消息队列kafka概述
分布式消息队列kafka概述 一.kafka的基础架构 1.kafka概述 Apache Kafka是一个开放源代码的分布式事件流平台，成千上万的公司使用它来实现高性能数据管道，流分析，数据集成和关键任务应用程序。 kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue)，主要应用于日志分析，大数据实时处理领域。 kafka官方地址: http://kafka.apach…
001、MessageQueue概述
MessageQueue概述 一.什么是MQ MQ的全称为"Message Queue"，即消息队列。 消息队列是在消息传输过程中保存消息的容器，多用于分布式系统之间进行通信。 二.使用MQ的优势 1.应用解耦 如下图左侧所示: 系统的耦合性越高，容错性就越低，可维护性就越低。 (1)订单模块存在单点故障，需要从架构上解决; (2)订单模块需要大量的代码连接后端的库存模块，支付…