apache kafka以其有效处理实时数据流的能力而闻名。它是日志聚合、数据管道和事件驱动应用程序等方案的完美选择。
在 ubuntu 22.04 lts jammy jellyfish 上
第 1 步。首先,通过在终端中运行以下命令,确保所有系统软件包都是最新的。apt
sudo apt update
sudo apt upgrade
第 2 步。java 开发工具包 (jdk) 安装。
kafka 依赖于 java,因此请确保您已安装 jdk。让我们验证它的存在并设置环境变量。java_home
通过运行以下命令确认是否安装了 java:
java -version
如果没有,请使用以下命令安装它:
sudo apt install openjdk-11-jdk
要设置环境变量,请打开文件:java_home
.bashrc
nano ~/.bashrc
在文件末尾添加以下行(替换为您的 java 安装路径):
export java_home=<your_java_home_path>
保存文件并运行:
source ~/.bashrc
第 3 步。在 ubuntu 22.04 上安装 apache kafka。
导航到官方 apache kafka 下载页面,选择所需的版本,然后复制其 url。在您的终端中,用于下载 kafka:wget
wget https://downloads.apache.org/kafka/3.5.1/kafka-3.5.1-src.tgz
提取下载的存档:
tar -xzf kafka-3.5.1-src.tgz
第 4 步。配置 apache kafka。
首先,创建一个 kafka 配置目录:
sudo mkdir /etc/kafka
编辑 kafka 文件:server.properties
sudo nano /etc/kafka/server.properties
下面是要配置的一些基本属性:
- 经纪商编号:确保每个代理都有一个唯一的 id。
- 端口配置:默认端口为纯文本的默认端口 9092 和 ssl 的默认端口 9093。
- 日志目录:设置 kafka 日志的路径。
- 动物园管理员连接:指定 zookeeper 服务器地址。
第5步。启动 kafka 服务器。
要在后台启动 kafka,请运行:
./kafka_3.5.1/bin/kafka-server-start.sh -daemon /etc/kafka/server.properties
您可以验证 kafka 是否正在运行:
./kafka_3.5.1/bin/kafka-server-stop.sh
第 6 步。创建卡夫卡主题。
主题对于 kafka 中的数据组织至关重要。要创建主题,请使用脚本:kafka-topics.sh
./kafka_3.5.1/bin/kafka-topics.sh --create --topic test-topic --partitions 3 --replication-factor 1 --bootstrap-server localhost:9092
步骤 7.测试apache kafka。
现在您的 kafka 集群已启动并运行,让我们通过设置生产者和使用者来测试它。
创建 kafka 生产者:
./kafka_3.5.1/bin/kafka-console-producer.sh --topic test-topic --bootstrap-server localhost:9092
创建 kafka 消费者:
./kafka_3.5.1/bin/kafka-console-consumer.sh --topic test-topic --bootstrap-server localhost:9092 --from-beginning
第8步。管理apache kafka。
启动和停止卡夫卡:
./kafka_3.5.1/bin/kafka-server-stop.sh
要再次启动卡夫卡:
./kafka_3.5.1/bin/kafka-server-start.sh /etc/kafka/server.properties
第9步。排查常见问题。
卡夫卡服务器错误
- 检查 kafka 日志目录中的日志。
- 确保正确配置 kafka 属性。
卡夫卡生产者和消费者问题
- 验证创建者和使用者配置是否匹配。
- 检查网络或防火墙问题。
资源约束和性能调优
- 使用 和 等工具监视系统资源。
top
htop
- 调整 kafka 配置以获得最佳性能。
感谢您使用本教程在 ubuntu 系统上安装 apache kafka。有关其他帮助或有用信息,我们建议您查看 。
原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/yun260948.html