运维文档

# 工具部署Kafka

工具类型: shell 脚本

文档更新: 2025-02-22 16:43:06

适用场景: 非云化产品的的私有化部署(自建环境)

# 免责申明和使用须知

  • 1.工具定位声明

    • 本工具为 辅助部署工具，旨在帮助快速搭建云原生环境所依赖的中间件（包含并不仅限于Kubernetes、Nacos、Kafka等），便于项目组快速部署微服务应用。
    • 不承诺提供中间件的长期完整维护、支持或安全保障。

  • 2.开源组件免责声明

    • 本工具使用的 Kubernetes、etcd、calico、Nacos、Kafka等组件均为开源软件，受各自开源许可证保护。
    • 本工具 不修改、不篡改 任何开源组件，仅作为安装和部署的辅助工具。
    • 使用本工具即表示您已阅读并同意相关开源组件的 使用许可协议。

  • 3.安全与责任声明

    • 本工具 不承担 因使用过程中出现的安全问题、系统崩溃、数据丢失等后果的责任。
    • 建议用户自行评估部署环境的安全性，并根据自身需求选择合适的版本和配置。

  • 4.不提供长期维护

    • 本工具仅为临时部署工具，不承诺对中间件进行持续更新、补丁修复、安全处置和兼容性支持。
    • 用户应自行关注官方更新，并根据实际需要决定是否升级或更换工具。

  • 5.商业使用提醒

    • 若您将本工具用于 商业环境，请确保所有使用组件符合其 开源许可证，并遵守相关法律法规。
    • 本工具不提供任何形式的商业支持或担保。

  • 6.用户自主决策

    • 本工具仅供参考和学习使用，最终部署方案由用户自行决定。
    • 在使用前，请确保您具备足够的技术能力，并了解Kubernetes、Nacos、Kafka等等云原生组件的运行机制和配置方法。

# 相关下载

安装工具: https://pan.baidu.com/s/1_3IPQVkYb3X4dX35aVDDxg?pwd=2024

** 最近重写了脚本部署工具，建议下载最新版进行 kafka 的安装部署 **

# 工具部署步骤

# 环境准备要求

Kafka工具部署原理是：[Linux运维机（最普通配置）] ---SSH远程部署---> [Kafka单机/Kafka集群]

故，如果是多台机器部署中间件，需要指定一台机器作为运维机，并且能SSH远程到别的服务器进行部署。 如果是单机部署，也可以直接把当前服务器当作运维机，自己SSH自己。

# 准备全量包

全量包包含了Kafka程序和工具脚本，根据Kafka最终部署的服务器选择使用哪个全量包：

  • multi-install-kafka-amd64.tgz ： Kafka最终服务器全部是X86架构则选择此包
  • multi-install-kafka-arm64.tgz ： Kafka最终服务器全部是ARM架构则选择此包
  • multi-install-kafka-full.tgz ： Kafka（集群场景）最终服务器一部分X86、一部分ARM则选择此包
  • 犹豫不决，就选择multi-install-kafka-full.tgz万精油包

1755667838481.png

确定全量包后，将其上传到运维机上任意目录，比如/seeyon/scripts/kafka。随后在该目录下解压全量包，示例命令如： tar -xf multi-install-kafka-full.tgz：

1755668395049.png

# 运维机配置工具参数

在上一步运维机解压全量包目录，配置工具参数：

vim multi-install-kafka.sh

默认配置也可以安装，如果部署的目录、jdk、部署集群则需要精细化调整，详细参数可通过云盘安装工具里面的视频学习。

1755670841447.png

# 运维机配置SSH参数

同样在运维机解压全量包目录，执行运维机SSH远程Kafka服务器的参数，即配置将Kafka部署在哪一台（或几台）服务器：

vim cfg/native/kafka.hosts

注意：

  • 单机就配置一条参数，其余注释
  • 集群按照3、5、7单数标准准备服务器
  • SSH的用户必须是root，其余普通用户没有权限部署

1755671460245.png

# 运维机执行工具安装

1、在运维机解压全量包目录，执行 bash multi-install-kafka.sh 不带任何命令，能看到工具的特性、使用方法及常用命令信息：

1755671870155.png

2、使用如下命令启动Kafka的部署：

bash multi-install-kafka.sh i

部署初期会进行环境、配置检查，如存在异常，需要根据工具的提示消除问题，再继续。

1755672495247.png

最终部署成功效果：

1755672778747.png

# 日常维护

如果不清楚服务器部署后开通的端口及IP信息、如何启停服务，可以在运维机解压全量包目录，执行如下命令查看部署历史记录：

# 最新一次部署记录
cat doc/apps-deployment-summary.txt
# 所有历史部署记录
cat doc/apps-deployment-history.txt

1755673416043.png

注意：

  • kafka服务器开放端口的访问权限，如需调整kafka/config/server.properties配置文件。
  • 生产环境务必做好Kafka JVM内存调优，修改kafka/bin/kafka-server-start.sh

# 单机部署截图效果 - 1节点

1753794166863.png

# 集群部署效果截图 - 5节点

1753795729947.png

编撰人：yangfc、het

快速跳转

← 手动部署Kafka →