轻量运维工具fastdp

轻量运维工具fastdp v6版本-CSDN博客

目前该工具已更新版本v6,新增三个模块,如果无需新功能的话仍可继续使用本文内容

轻量运维工具fastdp,基于 Go 语言实现,核心优势只有一个:快!在相同环境下,批量命令执行速度比 Ansible 快 18 倍,且用法更简单。今天就来分享这个工具的设计思路和使用方法。

fastdp的设计目标是:抛弃冗余功能,专注 “批量执行命令 / 文件操作” 的核心场景,用 Go 的协程优势实现极致性能。

性能对比:18 倍提速是怎么来的?

直接上测试数据:在 4 台同网段 Linux 主机(网络延迟 <1ms)上执行date命令,对比结果如下:

工具实际耗时(real差异点
fastdp0m0.135s基于 Go 协程并发,无进程开销
Ansible0m2.523sPython 多进程模型,启动成本高

为什么fastdp这么快?

  1. 协程级并发
    用 Go 原生 Goroutine 管理 SSH 连接,避免 Ansible 的 “多进程 fork 开销”,100 台主机并发连接只需 1 个进程,内存占用不到 10MB。

  2. 无冗余设计
    摒弃 Ansible 的 “兼容全场景” 逻辑(比如复杂的模块参数校验、多版本 Python 适配),无需复杂依赖,专注 “批量执行命令 / 文件操作”,代码量仅 2000 行。

  3. 轻量配置
    命令行直接传参,主机组配置用简单的[组名]格式,与ansible风格类似,上手成本极低。二进制文件大小只有10MB左右

fastdp 快速开始

1. 下载发行包

使用wgetcurl下载 对应架构的发行包(当前已更新至v5版本):

# 使用 wget # amd64版本 wget https://gitee.com/zhao-pengfei2/fastdp/releases/download/v5/fastdp-v5-linux-amd64.tar.gz # arm64版本 wget https://gitee.com/zhao-pengfei2/fastdp/releases/download/v5/fastdp-v5-linux-arm64.tar.gz

2. 解压文件

解压下载的压缩包,获取二进制文件和配置模板:

# 解压到当前目录,以amd64版本为例 tar -zxvf fastdp-v5-linux-amd64.tar.gz # 解压后会生成 fastdp 目录,包含二进制文件和配置示例 cd fastdp

3. 安装方式

# 复制二进制文件到 /usr/local/bin(无需额外配置 PATH) cp fastdp /usr/local/bin/ # 复制配置文件模板到系统配置目录 mkdir -p /etc/fastdp cp config.toml host /etc/fastdp/ # 编辑/etc/fastdp/host文件,添加主机信息 vim /etc/fastdp/host

fastdp能做什么?3 个核心场景

1. 批量执行命令:一行命令搞定

最常用的场景:给web组主机执行uptime命令

# 格式:fastdp [命令参数] 主机组/IP fastdp shell -a "uptime" web # 灵活使用,支持多个主机组或ip fastdp shell -a "lsblk" master node 192.168.10.100

2. 批量跨机文件复制

复制本地config.inidb组主机的/etc/app/目录,支持大文件批量拷贝,比shell脚本效率提升n倍,只需指定源路径和目标路径:

fastdp copy -s ./config.ini -d /etc/app/config.ini db

fastdp会自动做两件事:

  • 对比本地与远程文件的 MD5,避免重复传输;
  • 同步源文件的权限(如rw-r--r--)到远程,无需额外配置。

3. 主机连通性检测:批量 SSH 存活检查

快速检测all组主机的 SSH 端口是否可达(比ping更实用):

fastdp ping all

4.进阶用法

获取各主机的环境变量后汇总输出,配置集群hosts文件时更为快捷

# 注意:使用变量时外层要为单引号,否则会使用当前机器变量 # 内层如果要使用单引号可以使用'\''这种方式避免冲突 fastdp shell -a 'echo $(hostname -I|awk '\''{print $1}'\'') $(hostname) ' all|grep -v 'output:'|grep linux 192.168.1.101 linux101 192.168.1.111 linux111 192.168.1.121 linux121 192.168.1.131 linux131 192.168.1.141 linux141

主机组配置示例:

支持免密访问和密码访问两种方式,可以指定用户端口信息

# FastDP 主机清单配置文件示例 # 格式说明:[主机组名] 定义主机组,下方为主机列表 # [all] 是默认主机组,包含所有主机 # 主机配置格式:IP/域名 [参数=值 参数=值 ...] # 支持参数: # user - 登录用户名(默认:root) # port - SSH端口(默认:22) # password - 登录密码(如不指定,需提前设置SSH免密登录) # 可以定义多个主机组,按业务或环境分组 # 注意:如果主机在不同组中重复出现,只会执行一次 # [cpu] # 192.168.1.106 user=root port=22 password=123456 # 192.168.1.107 user=root port=22 # 192.168.1.108 # 192.168.1.109 user=root # [gpu] # 192.168.1.110

注意事项

  1. 主机组配置:
    • 主机地址支持 IP 或域名
    • 若未指定 password,默认使用 SSH 密钥认证(优先读取 ~/.ssh/id_rsa)
  2. 文件复制:
    • 远程目标路径(-d)必须为绝对路径
    • 支持保留源文件权限(自动同步源文件权限到远程文件)
  3. 错误排查:
    • 开启调试模式(-v)可查看详细的 SSH 连接日志和命令执行过程
    • 若主机连接失败,检查 SSH 端口、认证方式及网络连通性

实践案例

给master主机组n台机器磁盘快速分区、格式化、挂载

# 假设master组机器/dev/sdb均为未分区磁盘 fastdp shell -a 'vgcreate vg01 /dev/sdb' master master_command=( "lvcreate -L 100G -n etcd /dev/vg01" "lvcreate -L 3T -n data /dev/vg01" "lvcreate -L 500G -n docker-data /dev/vg01" "lvcreate -L 200G -n kubelet /dev/vg01" "lvcreate -L 300G -n mnt /dev/vg01" "lvcreate -L 500G -n mysql-data /dev/vg01" ) for i in "${master_command[@]}";do echo "$i" ;fastdp shell -a "$i" master;done fastdp shell -a 'for i in etcd data docker-data kubelet mnt mysql-data;do mkdir -p /$i &&mkfs.ext4 /dev/vg01/$i &&echo "/dev/vg01/$i /$i ext4 defaults 0 0 " >>/etc/fstab;done' master fastdp shell -a 'mount -a' master

目前fastdp已支持shell/copy/ping三个核心模块,如果你有其他需求或建议,欢迎在 Gitee 仓库提 issue 交流~

仓库地址:https://gitee.com/zhao-pengfei2/fastdp

最后求个 Star 🌟,你的支持是我继续优化的动力!