INFO-统计kafka下所有topic数据量大小

适用模块
kafka
具体说明
批量统计不同topic下的数据量
使用示例
#!/bin/bash
cd /mnt/dfs/1/kafka/kafka_2.11-0.11.0.1
# 获取所有Topic名称
topics=$(./bin/kafka-topics.sh --list --zookeeper 59.111.205.137:12181)

# 循环替换命令中的topic_name变量
for topic_name in $topics
do
  result=$(./bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 59.111.205.137:19092 --topic $topic_name --time -1 | awk -F ":" '{sum += $3} END {print sum}')
  echo "Topic: $topic_name, Sum: $result"
done
INFO-统计kafka下所有topic数据量大小 - 图1

作者:林帅