前置检查

  1. kafka manager界面进入待缩容broker(例如下线1001) kafka缩容操作流程 - 图1
  2. 确认此broker作为partition leader的所有topic副本数大于1
  3. 如果存在副本为1的topic,需要先做一遍resign partitions 具体参考《resign partitions操作》 kafka缩容操作流程 - 图2

  4. 确认topic下对应此broker作为leader的partition,其In Sync Replicas中还有其他broker

  5. 如果ISR中没有其他broker,需要等待其他broker同步数据跟上,才能缩容此broker kafka缩容操作流程 - 图3

缩容操作

前置检查完成后,才可以进行broker缩容

  1. 进入easyops界面,停止待缩容的broker
  2. 进入kafka manager界面,确认
    1. Brokers列表中该broker已经消失
    2. 所有topic正常(无红色警告),所有topicpartition都有leader分区
  3. 进入easyops界面,对已停止的broker进行删除操作
  4. 等待操作执行完成

附录

  1. resign partitions操作
  2. kafka管理界面,进入需要重新分配副本的topic(例如_consumer_offsets),然后点击下图按钮 kafka缩容操作流程 - 图4

  3. 修改副本数为3 然后生成分区设定,显示成功(失败则重试下) kafka缩容操作流程 - 图5

  4. 刷新分区分配,显示成功(失败则重试下) kafka缩容操作流程 - 图6

  5. 等待副本同步完成,该topic无待同步数据( Under-replicated % 0)