Kafka – (4) Kafka監控工具Kafdrop | 安裝及簡介

之前我們發表了一篇:Kafka – (2) Kafka監控開源工具Kafka Offset Monitor | 安裝及簡介

接著要來介紹另一個Kafka Web UI,由HomeAdvisor發表的open source Kafdrop,這個UI很棒的地方在於可以直接查看Kafka Message的內容

github source code |  docker hub image

先來用docker安裝Kafdrop (docker hub:

$ docker pull thomsch98/kafdrop

下載完直接起container就可以囉,記得ZK_HOSTS要調整

$ docker run -d -p 9010:9010 -e ZK_HOSTS=192.168.0.1:2181 -e LISTEN=9010 thomsch98/kafdrop

打開http://localhost:9010,就可以看到Kafdrop的首頁

broker list會列出目前所有的broker及IP,另外下方則可以看到topic list及partition資訊

kafdrop_cover.png

如果點進broker,可以看到該broker內有幾個topic,並列出topic的partition id,例如"Crawler"這個topic我們建立時設為12個parition,broker 0本身就佔了2個partition(partition ID 分別4, 10)

kafdrop_broker_0.png

點進topic,可以查看到topic的parition資訊,目前"NEW"這個topic有6個partition,並列出每個parition的offset,右上角可以看到一個kafdrop_view_msg.png的連結,可以查看Message內容

kafdrop_topic_info

kafdrop_view_msg.png點進去之後,可以自己選擇partition,並輸入offset,按下View Messages,就可以查看到Message內容了

kafdrop_msg_search01

kafdrop_msg_search02.png

回到topic頁,可以看到右下角有一個consumer group的連結

kafdrop_topic_info

頁面會列出consumer group目前消費的offset為何

kafdrop_consumer_offset.png

最後是Kafdrop還有提供API (github有說明),http://localhost:9010/topic可以取到topic列表

kafdrop_api01

http://localhost:9010/{topic name}/{consumer group}則可以查看目前consumer消費到哪一個offset

kafdrop_api02.png

非常好用的Kafka Web,推薦給大家~

廣告

發表迴響

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com 標誌

您的留言將使用 WordPress.com 帳號。 登出 /  變更 )

Google photo

您的留言將使用 Google 帳號。 登出 /  變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 /  變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 /  變更 )

連結到 %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.