理想情况下,我希望运行一些实验来测量应用程序的输入使用者所承受的压力(即,如果我的应用程序落后于输入数据主题,并且消息到达的速度快于它们被处理的速度)。 有人告诉我这很常见,但我不知道怎么做
我正在阅读1.9 Metrics文档,从我得到的信息中,我必须配置conf/flink-conf.yaml(在独立模式下),让我们对jmx报表程序进行如下配置:
metrics.reporter.jmx.factory.class: org.apache.flink.metrics.jmx.JMXReporterFactory
metrics.reporter.jmx.port: 8789
那么我是不是应该用start-cluster.sh脚本运行flink应用程序,然后呢? 这些指标存储在哪里?
在相同的文档中,为Kafka指定了committedOffsets和currentOffsets。 我相信消费者滞后的定义是委员会补偿-当前补偿还是不? 这里有更多的度量(例如,records-lag-avg),并且声明那些度量也是公开的。 谁能给我提供一个循序渐进的指南? 我有点糊涂了
我会使用Prometheus JMX导出程序
根据您的环境设置,请使用Prometheus和Grafana的docker图像或Kubernetes舵图。
有一个为Apache Kafka度量预配置的开源grafana仪表板。