经过大约半年多的观察,Influxdb 1.8,100个作业的情况下, 内存占用峰值会超过20GB,这个时候容器会自动重启,客户端无法上报。 因此需要对influxdb进行优化。这里记录一种最简单的优化,那就是直接减少指标数量: package org.apache.flink.metrics.influxdb; abstract class AbstractReporter<MetricInfo> implements MetricRep...
方法二:通过Influx 客户端 InfluxQueryLanguage语法 show measurements on slankka; //应该只看到这一个指标 jobmanager_job_lastCheckpointExternalPath 方法三:通过Influxdb厂家的Chronograf,直接连接到Influxdb进行查看 上一篇关于InfluxDB的文章【Flink系列二】构建实时计算平台——特别篇,用InfluxDb收集Flink Metrics 已...
metrics.reporter.influxdb.host: localhost metrics.reporter.influxdb.port: 8086 metrics.reporter.influxdb.db: flink metrics.reporter.influxdb.username: flink-metrics metrics.reporter.influxdb.password: qwerty metrics.reporter.influxdb.retentionPolicy: one_hour metrics.reporter.influxdb.consistency: ANY metr...
metrics.reporter.influxdb.host: localhost metrics.reporter.influxdb.port: 8086 metrics.reporter.influxdb.db: flink metrics.reporter.influxdb.username: flink-metrics metrics.reporter.influxdb.password: qwerty metrics.reporter.influxdb.retentionPolicy: one_hour metrics.reporter.influxdb.consistency: ANY metr...
RocksDB 是生产环境当中比较常用的 state backend 实现,如果数据量足够大,就需要多关注 RocksDB 的 Metrics,因为它随着数据量的增大,性能可能会下降。 User-defined Metrics 除了系统的 Metrics 之外,Flink 支持自定义 Metrics ,即 User-defined Metrics。上文说的都是系统框架方面,对于自己的业务逻辑也可以用 Metrics...
将flink-metrics-prometheus_2.11-1.13.2.jar 包导入 flink-1.13.2/bin 目录下。 2.1.2 配置 Reporter 选取PrometheusPushGatewayReporter 方式,通过在官网查询 Flink 1.13.2 Metrics 的配置后,在 flink-conf.yaml 设置,配置如下: metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPu...
经过大约半年多的观察,Influxdb 1.8,100个作业的情况下, 内存占用峰值会超过20GB,这个时候容器会自动重启,客户端无法上报。 因此需要对influxdb进行优化。这里记录一种最简单的优化,那就是直接减少指标数量: packageorg.apache.flink.metrics.influxdb;abstractclassAbstractReporter<MetricInfo>implementsMetricReporter{prot...
Flink 内置了很多 Reporter,对外部系统的技术选型可以参考,比如 JMX 是 java 自带的技术,不严格属于第三方。还有InfluxDB、Prometheus、Slf4j(直接打 log 里)等,调试时候很好用,可以直接看 logger,Flink 本身自带日志系统,会打到 Flink 框架包里面去。详见: ...
flink-metrics 模块中通过实现MetricReporter接口实现了对 Datadog、Graphite、Influxdb、JMX、Prometheus、Slf4j 日志、StatsD(网络守护进程)等日志模块和监控系统的支持。 以 Prometheus 为例,简单说明一下 Flink 是如何以主动推送方式上报监控指标的。 如需支持自定义 Reporter,例如 KafkaReporter,我们需要实现Metric...
18、Flink Metrics 源码解析 —— Flink-metrics-core 19、Flink Metrics 源码解析 —— Flink-metrics-datadog 20、Flink Metrics 源码解析 —— Flink-metrics-dropwizard 21、Flink Metrics 源码解析 —— Flink-metrics-graphite 22、Flink Metrics 源码解析 —— Flink-metrics-influxdb ...