InfluxDB shell version: 1.8.3 >create database flink # 创建Flink数据库 >use flink #为FLink创建RETENTION_POLICY(1) >CREATE RETENTION POLICY one_hour ON flink DURATION 1h REPLICATION 1 #为FLink创建RETENTION_POLICY(2) 配置Flink Flink influxdb reporternightlies.apache.org/flink/flink-docs-master...
metrics.reporter.influxdb.factory.class: org.apache.flink.metrics.influxdb.InfluxdbReporterFactory 1. 类型: push/基于 tags 格式 参数: 配置示例: metrics.reporter.influxdb.factory.class: org.apache.flink.metrics.influxdb.InfluxdbReporterFactory metrics.reporter.influxdb.scheme: http metrics.reporter.inf...
选取PrometheusPushGatewayReporter 方式,通过在官网查询 Flink 1.13.2 Metrics 的配置后,在 flink-conf.yaml 设置,配置如下: metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter metrics.reporter.promgateway.host: 192.168.244.129 metrics.reporter.promgateway.port: 909...
metrics.reporter.influxdb.port: 8086 metrics.reporter.influxdb.db: flink metrics.reporter.influxdb.username: flink-metrics metrics.reporter.influxdb.password: qwerty metrics.reporter.influxdb.retentionPolicy: one_hour metrics.reporter.influxdb.consistency: ANY metrics.reporter.influxdb.connectTimeout: 6000...
2 Flink Metrics 监控系统搭建 Flink 主动方式共提供了 8 种 Report。 我们使用 PrometheusPushGatewayReporter 方式 通过 prometheus + pushgateway + grafana 组件搭建 Flink On Yarn 可视化监控。 当 用户 使用 Flink 通过 session 模式向 yarn 集群提交一个 job 后,Flink 会通过 PrometheusPushGatewayReporter 将 me...
因此需要对influxdb进行优化。这里记录一种最简单的优化,那就是直接减少指标数量: packageorg.apache.flink.metrics.influxdb;abstractclassAbstractReporter<MetricInfo>implementsMetricReporter{protectedfinalLoggerlog=LoggerFactory.getLogger(getClass());protectedfinalMap<Gauge<?>, MetricInfo> gauges =newHashMap<>(...
一、Flink metrics简介 Flink 的 metrics 是 Flink 公开的一个度量系统,metrics 也可以暴露给外部系统,通过在 Flink 配置文件 conf/flink-conf.yaml 配置即可,Flink原生已经支持了很多reporter,如 JMX、InfluxDB、Prometheus 等等。我们也可以自定义指标通过 metric 收集,实际开发时经常需要查看当前程序的运行状况,flink...
flink-metrics 模块中通过实现MetricReporter接口实现了对 Datadog、Graphite、Influxdb、JMX、Prometheus、Slf4j 日志、StatsD(网络守护进程)等日志模块和监控系统的支持。 以 Prometheus 为例,简单说明一下 Flink 是如何以主动推送方式上报监控指标的。 如需支持自定义 Reporter,例如 KafkaReporter,我们需要实现Metric...
Influxdb Java客户端 Influxdb 的Docker版本目前最高是1.8.3. 官方最高版本是2.0. Note: We recommend using the new client libraries on this page to leverage the new read (via Flux) and write APIs and prepare for conversion to InfluxDB 2.0 and InfluxDB Cloud 2.0. For more information, see In...
19、Flink Metrics 源码解析 —— Flink-metrics-datadog 20、Flink Metrics 源码解析 —— Flink-metrics-dropwizard 21、Flink Metrics 源码解析 —— Flink-metrics-graphite 22、Flink Metrics 源码解析 —— Flink-metrics-influxdb 23、Flink Metrics 源码解析 —— Flink-metrics-jmx ...