- job_name: prometheus # 必须配置, 自动附加的job labels, 必须唯一 honor_labels: true # 标签冲突, true 为以抓取的数据为准 并 忽略 服务器中的, false 为 通过重命名来解决冲突 # scrape_interval is defined by the configured global (15s). # scrape_timeout is defined by the global default (...
例如,如果 Spark 的 REST API 地址是http://localhost:8080,配置如下: global:scrape_interval:15sscrape_configs:-job_name:'spark'metrics_path:'/metrics'static_configs:-targets:['localhost:8080'] 1. 2. 3. 4. 5. 6. 7. 8. 通过上面的配置,Prometheus 每 15 秒抓取一次 Spark 集群的指标。 3. ...
这是因为Prometheus在启动的时候也会通过HTTP接口暴露自身的指标数据,这就相当于Prometheus自己监控自己,虽然这在真正使用Prometheus时没啥用处,但是我们可以通过这个例子来学习如何使用Prometheus;可以访问http://localhost:9090/metrics查看Prometheus暴露了哪些指标;...
这是一个 pushGateway 的 pod 的配置,则 Prometheus 会通过其 19091端口访问/metrics 路径获取其指标数据 annotations:prometheus.io/scrape: "true"prometheus.io/scheme: "http"prometheus.io/path: "/metrics"prometheus.io/port: "19091" podMonitor 是官方支持,简洁易懂。kubernetes_sd_config+relabel 的方案较...
需要注意的是,像 flink(spark) on yarn 模式运行的时候,flink 节点是跑在 yarn 容器里面的。这种情况下 Prometheus 很难对其直接进行抓取,这种时候就只能用间接方式,主动将数据推送到 pushGateway。 另外那些短暂生命周期的组件也建议用主动 push 到 pushGateway。
spark 默认没有 Prometheus Sink ,这时候一般需要去自己实现一个,例如spark-metrics。 其实prometheus 还提供了一个插件(graphite_exporter),可以将 Graphite metrics 进行转化并写入 Prometheus (本文的方式),spark 是自带 Graphite Sink 的,这下省事了,只需要配置一把就可以生效了。
- job_name:'spark' static_configs: - targets: ['localhost:9108'] 3.在spark下 conf/metrics.properties 加入以下配置 master.source.jvm.class=org.apache.spark.metrics.source.JvmSource worker.source.jvm.class=org.apache.spark.metrics.source.JvmSource ...
需要注意的是,像 flink(spark) on yarn 模式运行的时候,flink 节点是跑在 yarn 容器里面的。 这种情况下 Prometheus 很难对其直接进行抓取,这种时候就只能用间接方式,主动将数据推送到 pushGateway。另外那些短暂生命周期的组件也建议用主动 push 到 pushGateway。
在具体设计 Metrics 之前,首先需要明确需要测量的对象。需要测量的对象应该依据具体的问题背景、需求和需监控的系统本身来确定。 从需求出发 Google 针对大量分布式监控的经验总结出四个监控的黄金指标,这四个指标对于一般性的监控测量对象都具有较好的参考意义。这四个指标分别为: ...
spark 默认没有 Prometheus Sink ,这时候一般需要去自己实现一个,例如 spark-metrics。 其实prometheus 还提供了一个插件(graphite_exporter),可以将 Graphite metrics 进行转化并写入 Prometheus (本文的方式),spark 是自带 Graphite Sink 的,这下省事了,只需要配置一把就可以生效了。 /path/to/spark/conf/metrics....