Prometheus 常用的查询语句

通常我们会使用Grafana作为图表展示，然后选择Prometheus作为数据源的方式来进行我们想要的图表展示。当然我们也可以在Grafana的官网上找到相应的dashboard来直接导入，这样省去了自己手工配置的麻烦。不过知道一些必要的Prometheus查询语句能帮我们更好的选择Grafana的dashboard，然后我们可以自定义做些配置。

Prometheus一些术语

Prometheus的metrics分为四类（counter,gauge,histogram,summary）详情(metrics-type)，metrics_name的命令也应该符合一定的规范：metrics-name，METRIC AND LABEL NAMING

metrics_name ： 也就是指标名，通常我们都会用如http_request_total等进行查询;
metrics_label ：指标的标签，也就是metrics_name{label-1=”a”,label-2=”b”}这种;
metrics_value : 通常用指标名+标签查出来一个值，该值根据metrics的类型可能为浮点数，也可能为整数。

Alertmanager发送的邮件中external-url修改机器名为IP地址

在使用Alertmanager发送报警邮件的时候，我们通常会采用模板。比如我的一个模板：

Prometheus 使用远端存储

使用Prometheus的过程中，我们可以发现Prometheus默认是自己带有存储的，不过保存的时间为15天。但是对于公司而言，可能有时候会对数据进行统计分析，那么15天的数据将不会满足要求了。所以我们希望能够将数据永久存储起来，或者说能够让我们自己将数据进行处理。

这里我们要讲的就是Prometheus的 remote_storage 功能。Prometheus的remote_storage 其实是一个adapter，至于在adapter的另一端是什么类型的时序数据库它根本不关心，如果你愿意，你也可以编写自己的adpater。我这里采用官网提供的influxdb作为远端存储的实例。

存储的方式为：Prometheus —-发送数据—- > remote_storage_adapter —- 存储数据 —-> influxdb。

Prometheus 联邦集群

Prometheus的联邦集群我们使用它来作为Prometheus代理。因为我们是在监控rancher平台里面的docker容器里面的应用，那么拿到的就是容器的ip，而我们实际的Prometheus是部署在外部虚拟机上面的。这个时候外部的Prometheus就无法拿到rancher平台内部容器应用的metrics，所以部署一台prometheus到rancher组成联邦机，详细的官网有解释:federate，总体架构图如下

Prometheus 监控 Java 应用

Prometheus 监控 Java 应用有两种方式：一种是使用官方提供的jar包，然后嵌入到应用中就可以了。这种方式一般都是新项目。我认为也是最合适的一种。不过这种情况一般是理想而已。而除了这种方式，第二种是prometheus的jmx_exporter。

今天我们讨论的就是第二种。使用jmx_exporter的方式来监控我们的java应用程序。我们的java应用基本上是使用tomcat作为服务器的。这种情况下有两种方式，一种是基于springboot的jar包启动方式，一种是直接下载tomcat软件之后，将应用打成war包部署的方式。

Prometheus+Grafana 搭建监控系统

今天将第一版监控系统上线，过程整个就是一路坎坷。不过踩坑，填坑，确实也是为自己积攒了一些小经验。

Prometheus的服务发现

Prometheus的监控使用的是pull的模式，也就是每隔几秒钟去各个target采集一次metric。那么如果是多个target，如果是静态配置的话，那么就得在配置文件里面一个一个添加，尽管可以使用接口去更新配置文件，但如果服务太多，那工作量也很大。而且如果遇到微服务的情况并且容器化部署，那么可能ip地址都是随机改变的，那么就将更麻烦了。所以就有服务发现的模式出来了，有很多种实现的方式，consul，dns等等，针对我们现有的平台，我们选择了file_sd_config:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: 'prometheus'

    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.
    static_configs:
      - targets: ['localhost:9090']
  - job_name:       'rancher_network_monitor'
    # Override the global default and scrape targets from this job every 5 seconds.
    scrape_interval: 1m
    static_configs:
      - targets: ['192.168.7.3:8080','192.168.8.90:8080']
        labels:
          group: 'rancher_network_monitor'
    metrics_path: /metrics
  - job_name: 'filediscovery'
    scrape_interval: 5s
    file_sd_configs:
      - files: ['/home/config/*.json']

基于文件的方式，只需要在/home/config目录下增加json文件就可以了，这也是在网上找的一个方案，所以我也记录下来，万一也能帮助到别人了

Prometheus 监控

Prometheus [普罗米修斯]主要的是从被监控项目中获取metrics。架构全景图：

安装与使用

Prometheus 的安装方式很多，我在本地是使用windows的包，Prometheus自打出生就支持docker所以，如果是*inx机器，建议安装docker然后体验。在本地我仅仅只需要执行目录下的prometheus就可以就可以进行体验了。Prometheus服务自身也会暴露出metrics，用来对自身进行指标收集和监控。在根目录最重要的一个配置文件是prometheus.yml，里面有三类大属性：global，rule_files，scrape_configs。具体的配置信息可以看这个：
https://prometheus.io/docs/prometheus/latest/configuration/configuration/，也可以看看中文文档：https://songjiayang.gitbooks.io/prometheus/configuration/

Openshift 专用 Router 实操

由于某些服务在实际业务场景中非常重要，或者为了与其它业务进行入口区分，因此会产生专属 router（Ingress）的需求，在 openshift 的实际操作可以这样：

Openshift 专属机方案

Nginx 和 Haproxy 配置文件

目标：通过 Nginx 和 Haproxy 的常用配置实现服务的反向代理。