Prometheus配置Basic Auth进行安全防护，实现登录控制

2024-01-15 10:23 由华为云开发者联盟发表于 #软件工程

本文分享自华为云社区《Prometheus配置Basic Auth进行安全防护，实现登录控制》，作者：可以交个朋友。

一、Prometheus Basic Auth 使用背景

在日常prometheus的使用中是没有安全加密措施的，可能会导致监控信息，敏感信息遭遇泄漏。在这种情况下需要保护对Prometheus的访问。

二、方案简介

Prometheus于2.24版本（包括2.24）之后提供Basic Auth功能进行加密访问，在浏览器登录UI的时候需要输入用户密码，访问Prometheus api的时候也需要加上用户密码。

大致步骤如下

预制用户密码，其中密码使用python3工具包加密
创建对应用户密码配置文件，修改普罗启动命令（operator场景通过ngress-nginx方式）
由于Prometheus访问需要认证，如果普罗负载存在探针则修改普罗负载本身的探针配置
由于Prometheus访问需要认证，如果有grafana，需要修改grafana相关步骤

三、准备工作，预制用户密码，其中密码使用python3工具包加密

因为Basic Auth 需要user、password 信息。访问Prometheus API的所有行为都需要用户名和密码。普罗配置的密码需要加盐加密，可以使用python3工具进行生成，再配置到普罗的相关配置中，作为登录密码认证使用。

安装python3环境

apt install python3-bcrypt

Python 脚本如下

import getpass
import bcrypt

password = getpass.getpass("password: ")
hashed_password = bcrypt.hashpw(password.encode("utf-8"), bcrypt.gensalt())
print(hashed_password.decode())

运行脚本，假如我们需要的密码为: test。

执行脚本后，需要我们手动键入需要使用的密码，在终端键入的时候不显示

保存密码备用: $2b$12$kXxrZP74Fmjh6Wih0Ignu.uWSiojl5aKj4UnMvHN9s2h/Lc/ui0.S

四、prometheus操作配置实践操作

在prometheus的日常使用中，通常有三种方式:

容器化部署在集群中
通过kube-prometheus部署
二进制直接在虚机上部署

三种不同方式安装的prometheus，配置basic auth的方式也略有差异。本文将对这三种使用场景进行Basic auth的配置。

4.1 Prometheus容器化部署添加BasicAuth

默认无需用户、密码等认证方式，直接通过服务IP和端口就能访问到prometheus 的queryAPI和UI界面

如果需要给UI和 prometheus API 添加basic auth，那么该如何做呢？

确认prom的版本信息，低于2.24版本的prometheus 不支持配置Basic Auth

存在该启动命令，即可配置basic auth。

创建configmap配置项

准备webconfig.yml文件

basic_auth_users:
  admin: $2b$12$kXxrZP74Fmjh6Wih0Ignu.uWSiojl5aKj4UnMvHN9s2h/Lc/ui0.S

检测webconfig.yml是否可用:

promtool check web-config webconfig.yml

复用上述的webconfig.yml

kubectl -n monitoring create configmap webconfig --from-file=webconfig.yml

将configmap挂载给prometheus 实例

有多处修改点。

需要修改volume配置，即增加configmap的挂载

 volumes:
 - configMap:
     name: webconfig
   name: basic-auth

修改后效果如下：

需要将配置挂载给prometheus容器,添加挂载点

 volumeMounts:
 - mountPath: /etc/prometheus/basicauth
   name: basic-auth

修改后效果如下：

需要修改启动命令，添加 web.config.file

- --web.config.file=/etc/prometheus/basicauth/webconfig.yml

修改后效果如下：

修改完上述配置后，还得看情况继续修改探针配置。

修改探针配置 (如果有健康检查相关配置的话)

同时还需要检查prometheus负载是否有存活探针livenessProbe,和就绪探针readinessProbe相关配置。如果配置了探针，则需要对探针信息进行修改，添加访问头信息。否则会报错:

因为kubelet探针需要访问prometheus接口，进行存活和就绪检测。如果配置了httpGet探针，不对探针进行httpHeaders配置，就会引起pod不断重启，无法正常运行。

修改方式如下:

首先需要对用户名和明文密码进行 Base64编码处理,例如我设置的basicauth信息是: admin:test

则需要echo -n "admin:test" |base64 -w0 ,编码后的信息为: YWRtaW46dGVzdA== ，保存备用

然后继续编辑Prometheus负载配置:

在livenessProbe.httpGet/readinessProbe.httpGet中添加:

httpGet: 
  httpHeaders:
  - name: Authorization
    value: Basic YWRtaW46dGVzdA==

修改完成后，保存退出负载配置。然后手动重启pod实例。

修改完成后，查看prometheus 实例状态。实例就绪

访问prometheus的queryAPI，发现如果不带用户信息，则访问失败。basic auth生效

访问Prometheus UI: 需要带用户鉴权，否则无法访问:

页面密码输入明文即可。

4.2 Prometheus-operator部署场景添加basic auth

当前在k8s 部署prometheus 大都选择kube-prometheus这种形式，配置文件的变更都是交由crd进行管理。统一由prometheus-operator进行识别转换。

查看对应的prometheus实例，并访问http API

默认是不带鉴权的。

查看prometheus crd 的配置，发现没有web.config.file 相关可以配置的地方

当前kube-prometheus 还不支持配置basic auth，详情可见https://github.com/prometheus-operator/prometheus-operator/issues/5765

规避方案

借助nginx-ingress的能力配置basic auth。nginx ingress 在这方面非常灵活。

即创建ingress 来实现。再创建ingress之前，我们需要先准备auth-secret

执行下述命令之前先安装工具: yum -y install httpd

$ htpasswd -c auth admin
New password:  test
New password:
Re-type new password:
Adding password for user admin

效果如下：

使用auth文件创建secret:

kubectl create secret generic basic-auth --from-file=auth

给prometheus创建ingress访问入口

由于我使用的k8s版本是1.21，ingress的写法会有所不同，1.22以后，ingress的api也不再是networking.k8s.io/v1beta1

# ingress-prom.yaml
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/auth-realm: Authentication Required
    nginx.ingress.kubernetes.io/auth-secret: basic-auth
    nginx.ingress.kubernetes.io/auth-type: basic
    kubernetes.io/ingress.class: nginx
  name: prometheus-k8s
  namespace: monitoring
spec:
  rules:
  - host: prometheus.example.com
    http:
      paths:
      - backend:
          serviceName: prometheus-k8s
          servicePort: 9090
        path: /
        pathType: Prefix

访问queryAPI&prometheus UI

可以发现queryAPI直接访问已经被限制登录

如果带鉴权用户访问则可以获取监控数据

同时也可以发现，访问UI已经限制登录鉴权

输入用户和密码后即可登录

高版本的k8s ingress写法可参考

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  annotations:
    nginx.ingress.kubernetes.io/auth-realm: Authentication Required
    nginx.ingress.kubernetes.io/auth-secret: basic-auth
    nginx.ingress.kubernetes.io/auth-type: basic
    kubernetes.io/ingress.class: nginx
  name: prometheus-k8s
  namespace: monitoring
spec:
  rules:
  - host: prometheus.example.com
    http:
      paths:
      - backend:
          service:
            name: prometheus-k8s
            port:
              name: web
        path: /
        pathType: Prefix

4.3 Prometheus裸机方式部署添加Basic Auth

创建webconfig.yml

basic_auth_users:
  admin: $2b$12$kXxrZP74Fmjh6Wih0Ignu.uWSiojl5aKj4UnMvHN9s2h/Lc/ui0.S

启动prometheus

./prometheus --web.config.file=webconfig.yml --config.file=prometheus.yml

其中 --web.config.file=webconfig.yml 为关键配置，prometheus 启动后会要求带密码访问
启动成功:

访问prometheus UI

要求输入用户密码信息

访问prometheus http API接口

带用户信息访问:

五、Grafana 如何对接鉴权之后的Prometheus

正常来说，如果对Prometheus配置了Basic Auth后，所有需要访问Prometheus的组件均需做出调整，否则无法获取数据。Grafana也不例外

登录Grafana UI, 初次登录需要填写grafana的用户密码,默认是admin:admin

确认数据源配置,并对数据源进行配置

配置完成后，点击正下方绿色按钮Test，测试数据源的联通性（不出意外，连接失败）

如果没失败，就万事大吉，无需在往下看了。恭喜你完成对接。

失败了请看下面，如何解决:

查看monitoring命名空间中grafana-datasource的configmap配置

kubectl get cm -n monitoring |grep grafana-datasources

编辑该配置项:

kubectl edit cm grafana-datasources -n monitoring

将 editable: false 设置为 : editable: true

修改的原因是因为 grafana内置了默认的数据源，且数据源不允许修改。我们需要调整这个默认的规定

手动重启grafana实例

cm修改完成后，无法动态加载配置，需要手动重启grafana实例加载新配置。

如果grafana没做持久化处理，之前手动配置的dashboard可能会因为重启grafana实例而丢失，建议备份dashboard，dashboard可由grafana页面以json格式导出

再次访问Grafana UI

查看dashboard信息:

Ok,大功告成！

六、总结建议

容器化部署的prometheus 修改逻辑其实和二进制相同。将对应的Basic Auth 信息传递给prometheus，然后启动加载就可以了。低版本Promethues加载失败，会打印错误日志：

unknow long flag '--web.config.file'

要求Prometheus版本不低于2.24。

如果prometheus在部署的时候配置了存活探针和就绪探针，不对探针进行httpHeaders的配置，则会造成prometheus实例无法正常运行。

七拓展内容

7.1 Grafana 如何取消匿名登录

正常情况下，Grafana的监控信息应该需要用户才能登录显示对接数据源指标的显示。如果谁都能登录查看，容器造成信息泄漏等安全问题

如何才能实现Grafana的安全登录功能呢？

查看集群中monitoring ns下的grafana-conf 配置项

kubectl get cm -n monitoring |grep grafana-conf

编辑该配置项

kubectl edit cm -n monitoring grafana-conf

根据关键字找到 auth.anonymous配置，将enabled = true 设置为 fale

重启grafana 实例

修改配置后，需要重启grafana实例，加载配置（如果没做持久化处理，注意备份相关dashboard）

刷新grafana页面，重新登录

可以发现，再次登录页面，都需要填写用户信息了

7.2 Prometheus BasicAuth 添加多用户

现实场景下,Prometheus的Baisc Auth信息需要配置多个提供给不同团队。

例如我之前添加的basic auth 只用一个鉴权用户: admin: test; 现在如果想添加新的鉴权用户: mike: hello

我们先用python3 工具生成hello 字段加密后的样子: $2b$12$qhdgpdq669cXNW4DLqRfI.JIBJ0KIvvf0I.I3ccie/tn8d4BxzqV2

此时只需要前往之前设置的webconfig 这个configmap中添加该信息即可:

kubectl edit cm webconfig -n monitoring

修改完成后，使用prometheus的热加载命令加载新配置:

curl -u "admin:test" -XPOST http://ip:9090/-/reload

多用户访问生效

点击关注，第一时间了解华为云新鲜技术~

热门相关：惹火甜妻：老公大人，宠上瘾！天河大帝顺明抗日之特战兵王抗日之特战兵王

idea 中java代码修改后运行代码不生效

背景在使用idea开发项目过程中，经常会多版本切换开发，有时在一个分支中提交代码修改后，重新运行项目还是之前版本的项目，修改没有生效解决方案方案一依赖的模块版本不变，只修改了代码没有及时打到本地库。可以对依赖的模块执行 mvn clean install 后重新运行项目方案二原先的项目文 ...阅读全文

新年的第一个项目管理计划借助工具制定，真高效！

年终总结刚提交没多久，新年的第一个项目就接踵而来了，是一个中大型项目，也是我做的比较少的类型。之前主要做一些中小型项目，项目的交付周期不长、所需资源也较少，基本上都能顺利的交付，所以一般简要规划下就开工了。之前做过一次这种中大型的项目，我按照做小型项目的经验来，结果各种风险问题频发以及被迫变更，所 ...阅读全文

TiDB 多集群告警监控-中章-融合多集群 Grafana

author：longzhuquan 背景随着公司XC改造步伐的前进，越来越多的业务选择 TiDB，由于各个业务之间需要物理隔离，避免不了的 TiDB 集群数量越来越多。虽然每套 TiDB 集群均有两个详细的监控 Dashboard、Grafana，但对于运维来说几十套集群的监控、告警、巡检均需消 ...阅读全文

一款便捷操作移动端设备的PC工具

说明该项目基于【Tinyui】框架开发。为电脑端（Windows/MacOS/Linux）操作移动设备提供便捷操作的工具。项目代码已开源：☞ Github ☜ ☞ Gitee ☜ 功能运行由于采用Python语言开发，因此需要安装Python运行环境，Python 2.x（建议使用最后一个版 ...阅读全文

线索系统性能优化实践

引言在京东家居事业部，线索CRM系统扮演着至关重要的角色，它作为构建家居场景核心解决方案集的首要环节，肩负着获客和拓展业务的重要使命。然而，随着业务的不断扩张和市场需求的日益增长，系统原有的架构开始显露出诸多不适应之处，如架构设计不再清晰，代码存在过量冗余，核心的读写接口响应时间长等问题，这些问题 ...阅读全文

Sermant重磅更新，1.3.0 release版本发布

本文分享自华为云社区《新特性速览！Sermant重磅更新，1.3.0 release版本发布》，作者：华为云开源。 Sermant社区在12月份正式发布了1.3.0 release版本，这次更新中，Sermant新增服务治理插件：消息队列禁止消费插件。该插件允许在微服务运行时动态地控制消费者（如Ka ...阅读全文

当创建pvc后，kubernetes组件如何协作

本文分享自华为云社区《当创建一个pvc后，kubernetes会发生什么？》，作者：可以交个朋友。一、背景外部存储接入 Kubernetes 的方式主要有两种：In-Tree 和 Out-of-Tree： In-Tree 是指存储驱动的源码都在 Kubernetes 代码库中，与 Kuberne ...阅读全文

Flashduty 案例分享 - 途游游戏

Flashduty 作为功能完备的事件OnCall中心，可以接入云上、云下不同监控系统，统一做告警降噪分派、认领升级、排班协同，已经得到众多先进企业的认可。我们采访了一些典型客户代表，了解他们的痛点、选型考虑和未来展望，集成本系列文章，以飨读者。本次有幸在邹老板支持下访谈到途游资深运维工程师高工， ...阅读全文

【wing】一款轻量快捷的团队开发工具

wing 是一个代码同步管理工具类似 repo，但更多的是一个让开发团队保持一致开发环境的工具，从团队协作和工程开发的角度构建产品或项目，围绕设计，开发，测试，编译，发布等环节的开发活动，提升团队的开发效率。 ...阅读全文

Nginx日志管理大揭秘：logrotate工具与配置，日志按日期精准分割

要让Nginx日志文件以日期为单位每天生成一个，你可以使用logrotate工具结合Nginx的配置。首先，确保你的系统上已经安装了logrotate。然后，按照下面的步骤修改Nginx的配置文件。以下是一个简单的Nginx配置文件示例，假设Nginx版本为1.13.6。请注意，这只是一个基本示例 ...阅读全文

一、Prometheus Basic Auth 使用背景

二、方案简介

三、准备工作，预制用户密码，其中密码使用python3工具包加密

四、prometheus操作配置实践操作

4.1 Prometheus容器化部署添加BasicAuth

4.2 Prometheus-operator部署场景添加basic auth

4.3 Prometheus裸机方式部署添加Basic Auth

五、Grafana 如何对接鉴权之后的Prometheus

六、总结建议

七 拓展内容

7.1 Grafana 如何取消匿名登录

7.2 Prometheus BasicAuth 添加多用户

七拓展内容