举个栗栗
-
用sed-awk处理文本小记
一、背景 由于我们将监控系统从Thanos架构迁移到VictoriaMetrics架构(以下简称VM),需要将原来的告警规则appl…
-
自建多区域接口拨测监控系统
一、拨测系统架构设计和实现 废话不多说,直接上架构图: 如上图所示,业务接口拨测系统…
-
一起误删cni0虚拟网卡引发的k8s事故
起因: 由于生产K8S集群需要踢出一个已存在的节点后重新加入,在清理node节点环境的过程中,误将需要在node节点上执行的删除cn…
-
一条DDL引发的ClickHouse集群故障实录
现象: 开发反馈日志系统查询不可用,运维收到日志系统kafka消息堆积告警。 背景:  …
-
记一则K8S Node NotReady故障
报障: 今日上午,值班同学发现airflow无法使用。查看时其部署的Node节点NotReady了。 分析: 马上查看K8S…
-
Kafka配置内外网(NAT)访问小记
Kafka集群的内外网架构图如下: 背景: 刚开始kafka集群只提供内网访问,后面因为业务需求,需要提供kafka集群外网访问。但是由于内网机器没有公网IP,于是通过NA…
-
一次“诡异”的容器Unix Socket通信问题分析
一、背景 为了实现全链路拓扑监控,期望一层Nginx(Openresty)具备和Ingress-Nginx-Controller一样的的Metrics监控指标。通过分析In…