悠悠楠杉
自己架设监控服务器:从看见故障到收到告警
自己架设监控服务器,常见起点是想知道网站什么时候打不开、主机资源为什么持续吃紧。这里讨论的是服务器与应用运行监控,不是摄像头录像服务。部署之前,先写下一个具体目标:访问失败时收到通知,还是保留资源变化以便查故障。目标不同,采集内容和部署位置也会不同。
面板有数据,网站却打不开
CPU和内存曲线正常,网站仍可能无法访问。主机指标反映资源使用,不能代替一次完整的访问检查。域名解析、证书或应用响应出了问题,机器未必同时出现明显的资源异常。
用Prometheus保存指标时,可通过nodeexporter采集主机状态;Grafana负责把这些记录展示成图表。要确认网站能否访问,还要加入HTTP探测,例如让blackboxexporter检查指定地址的响应。探测地址应选用户实际访问的入口,只检查服务器本机端口,会漏掉入口链路上的故障。
告警也要区分用途。资源曲线适合追查变化,访问失败适合触发通知。对短暂波动设置持续判定时间,能减少偶发超时造成的打扰,但会延后通知;具体等待多久,取决于业务能接受的中断时间,照搬别人的规则未必适用。
被监控主机停机后,通知也没来
假设有这样一种情况:一个小站把应用、Prometheus和告警组件都放在同一台主机上。平时面板能查看历史曲线,后来主机失去响应,网站打不开,管理员却没有收到告警。
此时,仅凭“没有通知”无法判断具体故障原因。监控进程也随主机停机,已经没有能力继续检测和发送消息。即使此前记录过资源上涨,数据也可能停在故障发生之前。
处理这条故障线时,把监控服务迁到另一台独立主机,并从那里访问网站入口。如果两台机器仍在同一网络,网络中断可能同时影响它们;跨网络部署能减少这种共同影响,却增加费用和维护工作。预算有限时,先覆盖整台业务主机失联的情况,同时保留同一网络故障仍可能漏报这一限制。
迁移后,下一次测试要实际停止被监控服务,核对通知到达和恢复通知,再测试业务主机失联的情况。监控服务器自身停机仍是未解决事项:接收端若支持心跳检查,可用定时上报配合缺失提醒;只靠监控服务器检查自己,无法在它完全停机后继续发信。
数据留多久,远程入口怎么开
小规模自建环境可用Docker Compose管理监控组件,但容器启动成功还不够。指标数据要写入持久化目录,否则重建容器时可能丢失历史记录。采集间隔越短、目标越多,磁盘增长越快;暂时没有明确查询需求时,不必把所有指标都长期保存。
让系统运行一段时间后,记录实际磁盘增长,再调整保留期限或容量限制。故障分析所需的历史长度,与现有磁盘空间往往要做取舍。
远程查看面板时,通过VPN或受控入口访问,避免把采集接口和管理接口直接暴露到公网。启用登录验证,并关闭匿名查看;应用指标中的用户标识也要检查,避免敏感信息进入监控记录。
投入日常使用前,实际触发一次告警,核对通知去向,并确认容器重启后历史数据仍在。把部署配置和告警规则另存一份,后续迁移或恢复时就有可核对的依据。

