Press "Enter" to skip to content

论监控中事件管理的艺术

监控系统运行过程中必然会产生各类告警,不过,有告警并不代表有生产事件,并不是每一条告警都需要人为介入处理。

 

那幺什幺是事件?ITIL 中对事件的定义是会引起或可能引起服务中断、服务质量下降的任何活动,包括硬件故障、软件故障、投诉、服务请求等。不过在事件管理系统中事件的定义稍有不同:需要我们响应、处理、跟踪的事情都称为事件

 

事件管理系统是监控体系中的重要组成部分,对外提供统一接口,以实现对外部系统事件的对接,事件的触发可能来自监控服务层的各个系统。为了能让来自不同监控系统、不同格式的告警事件,以尽可能直观的方式展示给监控运维团队,实现监控事件集中管理、聚合收敛、关联分析,事件管理系统要收集和汇总来自不同系统的各类事件。

 

一方面要对包括基础监控、业务监控、全链路监控等在内的各套监控系统的告警信息进行事件多维度分析,为实现事件的关联分析、应急处置策略、事件影响范围评估、故障预测等智能化分析提供数据支持,为故障自愈的实施提供支持;另一方面也要通过系统,对事件的发现、处置、定级、跟踪等进行流程化管控,通过对事件提供统一受理入口,解决 IT 运维团队多系统对接处理困境,提升事件响应效率。

 

为了简化事件的响应,对于不同的事件,要根据该事件的影响、关联分析,给予不同的处理方式。事件的关联分析是形成故障树,为后续实现故障自愈的基础条件。执行关联分析可以从纵向和横向两个维度展开

 

纵向是指从基础设施层的服务器硬件、网络、虚拟机/容器、操作系统,以及应用系统、中间件、业务交易状态等方面展开分析;

 

横向是指从当前应用节点状态,以及关联的上、下游服务器节点的交易状态等方面展开分析。这里面又涉及几个细节:一是如何评估事件的影响或重要性,也即给出其处理优先级(建议);二是如何处理,也即制定清晰的事件应急响应策略(知识库)。

 

所有资源都是有限的,监控运维资源更是如此。如果出现事件后一股脑儿地同步给监控运维团队,运维团队的同事要幺四处救火,疲于奔命,但问题始终不断,处置了一堆系统告警,可发现只解决了鸡毛蒜皮的小问题,真正的严重问题始终没有彻底消除;要幺事件处理完全依赖最有经验的有限人员,其他人员或者经验不足,或者能力不够,手忙脚乱。

 

事件管理系统关注事件的应急处置、关联分析等,明确事件的危险程度、影响范围和优先级。这部分工作做得越细致、越精确,最终流转到运维团队的维护工作量就越小。对于已知的事件,通过标准化的事件应急策略,不管谁来处理,处置的策略都是相同的,结果也一样,通过这种方式也变相实现了对事件响应的标准化,甚至会实现有限程度的故障自愈。

 

各类信息系统多了之后,告警也可能越来越多,别说介入,有可能看都看不过来。为了让关键监控事件得到及时处理,信息系统要做分级,告警同样也要进行分级,并且告警信息中要有紧急程度的明确标识,方便接收者快速分辨哪些告警需要更高优先级响应,哪些告警可以等待。对于低级别告警要设置升级条件,比如处理时间过长或者短时间内多次发生等,则要考虑升级,必须尽可能把需要人为关注或介入的信息及时展示给 IT 运维团队。

 

企业内的监控系统并不止一个,从展现角度看,不同的工具有不同的展示界面,有不同的关注点。多套运维系统不仅需要投入更多的人力关注,而且相互独立展现也造成缺乏对各类数据的汇总分析,不能全面反映系统整体运行状况。一个问题发生时,有可能多个监控维度都会抛出监控告警信息。比如一台物理机宕机,那幺该物理机上的所有虚拟机监控都会出现告警,虚拟机上运行的应用系统、交易级业务监控、应用性能监控、客户体验监控等也都会出现异常告警事件。这时,如果监控自身的信息归集、告警去重、事件收敛等策略不完善,监控指标越丰富,触发的告警就会越多,反倒会给监控团队造成干扰,不利于快速定位问题根源。对于同一个故障触发多类指标告警,以及同一个指标在故障未解除前重复产生告警的事件,把这些事件都展示出来既无必要,更是一种信息骚扰,因此一定要对告警进行收敛分析。

 

告警事件的处理属于日常性事务,工作琐碎但又不能轻视,需要耐心、细致,当然,监控系统自身功能是否完备也很重要。举例来说,发生生产事件并触发了告警之后,哪些人接收、谁负责跟进、处理的情况如何同步、持续一段时间后事件仍未能消除时的事件升级机制等,都需要能够清晰展示。尽管所有优秀的理念或设计最终都是落在软件功能上,但功能实现只是增加代码量而已,真正优秀的系统关注的是监控整体过程和用户体验,帮助企业建立和优化监控告警事件的处置机制。

 

传统的监控系统往往是一体化设计,数据采集、分析、告警、展现等都在同一个平台,对外没有 API 接口,无法实现与外部系统打通,另外对告警和事件的处理也缺乏聚合、收敛、关联分析等,而一些新兴的监控系统则会关注事件流转的全过程,以时间序记录、触发和展现从故障到恢复的各个节点的全过程。
在选择或者建设监控平台时,也应更多关注监控全流程,即便是功能暂不支持,不管是商业化平台还是开源平台,都可以通过定制开发满足个性化需求。

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注