鲸品堂｜百万级监控指标的秒级采集与处理

随着云原生概念的深入普及和应用落地，企业应用架构由单体架构演进为微服务架构，应用将状态剥离到中间件层，通过无状态化实现更灵活的容器化部署和水平伸缩。然而，引入微服务框架、Kubernetes、分布式中间件等组件，使得系统变得复杂且“黑盒化”；被监控对象多样化程度倍增，监控对象数量也呈指数级增长；同时业务在线化使得企业更加关注系统可观测性，故障预警和恢复实时性诉求逐步提升，监控的实时性要求已从分钟级提高至秒级。

对于一个企业级的监控平台，要服务于不同的商业客户，客户的系统规模有不同的级别。一个典型的运营商BOSS系统项目，项目的规模一般会有500+左右的虚机，2500+左右的容器实例，每个业务产品大概会有3-5个核心业务指标。对于主机和容器，一般会要求30秒左右的采集频度；对于核心业务指标，需要实现秒级监控。

从上面的数据计算分析可以看出，要满足常规业务生产运维支撑时的持续可观测诉求，首先需要具备百万级指标处理能力。具体包括如下三个方面：

- 具备海量指标实时采集的能力

- 具备指标秒级计算的能力

实时计算框架首先应具备海量指标的秒级处理能力，随着业务规模的扩大，系统需要能够快速而准确地处理大量的实时数据。为了应对用户告警场景中的多样化需求，包括同比昨天、同比上周或同比上个月等计算规则，实时计算框架必须具备批式处理的能力，以有效规避内存占用可能出现的问题。

复杂的实时计算规则通常伴随着较高的使用成本，因此实时计算框架在规则配置方面需要提供更低的接入门槛，以降低用户的配置和维护成本，使其更易于自定义处理规则。

构建存算分离的架构亦是关键，尤其在极端情况下，即使指标存储系统出现异常，也不能对指标的实时计算造成影响。这种存算分离的设计能够保障实时计算的稳定性和可靠性。

- 具备毫秒级延迟的指标读写能力

实现指标存储的高实时性是首要任务，确保能够达到毫秒级的延迟，以满足对实时性要求极高的业务场景。存储效能的高效性同样至关重要，尤其在处理海量指标数据的情境下，指标存储服务需要具备出色的性能，以确保快速而可靠地存储大量数据。

为了应对用户对指标数据的实时查询需求，指标存储服务必须能够提供秒级响应，确保用户能够及时获取最新的数据并进行分析。在满足企业级容灾管理需求方面，指标存储架构应具备多副本的能力，以确保数据备份和容灾，从而提高整体系统的稳定性和可用性。

目前业界完备的单一开源监控平台端到端解决方案，比较流行的有Zabbix和Prometheus监控解决方案，它们提供了一体化的监控告警能力，具备采集、计算、存储和告警能力。

对于Zabbix，是一个比较传统的监控管理平台，在设备监控方面具备比较成熟和完备的对接流程，但在面向大规模的指标流量需求上有一些不足：对于指标存储，zabbix标准版本指标存储默认还存储在关系型数据库mysql中。同时在采集领域，当前的云原生组件优先默认支持prometheus，zabbix的开源插件存在一定的滞后以及定制化成本。

原生的 Prometheus 并不支持高可用，也不能做横向扩缩容，当集群规模较大时，单一 Prometheus 会出现性能瓶颈。同时Prometheus 告警规则是基于文件的管理模式，用户使用门槛较高。当前虽然Thanos已经具备了prometheus集群管理的方案，但依然无法解决prometheus单一性能和运维难度高等问题。

综上所述，不管是面对海量指标处理，还是在运维管理复杂度，二者都无法满足企业级的商用监控诉求。

当前业界监控平台建设的主流思路是基于开源产品的能力，结合自身面对的场景进行改进和优化，以构建更贴近自身业务场景的技术解决方案。这类平台方案通常使用时序数据库（如InfluxDB、OpenTSDB、VictoriaMetrics、Prometheus）与流式计算框架（如Flink、Spark、Kapacitor、Prometheus）相结合，以满足对超大规模项目的监控处理需求。

浩鲸科技监控平台解决方案也是这种建设思路，监控平台功能架构如下：

百万级指标采集、处理平台的改进和优化，重点要在指标采集、指标存储和指标计算三个方面。

在OpenMetrics协议下，业界普遍采用 Prometheus 作为采集服务的事实标准，在业界绝大多数的可观测平台中，Prometheus 是充当了生态适配和采集组件服务端的角色。但作为采集组件服务端，原生 Prometheus 存在以下劣势：

为解决这些问题，分布式采集服务（nms-prometheus-scraper）应运而生：

通过上述优化改进，使用 nms-prometheus-scraper 可达到更高的采集处理性能，降低损耗的设计初衷。

浩鲸科技指标采集服务平台功能架构：

nms-prometheus-scraper 分布式采集服务，对比原生 prometheus 具备如下优势：

InfluxDB 作为时序数据库领域的领导者，被广泛运用。在一些中小型的项目中，InfluxDB 以单点的高性能、易用性以及自运维等优势是时序数据库的首选。但原生的 InfluxDB 开源版本，不支持分布式集群的方案，无法在超大规模，超高可用性要求的项目下落地。为了解决这个问题，可采用分布式时序存储方案，基于中间件代理模式构建分布式的 influxdb 分布式存储集群。

构建完的分布式指标存储服务具备如下的优势：

Kapacitor 与 InfluxDB 都源于 influxData 技术栈下，基于 golang 开发，高性能，轻量化原生的 Kapacitor 存在如下三个劣势：

浩鲸科技流批一体计算平台功能架构：

基于 Kapacitor 的劣势制约了其在大规模实时计算领域的落地效果，浩鲸科技的流批一体计算平台，从下面几个的架构提升点来解决这些问题：