鲸品堂|从业务需求出发,开启IDC高效运维之路

2022-07-25 53
导言


为什么每天电话邮件云会议,四处化缘各种数据报表?
为什么通宵达旦整理数据,到了汇报时还是被批数据不准不全不及时?
为什么运维团队逐渐庞大,各种规章制度,工作效率却止步不前?
IDC运维的同学们,在披星戴月的下班路上,你是不是会思索这样的问题?


困境为何


近几年来,我国数据中心机架规模持续稳步增长,大型以上数据中心规模增长迅速。截止2021年底,我国在用数据中心机架规模达到520万架,近五年年均复合增速超过30%,其中大型以上数据中心机架规模增长更为迅速,机架规模420万架, 占比达到80%。与此同时,新业务新技术给消费终端带来更好的体验感知,对数据中心网络的质量、可靠性及安全性也提出了更高的要求。

图片关键词
国内数据中心机架规模(数据来源工信部信息通信发展司)

运营商的数据中心,其建设年份较长,设备种类繁多,分布广泛。在生产工作中,对这些设备的运维监管有着不小的难度与挑战。


设备复杂度高,厂商多、型号杂、采集协议多


IDC设备包括物理服务器、网络设备、存储设备,此外还包括动环等。目前已投入应用的设备厂家多、型号杂、文档缺失。要做到监控指标的全面覆盖,数据采集需要适配多种协议,即使是最经常使用的SNMP也需要适配不同厂家的私有MIB库,大大增加了采集的复杂度。

监控程度低,方法手段单一


对于五花八门的设备厂商和型号,监控面窄,可感知指标简单,常见于执行脚本收集到例如PING网络是否连通,TELNET端口是否开放等简单的指标来监控设备有没有挂死,缺少深层次故障性能指标。

自动化水平低,漏管设备多,纳管不及时


传统IDC运维监管工具依赖于规章制度流程的严格执行,但在建设和割接等工程阶段,大量设备出入库和位置变更,相关流程执行不严会导致设备运维数据录入延迟。缺乏自动化感知能力,造成监管遗漏,如果发生故障,需要更高的成本解决故障。

普度运维

DCUCC,数据中心集中采集控制平台,聚焦于IDC机房的服务器和网络设备的运行感知和控制,是各种运维平台工具的基础数据和能力底座,是连接管理系统和网络设备的唯一纽带。

图片关键词
浩鲸科技DCUCC的方案架构

DCUCC整体采用集中化采集框架服务+分布式采集前置机的部署架构。采集框架服务在运维总部集中部署,负责配置、监控、任务调度和数据回收处理工作;前置机在各DC内就近部署,负责采集任务执行。

轻量化前置部署


前置节点轻量化架构,使用嵌入式的缓存和队列,不需专门资源部署PAAS组件;启动后配置数据本地化,即使与管理节点的连接中断也不影响采集任务执行;不依赖数据库运行。高容错且轻量化的前置节点,使用廉价服务器按需异地部署,实现各个数据中心设备的采集监控全面覆盖。

设计态和运行态分离模式


通过设计态,实现设备类型建模,接口指令设计、服务设计等准备工作。平台提供可视化采集流程设计,支持复杂任务采集编排,将采集、解析、转换、汇聚、回传、持久化等多种任务自由组合;提供API开发,能自由组合设备的各种能力,为上层运维工具赋能。

图片关键词
浩鲸科技DCUCC的可视化采集流程编排

设计完成后按设备型号输出相应业务包,业务包在各运行态实例中加载使用。运行态的工作包括任务生成、任务执行、结果回收3大步骤。任务由集中节点根据采集策略自动生成,并按前置机负责范围调度任务单。相应的前置机接收采集任务,按数据采集、测量解析、归一化、持久化、回传等步骤执行。最后,集中节点进行结果的汇聚收集。运行态采用弹性部署方案,随着采集任务量变化可进行人工和自动化的运行时动态扩缩容调整。

现在,你只需通过DCUCC为每个DC部署上前置机,就可以提升你的“打怪”技能,成为运维中心最靓的仔。

5大绝技

多样适配


网络设备和通用服务器主要以SNMP为主进行采集,因此DCUCC提供统一的OID索引库,将各类服务器和网络设备采集特征统一管理维护。为便于新指标特征的扩张,简化调整,还配套相应的一键测试,不需要做复杂的任务配置即可直接进行取值测试。

某些情况下SNMP依赖的MIB库的OID是很难进行获取的,这时可通过指令控制模块使用SSH协议仿真设备OS指令模拟人工登录设备巡检查询。DCUCC集成了主流网络设备常用的指令,可快速联想检索,按白名单安全管控,对指令进行金库管理。

对外物理服务器更有一种极端情况,既缺乏MIB库支持又无法像网络设备OS有成熟的操作指令,某些服务器上会安装了一个本地化运行的WEB管理页面。这种情况下,系统还提供了WEB页面报文分析工具,自动解析提取嵌入在HTML报文中的指标信息。

通过SNMP或OS指令或HTML解析,采集回来的值有简单的单值型,也有复杂的TABLE型,系统支持BeanShell、Python动态脚本进行结果的解析,方便灵活扩展。

IDC机房还存在少量设备断电关机脱管的情况,这种情况下我们采用IPMI协议对这些设备进行基础信息的采集。如符合运维规则,则远程控制其进行启动,再按标准化协议进行采集管控。

自动发现


IDC设备数量庞大,虽然大部分是按正式流程入网使用,但也存在紧急入网并投入使用的情况,这些设备在系统的网元库中没有记录,处于脱管状态。针对此类情况,系统提供自动化手段可主动发现识别新设备,自动为其配置采集策略,将其纳入管理范围。

自动发现的原理是通过设备的LLDP协议自动发现周边的新邻居设备,根据LLDP属性解析识别出新设备类型和IP地址,自动生成采集策略,自动完成新设备的数据采集工作。下面是自动发现和配置的完整过程。

图片关键词图片关键词
浩鲸科技DCUCC的设备自动化发现和配置过程


遍历机房内已在网被纳管的交换机和路由器。


通过SNMP对网络设备的LLDP信息进行采集,解析出对端设备的MAC地址、管理IP地址、接口和设备信息描述。根据设备信息描述中的特征值,识别出对端设备的类型和厂家型号等。


根据MAC地址和管理IP地址,与系统内已纳管的设备进行比对,确认是新设备后继续执行后面的自动配置动作。


对于新设备自动我们可以根据步骤1识别出的信息,自动完成设备和采集源的自动创建任务,适配相应型号设备的采集模板,创建采集任务策略。


对于新发现的设备是网络设备的情况,还可能存在下连有新设备的情况(如下图),需要再次以这个新网络设备为源设备,迭代步骤1再次识别,直到没有新设备才结束迭代。至此整个自动发现和配置完成。


图片关键词
浩鲸科技DCUCC自动发多层新设备

LLDP是定义在802.1ab中的二层协议,它提供了一种标准的链路层发现方式,使得接入网络的一台设备可以将其主要的能力,管理地址,设备标识,接口标识等信息发送给接入同一个局域网络的其它设备。我们不仅可以用它来发现新设备,还可以根据获取的本端的端口信息,自动完成机房局域网拓扑的自动绘制。

在实际操作中,系统一般通过SNMP、SSH到新设备获取LLDP信息,从对端的角度对连接信息进行确认。此外,在网络部署和设备入网的时候,还需要遵循一些基本规则,包括:

设备操作系统安装时需安装LLDPAD并默认打开LLDP服务


网络设备和服务器入网时需默认打开SNMP服务,统一默认登录鉴权


网络设备和服务器遵循统一的命名规范(对应LLDP信息中的SYSTEM NAME单元),新设备识别会更加简单准确


离网清退


对于使用年限长,效能利用率低的设备,运维部门会实施清单化的退网规划,从而释放机房机架资源,减少能耗和碳排放,降低运维工作量。离网清退工作,一般按以下步骤执行。

老旧、低效、高故障率设备的筛查和上报


运营运维组织内部审核


设备配置数据清理


设备下电、离网、报废或资源回收重利用等


对于老旧、低效、高故障设备的发现,DCUCC提供了一套自动化高效的筛查手段。系统会采集设备的关键指标,并按一定的规则进行自动判别,初步整理出一份小范围清单后再由人工进行确认。

设备类型
场景
识别规则参考
服务器
无用户使用
CPU使用率:10天内日峰值<2%
内存使用率:10天内日峰值<5%
网络上下行流量:10天内日峰值<10M
存储使用率:10天内波动<0.1%(1G)
老旧设备
入网时间:>8年
主机型号、CPU型号、磁盘型号、内存型号:发布时间>10年
多故障设备
故障时长占比:>20%(3个月内)
交换机
路由器
无用户使用
下联端口状态:DOWN状态持续时间>10天
下联邻居设备:2个月内全为空
CPU使用率:10天内峰值<1%
内存使用率:10天内峰值<5%
网络上下行流量:10天内日峰值<10M
老旧设备
老旧光模块
设备型号/光模块型号:发布时间>10年
入网时间:>8年
多故障设备
老旧设备
多故障端口
错包率:>5%(1个月内)
发送光功率:<临界值(1个月内)
温度:>临界值(1个月内)

网络和服务器设备在网工作期间都有大量的涉密配置数据,包括设备鉴权、网络结构、安全策略、用户业务数据等。这些清退设备并非直接销毁,可能会进入外部回收市场或者其它环境下的利旧复用,因此要在下电前完成这些涉密数据的清理销毁工作。针对不同类型和型号的设备,系统提供一键清退能力,自动安全高效地完成配置数据清理工作,完成后自动关闭设备,避免无谓能耗。

图片关键词
浩鲸科技DCUCC的下线设备配置数据自动清除过程

割接辅助


数据机房不定期需要对网络、服务器、电源等进行扩容、改造、升级、迁移等变更,同时这些操作行为又发生在一个正在承载业务的上设备上,这就是割接操作。割接工作往往在晚上进行,操作时间短,对操作员的技术、技能、体力、经验等都有一定的要求。

通过长期多项目经验的积累,采集系统提供割接辅助功能,一键批量导入待割接设备,按需选择割接场景,自动完成相关批量的、重复的、可操作时间短的各种设备操作。可支持的操作包括:

自动暂停监控系统的采集任务,避免积压异常采集任务单


如涉及设备配置变更,自动完成设备配置数据的导出和备份任务


如涉及设备关机,自动完成各项关机临检,如服务器是否还有用户登录、是否还有业务进程在运行,网络上是否还有业务流量等,记录割接前的网络时延和丢包指标


设备远程关机,待人工作业流程结束后,设备远程开机


开机完成后自动完成网络恢复测试,检测设备到各个出口拨测点的网络通断性,时延和丢包率是否劣化等


自动恢复监控系统的采集任务


代理上报


服务器上一般会运行操作系统外的各种软件,SNMP等设备标准协议难以采集到这些软件运行数据,又不允许开放远程模拟登录权限,这时候就用AGENT代理模式。AGENT是我们部署在采集源上的一个极轻量化的信息收集器,采用轻量脚本进行编写,或操作系统默认支持的类库语言编写,减少入侵性。

目前系统提供的AGENT可以支持大多数主流操作系统,支持对常见PAAS平台日志、MYSQL等主流数据库日志。AGENT模式还可以支持自定义脚本监测器,实现对私有业务系统的监测。

采集对象
采集内容
LINUX系统
计算服务日志、对象存储服务日志、块存储服务日志、网络服务日志、认证服务日志、镜像服务日志、CEPH日志
WINDOWS系统
系统事件表、注册表
MYSQL/MONGODB
错误日志、告警日志
REDIS
集群状态报错、客户端连接数过大、Redis使用的内存超过maxmemory配置、客户端缓冲区异常、客户端连接超时记录、无法从连接池获取到连接记录等;
ZOOKEEPER
连接断开和重连日志、ZKClient反复重试连ZK服务器且秒连秒断、ZK单机Watch数超过阈值

项目实战


在21年某电信云运维项目中,通过DCUCC对数据中心的物理服务器、网络交换机、路由器、防火墙、存储设备都已具备采集控制能力,厂家覆盖20多家,型号覆盖200多种。采集能力覆盖全面的基础资源指标300多种、性能指标120多种、告警和日志消息,全面覆盖各级DC的设备。

图片关键词
21年底DCUCC纳管设备范围

轻量化的采集前置机易于扩展,省市机房的纳管硬件成本控制在小几万元水平,利旧低配服务器。低成本运维从另一个角度又确保了大量中小机房的管理覆盖面。

原来新增100台设备的纳管,需要1个人工花2天时间完成设备录入,配置基础采集信息,采集任务验证,数据验证。现在完全释放配置人员,可实现分钟级设备接入配置,自动启动数据采集处理和上报。

新一代的IDC不断引入绿色低碳技术,能效考核指标从以 PUE 为主逐步演变为 PUE、 CUE、 WUE等多指标兼顾,机房数字化智能化也对运维基础能力提出更高的要求。DCUCC提供了一个业务能力丰富且易于扩展IDC设备接入平台,在不断发展的云服务时代,会实时更新业务能力来适应不断推陈出新的新设备和新技术。



官方微信公众号

九州官方网站 版权所有 2003-2023

苏ICP备10224443号-6       苏公网安备 32011402011374号