单机监控性能超强？监控易高性能背后的“写优先”数据库技术

单机监控性能超强？监控易高性能背后的“写优先”数据库技术

来源：监控易直播间-一体化运维的行业实践（主讲：陈新刚-监控易创始人之一）  

在某省级政务云中心的监控大屏之上，两万多台服务器的运行数据正以每秒可达30万条这样颇为可观的速度不断地刷新着。由监控易精心搭建起来的运维平台，仅仅凭借着7台服务器便成功达成了对整个云集群实施实时管控的目标。然而就在半年之前的时候，此地还在运用着某国际厂商所推出的监控系统，当时多达12台的服务器却仅仅只能对8000台设备予以监控，并且还频繁地出现数据延迟的状况。在这种明显的性能差距背后，实则是监控易耗费了整整10年时间自主研发出来的“写优先”数据库技术，这项荣获发明专利的核心技术，已然使得单机监控几千台设备变成了能够切实达成的现实情况。

 一、当监控系统成为性能瓶颈

该大型能源企业的运维总监曾无奈地吐槽道，他们那儿居然出现了服务器还未宕机，可监控系统却先行宕机的状况。在某次业务处于高峰期的时候，企业的监控系统面对突然激增的性能数据，压根没办法妥善处理，结果使得核心数据库服务器的CPU占用率一下子就飙升到了100%，而在这个关键时候，监控系统却未能及时发出告警信息，进而最终造成了全网陷入瘫痪的严重局面。

这样一种‘监控系统拖垮业务系统’的看似矛盾的情况，在大规模运维的场景当中并非是极为少见的。传统的监控平台通常来说存在着三个方面的性能方面的突出问题：

数据写入的“梗阻”  

某银行的数据中心曾经开展过一项测试，测试情况如下：在监控设备数量超过5000台的时候，某家颇为知名的友商所推出的系统出现了较为明显的数据堆积现象。就拿服务器内存使用率的监控数据来说，从对其进行采集一直到最终显示出来，其间存在着足足15分钟的延迟。这样的一种滞后状况，会致使运维人员在着手处理故障之时，他们所看到的数据永远都是已经成为‘过去时’的情况。

单机性能的“天花板”  

绝大多数监控系统，就其单机监控的能力来讲，往往是停留在能够监控1000至2000台设备这样的一个水平范围之内。有一家互联网企业，出于要对多达3万台服务器进行有效监控的需求，不得不去部署了多达28套监控节点。如此一来，不光是硬件方面的成本一下子就翻了一倍，而且还因为存在数据同步方面的一些问题，进而形成了足足17个监控难以触及的盲区情况。

历史数据的“失忆症”  

不少系统出于节省存储资源方面的考量，往往会自动地将历史数据删除掉或者对其加以压缩处理。就拿某制造企业来说，当它想要追溯半年之前生产线上出现的故障情况时，却意外地发现，至关重要的服务器设备其运行日志竟然已经被系统自动地给清理掉了，如此一来，压根就没办法将当时的故障场景完整地还原出来了。

监控易的创始人陈新刚在直播期间十分明确且精准地讲道：‘差不多百分之九十的监控性能方面所出现的各类问题，其根源往往是在数据库这里。每当每秒钟会有上万条的数据被写入的时候，传统数据库所具备的那种事务处理机制便极有可能会转变成一种制约性能提升的瓶颈所在。’而这恰恰就是监控易从刚刚成立开始便一直坚持自主研发数据库的关键缘由所在——毕竟唯有从最为基础的底层部分对数据处理的逻辑展开重新构建的工作，才能够真正突破在开展大规模监控作业时所面临的那种性能方面的重重束缚与限制。

 二、“写优先”数据库的技术密码

在监控易的技术研发中，工程师们呈现出了一个十分令人赞叹的场景：于一台装配着国产飞腾芯片的服务器之上，其系统能够同时针对几千台设备展开5秒级别的监控操作，并且在此过程中，CPU的占用率一直稳稳地维持在60%以下的水平，与此同时，磁盘的IO波动情况也未曾超出15%。而能够支撑起这般出色表现的，恰恰就是其独家创新出来的“写优先”数据库架构。

内存块缓冲：数据写入的“高速公路”  

传统数据库所运用的是‘实时提交’机制，每当采集到一条监控数据的时候，就会马上将其写入磁盘当中。在高并发的场景之下，这样的模式往往会使得磁盘IO出现频繁阻塞的情况。而监控易的创新之处就在于其引入了‘内存块缓冲池’，具体做法是把10秒之内的监控数据先暂时缓存到内存块里面，等到达到了一定的阈值之后，再以批量的方式将这些数据写入磁盘之中。

就好比快递配送的情形，并非每个包裹一到达就马上派送出去，往往是要积攒到一定的数量之后，才会统一安排车辆进行发送。陈新刚对此作了颇为形象的比喻。这样的一种设计方式，能够让磁盘的IO操作得以减少，减少的幅度达到了70%。在某个电力项目当中，单台服务器的数据写入速度出现了显著的提升，原本每秒仅仅能够写入2000条数据，而经过此番设计之后，已经能够提升至每秒15000条数据了。

时序数据压缩：存储效率的“倍增器”  

监控数据有着颇为鲜明的时序方面的特性，像服务器CPU的使用率、网络带宽这类指标往往会形成连续不断的曲线。监控易数据库充分考虑到这种特性之后，专门开发出了与之适配的压缩算法，其采用的方式是记录数据的变化量，而并非去记录全量值，如此一来，存储效率便得以提升，能达到5至8倍之多。

分布式调度：负载均衡的“智慧大脑”  

在多节点部署这样的场景之中，监控易所具备的“动态任务调度”机制着实可算是一大亮点。系统会实时对各个采集节点的负载状况加以监测，一旦发现某个节点的CPU占用率超出了80%，便会自动把一部分监控任务转移到处于空闲状态的节点上去。

此种‘弹性伸缩’的能力于某央企总部项目里展现出了极为出色的表现——就在北京节点突然出现故障之际，系统能够在短短15秒的时间内，迅速地把所有的监控任务全部切换至上海的备份节点，并且在这整个过程当中，没有丢失哪怕是任何一条数据。就如同陈新刚在直播过程里着重指出的那般：‘分布式可并非是那种简单的多机部署形式，其本质是要达成任务的智能化流动状态。’

 三、实测数据：性能超稳超快

在硬件条件相同的情况下，监控易的性能表现呈现出领先态势，且这种领先并非局限于某一方面，而是在诸多方面都有所体现。

某国家的关键信息基础设施相关测试，其说服力是比较强的。就该单位原本所使用的系统来讲，在对8000台设备进行监控的时候，常常会出现告警延迟超过10秒的情况，并且其页面加载所需的时间更是在30秒之上。而当把原系统替换成监控易方案之后呢，即便要对2万台设备实施监控，此时告警响应时间也能够大幅缩短，仅仅只需0.8秒就可完成，页面刷新更是能够瞬间就完成了。

让人颇感惊讶的一点在于资源占用率方面的情况。该项目的负责人透露说，以往使用10台服务器的时候还会出现卡顿的现象，然而现如今仅仅3台服务器便能够处理得十分顺畅、游刃有余了。这样出色的性能优化状况，让其在国产化项目当中具备了别样的价值，具体而言就是在芯片算力相对没那么充裕的国产服务器上，监控易能够展现出比国外系统更高的运行效率。

 四、从“不可用”到“超好用”的客户证言

某央企的运维团队到现在都还清楚记得首次切换至监控易系统时的那番情景。彼时，他们在管理界面上试着同时展开多达2000台服务器的实时性能曲线，令人惊喜的是，整个页面仍旧能够十分流畅地进行拖动操作，这般操作在之前使用国外系统的时候，那可完全是想都不敢去想的。

某省级电网的“降本革命”  

在着手部署监控易之前，该电网所涵盖的多个地市分部，各自均配备有一套独立的监控系统，彼时，总计有几十台服务器处于运行状态。当历经分布式一体化架构方面的改造之后，就全省范围来看，仅仅动用15台服务器便达成了统一监控的目标，而且每年能够节省电量达到45万度之多。并且，总部如今能够实时获取任意一个变电站的设备数据，故障定位所需时间也从以往平均的4小时大幅缩减至15分钟。

某政务云的“扩容自由”  

伴随政务应用持续迁移至云端，该云中心的服务器数目一下子从5000台大幅增长到了3万台。在此期间，监控系统仅仅依靠在线增添3个采集节点，便顺利完成了相关支撑工作，并且整个过程没有出现停机的情况。恰如这一项目的技术负责人所讲的那样：‘以往最为担忧业务拓展方面的事宜，如今借助监控易这一工具，我们总算达成了所谓的‘扩容自由’状态。’

 五、你的监控系统，性能达标了吗？

在如今数字化转型不断加速这样的大背景之下，监控系统的性能方面，其早已不再仅仅属于那种可有可无的“加分项”了，实际上已然变成了必须要具备的“必选项”。要是企业所拥有的设备规模已然突破了万台这样的级别，并且当数据采集的频率也进入到了按秒来计算的这种程度的时候，那么采用传统架构所搭建起来的监控平台肯定是会被逐渐淘汰掉的。

监控易在实际应用过程中所积累的经验充分表明，借助于底层技术层面所开展的创新活动，完全有能力在国产硬件设施之上达成超越国际水准的监控性能表现。就其‘写优先’数据库来讲，在能源、电力以及政务等诸多关键行业领域当中，成功经受住了大规模应用场景所带来的严格考验。

现在，是时候审视你的监控系统了：

- 单机能够稳定监控多少台设备？

- 数据写入延迟是否超过3秒？

- 能否快速回溯一年前的故障数据？

- 扩容时是否需要停机更换硬件？