Integrated power management system based on large-scale data center
-
摘要: 为解决大型数据中心存在的基础设施电能数据采集分散、数据管理功能离散等实际问题,以中国铁路主数据中心为例,通过采用集成接口、能耗分析和数据管理与可视化等技术,完成综合电能管理原型系统设计,实现对数据中心电能运行数据的实时汇总计算与综合一体化管理。该系统提高了主中心基础设施高效利用与精细化管理水平,并为数据中心的节能降耗提供技术参考。Abstract: To solve the practical problems of scattered infrastructure power data collection and discrete data management functions in large-scale data centers, this paper took the China Railway Main Data Center as an example and implemented the design of a comprehensive power management prototype system by using integrated interfaces, enery consumption analysis, data management and visualization technologies. The system implemented real-time summary calculation and integrated management of power operation data in the data center, improved the efficient utilization and refined management level of the main center infrastructure, and provided technical reference for enery conservation and consumption reduction in data centers.
-
近年来,随着数据中心规模的扩大与复杂程度的不断增加,如何高效地管理数据中心的电能,提高电能利用效率已经成为了一个迫切需要解决的问题[1]。
目前,中国铁路主数据中心(简称:主数据中心)运行有以下3套电能采集与监测系统包括:电力监控系统负责10 kV中压系统的电能数据采集;数据中心基础设施管理(DCIM,Data Center Infrastructure Management)系统负责信息机房供配电及机房即不间断电源(UPS ,Uninterruptible Power Supply)、动力UPS的电能数据采集;能源管理系统负责除电力监控系统、DCIM系统以外的低压电力设施的电能数据采集。由于以上3个系统形成的电能数据过于分散式,迫使运营维护(简称:运维)人员不得不采用现场手工抄表方式获取[2],再通过统计、合并、汇总计算的方式获取数据中心各类基础设施的整体电能数据[3],降低了工作效率。本文针对以上问题设计了基于B/S架构的铁路主数据中心综合电能管理原型系统(简称:本文系统),通过跨系统间的集中数据获取与基于实际场景的精细化统计计算,来实现对数据中心电能消耗情况的全面监测和与高效管理[4-5]。本文系统的应用对实现主数据中心电能的精细化管理与高效利用必将起到积极促进作用。
1 系统设计
1.1 系统逻辑架构
本文系统重点在于对现有采集系统形成的电能数据进行数据挖掘、分析与输出。本文系统逻辑架构,如图1 所示 。
1.2 数据集成引擎
数据集成引擎能够连接各分系统数据源,将来自不同分系统中采集的电能数据统一汇聚到本文系中。
1.2.1 数据收集
本文系统能够与数据源(电力监控系统、能源管理系统、DCIM系统)进行通信,从中收集能源消耗、能源质量、设备状态等数据,这些数据源可以是不同类型的系统、设备或传感器等。
1.2.2 数据处理与转换
数据集成引擎收集到的数据是不同的标准和格式,通过对数据进行处理和转换,使其符合本文系统的统一格式和标准,确保数据的一致性和可比性。
1.2.3 数据存储
数据集成引擎将处理后的数据存储到数据库中,以便后续的分析使用。
1.2.4 实时数据更新
数据集成引擎能够实时监测数据源的变化,并及时更新本文系统中的数据,确保数据是最新的。
(1)能源管理系统北向接口基于Modbus-TCP通信协议,提供实时数据上传。本文系统对该接口进行实时数据采集,并将非关键数据清洗,以1 h为间隔存储数据。
(2)电力监控系统北向接口基于电力远动系统IEC60870-5-104协议,提供周期性数据上传。本文系统对该接口以1 h为间隔进行数据采集,并全量存储数据。
(3)数据中心基础设施管理系统北向接口基于Web Service通信协议,按设备类别采用命令调取数据。本文系统对该接口进行实时数据采集,通过定制采集命令,仅对特定数据进行数据请求,并以1 h为间隔存储数据。
1.3 基础计算平台
基础计算平台提供了的数据分析和决策支持能力,辅助运营维护团队实现了对数据中心基础设施的调参、调优,使现场设备设施安全、高效运行。
基础计算平台用于管理集成后的电能数据,它提供了一系列的基础计算功能,并对电能数据进行分析、优化和控制[6]。
1.3.1 能耗计算模块
跨系统基础计算是进行能耗分析和能效评估的关键环节,可进行分类能耗计算、总能耗计算、信息设备能耗计算、电能利用效率(PUE,Power Usage Effectiveness)、能耗指标计算、能耗比较计算等。
1.3.2 能耗趋势分析模块
该模块可以对主数据中心能耗进行分析和评估,通过对历史数据和实时数据的比较,可以识别能耗高峰期、能耗异常等,并提供相应的预警和优化建议。
1.3.3 节能分析模块
该模块可以对主数据中心基础设施能效进行评估,通过计算能源利用率、功率因数、电能损耗等指标,帮助用户了解主数据中心基础设施的效率水平,提供节能分析结果以及改进建议。
1.4 实时分析模块
本文系统采用内存数据库技术来实现高效的实时数据分析,可以实时地监测电能消耗情况、能源负荷分布和设备状态等信息; 可以实现异常检测机制,在检测到异常情况时会及时发出告警。
1.5 历史归档查询模块
历史归档查询模块用于存储和检索历史电能数据。该模块可以访问和分析本文系统已存储的能源历史数据,以便进行性能评估、趋势分析和报告生成等工作;为便于后续查询和分析,数据以时间序列的形式保存。
1.6 数据展示
数据展示模块负责将处理后的数据以易于理解和分析的图表、图形及其他可视化形式展示,以帮助用户更好地理解和管理电能消耗情况[7]。
1.7 报表/报告导出
报表查询可以按照特定的组合条件查询系统中存储的数据;可选择导出整个报表或者特定的部分,并将生成的报表以特定格式保存或分享。
2 系统功能
本文系统采用B/S架构,界面简单、操作方便,只需浏览指定的服务器网址即可使用,所有功能均以菜单方式呈现,通过浏览器可在任意界面间快速切换。本文系统功能结构如图2 所示。
2.1 系统首页
通过本界面可快速了解当前整个数据中心电力系统的总体运行情况,对运营维护起到实时、快速、动态、直观的监控效果。
2.2 市电运行情况
市电运行界面显示回路容量、安全使用容量、实际使用容量、使用占比数据,并提供实际使用容量、使用占比上月与本月的数据对比,能够实时显示20台变压器的设计容量、安全容量、使用容量、使用占比等数据。
2.3 机房模块
本文系统共展示了8个机房模块,主要对单个机房模块的信息设备负荷分布、局部电能利用效率(pPUE,Partial Power Usage Effectiveness)模块使用情况、机房列头柜容量及负荷的实时显示[8]。
2.4 能耗管理
主要围绕主数据中心能耗情况进行计算统计分析后的展示及分析结论描述。其中,包括当月制冷系统能耗比例、信息设备负荷比例、总损耗比例等,并以饼图方式展示数据。
2.5 报表管理
可对采集及计算后的数据进行条件组合查询及导出,报表可按日报、月报、年报方式进行指定时间段查询。报表提供一键导出当月的月报功能,根据运营维护管理的需求,月报以Word格式方式导出,包含各电力月度数据、图表及分析结果说明。
3 关键技术
本文系统是一套集成了电能监测、能源计量、能效分析和节能优化等功能的系统,关键技术包括以下几个方面:
3.1 数据集成技术
不同设备和厂商使用不同的数据格式和通信协议。数据集成技术用于确保不同设备和系统之间的数据能够按照统一的标准进行交换和共享,以实现数据的一致性和互操作性。
3.1.1 流处理及批量数据集成
流处理是一种实时处理数据的方式,它允许对数据进行连续的、即时的处理和分析。本文系统采用Spark Streaming流处理框架来实时采集、处理和集成来自多个子系统设备的电能数据,Spark Streaming框架具备可靠的消息传递机制、容错性和可伸缩性,可将其集成到统一的数据处理管道中。
3.1.2 数据标准化及转换
(1)通过数据标准化,可以消除不同设备和子系统之间的数据差异,使得它们能够无缝地进行数据交换和集成。本文系统建立并按照电量仪表通用、标准的数据点表进行计算、存储。
(2)数据转换是将不同设备和系统的数据从其原始格式转换为统一的格式。包括数据的格式转换、数据单位的转换、数据结构的转换等,数据转换可以通过编码转换、格式转换、数学运算和逻辑处理等方法实现。
例如,有些分系统采集到电能设备中的电压返回数据为22000,有些子系统采集到220.00,实际仪表读数都为220 V,系统根据各分系统或设备不同比例进行换算,最后以标准的数据格式(220 V)进行计算、存储。
3.1.3 数据映射与匹配
数据映射与匹配是将不同设备和系统的数据映射到统一的数据模型或数据结构中,以实现数据的一致性和可操作性。涉及识别和定义不同数据源之间的关联关系和对应关系,将其映射到共同的数据模型中。
本文系统通过对所有信息化设备数据进行分类并映射,再打包成整体的数据源,便于能耗趋势分析模块、节能分析模块和实时分析模块的数据匹配和调用。
3.1.4 数据校验和清洗
数据集成过程中,可能会存在数据质量问题,如数据缺失、重复、错误等。数据校验和清洗技术用于检测和修复这些数据质量问题。可以进行数据的有效性验证、逻辑一致性验证和数据冲突解决等操作,确保集成的数据具备高质量和可靠性。
例如,当UPS设备出现通信故障时,子系统可能采集为“2519932.00”电压异常数据,此类数据明显超出正常设备的运行范围值,本文系统对数据进行校验时就会将此部分数据丢弃。
3.2 能效分析技术
本文系统利用数据分析和建模技术,对能源数据进行处理和分析,以识别能源消耗的瓶颈和优化潜力,能效分析可以帮助数据中心确定节能目标、识别能耗异常,并提供可行性评估和性能指标跟踪。
(1)本文系统采用Hadoop大数据技术对当前和未来的能源消耗进行分析和挖掘。根据具体的分析目标和数据特征选择不同的算法。使用季节性分解方法对主数据中心的每月电能消耗数据进行分析,通过季节性分解,可以将该时间序列数据分解为趋势、季节性和残差成分,用于识别每年的电能消耗季节性模式,如夏季高峰期和冬季低谷期,从而指导运维人员调整能源管理策略。
(2)聚类分析算法用于将能耗数据分组为具有相似模式的簇,从而发现能耗行为和潜在的节能机会。本文系统中某个数据集,包含了数据中心的不同时间段的能耗数据,通过K-means算法将能耗数据分为几个不同的簇,每个簇代表了一个能耗模式,例如高能耗模式、低能耗模式或波动能耗模式。对于高能耗模式的簇,可以进一步探索高能耗的时间段、相关因素和节能策略;对于低能耗模式的簇,可以分析其特征,以了解其背后的能源管理策略;对于波动能耗模式的簇,可以探索其波动性的原因和优化方案。
(3)关联规则挖掘算法用于发现能耗与其他因素之间的关联性和依赖关系,如设备之间的关联规则或时间段的关联规则。根据采集的时间段和设备编号,将能耗数据进行整理和组织。本文系统将每个设备编号视为一个项目,每个时间戳作为一个事务,设置支持度和置信度阈值。应用关联规则挖掘算法,将从数据中找出满足支持度和置信度阈值的频繁项集和关联规则。
(4)预测建模算法基于历史数据预测未来的能耗趋势,从而进行需求预测和能源规划。本文系统已经收集了过去一年的电能消耗数据,每小时的消耗量和相应的时间戳的情况下,如果预测未来一周内的电能消耗量,通过以下步骤完成。
首先,对数据进行预处理和特征工程,将时间戳进行拆分,提取出小时、日、月、年等相关的特征;其次,使用预测模型学习历史数据中的模式和趋势,并进行预测训练,训练过程中,可调整模型的参数和超参数,以获得更好的拟合效果。最后,利用训练好的模型进行未来一周内电能消耗量的预测。
3.3 数据管理和可视化技术
数据管理技术将不同来源和系统的数据进行整合和集成。数据中心使用多个系统和设备监测和管理能耗,数据整合和集成可以帮助运营维护人员将各种数据源中的能耗数据汇总到一个中心化的数据库中,方便统一管理和分析。
数据可视化技术用于将大量的数据以直观和易于理解的方式呈现出来,将单一维度的数据转化为可视化的形式。用户可以通过可视化界面直观、快速浏览和分析。
4 系统应用
通过本文系统在主数据中心实际运维环境下实现了能耗监测、分析和管理的设计目标。首先,能够实时采集和记录能耗数据,包括信息系统、制冷系统、照明系统等能源的使用情况,并将实时采集的能耗数据自定义分类,以此显示为PUE、供电负载系数(PLF,Power Load Factor)、制冷负载系数(CLF,Cooling Load Factor)、其它负载系数(OLF,Other Load Factor)、制冷性能系数(COP,Coefficient Of Performance)等能效指标。其次,系统提供能效分析和报告功能,通过对能耗数据的分析和比对,识别能耗的趋势和问题,自动生成包括变压器损耗、UPS损耗、其它损耗等趋势图。系统可以通过以上几种功能,最终输出数据中心能耗报表,为数据中心能效管理提供重要的技术依据,包括运维管理中制定节能计划、设定能效目标、评估节能项目的实施效果等。
5 结束语
本文针对主数据中心运维过程中发现的一系列问题,设计了一套基于B/S架构的铁路主数据中心综合电能管理原型系统,基本解决了主数据中心建成以来存在的数据采集与数据管理离散化的问题,实现了对数据中心内电能运行数据综合一体化的实时汇总计算与分析管理,减轻了运维人员的工作强度,显著提高了运维的精细化管理水平与人员工作效率。在本文系统投入试运行期间,主数据中2023年1~5月平均PUE相比2022年同期下降了3%,对节能降耗起到了积极的促进作用。
-
[1] 刘 建,朱小栋. 基于物联网的大数据中心能耗管理系统研究[J]. 软件工程,2022,25(9):59-62. [2] 王 欣,张 铮,张为华. 数据中心的能源管理技术研究[J]. 电子技术应用,2016,42(3):20-23,27. DOI: 10.16157/j.issn.0258-7998.2016.03.006 [3] 杨 毅. 能源管理系统的设计与实现[J]. 现代建筑电气,2013,4(12):30-36. DOI: 10.16618/j.cnki.1674-8417.2013.12.005 [4] 王永真,韩艺博. 基于知识图谱的数据中心综合能源系统研究综述[J]. 综合智慧能源,2023,45(7):1-10. [5] 张军华,潘京津. 《数据中心能源综合利用评价方法》标准编制研究[J]. 综合能源,2021,43(4):60-66. [6] 王江江,邓洪达,刘 艺,等. 数据中心综合能源系统配置与运行的集成优化[J]. 科学技术与工程 ,2023,23(5):1968-1977. [7] 周宇球. 智慧综合能源系统架构分析与研究[J]. 电气时代, 2022(7):106-109. [8] 李志文,李卫国,王利利. 数据中心能耗分析研究[J]. 现代盐化工,2018(4):36-37. -
期刊类型引用(0)
其他类型引用(1)