基于Hadoop的Aprior算法改进及其在动车组运维的应用

任广强; 舒敏

基于Hadoop的Aprior算法改进及其在动车组运维的应用

任广强¹,
舒敏²

1.
中车青岛四方机车车辆股份有限公司,青岛 266111;
2.
北京交通大学计算机与信息技术学院,北京 100044

基金项目: 国家“八六三”高技术研究发展计划基金项目（2015AA043701）

详细信息

作者简介:
任广强，高级工程师；舒敏，在读硕士研究生

中图分类号: U269+U279:TP39
计量
- 文章访问数: 104
- HTML全文浏览量: 0
- PDF下载量: 32
出版历程
- 收稿日期: 2017-12-06
- 刊出日期: 2018-10-24

Improvement of Aprior algorithm based on Hadoop and its application in operation and maintenance of EMU

REN Guangqiang¹,
SHU Min²

1.
CRRC Qingdao Sifang Co. Ltd., Qingdao 266111, China;
2.
School of Computer and Information Technology, Beijing Jiaotong University, Beijing 100044, China

摘要

摘要: 论文着眼于解决大数据下的动车组关联规则挖掘问题，提出了一种基于Apriori算法改进的大数据关联规则挖掘算法T-MR-Apriori算法。该算法融合Hadoop技术，执行两遍MR分布式计算过程，完成整个关联规则挖掘流程，提高了海量数据下关联规则挖掘的效率和准确率。同时利用实际动车组运维数据进行验证，证明该算法在海量数据下具有良好的挖掘速度又能不降低挖掘性能。并且将该方法应用于动车组牵引电机运维数据挖掘，进行可视化展示。
- 大数据 /
- 动车组 /
- 数据挖掘 /
- Hadoop /
- Apriori算法
Abstract: This paper focused on solving the problem of EMU association rule mining under big data, proposed an improved T-MR-Apriori algorithm for association rule mining of big data based on Apriori algorithm. The improved algorithm combined Hadoop technology, performed two times MR distributed computing process, completed the whole process of association rule mining, improved the efficiency and accuracy of association rule mining under massive data. The actual EMU operation and maintenance data were used to verify the algorithm, which proved that the algorithm had good speed of mining in mass data and cannot reduce the performance of mining. The method would be applied to data mining and visualization of traction motor operation and maintenance in EMU.
- big data /
- EMU /
- data mining /
- Hadoop /
- Apriori algorithm

HTML全文

参考文献(14)

[1]	李和平，曹宏发，杨伟君，等. 和谐号动车组制动技术概述[J]. 铁道机车车辆， 2011， 31（5）：1-11.
[2]	王华胜，文礼，李忠厚，等. 电动车组整车的可靠性测试方法及装置： CN101699246[P]. 2010.
[3]	王同军. 以大数据为牵引驱动铁路创新发展[J]. 铁路计算机应用， 2016， 25（9）.
[4]	高子喆. 基于云计算的并行FFT 算法及其在高铁数据中的应用研究[D]. 成都：西南交通大学，2013.
[5]	赵成兵. 基于云计算的高铁振动数据预处理与特征提取研究[D]. 成都：西南交通大学，2013.
[6]	Aflori C， Craus M. Grid implementation of the Apriori algorithm[M]. Elsevier Science Ltd. 2007.
[7]	Agrawal R， Shafer J C. Parallel Mining of Association Rules[M]. IEEE Educational Activities Department， 1996.
[8]	Yang X Y， Liu Z， Fu Y. MapReduce as a programming model for association rules algorithm on Hadoop[C]// International Conference on Information Sciences and Interaction Sciences.IEEE， 2010 ：99-102.
[9]	Yates J， Mcgregor J D， Ingram J E. Hadoop and its evolving ecosystem[C]// International Workshop on Software Ecosystems. 2014.
[10]	Dadachev B， Balinsky A， Balinsky H， et al. On the Helmholtz Principle for Data Mining[C]// Third International Conference on Emerging Security Technologies. IEEE， 2017 ：99-102.
[11]	Huang L， Chen H， Xun W， et al. A fast algorithm for mining association rules[J]. 计算机科学技术学报( 英文版)， 2000，15(6) ：619-624.
[12]	Prakash R V， Govardhan， Sarma S S V N. Mining Frequent Itemsets from Large Data Sets using Genetic Algorithms[J].International Journal of Computer Applications， 2011（4）：38-43.
[13]	尧炜，马又良. 浅析 Hadoop 1.0 与2.0 设计原理[J]. 邮电设计技术，2014（7）：37-42.
[14]	Yuan S， He S. Set up and collocate servers based on CentOS6.5[J]. Microcomputer & Its Applications, 2014(16): 44-45，48.

施引文献(19)

期刊类型引用(9)

1.	薛锋，吴林鸿，汪雯文，周琳. 基于MI-PSO-RBF神经网络的铁路客货运量预测研究. 铁道运输与经济. 2024(09): 123-135 . 百度学术
2.	崔淑华，侯慧君，武慧荣. 利用标准差赋权组合模型预测大宗货物运输需求. 交通科技与经济. 2022(06): 31-38 . 百度学术
3.	徐菲，任爽. 基于分解—集成的铁路货运需求预测研究. 运筹与管理. 2021(08): 133-138 . 百度学术
4.	刘金芳，向万里，王璐璐. 基于VMD-BAS-BP的铁路货运量预测研究. 青海交通科技. 2021(06): 50-56+68 . 百度学术
5.	徐文文，彭建平，邱春蓉. 基于支持向量回归的地铁受电弓滑板磨耗趋势预测模型研究. 铁路计算机应用. 2020(01): 77-81 . 本站查看
6.	杨基宏，陈浩林，徐刚，余澄庆，刘辉. 基于ELM的城市轨道交通系统建设成本估算研究. 铁路计算机应用. 2020(04): 1-4 . 本站查看
7.	谭雪，张小强. 基于GRU深度网络的铁路短期货运量预测. 铁道学报. 2020(12): 28-35 . 百度学术
8.	张蕾，孙德山，张文政，王玥. 基于灰色关联分析的支持向量机的铁路货运量预测研究. 经济数学. 2018(02): 58-61 . 百度学术
9.	任巧丽，马乾. PCA-RBF神经网络对兰州市日平均气温的预测. 宜宾学院学报. 2018(12): 111-115 . 百度学术