主成分分析与奇异值分解技术在铁路数据预处理中的应用

徐贵红; 郭剑峰; 杨涛存; 东春昭

主成分分析与奇异值分解技术在铁路数据预处理中的应用

中国铁道科学研究院铁路大数据研究与应用创新中心,北京 100081

基金项目: 中国铁路总公司科技研究开发计划课题（2015X003-F）；中国铁道科学研究院院基金重大项目（1551DZ8004）。

详细信息

作者简介:
徐贵红，副研究员；郭剑峰，助理研究员。

中图分类号: U29-39
计量
- 文章访问数: 135
- HTML全文浏览量: 0
- PDF下载量: 57
出版历程
- 收稿日期: 2016-06-14
- 刊出日期: 2016-09-24

Principal component analysis and singular value decomposition technologies in railway data preprocessing

Research and Application Innovation Center for Big Data Technology in Railway, China Academy of Railway Sciences, Beijing 100081, China

摘要

摘要: 数据预处理是在数据建模之前对采集到的原始数据进行的一些前期处理工作，能够滤除原始数据存在的噪声干扰、降低数据维度进而提取数据的时域特征。铁路运输行业在生产过程中累积的大量数据往往包含着噪声干扰，并且经常是海量高维的，无法直接用于数据建模、分析和挖掘。主成分分析与奇异值分解作为线性代数中一种重要的矩阵分解技术，已经成为近年来常用的数据时域预处理方法，本文主要论述主成分分析与奇异值分解技术在铁路数据预处理中的应用。
- 主成分分析 /
- 奇异值分解 /
- 数据预处理
Abstract: Data preprocessing is a preliminary work before data modeling. It can filter the noise interference of original data and can reduce data dimension to extract features of the data in time domain. The large amount of data accumulated in the production process of railway transport industry often contains noise interference. Besides, it is often massive and high dimensional, which cannot be directly used for data modeling, analysis and mining. Principal component analysis and singular value decomposition are important matrix decomposition technologies in linear algebra. They have been commonly used in data time-domain preprocessing in recent years. This paper mainly discussed the use of principal component analysis and singular value decomposition technologies in railway data preprocessing of the application.
- principal component analysis /
- singular value decomposition /
- data preprocessing

HTML全文

参考文献(9)

[1]	王卫东，徐贵红，刘金朝，等. 铁路基础设施大数据的应用与发展 [J]. 中国铁路 , 2015（ 5）： 1-6.
[2]	徐贵红, 陶凯, 刘金朝，等. 铁路工务安全生产管理分析系统[J]. 铁路技术创新, 2015（2）：27-30.
[3]	García S, Luengo J, Herrera F. Data preprocessing in data mining [M]. Switzerland: Springer, 2015.
[4]	Wall M E, Rechtsteiner A, Rocha L M. Singular value decomposition and principal component analysis[M]. A practical approach to microarray data analysis. Springer US, 2003: 91-109.
[5]	Jolliffe I. Principal component analysis[M]. John Wiley & Sons, Ltd, 2002.
[6]	Van Loan C F. Generalizing the singular value decomposition[J]. SIAM Journal on Numerical Analysis, 1976, 13(1): 76-83.
[7]	刘金朝, 王卫东, 孙善超. 铁路轨道几何数据冲击噪声小波有序中值滤波方法[J]. 振动与冲击, 2014, 33（10）：29-33.
[8]	周宪英, 高成文, 曹建华. 主成分分析法及其在数据降噪中的应用[J]. 兵工自动化, 2014, 33（9）：55-58.
[9]	钱征文，程礼, 李应红. 利用奇异值分解的信号降噪方法[J].振动、测试与诊断, 2011, 31（4）： 459-463.

施引文献(13)

期刊类型引用(3)

1.	邹丹，马小宁，王喆. 铁路大数据平台架构研究. 铁路计算机应用. 2019(08): 1-4 . 本站查看
2.	彭景，吴建华，刘春梅. 商业智能在房地产管理系统的应用解析. 邮电设计技术. 2018(04): 72-76 . 百度学术
3.	陆泉，张良韬. 处理流程视角下的大数据技术发展现状与趋势. 信息资源管理学报. 2017(04): 17-28 . 百度学术