高维数据的聚类分析研究与应用

“华北水利水电大学” 2017

苏菲

【摘要】: 聚类分析是数据挖掘的重要组成部分. 它旨在根据对象之间的相似性将混合数据对象划分为几个群集. 同一类型集群中的数据对象具有高度的相似性，而不同类型集群中的数据对象具有较大的差异. 随着高维数据的普及，以及由于高维数据的稀疏性和维灾难的影响，传统聚类算法的有效性已大大降低甚至无效. 因此，高维数据下的聚类分析已经成为研究中的热点和难点问题. 基于降维技术的高维聚类方法是解决高维数据聚类分析问题的有效途径. 本文首先对经典的K均值算法进行了优化，然后对降维后的数据集进行聚类分析. 针对经典K-means算法迭代次数过多，聚类结果随初始聚类中心的随机选择而波动的问题，采用基于密度峰值搜索过程的DPK算法提出了基于局部密度优化的DPK. 初始聚类中心的均值算法. 通过计算局部密度i？每个数据点的值和距离i？将局部密度较高的点的值，这两个值中较大的点选择为初始聚类中心，以便获得适当数量的聚类K，以及具有较大i的聚类. 价值和较小的我？将值作为离群值，然后使用K-means算法获得最终的聚类簇. 对于高维数据的聚类问题，第一阶段使用PCA，MDS，ISOMAP和LLE降维方法来降低高维数据集的维数，并通过评估维数的性能来评估降维后的特征子集. 聚类算法；在第二阶段，将DPK-means算法用于聚类分析. 通过对UCI数据集和运动分割数据集的实验，比较了聚类质量和迭代次数等有效性评估指标. 结果表明，降维后，DPK-means算法对高维数据集具有较高的精度. 速率和稳定性. 综上所述，本文从数据挖掘的概念入手，重点探讨了高维数据的聚类分析问题. 借助PCA，MDS，ISOMAP和LLE降维技术，将DPK-means算法应用于UCI和运动分割数据集的聚类. 问题是要获得更高质量的聚类结果，但需要进一步研究离散和混合非球形数据的聚类问题.

[学位授予单位]: 华北水利水电大学

[学位]: 硕士

[学位奖]: 2017

[分类号]: TP311.13

下载更多类似文档的全文

CAJ全文下载

（如何获取全文？欢迎使用: 购买HowNet充值卡，充值，咨询）

CAJViewer阅读器支持CAJ，PDF文件格式

[参考文献]

中文期刊全文

张涛；唐振民陆建勇;;一种基于低秩表示的改进子空间聚类算法[J];计算机应用电子与信息技术学报； 2016-11-11

田守才；孙希立陆永刚基于最近邻的随机非线性降维[J]；中国电机工程学报计算机应用； 2016-02

刘占杰；陈小云局部子空间聚类［Ｊ］；自动化杂志； 2016-08]

王伟伟；李小平；冯相初王思奇稀疏子空间聚类综述[J]；中国电机工程学报自动化杂志； 2015-08]

邢长征；顾浩基于平均密度的优化初始聚类中心的k-means算法[J]；北京大学学报（自然科学版）计算机工程与应用； 2014年第20号

邓海；秦华;孙欣;;一种优化初始中心的K均值聚类算法[J];计算机技术与发展； 2013年第11号

王晓阳；张宏远沉良中迟万乐;;基于相似度测度的高维数据聚类算法研究[J]；中国电机工程学报计算机技术与发展； 2013-05期

姚登菊；杨静詹小娟;;基于随机森林的特征选择算法[J]；北京科技大学学报吉林大学学报（工学版）； 2014-01-01

徐俊玲；周玉明陈琳徐宝文基于互信息的无监督特征选择[J]；中国通信技术计算机研究与开发； 2012-02

陈明；季根林;;基于相似维数的高维子空间聚类算法[J]；中国电机工程学报南京师范大学学报（自然科学版）； 2010-04）

中国博论文全文

江胜利；高维数据特征选择与特征提取研究[D];西安电子科技大学2011

李波；基于流形学习的特征提取方法及其应用研究[D];中国科学技术大学； 2008

陈丽菲；高维数据聚类方法的研究与应用[D];厦门大学2008

杨凤照；高维数据挖掘中几个关键问题的研究[D];复旦大学2003

中文硕论文全文

张静；高维数据子空间聚类算法研究[D];天津大学2012

易丽华；高维数据聚类算法研究[D];燕山大学2012

颜康；基于支持向量机的特征选择算法研究[D];大连理工大学2010

[引用文献]

中文期刊全文

张书芬；董艳艳陈学斌;;基于云计算平台Hadoop的HKM聚类算法的设计与研究[J]；计算机应用应用科学学报2018-03

张萌；吕燕;倪义华钱小红杨明基于密度峰值聚类的随机森林室内定位[J]；中国农业大学学报（自然科学版）计算机工程与设计； 2018-05期

徐丽丽；董义宏潘建飞陈华辉;;复杂网络图稀疏算法综述[J]；中国电机工程学报计算机科学; 2018-05期

林开春；邵凤京基于随机森林和神经网络的空气质量预测研究[J]；中国水产科学青岛大学学报（工程技术版）； 2018-02期

李旭阳；邵凤京LSTM和随机森林购买行为预测模型研究[J]；中国农业科学青岛大学学报（工程技术版）； 2018-02期

李惠民；李川高维数据聚类中相似度测量算法的改进[J]；中国电机工程学报内蒙古统计； 2018-02期

王林音；谢忠菊陈永权王琦;;机器学习聚类组合算法及其应用[J]；中国电机工程学报山东农业大学学报（自然科学版） 2018年03月

徐泽夫;;水下航行器动力系统装配质量的定量评估与优化[J]；中国水运会船舶电子工程2018-04

方振东；王凤坤;;一种改进的支持权重的K-means聚类算法[J];新乡大学学报2018-03-03

陈树立；李新健胡玉霞陆鹏;张睿;;互信息指导下的前向搜索脑机接口线索选择算法[J]；中国电机工程学报计算机应用研究； 2018-04

中国博论文全文

卢宝新；适合机械化的大豆产地鉴别追溯系统的设计与验证[D];黑龙江八一农业大学2017

横冲直撞；基于补偿模糊神经网络的遥感图像信息提取［D］；西南大学2017

王树鹏；基于仿真的多核处理器功能验证技术研究[D];浙江大学2017

罗富林；高光谱图像稀疏流形学习方法研究[D];重庆大学2016

宋庆军；综放工作面放煤自动化技术的研究与应用［D］；中国矿业大学2015

姚登菊；医学数据随机森林特征选择与分类方法研究[D];哈尔滨工程大学2016

魏峰；高光谱遥感数据特征提取与特征选择方法研究[D];西北工业大学; 2015

黄宏兵；层次流形学习及其在监督分类中的应用[D];上海交通大学2015

清晨；基于数字水印的半脆弱视频内容完整性认证方法研究[D];上海大学2014

清晨；基于数字水印的半脆弱视频内容完整性认证方法研究[D];上海大学2015

中文硕论文全文

李东平；基于稀疏子空间聚类的图像超像素分割研究[D];华北电力大学2017

苏菲；高维数据聚类分析的研究与应用[D];华北水利水电大学; 2017

安磊；企业价值评估中可比公司选择的优化研究［D］；首都经济贸易大学2017

周庆涛；视觉大数据聚类方法的研究与应用[D];南京信息工程大学2017

代教；基于花授粉算法的软子空间聚类算法优化[D];中国矿业大学2017

陈应辉；高维数据流快速降维聚类算法研究[D];长沙科技大学2016

刘晓晓；基于RF-RFE算法的森林生物量遥感特征选择方法研究[D];山东农业大学2016

黄庆军；基于稀疏子空间的高维数据聚类关键技术研究与应用[D];电子科技大学2016

沉江燕；基于软子空间的高维数据树索引研究[D];昆明科技大学2015

陈阳；基于禁忌搜索和相似度的聚类算法研究[D];长沙科技大学2014

【二级参考文献】

中文期刊全文

王伟伟；李小平；冯相初王思奇稀疏子空间聚类综述[J]；中国电机工程学报自动化杂志； 2015-08]

任磊；杜Yi马帅张小龙戴国忠;;大数据的可视化分析综述[J]；中国电机工程学报软件杂志； 2014 No.09

郝晓军；严静海范有义;;大数据分析过程中的降维方法[J]；中国电机工程学报航空电子战； 2014-04

李涛；王为伟;翟东贾锡熙关键词: 稀疏子空间加权聚类系统工程与电子技术； 2014-03

刘芳；吴娇杨树元;焦立成;;结构化压缩感知的研究进展[J];自动化杂志； 2013-12;

张文娟；冯相初非凸低秩稀疏约束图像超像素分割方法[J];西安电子科技大学学报2013-05期

彭一刚；索金立戴琼海徐文立;;从压缩感知到低秩矩阵恢复: 理论与应用[J]；中国电机工程学报自动化杂志； 2013-07-07

詹慧煌；朱民臣;;改进的动态K均值聚类算法[J]；中国电机工程学报微型计算机及其应用； 2012年第20号

马建伟；徐杰包月泉于思玮;;压缩感知及其应用: 从稀疏约束到低秩约束优化信号处理; 2012-05期

周伟本；石月祥;;基于密度的K-均值聚类中心选择优化算法[J]；中国电机工程学报计算机应用研究； 2012-05期

中国博论文全文

李永志；图像特征提取方法及其在人脸识别中的应用[D];南京科技大学2009

孙明明；流形学习的理论与算法研究[D];南京科技大学2007

牛坤；聚类分析中的几种关键技术及其在电信领域的应用[D]；北京邮电大学; 2007

陈小云；文本挖掘若干关键技术研究[D];复旦大学2005

李云；特征选择算法及其在基于内容的图像检索中的应用[D];重庆大学2005

张志兵；空间数据挖掘关键技术研究[D];华中科技大学; 2004

张立新；高维数据的特征选择与基于特征选择的集成学习[D]；清华大学2004

杨凤照；高维数据挖掘中几个关键问题的研究[D];复旦大学2003

范九伦；新型模糊聚类算法及聚类有效性问题的研究[D];西安电子科技大学1998

中文硕论文全文

刘波；测距学习理论与应用研究[D];中国科学技术大学； 2009

李娜；基于聚类的网络入侵检测方法研究[D];广西大学2007

[相似文献]

中文期刊全文

肖华坤;;一种高维数据模板的设计方法与应用[J]；中国电机工程学报计算机科学; 2006-08

何玲；蔡一超杨铮;;高维数据空间的网格划分方法[J]；中国电机工程学报计算机工程与应用； 2011-05期

李玉林;;高维数据分析中的降维研究[J];中国电机工程学报计算机CD软件和应用程序； 2012年第17期

何金荣；丁立新；胡庆辉李兆奎;;高维数据空间的性质和度量选择[J]；中国电机工程学报计算机科学; 2014-03-03

刘洪波，王秀坤高维聚类分析，赵静；高维数据空间金字塔技术研究[J]；中国电机工程学报计算机工程与应用； 2003年第16期

申平;;高维数据挖掘技术研究[J]；中国电机工程学报计算机知识和技术； 2009-06

谢凤萍;;聚类分析中高维数据降维方法的研究[J]；中国电机工程学报闽西职业技术学院学报2009-04

于远辉；邓颖;;一种新的高维数据聚类自适应算法研究[J]；中国电机工程学报沉阳化工学院学报2010-02

王银凤；刘浩狄升；胡浩宇;;一种支持高维数据查询的并行索引机制［J］；华中科技大学学报（自然科学版）； 2011年S1

周勇；陆小伟程春田;;不规则流中高维数据流典型相关分析的并行计算方法[J]；中国技术大学学报软件杂志； 2012-05期

中国重要会议论文全文

周雨人；彭辉桂维华;;基于映射的高维数据聚类方法[A]； 04'中国企业自动化与信息化建设论坛暨中南自动化学会六届年会特刊[C]； 2004

梁俊杰；杨泽新冯玉才大型高维索引结构[A]；第二十三届中国学术会议论文集（研究报告）[C]； 2006

陈冠华；马秀丽杨东庆唐世伟;帅萌;;用于高维数据的低冗余Top-k离群值发现方法[A]；第26届中国学术会议论文集（A辑）[C]； 2009

刘云涛；包玉斌吴丹冷放龄;孙焕亮于歌;; CBFrag-Cubing: 一种基于压缩位图的高维数据立方体创建算法（英语）[A]；第22届中国学术会议论文集（研究报告）[C]； 2005

刘文辉;; PCA和PLS在高维数据分类中的比较研究[A]; 2011年中国卫生统计年会论文集[C]; 2011

刘锡兰，冯德义，王公书高维聚类分析，朱成喜，冯文

重要中国报纸全文

记者李双义； [N];吉林日报； 2013

中国博论文全文

刘胜兰；余弦测量下高维数据降维分类方法研究[D];大连理工大学2015

黄小慧；高维数据聚类问题及算法研究[D];哈尔滨工业大学2015

杨冲；高维数据流中K近邻问题的研究[D];山东大学2016

卢梅；高维面向数据的特征学习理论与应用研究[D];苏州大学2016

徐伟伟；高维数据降维可视化研究及其在生物医学中的应用［D］；武汉大学2016

连益民； SEVIS超高维特征筛选方法及其应用[D];中国科学技术大学； 2017

朱艳玲；基于惩罚似然的变量选择方法及其在高维数据中的应用[D];对外经济贸易大学2017

杨凤照；高维数据挖掘中几个关键问题的研究[D];复旦大学2003

陈丽菲；高维数据聚类方法的研究与应用[D];厦门大学2008

吴庆耀；高维数据分类问题与算法研究[D];哈尔滨工业大学2013

中文硕论文全文

苏菲；高维数据聚类分析的研究与应用[D];华北水利水电大学; 2017

沉江燕；基于软子空间的高维数据树索引研究[D];昆明科技大学2015

侯小丽；高维数据聚类的神经网络降维方法研究[D];兰州大学2015

赵俊琴；基于Lasso的高维数据线性回归模型统计推断方法的比较[D];山西医科大学2015

何颖；高维数据下特征选择与聚类方法研究[D];西南大学2015

胡昌杰；基于自动编码器的高维数据降维方法研究[D];兰州大学2015

杨黛君；基于进化算法的高维数据聚类研究[D];西安电子科技大学2014

王红霞；高维交通数据的逻辑集成与退化研究[D];重庆交通大学2015

杨婷婷；基于信息熵的高维数据流聚类与应用研究[D];重庆交通大学2015

孙希立；高维数据降维和聚类方法研究[D];兰州大学2016

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-219743-1.html