基于Matlab的最小二乘支持向量机工具箱及其应用（精pdf）

接收日期: 2006年23日；修订日期: 2006 2004BA204B08203）作者简介: 李芳芳，男，江苏镇江，教授，博士生导师，主要研究方向: 智能控制，机器人控制；男，江苏南京，硕士，主要研究方向: 信息集成，实时. 文章号: 1001 9081（2006）12Z 03基于Matlab的最小二乘支持向量机工具箱及其应用（南京工业大学，江苏南京210009）lifangfang101604 @ 163.com）摘要: 介绍了最小二乘支持向量机算法和基于Matlab的工具箱LS2SVMlab. 该工具箱主要包括数据预处理，模型构建对象和各种训练算法等，并结合了一个工业示例. 介绍了LS2SVMlab在82B钢产量预测中的应用. 仿真结果表明，由Matlab开发的最小二乘支持向量机工具箱LS2SVMlab具有良好的效果，编程简单，易于实现. 关键词: 预测最小二乘支持向量机LS2SVMlab; 82B钢的CLC编号: TP181文档标识码: 0简介支持向量机（SVM）是近年来建模中使用的一种新知识. 与传统的神经网络相比，支持向量机算法最终将转化为二次优化问题. 从理论上讲，将获得全局最佳值，它解决了神经网络中无法避免的局部最小值. 价值问题.

支持向量机的拓扑结构由支持向量确定，它避免了需要经验性尝试和错误方法的传统神经网络拓扑，并且SVM的最佳解决方案基于结构风险最小化的思想，因此它具有一种近似其他非线性函数的方法. 具有较强的泛化能力. 结果，对支持向量机的研究掀起了一股热潮. 但是，支持向量机的原理比较复杂，因此许多学者开发了很多有关支持向量机的工具包，其中最著名的是台湾学者林志仁博士开发的libsvm工具箱，Svm2osu_3被广泛使用. 在许多外国网站上. . 相比之下，00，svmlight，mySvm等. 美国Matlab的最小二乘支持向量机工具箱LS2SVMlab具有简单的编程，强大的可伸缩性和丰富的算法. 本文将使用Matlab 1作为开发环境，主要介绍最小二乘支持向量机LS2SVMlab工具箱的一些功能和设计步骤，并结合实例对82B钢铁生产进行建模和预测，得到了很好的预测结果， LS2SVMlab的编写代码较少，易于实现. 它是研究支持向量机的非常有用的工具. 1最小二乘支持向量机的原理最小二乘支持向量机是对支持向量机的一种改进，它是将传统支持向量机的不等式约束变为等式约束，并使用平方误差和SumSquares误差）损失函数. 由于训练集的经验损失，使得将二次规划问题的求解方法解决为线性方程组问题，从而提高了求解速度和收敛精度.

假设样本是n维向量，并且某个区域首先使用非线性映射ψ（因此非线性估计函数在高维特征空间中转换为线性估计函数. 使用结构原理风险最小化，找到ω，b是最小值控制: 控制模型的复杂度，c是归一化参数，并控制超出误差样本的惩罚程度R emp是误差控制函数，即ε不敏感损失函数，常用的损失函数是线性ε损失函数，二次ε损失函数，Huber损失函数，选择不同的损失函数，可以构造不同形式的支持向量机，最小二乘支持向量机目标损失函数是误差ξ的二次项，因此，优化问题是: minJ是拉格朗日乘数，根据优化条件: 9L 9L9b是一个符号符合条件的度量标准函数. 根据文献，第26卷，2006年12月，计算机应用，第26卷，2006年12月，最后，通过最小二乘法获得最小二乘支持向量. 机器也以此命名，并获得非线性预测模型: 称为核函数满足Mercer条件的任何对称核函数都对应于更多种核函数之间的特征点积，常用的有: 基于LS2SVMlab的Matlab工具箱工具箱的2LS2SVMlab，包括分类，回归，时间序列预测和无监督学习

.

工具箱代码是用语言编写的. 根据不同的计算机系统，该工具箱可用于Windows版本和Linux版本，并且大多数功能可以计算2万个数据. LS2SVM工具箱有三个版本，基本版本和高级版本（可以编辑代码，包括贝叶斯框架的代码），还有一个版本可以在C环境中运行. 每个不同的算法包含不同的功能. LS2SVM工具箱外部有一个C程序编译器. 它会自动将Matlab程序编译为C程序，然后在C程序下进行计算最小二乘支持向量机 matlab，从而大大提高了LS2SVM的运行效率. 1基于Matlab 1是基于Matlab的LS2SVMlab工具箱的，下面的1导入训练数据以使用LS2SVM工具箱进行训练，必须准备训练样本，为了获取样本数据，有几种方法可以选择使用哪种方法取决于数据量和数据文件的格式: 直接以元素列表的形式输入数据；创建数据文件，并通过matlab提供的加载数据功能从数据文件中读取数据. 该函数加载适合从MAT文件和ASCII文件读取数据，函数xlsread从.xls格式文件读取，函数csvread从.csv格式文件读取数据. 2数据预处理对要训练的输入输出数据进行一定的预处理，以加快训练速度.

Matlab提供的数据预处理方法包括归一化处理（将每组数据转换为remnmx，postmnmx，tramnmx）和标准化处理（将每组数据转换为均值为0和方差1的组）. 涉及的是prestd，poatstd，trasted）和主成分分析（为了减少输入数据的维而进行的正交处理，涉及的功能是prepca，trapca）. 输出训练时，还必须对数据进行非规范化. 3算法训练和仿真LS2SVMlab工具箱主要用于分类，函数回归和使用内核函数的无监督学习. LS2SVMlab主要用于具有3个函数的函数回归，trainlssvm函数用于训练和构建模型，simlssvm函数用于估计模型，lotlssvm函数是LS2SVMlab工具箱的特殊绘图函数. 高级LS2SVMlab工具箱在贝叶斯框架下还具有最小平方支持向量机，固定大小的最小平方支持向量机，等等. 4LS2SVM算法改进lssvm. MEX matlab在UN IX / Linux环境中的培训界面. lssvm.dll是Matlab培训下的Matlab与Windows之间的接口. 使用这两个文件，可以大大提高运行效率.

模型的验证主要包括Crossvalidate，rcrossvalidation和leaveoneout. 它使用各种改进的交叉验证方法进行优化. Gridsearch用于在特定范围内找到最佳参数范围. 由于最小二乘支持向量回归估计将二次规划问题转换为线性方程的解，因此失去了支持向量解稀疏性的优势. 另外，冗余信息的噪声都被拟合到模型参数中，这削弱了模型. 鲁棒性降低了概括识别参数的能力. 鉴于上述缺点，功能Tunelssvm，prunelssvm，weightedlssvm是对最小二乘支持向量机的上述缺点的改进. 3LS2SVMlab在82B钢产量预测中的应用182B钢产量建模以提高产品性能的必要性一直是冶金学家追求的目标. 为了实现该目标，必须在生产之前预测要生产的产品的性能. 然后，根据预测结果，设计钢的成分和加工条件，以减少开发成本和开发时间. 某些国内钢铁公司生产的82B钢具有不稳定的机械性能和拉拔断裂现象，并且钢的化学成分和轧制过程中的工艺参数会影响82B钢的机械性能以及82B钢及其产品的化学成分和工艺参数. 传统的数学模型很难准确地表达力学性能的关系，因此如何有效地建立82B钢生产模型是一个亟待解决的问题.

2输入和输出变量的选择原则上，建模可以输入影响相关研究主题的各种因素，但是考虑到实际生产情况和控制模型的收敛速度，有必要对各种因素进行全面分析和过滤. 在生产82B钢时，影响性能的因素分为内部因素（钢种的化学成分）和外部因素（工艺条件）. 金属本身的化学成分直接影响82B钢的拉伸强度和伸长率. 最终属性，例如断面收缩率. 工艺条件更加复杂，例如: 加热时间的长短，轨道速度，纺丝温度以及Steyrmore冷却线上的空气冷却等都会影响高速线材的最终机械性能. . 因此，结合工厂工艺人员的经验，在建立82B钢的性能预测模型时，钢的化学成分可以包括: 碳，硅，锰，氮，铬，磷，硫百分比和轧制温度，精加工总共13个变量（包括前温度，轧后温度和纺丝温度）用作神经网络的输入. 在研究影响82B钢性能的规律性和82B钢的可测量机械性能的前提下，我们将使用82B钢的机械性能，即拉伸强度，伸长率和截面收缩率作为输出量建立模型预测. 3LS2SVM工具箱在82B钢模型中的应用. 从MySQL导出的训练数据放置在traindata中. 估计的数据放置在predic.csv文件中.

假设有200个训练数据，估计数据为70. 以下是使用LS2SVMlab工具箱编写的用于详细说明设计步骤的程序: 'traindata.csv'）txt，.xls打开，并且有助于读取数据，也很容易进行S网站发布. 14:16）Ptrain，meanptrain，stdptrain Ttrain，mean，stdt）是数据归一化函数，其中meanptrain是未归一化数据之前的矢量平均值stdptrain是未归一化数据之前的矢量标准偏差. 设置最小二乘支持向量机gam的参数以及与相应内核函数相关的参数. gam = 10; sig2'功能估计'; LS2SVM需要调整两个参数. gam和sig2是最小二乘支持向量机的参数，其中gam是正则化参数，它确定自适应误差的最小化和平滑度，而sig2是RBF函数的参数. 工具箱中有一个函数gridsearch，可用于在特定范围内找到最佳参数范围. 类型有两种，一种是分类，用于分类，另一种是函数估计，用于函数回归.

算法培训和模型构建. 使用trainlssvm函数构建模型，该函数根据样本的输入和输出以及预先设置的训练函数的参数来训练网络，并获得支持向量和最小二乘支持向量的相应阈值机. '，Type，gam，sig2，“ RBF_kernel”，Trainlssvm函数是LS2SVM工具箱的重要功能之一，它是最小二乘支持向量机的训练功能. 其中“ RBF_kernel”表示内核函数是RBF函数. 内核函数是Lin_kernel，Poly_kernel等. Alpha是支持向量，b是阈值. 预处理表明数据已被标准化，或者可以是“原始”数据，表明数据尚未被标准化. 默认值为“ p reprocess”. plotlssvm类型，gam，sig2，“ RBF内核”，“预处理”}，plotlssvm函数是LS2SVM工具箱的唯一绘图函数，并且plot函数的原理相似. 读取估计数据的输入，执行数据预处理并进行模型预测. simlssvm函数类似于神经网络工具箱中的sim函数. 用于验证模型的准确性和估计82B钢生产的质量指标.

“ predic.csv”）14:16 Ptest最小二乘支持向量机 matlab，meanptest，stdptest读取估算的数据，并对数据进行预处理以使其标准化. y1类型，gam，sig2，'RBF_kernel'，reprocess'}，{alpha，Ptest）Simlssvm函数也是LS2SVM工具箱的重要函数. 参数如上所示，其原理类似于神经网络工具箱中的sim函数. 通过调用trainlssvm函数和simlssvm函数，我们可以看到最小二乘支持向量机的结构与神经网络有很多共同点. 中间值与实际值的拟合程度可知，使用LS2SVMlab工具箱对82种钢进行了估算，可以获得较好的预测结果，并采用神经网络方法进行比较，其中模型由神经网络建立优于LS2SVM，但在估计上，LS2SVM优于神经网络，具有更好的泛化能力，训练速度也比神经网络快. 4结论最小二乘支持向量机是用等式约束代替传统支持向量机中的不等式约束. 解决过程是根据QP问题编程一组方程方程，以提高问题的速度和收敛精度. 介绍了基于Matlab的最小二乘支持向量机工具箱LS2SVMlab，为将最小二乘支持向量机应用于回归预测，建立了82B钢生产质量指标的预测模型.

仿真结果表明，最小二乘支持向量机建立的非线性模型是可行和有效的. 它具有良好的泛化能力，快速的计算速度，简化的计算以及占用较少的内存. 参考文献: 纽约统计学习理论: Springer Verlag，1995年. ]严卫武，邵慧和. 支持向量机与最小二乘支持向量机的比较与应用研究，控制与决策，2003. 18] SUYKENSJAK. LS 2SVMlab工具箱用户/www.esat .kuleuven. 交流基于人工神经网络的高碳钢高速线控冷却工艺参数优化钢，2000，基于MATLAB神经网络工具箱的35 BP网络计算机仿真，2004，21计算机应用2006

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-204491-1.html