基于Matlab的最小二乘支持向量机工具箱及其应用

基于Matlab的最小二乘支持向量机工具箱及其应用最小二乘支持向量机[2]是对支持向量机的一种改进，它将传统支持向量机的不等式约束变为等式约束，并且将平方和误差损失函数用作训练集的经验损失，从而将二次规划问题的解求解为线性方程组的求解问题，并提高了求解速度和收敛精度. 假设样本是样本，其表示为: （x1，y1），...，（xl，yl）RnR，首先使用非线性映射ψ（）将样本从原始空间Rn映射到特征空间φ （xi），在该高维特征空间中构造最优决策函数: 这样，非线性估计函数被变换为高维特征空间中的线性估计函数. 使用结构风险最小化的原理，我们搜索ω，其中“ω” 2控制模型的复杂度（归一化参数），并控制超出误差样本的惩罚程度. Remp是错误控制功能，即ε不敏感损失功能. 常用的损失函数是线性ε损失函数和Huber损失函数. 通过选择不同的损失函数，可以构建不同类型的支持向量机. 最小二乘支持向量机是优化目标损失函数中的二次误差项. 因此最小二乘支持向量机 matlab，优化问题是: αi=cξi，ωφ（xi）定义核函数K（xi，yi）=φ（xi）φ（xj）是满足条件的对称函数. 根据文献[6]，将优化问题转化为求解线性方程组，最后通过最小二乘法获得a和b. 相应地也命名了最小二乘支持向量机，并且获得了非线性预测模型K（xi，x）=Φ（xi）Φ（x）被称为核函数，它是对应于任何对称核函数的点积到与特征空间相对应的Mercer条件.

内核函数的类型很多，常用的有: （2）RBF函数（3）Sigmoid函数: k（xi，x）= tanh（v（xxi））LS-SVMlab工具箱基于Matlab的LS-SVMlab工具Box [3]主要包括分类，回归，时间序列预测和无监督学习，工具箱的代码用语言编写，根据计算机系统的不同，该工具箱可以在Windows版本和Linux版本中使用，大多数功能可以计算20000 LS-SVM工具箱具有基本的，高级的版本（可以编辑代码，包括贝叶斯框架的代码），并且有一个在C环境中运行的版本，每种不同的算法包含不同的功能. LS-SVM工具箱外部的C程序编译器，它将Matlab程序自动编译为C程序，然后在C程序下进行计算，从而大大提高了LS-SVM的运行效率. 基于Matlab的LS-SVMlab工具箱. 下面介绍VMlab. 要将LS-SVM工具箱用于培训，您必须准备培训样本，以下是样本数据的获取: 选择方法，使用哪种方法取决于数据文件的数量和格式等. : （1）直接在列表中输入数据元素； （2）创建数据文件，加载由matlab提供的数据加载功能，从数据文件中读取

.

函数加载适用于从MAT文件和ASCII文件，函数xlsread和xls格式文件以及函数csvread和csv格式文件读取数据. 用于读取数据的数据预处理方法已标准化. 每组数据变为介于-1和+1之间的数字，所涉及的函数为premnmx，postmnmx，tranmx），标准化处理（将每组数据转换为均值为0且方差为的数据集）. 涉及的是prestd，poatstd，trasted）和主成分分析（为了减少输入数据的维而进行的正交处理，涉及的功能是prepca，trapca）. 输出训练时，还必须对数据进行非规范化. LS-SVMlab工具箱主要用于分类，函数回归和使用内核函数的无监督学习. LS-SVMlab主要使用3个函数进行函数回归. trainlssvm函数用于训练和构建模型. simlssvm函数用于估计模型. plotlssvm函数是LS-SVMlab工具箱的特殊绘图函数. 高级LS-SVMlab工具箱在贝叶斯框架下还具有最小二乘支持向量机，固定大小的最小二乘支持向量机，等等. ssvm.mex *是matlab培训期间UNIX / Linux环境下C语言的接口.

lssvm.dll是Matlab indows环境的接口. 使用这两个文件，可以大大提高操作效率. 模型验证主要包括Crossvalidate，rcrossvalidation和leaveoneout，它们通过各种交叉验证方法进行了优化. Gridsearch用于在特定范围内找到最佳参数范围. 由于最小二乘支持向量回归估计将二次规划问题转换为线性方程组的解，因此失去了支持向量解稀疏的优势. 此外，冗余信息的噪声被完全拟合到模型参数中，从而削弱了模型. 鲁棒性降低了概括识别参数的能力. 鉴于上述缺点，功能Tunelssvm，prunelssvm，weightedlssvm是对最小二乘支持向量机的上述缺点的改进. LS-SVMlab在82B钢产量预测中的应用冶金学家一直追求82B钢产量建模以提高产品性能的必要性. 为了实现该目标，必须在生产之前执行要生产的产品的性能. 进行预测，然后根据预测结果设计钢的成分和加工条件，从而降低开发成本并缩短开发时间. 某些国内钢铁公司生产的82B具有不稳定的机械性能和拉拔断裂现象，并且轧制过程中钢的化学成分和工艺参数会影响82B钢的机械性能，而82B钢和产品的化学成分和工艺参数很难准确表达机械性能与传统数学模型之间的关系，因此如何有效地建立82B. 原则上，建模可以输入影响相关研究主题的各种因素，但是要考虑实际生产情况和控制模型的收敛性，因为速度快，需要对各种因素进行充分的分析和选择.

对于82B的生产，影响性能的因素分为内部因素（钢种的化学成分）和外部因素（工艺条件）[4]. 金属本身的化学成分直接影响82B钢的抗拉强度. 最终性能如断面的强度，伸长率和收缩率. 工艺条件更加复杂，例如: 加热时间的长短，跟踪速度，纺丝温度以及Steyrmo冷却线的空冷等都会影响高速线材的最终机械性能. . 因此，结合工厂工艺人员的经验，在建立82B钢的性能预测模型时，钢的化学成分可以包括: 碳，硅，锰，氮，铬，磷，硫百分比和轧制温度，精轧温度总共13个变量（包括前温度，后轧温度和纺丝温度）用作神经网络的输入. 在研究影响82B钢性能的因素的规律性和82B钢的可测量机械性能的前提下，我们将使用82B钢的机械性能，即拉伸强度，伸长率和截面收缩率作为输出到建立预测模型. LS-SVM工具箱在82B钢模型中的应用从MySQL导出的训练数据放置在文件traindata.csv中，而导出的估计数据放置在文件predic.csv中. 假设有200个训练数据，估计数据为70. 以下是使用LS-SVMlab工具箱编写的用于详细说明设计步骤的程序: A = csvread（'traindata.csv'）; csv格式文件是文本Ttrain0 = A（: ，[14: 16）; [Ptrain，meanptrain，stdptrain] [Ttrain，均值，stdt] = prestd（Ttrain0'）； Prestd（）是数据归一化函数，其中meanptrain是未归一化数据之前stdptrain在未归一化数据之前的矢量平均值.

gam = 10; sig2 =0. 类型='功能估计'; LS-SVM需要调整两个参数. gam sig2是最小二乘支持向量机的参数，其中gam是正则化参数，它确定自适应的最小化程度和平滑度，而sig2是RBF函数的参数. 该工具中有一个函数gridsearch，可用于查找某个范围内的最大参数范围. 类型有两种，一种是分类，用于类，另一种是函数估计，用于函数回归. 使用trainlssvm函数构建模型，该函数根据样本的输入和输出以及预先设置的训练函数的参数以及最小二乘支持向量机的支持向量和相应阈值来训练网络. 已获得= trainlssvm（（Ptrain'，Ttrain'，type，gam，sig'RBF_kernel'，'preprocess'））; Trainlssvm函数是LS-SVM工具箱的重要功能之一，并且是小正方形支持向量机的训练功能. 其中“ RBF_kernel”表示该函数是RBF函数. 内核函数Lin_kernel和Poly_kernel alpha是支持向量和阈值.

预处理表示数据已被规范化，也可以是“原始”，表示数据尚未规范化，默认值为“预处理”. 类型，gam，sig2，“ RBF内核”预处理”}，{alpha，plotlssvm函数是LS-SVM工具箱的唯一绘图函数，并且p函数的原理相似. smismsvm函数类似于神经网络工具箱中的smi函数，它使用估计的82B钢铁产量质量指标来验证模型的准确性. B = csvread（'predic.csv'）; Ttest0 = B（: ，[14: 16]）; [Ptest，meanptest，stdptest]类型，gam，sig2，'RBF_kernel'preprocess'}，{alpha，Ptest）simlssvm功能也是LS-SVM工具箱的重要功能. 参数如上所示，其原理类似于神经网络工具箱中的sim函数. 通过调用trainlssvm函数和simlssvm函数，我们可以看到最小二乘支持向量机和神经网络的结构与plot函数（省略）有很多共同点（6）. 图2是82钢的估计质量指标.

真实值与预测值之间的契合度，我们看到LS-SVMlab工具箱用于估计82种钢，可以获得更好的预测结果，并且我们使用神经网络方法进行比较，神经网络建立的模型优于LS-SVM，但估计LS-SVM优于神经网络，泛化能力更好，训练速度比神经网络快. 最小二乘支持向量机是用等式约束代替传统支持向量机中的不等式约束. 解决过程是根据QP问题编程一组方程方程，以提高问题的速度和收敛精度. 统计学习理论[M]. 纽约: SpringerVerlag，1995年. 严卫武，邵慧和. 支持向量机与最小二乘支持向量机的比较与应用研究[J]. 控制与决策，2003.18（3）: 358-360. SUYKENSJAK .LS-SVMlabToolboxUser sGuide [EB / OL] .http: // www. 库留文. 交流是/ sista /，2005年12月10日. 冯鹤滨，李连石. 基于人工神经网络的高碳钢高速线控冷却工艺参数优化[J]. 钢铁，2000，35（6）: 37-40. 罗成汉基于MATLAB神经网络工具箱的BP网络实现[J]. 计算机仿真最小二乘支持向量机 matlab，2004，21（5）: 108-111.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-204495-1.html