机器学习-监督学习方法小结

李航统计学习方法第二版中，共介绍了十种监督学习方法：感知机、k 近邻、朴素贝叶斯、决策树、逻辑回归与最大熵模型、支持向量机、提升方式、EM 算法、隐马尔可夫模型跟条件随机场。

首字联为：感 K 朴决逻机器学习方法，支提 E 隐条。

十种监督学习方法特征的概括小结表：

监督学习中，模型就是所要学习的条件机率分布或则决策函数

按问题类别分类：

概率模型跟非概率模型：

生成模型跟判断模型：

线性模型跟非线性模型：

生成与判断，分类与标明：

判别生成

分类 LR,MENB

标注 CRFHMM

三种损失函数：

合页损失：线性支持向量机，逻辑斯谛损失函数：逻辑斯谛回归模型与最大熵模型，指数损失函数：提升方式，

二分类推广：

统计学习问题转换为最优化问题，有显式解读解, 对应的最优化问题比较简略，通常解读解不存在, 需要通过数值估算的方法求解

朴素贝叶斯法与隐马尔可夫模型：最优解就是极大似然估计值，可以由机率估算公式直接估算

感知机，逻辑斯谛回归模型，最大熵模型机器学习方法，条件随机场：利用梯度增长法、拟牛顿法，无约束最优化问题的解法

支持向量机：解凸二次规划的排比问题，有序列最小最优化算法

决策树：基于启发式算法，特征选择、生成、剪枝是启发式地进行正则化的极大似然估计

提升方式：启发式地从前向后进一步学习模型

EM 算法：迭代求解含隐变量机率模型参数

支持向量机、逻辑斯谛回归模型，最大熵模型，条件随机场的学习是凸优化问题，全局最优解存在，其他学习问题不是凸优化问题

李航-统计学习方法李航-统计学习方法笔记：github.com/SmirkCao/Lihang

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-134961-1.html