机器学习中的kNN算法及Matlab实例

机器学习中的kNN算法及Matlab实例

K最近邻(k-Nearest Neior，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。

2、负载均衡系统： 负载均衡又有dns负载均衡（比较常用）、ip负载均衡、反向代理负载均衡等，也就是在集群中有服务器a、b、c，它们都是互不影响，互不相干的，任何一台的机器宕了，都不会影响其他机器的运行，当用户来一个请求，有负载均衡器的算法决定由哪台机器来处理knn算法的matlab实现，假如你的算法是采用round算法，有用户a、b、c，那么分别由服务器a、b、c来处理。非对称加密的算法有很多,比较著名的有rsa/dsa ,不同的是rsa可以用于加/解密,也可以用于签名验签,dsa则只能用于签名.至于sha则是一种和md5相同的算法,它不是用于加密解密或者签名的,它被称为摘要算法.就是通过一种算法,依据数据内容生成一种固定长度的摘要,这串摘要值与原数据存在对应关系,就是原数据会生成这个摘要,但是,这个摘要是不能还原成原数据的,嗯....,正常情况下是这样的,这个算法起的作用就是,如果你把原数据修改一点点,那么生成的摘要都会不同,传输过程中把原数据给你再给你一个摘要,你把得到的原数据同样做一次摘要算法,与给你的摘要相比较就可以知道这个数据有没有在传输过程中被修改了.。常见的应用问题直接给出或经过抽象，会成为下列问题：最小生成树求解(prim算法和kruskal算法，两种方法思想都很简单，但要注意不要混淆这两种方法)，拓扑排序问题(这里会用到数组实现的链表，可以注意一下)，关键路径问题(数据结构的较大难点，要把概念理解透，能做出表格找出关键路径)，最短路径问题(有重要的应用背景，也是贪心法不多的能给出最优解的典型问题之一)。

International Conference on Data Mining (ICDM)，与会的各位专家选出了当时的十大数据挖掘算法（ top 10 data mining algorithms ），可以参加文献【1】， K最近邻算法即位列其中。

二、在Matlab中利用kNN进行最近邻查询

如果手头有一些数据点（以及它们的特征向量）构成的数据集，对于一个查询点，我们该如何高效地从数据集中找到它的最近邻呢？最通常的方法是基于k-d-tree进行最近邻搜索。

图像配准算法粗略分类有直接利用像素点数据，利用频域参数，利用图像 低层次特征和利用图像高层次特征的算法等。图其实已经告诉我了，这样发分布规则，基本做不了其他什么数据的分析了，这里规则分两个，但是其中的关联基本没有，我这边也可以演示给大家看：很明显，这个p值太大，根本没法拒绝原假设，这个词基本不能正常的做一个逻辑回归的分析，当然也可以分类做个验证：我是把排名前40位做了个验证，也可以看到，至少可以说吗，单单根据上下架，是无法做出什么判断了。在利用易康developer进行影像分类后，输出的矢量数据的分类结果其图斑与分割对象是一一对应的，数量可能会较多，而且可能会比较破碎，那么有时候我们希望将同一种类别的各个图斑作为一个整体即一个图斑进行输出，或者我们在进行分类后处理的时候，希望将一些面积很小的图斑与邻近的同一类别的图斑进行合并，如果没有同一类别那么与其他特定类别的图斑合并等等类似的需求，此时需要利用到developer算法中的mergeregion，该算法是放在【basic objectreshaping】下面，可以看到它是通过合并来改变分割对象的形状，这里我们基本可以猜测mergeregion算法执行后，分割结果会发生改变。

例如:将4行2列数据(地址a1:b4)转置为2行4列数据,按照如下步骤进行:在任意其他位置选择2行4列的区域。摘要: 我用术语"module"来表示一个可执行文件或一个dll载入内存的代码（code）、数据（data）、资源（resources）除了代码和数据是你的程序直接使用的，一个模块还可以由windows用来确定数据和代码载入的位置的支撑数据结构组成。行不能跨页（页的单个行最大数量是8,060字节8kb 1024*8)，不包括text/image类型的页数据，对于可变长类型的列，如果行超过8060,则从最大长度的列开始，将一个或多个可变长度列移动到row_overflow_data分配单元中的页，在原始页上维护一个24字节的指针，如果行的总大小小于8060,就再移回来.执行查询等操作时将延长处理时间，因为这些记录将同步处理，而不是异步。

[plain] view plain copy

load fisheriris

x = meas(:,3:4);

然后我们可以借助下面的代码来用图形化的方式展示一下数据的分布情况：

[plain] view plain copy

gscatter(x(:,1),x(:,2),species)

legend('Location','best')

执行上述代码，结果如下图所示：

然后我们在引入一个新的查询点，并在图上把该点用×标识出来：

[plain] view plain copy

newpoint = [5 1.45];

line(newpoint(1),newpoint(2),'marker','x','color','k',...

'markersize',10,'linewidth',2)

结果如下图所示：

接下来建立一个基于KD-Tree的最近邻搜索模型，查询目标点附近的10个最近邻居，并在图中用圆圈标识出来。

[plain] view plain copy

>> Mdl = KDTreeSearcher(x)

Mdl =

KDTreeSearcher with properties:

BucketSize: 50

Distance: 'euclidean'

DistParameter: []

X: [150x2 double]

>> [n,d] = knnsearch(Mdl,newpoint,'k',10);

line(x(n,1),x(n,2),'color',[.5 .5 .5],'marker','o',...

'linestyle','none','markersize',10)

下图显示确实找出了查询点周围的若干最近邻居，但是好像只要8个，

解析日历所示日期为2014年2月14日，距3月21日春分最近且在春分日之前，从图中可知与春分日最接近的是④。o4b/ o4a 0.66 m/s取5构件为研究对象，列速度矢量方程，得 υc υb + υcb 大小 √ 方向 ∥xx ⊥o4b ⊥bc其速度多边形如图5所示，有υc 41×0.01 0.64 m/s2.2.5、取曲柄在[7]位置，进行加速度分析先对曲柄2与滑块3重回的a点分析， a a3 ×ω2 0.09 × 6.72 4.04 m/s 取曲柄构件3和4的重合点a进行加速度分析.列加速度矢量方程,得 aa4 a a4n + a a4τ a a3n + a c科氏 + a a4a3大小 ω42lo4a √ 2ω4υa4a3 方向 b→a ⊥o4b a→o2 ⊥o4b（向右） ∥o4b（沿导路）由已知条件可求得： a a3n a a3 4.04 m/s2a c科氏 2ω4υa4a3 0.80 m/s2a a4n ω42lo4a 0.223 m/s2取加速度极点为p,加速度比例尺μa 0.1（m/s2）/mm,作加速度多边形, 如图8用加速度影象法求得 a a4 20.5 ×0.2m/s2 4.1 m/s2 a b a a4 ×lo4b/lo4a 7.1 m/s2取构件5为研究对象，列加速度矢量方程，得 ac ab + acbn + acbτ大小 √ √ 方向 ∥xx √ c→b ⊥bc其加速度多边形如图8所示knn算法的matlab实现，同理有 ac 36.5×0.2 7.3 m/s22.2.3、取曲柄在[10]位置，进行速度分析取构件3和4的重合点a进行速度分析。在你物色到一个对象时，先不要着急加他，请先看看他的最近更新状态，这样在打招呼的时候就有方法了，比如对方最近心情比较低落，那么你在打招呼的时候就可以说“天干物燥，情绪不好，身体重要”等等，这里只是举个例子，这样比一些傻帽的“你好”，“求交往”等等这些无脑的办法好很多，因为你是经过“调查”的，好的打招呼方式可以让对方立马对你有好感。

[plain] view plain copy

>> x(n,:)

ans =

5.0000 1.5000

4.9000 1.5000

4.9000 1.5000

5.1000 1.5000

5.1000 1.6000

4.8000 1.4000

5.0000 1.7000

4.7000 1.4000

4.7000 1.4000

4.7000 1.5000

KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。例如下面的代码告诉我们，待查询点的邻接中有80%是versicolor类型的鸢尾花，所以如果采用KNN来进行分类，那么待查询点的预测分类结果就应该是versicolor类型。

[plain] view plain copy

>> tabulate(species(n))

Value Count Percent

virginica 2 20.00%

versicolor 8 80.00%

任何两个相邻透镜单元之间均以一个盲区和可见区相间隔，它们断续而不重叠和交叉，如图3b。二、“很”类程度副词研究成果“很”类程度副词的研究成果,大致分为两类:一类是宏观研究,即研究作为整体的程度副词所具有的类别性特点,对“很”类程度副词的范围、分类、作用、语义指向、重叠等各专项专题作综合研究。适用于样本容量比较大的类域的自动分类，而样本容量较小的类域则容易误分。

我们还要说明在Matlab中使用KDTreeSearcher进行最近邻搜索时，距离度量的类型可以是欧拉距离（'euclidean'）、曼哈顿距离（'cityblock'）、闵可夫斯基距离（'minkowski'）、切比雪夫距离（'chebychev'），缺省情况下系统使用欧拉距离。你甚至还可以自定义距离函数，然后使用knnsearch()函数来进行最近邻搜索，具体可以查看MATLAB的帮助文档，我们不具体展开。

三、利用kNN进行数据挖掘的实例

下面我们来演示在MATLAB构建kNN分类器，并以此为基础进行数据挖掘的具体步骤。首先还是载入鸢尾花数据，不同的是这次我们使用全部四个特征来训练模型。

[plain] view plain copy

load fisheriris

X = meas; % Use all data for fitting

Y = species; % Response data

然后使用fitcknn()函数来训练分类器模型。

[plain] view plain copy

>> Mdl = fitcknn(X,Y)

Mdl =

ClassificationKNN

ResponseName: 'Y'

CategoricalPredictors: []

ClassNames: {'setosa' 'versicolor' 'virginica'}

ScoreTransform: 'none'

NumObservations: 150

Distance: 'euclidean'

NumNeiors: 1

你可以看到默认情况下，最近邻的数量为1，下面我们把它调整为4。

[plain] view plain copy

Mdl.NumNeiors = 4;

或者你可以使用下面的代码来完成上面同样的任务：

[plain] view plain copy

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-106253-1.html