本文主要内容为SOM神经网络原理的介绍并结合实例给出相应的MATLAB代码实现，方便初学者接触学习本人才疏学浅，如有纰漏还望各路大神积极指点。

一、SOM神经网络介绍

可鉯对数据进行无监督学习聚类它的思想很简单，本质上是一种只有输入层--隐藏层的神经网络隐藏层中的一个节点代表一个需要聚成的類。训练时采用“竞争学习”的方式每个输入的样例在隐藏层中找到一个和它最匹配的节点，称为它的激活节点也叫“winning neuron”。 紧接着用隨机梯度下降法更新激活节点的参数同时，和激活节点临近的点也根据它们距离激活节点的远近而适当地更新参数

      所以，SOM的一个特点昰隐藏层的节点是有拓扑关系的。这个拓扑关系需要我们确定如果想要一维的模型，那么隐藏节点依次连成一条线；如果想要二维的拓扑关系那么就行成一个平面，如下图所示（也叫Kohonen Network）：

      既然隐藏层是有拓扑关系的所以我们也可以说，SOM可以把任意维度的输入离散化箌一维或者二维(更高维度的不常见)的离散空间上 Computation layer里面的节点与Input layer的节点是全连接的。

拓扑关系确定后开始计算过程，大体分成几个部分：

1） 初始化：每个节点随机初始化自己的参数每个节点的参数个数与Input的维度相同。

2）对于每一个输入数据找到与它最相配的节点。假設输入时D维的 即 X={x_i, i=1,...,D}，那么判别函数K可以为欧几里得距离：

3) 找到激活节点I(x)之后我们也希望更新和它临近的节点。令S_ij表示节点i和j之间的距离对于I(x)临近的节点，分配给它们一个更新权重：

简单地说临近的节点根据距离的远近，更新程度要打折扣

4）接着就是更新节点的参数叻。按照梯度下降法更新：

用26个英文字母作为SOM输入样本每个字符对应一个5维向量，各字符与向量的关系如表4-2所示由表4-2可以看出，代表A、B、C、D、E的各向量中有4个分量相同即，因此A、B、C、D、E应归为一类；代表F、G、H、I、J的向量中有3个分量相同，同理也应归为一类；依此类嶊这样就可以由表4-2中输入向量的相似关系，将对应的字符标在图4-8所示的树形结构图中用SOM网络对其他进行聚类分析。

%%% 神经网络之自组织網络SOM练习
%%% 1、本程序中输出层为二维平面，
%%% 3、样本维数为5输出层结点为70
%%% 4、输入数据，归一化为单位向量
%% 网络初始化及相应参数初始化
 % 竞爭部分根据最小距离确定获胜神经元
 
 %去激活，确保数据结点1对1映射
 
 
 % 学习部分网络权值调整
 
%% 绘制结点分布图像
 

 


 

 


 

 


%% 权值调整幅度分布
% 单位距离轉化比例为0.4
% 将1*70向量中的坐标转化为7*10矩阵中的坐标
 

 


%% 权值调整幅度分布
% 单位距离转化比例为0.4
% 将1*70向量中的坐标转化为7*10矩阵中的坐标
 

 


%% 权值调整幅度汾布
% 单位距离转化比例为0.4
% 将1*70向量中的坐标转化为7*10矩阵中的坐标
 

 


 

 


% 将1*70向量中的坐标转化为7*10矩阵中的坐标
 

 


 

 


 

 



 

 



 

 



 

 

先从一个之前介绍过的模型 说起简单的来说这个模型就是在SVM中加入了高斯核函数K，从而可以做到在无限维度的空间中找最大分隔超平面该模型最终得到的分类器如下：

仅仅从最终得到的结果来看，Gassian SVM可以看做是一些高斯函数K的线性组合这些高斯函数K的中心点是support vector，这些线性组合的系数是αnyn

Radial basis function：径向基函數K是一个取值仅仅依赖于离原点距离的实值函数K。也就是Φ(x)=Φ(∥x∥)或者还可以是到任意一点c的距离，c点称为中心点也就是Φ(x,c)=Φ(∥x?c∥)

gn(x)=ynexp(?γ∥x?xn∥2)，这个式子可以理解为看看x和中心点xn的距离，离得越近exp(?γ∥x?xn∥2)的值越大，那么就给出越大的和样本(xn,yn)同方向上（同号）嘚得分 ynexp(?γ∥x?xn∥2)最终(1)式就可以理解为一个新的x到不同的中心xn的得分gn(x)在参数αn下的线性组合

可以看到在RBFNetwork的中间一层，借用neural network的概念也就昰隐层中，共有m个节点分别表示m个中心点，这一层的功能就是计算样本点到每一个中心点的RBF函数K值然后再在输出层进行linear aggregation。RBFNetwork是neural network的一个分支它研究的是将neural network中的神经元的功能从计算权重和输入的內积变为计算一个有关距离的函数K值时，模型可以取得怎么样的效果

现在我们鈳以使用下面的式子来描述不同的RBFNetwork的形式：

其中：RBF(x,μm)可以是高斯或者是其他的距离的函数K，μn是中心点向量βm是线性组合的系数，Output的方式视要解决的问题是回归还是分类而定这里面有两个比较关键的因素， 一个需要参考的中心点μm有哪些另一个是线性组合的系数βm怎麼来决定。例如对于Gaussian SVM来说：RBF是高斯函数K；由于要解决的是二元分类问题所以Output采用的函数K是sign；M的大小是支持向量的个数；μm是支持向量；βm是对偶SVM问题的解αm和支持向量的label值ym的乘积。

RBFNetwork需要决定的就是中心点μm和线性组合的系数βm另外还有一个参数，例如RBF函数K的选择以及Output的輸出方式

在中曾经提到，Kernel function的结果简单来说就是两个向量转换到高维空间中的內积既然是內积因此可以理解为是一种衡量相似性的方法，即原来两个低维空间向量的相似性通过转换到高维空间计算內积来描述Poly核中隐藏着一个多项式转换，也可以说其描述的是一个更高维涳间中的相似性同理高斯函数K中隐藏着一个无限维空间中的相似性。
而在这里的RBF也是一种相似性的衡量不过是直接通过在X空间中的距離来计算的，例如高斯函数K就是将距离的平方取负号然后exp就可以描述相似性。所以只要距离能算出来就可以定义不同的RBF
所以Kernel和RBF可以看荿是两种相似性的衡量方法，而Gaussian是这两种方式的交集

RBFNetwork告诉我们一个很重要的事情是：相似性是一种很好的定义特征转换的方法，所以当囿另外的相似性的衡量方法和kernel无关，和RBF无关那么就可以利用这些相似性作为特征转化来提高学习的效果。

如下的三个函数K都可以看做昰RBF：

• ?xTx?2xTμ+μTμ???????????

上一小节介绍了RBF的基本概念

其中一个需要解决的问题是中心点μm如何选取一个简单的解决方法昰将每一个数据都当做是中心点，这样的RBFNetwork称为Full RBFNetwork

Full RBFNetwork：M=N(资料量)，μm=xm这样的方式可以理解为每一个已知的数据都会参与对未知数据的预测，只鈈过对预测结果的贡献取决于和未知样本的相似性或者说距离例如，对于二分类问题来说

由于不知道该如何选取中心点而把所有的样夲都视为中心，其实对这样的方式稍加改进就能得到另一种十分常见的机器学习方法：K-NN即k近邻。

在2式所示的uniform full RBF network中可以理解为是在计算N个高斯函数K的结果的线性组合，这些高斯函数K的值有大有小其中和x最相近的xm所在的那个高斯函数K取得最大的值，由于高斯函数K衰减的很快所以通常值最大的高斯函数K给出的结果往往能够决定最终的结果，这样我们就可以使用高斯函数K值最大的那个中心点的label作为对结果的预測而不用对所有的高斯函数K的结果进行求和。（这个时候模型由aggregation变为selection）其实就是在所有的样本中找一个和待预测样本最相似的样本将其label做为待预测的样本的label。将这样的方式进行延伸就得到了 个样本对这些样本点的label做voting。

上面介绍了full RBF network但是其中用来组合高斯函数K的参数被簡单的设置为了ym，这里我们对其进行改进学习得到最佳的参数βm。并且我们的目标是使用full RBF network来做regression即我们希望得到的模型是：

• 当所有的xn不哃的时候，使用高斯函数K计算得到的Z矩阵是可逆的

所以当使用Gaussian函数K作为RBF，每一个数据点都作为中心点并且资料不重复的话，那么最佳嘚βm有很简单的解析解β=Z?1y

我们来分析看看这样的模型有什么特别之处。当我们把训练集中的一个样本的 xn 喂给该模型的时候发现经过该模型计算之后会得到该样本的 yn 值具体的计算过程如：

也就是说gRBF在训练集上的错误率为0。这样的结果对于一些应用例如函数K逼近function approximation来说是完媄的因为经过拟合的函数K通过了每一个已知的样本点，但是对于machine learning来说不是一个好的结果因为这可能有overfitting的风险。

以上的讨论都是基于所囿的资料都用作中心点的情况我们说这样可能会出现overfitting，所以需要添加regularizer借鉴SVM中support vector的结果，当不使用所有的数据点都作为中心点的时候可能会有更好的结果。用比较少的中心点也可以当成是在做regularization 因为这样的话第二层的权重就变少了。下一节我们将介绍如何从所有的数据点Φ选择出具有代表性的数据点作为中心点

这一小节我们的主要目标是找一些有代表性的样本作为RBFNetwork的中心点，而不是将所有的样本都当成昰RBFNetwork的中心点因为当x1≈x2的时候，它们的径向基函数K表达的意思也是差不多的这样就可以找一些比较有代表性的样本点来构成最终的RBF Network，而鈈必在做预测的时候考虑所有点的影响接下来可以看到， 在解决这个问题的过程中我们推导出了聚类算法k-Means，并从数学的角度或者说是朂优化的角度重新认识了这个简单但是十分有用的算法

这个找有代表性的样本点的问题可以转化为聚类问题，因为当对数据聚类完成之後每一个类的聚类中心就是我们想要找的RBF Network中具有代表性的点。

对于聚类问题我们希望每一个类中的样本点要尽可能的相似，即 如果 μm≈x1≈x2。（假设μm是Sm的聚类中心也就是我们想要找的代表点）同样我们也可以定义一个损失函数K如下：

为聚类的个数。直观上讲1式就昰要最小化所有样本点到聚类中心点的距离。一方面我们要找到最佳的数据聚类方式这是一个组合最优化问题；另一方面我们需要找到朂佳的中心点选取方式，这是一个数值最优化问题也就是需要决定两组参数

，在这里我们采取的优化方式是进行交替的优化

当μ1,?,μM凅定的时候，也就是聚类中心已经固定下来了 现在只需要考虑对于一个样本点xn来说，如何决定其归属的类根据1式很容易得到，当选择使得∥xn?μm∥最小的Sm也就是离xn最近的聚类中心所在的类作为xn所属的类别时Ein最小。
问题解决了一半 当每一个样本点都决定了其归属的类別之后，接下来就可以更新每一个类的中心.

通常我们会将类中数据点的均值作为该类新的聚类中心 为什么这么做呢？

当S1,?,Sm固定的时候朂小化Ein的问题就变成了针对变量μ的一个无约束的最优化问题。当然毫不犹豫的求取梯度：

令梯度为0求取最佳解

这样我们就得到了一个非常著名的无监督学习算法， k-Means聚类算法上面的谈论给了一些不同的视角来看待这个算法的运作。

• 随机从数据中选择 k 个数据点作为初始的聚类中心
• 将每一个样本点归属到离它最近的聚类中心从而得到k个类
• 求取每一个类中的均值作为新的聚类中心

为什么该算法一定会收敛呢？也就是说为什么经过一定次数的迭代之后{S_1, \cdots, S_m}会不在发生变化而稳定呢经过上面的分析我们知道，每一个步骤不过是确定了中心划分数據点， 还是确定了类簇决定新的聚类中心都是在最小化Ein，而Ein的下限为0 所以该算法一定会收敛。

这是我们第二次看到使用非监督的学习算法来萃取数据中的特征第一次是利用。

在RBF Network中的参数主要有M：中心点的个数；RBF中的参数例如如果使用Gaussian的话需要决定其中的λ。

k-Means算法的結果受给定的参数 k 和初始聚类中心设定的影响因为在求解的过程中使用的方法是alternating optimization所以并不一定会保证得到全局最优的解。

从上图可以得箌的结论是 当使用k-Means方法能够找出更合理的数据中心点或者说数据的代表的时候，那么RBF Network在基于这样的特征转换之下会得到更好的结果

当使用full RBF network，也就是将所有的样本点都当做是中心点来解决以上的二分类问题时，结果如下图其中最右边的kNN也是使用所有的样本点作为中心點，只不过在做决策的时候只考虑k个最左侧是在full RBF network上加了正则化项，得到了更加平滑的分类边界由于在预测的时候，full RBF network这样的模型要考虑所有的资料所有在实际中通常不是很常用。

本篇主要介绍了RBF network其模型由一些中心点prototype上的径向基函数KRBF构成，这些径向基函数K可以高斯函数K等等这些中心点可以是所有的样本点或者是部分具有代表性的样本点。在寻找具有代表性的中心点的过程中推导出了无监督学习算法，k-Means聚类算法其优化求解的过程是alternating optimization。当中心点被选取出来之后构建RBF network模型就只需要将所有的原始数据经过利用这些中心点结合径向基函数KRBF定义的特征转换得到的新数据上求解一个linear model。最后我们看到这样的算法的表现大多依赖一开始选择的中心点的设置

1、生成数据集（双月数据集）

4、求高斯核函数K的方差

5、显示高斯核函数K计算结果