Press "Enter" to skip to content

数学建模 – K-means聚类

 

解决问题

 

将样本划分为由类似的对象组成的多个类的过程(聚类)。

 

聚类后,可以更加准确的在每个类中单独使用统计模型进行估计、分析或预测;也可以探究不同类之间的相关性和主要差异。

 

(KMeans本质上是一种基于欧式距离度量的数据划分方法)

 

ps. 分类是已知类别的,聚类未知。

 

算法流程

 

K-means聚类算法:

 

 

    1. 指定需要划分的簇的个数K值(类的个数);

 

    1. 随机地选择K个数据对象作为初始的聚类中心(不一定要是我们的样本点);

 

    1. 计算其余的各个数据对象到这K个初始聚类中心

 

    1. 的距离,把数据对象划归到距离它最近的那个中心所

 

    1. 处在的簇类中;

 

    1. 调整新类并且重新计算出新类的中心;

 

    1. 循环步骤三和四,看中心是否收敛(不变),如

 

    1. 果收敛或达到迭代次数则停止循环;

 

    1. 结束

 

 

公式过程:k-means聚类算法

 

模型特性

 

K-means聚类优点:

 

(1)算法简单、快速。

 

(2)对处理大数据集,该算法是相对高效率的。

 

当簇是密集的、球状或团状的,且簇与簇之间区别明显时,聚类效果较好 。

 

K-means聚类缺点:

 

(1)要求用户必须事先给出要生成的簇的数目K。

 

(2) 对初值敏感。

 

(3) 对于孤立点数据敏感。

 

ps. K‐means++算法 可解决2和3这两个缺点。

 

K-means++算法选择初始聚类中心的基本原则是:

 

初始的聚类中心之间的相互 距离 要尽可能的 远 。(只对K-means算法“ 初始化K个聚类中心 ” 这一步进行了优化)

 

即进行预处理优化:

 

步骤一:随机选取一个样本作为第一个聚类中心;

 

步骤二:计算每个样本与当前已有聚类中心的最短距离(即与最近一个聚类中心的距离),这个值越大,表示被选取作为聚类中心的概率较大;

 

最后,用轮盘法(依据概率大小来进行抽选)选出下一个聚类中心;

 

步骤三:重复步骤二,直到选出K个聚类中心。选出初始点后,就继续使用标准的K-means算法了。

 

使用方法

 

 

利用Spss软件

 

默认使用的是 K-means++算法

 

利用matlab软件

 

 

X2 = zscore(X);      % zscore方法标准化数据  
Y2 = pdist(X2);      % 计算距离(默认欧式距离)
Z2 = linkage(Y2);    % 定义变量之间的连接,用指定的算法计算系统聚类树
T = cluster(Z2,6);   % 创建聚类
H = dendrogram(Z2);  % 作出系谱图(散点聚类图看腻了,这里画个系谱图)

 

结合 MATLAB 中的一些函数,结果作出系谱图

 

ps. MATLAB 以及 sklearn 也提供了相应的 kmeans() 函数可供直接聚类使用

 

from 5 分钟带你弄懂 K-means 聚类

 

注意事项

 

a. 聚类个数(K值)

 

分几类主要取决于个人的经验与感觉,通常的做法是多尝试几个K值,看分成几类的结果更好解释,更符合分析目的等。(即提前应该要知道分类数目)

 

ps. 如果不能提前判断要分几类,可以采用 系统(层次)聚类算法 。

 

b. 数据量纲

 

如果数据的量纲不一样,那幺算距离时就没有意义。例如:如果X1单位是米,X2单位是吨,用距离公式计算就会出现“米的平方”加上“吨的平方”再开平方,最后算出的东西没有数学意义,这就有问题了。

 

所以应该先进行数据的预处理( 标准化处理 )

 

可以直接利用spss实现:

 

c. 分类与聚类区别

 

分类:类别是已知的,通过对已知类别的数据进行训练和学习,找到这些不同类的特征,再对未知类别的数据进行分类。属于监督学习。

 

聚类:事先不知道数据会分为几类,通过聚类分析将数据聚合成几个群体。聚类不需要对数据进行训练和学习。属于无监督学习。

 

一般而言,是否有监督,就看输入数据是否有标签,输入数据有标签,则为有监督学习,否则为无监督学习。

 

d. 适用条件

 

KMeans方法只有在簇的平均值被定义的情况下才能使用,且对有些分类属性的数据不适合。

 

异常值会对均值计算产生较大影响,导致中心偏移,因此对于”噪声”和孤立点数据最好能提前过滤 。

 

e. 对于K值的选择

 

from K-Means算法之K值的选择

 

f. 簇的形式

 

from K-means聚类算法

 

g. 与其他聚类算法的比较

 

k-means聚类算法优缺点?

 

参考资料

 

清风数学建模

 

k-means聚类算法

 

5 分钟带你弄懂 K-means 聚类

 

K-Means算法之K值的选择

 

K-means聚类算法

 

k-means聚类算法优缺点?

 

机器学习,KMeans聚类分析详解

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注