参考大佬文章https://blog.csdn.net/c406495762/article/details/75172850
个人感觉KNN算法（K-NearestNeighbor）一种极其简单粗暴的分类方法，举一个例子，比如说你想知道一个人是不是喜欢打游戏，就可以观察他最亲密的几个朋友是不是都喜欢打游戏，如果大多数都喜欢打游戏，可以推测这个人也喜欢打游戏。KNN就是基于这种有点“物以类聚，人以群分”的简单粗暴的想法来进行分类的。
在给定一个训练数据集，再给定一个需要作出预测的数据，然后再在训练数据集中寻找k（这个就是KNN的K的由来）个与待预测数据最近（通常我们可以取欧氏距离作为距离的度量）的数据。最后选取k个数据中出现最多的分类作为待预测数据的分类。
欧氏距离：
我要评论
def KNN(inpudata,data_matrix,label_matrix,k):
'''
:param inpudata: 待预测的数据
:param data_matrix: 数据集
:param label_matrix: 数据集的标签
:param k: 寻找的近邻数
:return: 分类的结果
'''
datalen=data_matrix.shape[0]
inpudata=np.tile(inpudata,(datalen,1))#海伦约会的例子将数据变成(datalen,3)
sub=inpudata-data_matrix
sq=sub**2
sum=sq.sum(axis=1)#按行方向求和
distance=sum*0.5
sorteddisarg=distance.argsort()# 按距离从小到大排序的索引
classcount={}#记录各出现次数
for i in range(k):
vote=label_matrix[sorteddisarg[i]]# 第i个元素的类别
classcount[vote]=classcount.get(vote,0)+1 #给vote这个键的值加一，如果这个键不存在，则创建并设置默认值0
# key=operator.itemgetter(1)根据字典的值进行排序，为0根据字典的键进行排序
# reverse降序排序字典
result=sorted(classcount.items(),key=operator.itemgetter(1),reverse=True)
return result[0][0] #返回分类的结果
下面以海伦约会的例子来运用实现的KNN算法
海伦约会数据集下载
数据总共有1000行
特征
1.每年飞行里程数
2.玩游戏时间
3.每周消费的冰淇淋公升数
标签
1.didntLike
2.smallDoses
3.largeDoses
下面展示数据集的可视化结果：
由上图可见，海伦喜欢每年有适当飞行公里数的人（大概在40000左右），而且有一定游戏时间数的男人，但是不喜欢那种一直在外面飞的男人。下面我们给出3组数据然后使用KNN进行预测：
预测结果：
优点：1.只找离待预测点最近的K个值，对异常的值不敏感
2.理解与实现都很容易
缺点：1.计算量大，内存开销大
本文地址：https://blog.csdn.net/coolyuan/article/details/107527776
如对本文有疑问， 点击进行留言回复！！
Day03_数据类型介绍&Python运算符&IF分支
网友评论