python的knn算法list_机器学习实战学习笔记1——KNN算法

一、KNN算法概述：

1.KNN算法的工作原理是：

(1)存在一个训练样本集，并且知道样本集中每一数据与所属分类的对应关系，即每个数据都存在分类标签。(2)若此时输入不带标签的新数据之后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后用算法提取出样本集中特征最相似数据的分类标签。(3)最后，选择K个(可根据实际情况自由选择不大于20的整数)最相似数据中出现次数最多的分类，作为新数据的分类。

2.KNN算法优缺点：

(1)优点：精度高、对异常值不敏感、无数据输入假定。(2)缺点：计算复杂度高、空间复杂度高。适用范围：数值型和标称型数据。

二、KNN算法实战1：以电影分类为例

1.数据预处理

为了便于测试，在给原始数据贴标签时，只分为两类。具体python代码如下所示：fromnumpyimport*importoperatordefcreateDataSet():

group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])

labels=['A','A','B','B']returngroup,labels

2.对未知类别属性的数据集中的每个点依次执行以下操作：

(1)计算已知类别数据集中的点与当前点之间的距离；(2)按照距离递增次序排序；(3)选取与当前点距离最小的K个点；(4)确定前K个点所在类别出现的频率；(5)返回前K个点出现频率最高的类别作为当前点的预测分类。

3.KNN算法实现：defclassify0(inX,dataSet,labels,k):

dataSetSize=dataSet.shape[0]#第一步，计算欧式距离

diffMat=tile(inX,(dataSetSize,1))-dataSet

sqDiffMat=diffMat**2

sqDistances=sqDiffMat.sum(axis=1)

distances=sqDistances**0.5

sortedDistIndicies=distances.argsort()

classCount={}foriinrange(k):

voteIlabel=labels[sortedDistIndicies[i]]

classCount[voteIlabel]=classCount.get(voteIlabel,0)+1

sortedClassCount=sorted(classCount.iteritems(),

key=operator.itemgetter(1),reverse=True)returnsortedClassCount[0][0]

测试：

三、KNN算法实战2：手写识别数字

1.数据预处理

本次构建基于KNN算法的手写识别系统需要两个数据集trainingDigits 和 testDigits，其中trainingDigits数据集包含约2000个样本，用来训练分类器；testDigits数据集包含约900个样本，用来测试分类器的效果。

实现代码如下所示：defimg2vector(filename):

returnVect=zeros((1,1024))

fr=open(filename)foriinrange(32):

lineStr=fr.readline()forjinrange(32):

returnVect[0,32*i+j]=int(lineStr[j])returnreturnVect

2.用KNN算法识别手写数字defhandwritingClassTest():

llLabels=[]

trainingFileList=listdir('trainingDigits')

m=len(trainingFileList)

trainingMat=zeros((m,1024))foriinrange(m):

fileNameStr=trainingFileList[i]

fileStr=fileNameStr.split('.')[0]

classNumStr=int(fileStr.split('_')[0])

llLabels.append(classNumStr)

trainingMat[i,:]=img2vector('trainingDigits/%s'%fileNameStr)

testFileList=listdir('testDigits')

errorCount=0.0

mTest=len(testFileList)foriinrange(mTest):

fileNameStr=testFileList[i]

fileStr=fileNameStr.split('.')[0]

classNumStr=int(fileStr.split('_')[0])

vectorUnderTest=img2vector('testDigits/%s'%fileNameStr)

classifierResult=classify0(vectorUnderTest,\

trainingMat,llLabels,3)print"theclassifiercamebackwith:%d,therealansweris:%d"\

%(classifierResult,classNumStr)if(classifierResult!=classNumStr):

errorCount+=1.0

print"\nThetotalnumberoferrorsis:%d"%errorCountprint"\nThetotalerrorrateis:%f"%(errorCount/float(mTest))

测试结果：

四、小结

KNN算法是分类数据最简单有效的算法，是基于实例的学习，但在使用算法时必须有接近实际数据的训练样本数据。如果训练数据集较大时，必须要使用大量的存储空间和计算时间。

#转载请注明出处 《少有人走的路》勇哥的工业自动化技术网站。如果需要本贴图片源码等资源，请向勇哥索取。