k-nearest neighbor

Fix ve Hodges tarafından 1951 yılında uzaklık ve benzerlik özelliklerine dayanarak sınıflandırma yapmak için oluşturulmuş basit makine öğrenme tekniklerinden biridir. Bu algoritmada öncelikle sınıfı bilinen eğitim örnekleri mevcut bulunmaktadır. Sınıfı belirlenmek istenen yeni test örneğinin diğer tüm noktalara uzaklığı hesaplanır. Bu hesaplamayı yaparken Öklid Uzaklığı, Simple Matching Distance, Jaccard Distance gibi farklı uzaklık ölçüm tekniği kullanılabilmektedir. Daha sonra hesaplanan uzaklıklar içerisinden araştırmacının daha önceden belirlemiş olduğu k değeri kadar en küçük uzaklık değerine sahip noktalar tespit edilir. Örneğin; araştırmacı tarafından k=3 alındığında test edilen örneğe en yakın 3 komşu noktaya bakılarak sınıf belirlenmektedir. Belirlenen bu noktalar içerisinden en sık tekrar eden sınıf içerisine test edilen nokta atanarak k-En Yakın Komşu algoritmasıyla sınıflandırma gerçekleştirilmiş olur.