Perceptron(A Perceiving and Recongnizing Automaton)
퍼셉트론은 모든 학습 데이터를 정확히 분류시킬 때까지 학습이 진행되기 때문에 학습 데이터가 선형적으로 분리될 수 있을 때 적합한 알고리즘이다.
퍼셉트론 합습 규칙
1. 가중치를 0또는 랜덤한 작은 값으로 초기화 합니다.
2. 각 훈련 샘플 x(i)에서 다음 작업을 합니다.
a. 출력 값 y를 계산합니다.
b. 가중치를 업데이트 합니다.
퍼셉트론은 학습률이 충분히 작고, 선형적으로 구분될 때문 수렴이 보장된다.
성형 결정 경계로 나눌 수 없다면, 훈련 데이터셋을 반복할 에포크(epoch)를 지정하고
분류 허용 오차를 지정할 수 있다. (그렇지 않으면, 무한루프에 빠짐)
perceptron.py
import numpy as np
### class
class Perceptron(object):
def __init__(self, eta=0.01, n_iter=50, random_state=1):
self.eta=eta
self.n_iter=n_iter
self.random_state=random_state
def fit(self, X, y):
rgen=np.random.RandomState(self.random_state)
self.w_=rgen.normal(loc=0.0, scale=0.01, size=1+X.shape[1])
self.errors_=[]
for _ in range(self.n_iter):
errors=0
for xi, target in zip(X, y):
update=self.eta*(target -self.predict(xi))
self.w_[1:]+=update*xi
self.w_[0]+=update
errors+=int(update!=0.0)
self.errors_.append(errors)
return self
def net_input(self, X):
return np.dot(X, self.w_[1:])+self.w_[0]
def predict(self, X):
return np.where(self.net_input(X)>=0.0, 1, -1)
### get data ###
import os
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
s=os.path.join('http://archive.ics.uci.edu', 'ml','machine-learning-databases','iris','iris.data')
df=pd.read_csv(s,header=None, encoding='utf-8')
y=df.iloc[0:100,4].values
y=np.where(y=='Iris-setosa',-1,1)
X=df.iloc[0:100,[0,2]].values
plt.scatter(X[:50,0],X[:50,1], color='red', marker='o', label='setosa')
plt.scatter(X[50:100,0],X[50:100,1],color='blue', marker='x', label='versicolor')
plt.xlabel('sepal lenght [cm]')
plt.ylabel('petal length [cm]')
plt.legend(loc='upper left')
plt.show()
np.linalg.norm(v1) // 벡터의 크기
np.arcos
ppn=Perceptron(eta=0.1, n_iter=10)
ppn.fit(X,y)
plt.plot(range(1,len(ppn.errors_)+1), ppn.errors_, marker='o')
plt.xlabel('Epochs')
plt.ylabel('Number of update')
plt.show()
2차원 데이터셋 결정 경계를 시각화
from matplotlib.colors import ListedColormap
import matplotlib.pyplot as plt
def plot_decision_regions(X,y, classifier, resolution=0.02):
markers=('s','x','o', '^','v')
colors=('red','blue','lightgreen','gray','cyan')
cmap=ListedColormap(colors[:len(np.unique(y))])
x1_min,x1_max=X[:,0].min()-1, X[:,0].max()+1
x2_min,x2_max=X[:,1].min()-1, X[:,1].max()+1
xx1,xx2=np.meshgrid(np.arange(x1_min, x1_max, resolution), np.arange(x2_min, x2_max, resolution))
Z=classifier.predict(np.array([xx1.ravel(),xx2.ravel()]).T)
Z=Z.reshape(xx1.shape)
plt.contourf(xx1,xx2,Z,alpha=0.3, cmap=cmap)
plt.xlim(xx1.min(), xx1.max())
plt.ylim(xx2.min(), xx2.max())
for idx, cl in enumerate(np.unique(y)):
plt.scatter(x=X[y==cl, 0],y=X[y==cl,1],alpha=0.8, c=colors[idx], label=cl, edgecolor='black')
plot_decision_regions(X,y,classifier=ppn)
plt.xlabel('sepal length [cm]')
plt.ylabel('petal length [cm]')
plt.legend(loc='upper left')
plt.show()
