퍼셉트론 알고리즘(Perceptron Algorithm)

퍼셉트론 알고리즘이란? 1957년 프랑크 로젠블라트(Frank Rosenblatt)에 의해 고안된 알고리즘으로서 현대 신경망(딥러닝)의 기원이 되는 알고리즘이다.

2.1 퍼셉트론이란?

다수의 신호를 입력 받아 하나의 신호를 출력.
신호란? 전류나 강물처럼 흐름이 있음.
흐름에 관한 신호로 '흐른다/안 흐른다'로 구분되는 두가지 '1/0'으로만 구분.
1 = 신호가 흐른다. 0 = 신호가 흐르지 않는다로 설정.

2.1.2 퍼셉트론 수식

y= \begin{cases} 0 & ( w_1x_1 + w_2x_2 \leq \theta)\\ 1 & ( w_1x_1 + w_2x_2 > \theta)\\ \end{cases}

복수의 입력 신호에 각각의 고유한 가중치를 부여. 가중치는 각 신호가 결과에 주는 영향력을 조절하는 요소로 작용. "가중치가 클수록 해당 신호가 그만큼 더 중요함"

2.2 단순한 논리 회로

AND 게이트 구현

$x_1$	$x_2$	$y$
0	0	1
1	0	0
0	1	0
1	1	1

위와 같은 결과를 출력하기 위해 다양한 매개변수 조합 가능.

(w_1, w_2, \theta) - (0.5, 0.5, 0.7) - (0.5, 0.5, 0.8) - (1.0, 1.0, 1.0)

모두 AND 게이트의 조건 만족

NAND 게이트 구현

$x_1$	$x_2$	$y$
0	0	1
1	0	1
0	1	1
1	1	0

(w_1, w_2, \theta) = ( -0.5, -0.5, -0.7)

뿐만 아니라 더욱 다양한 조합 가능.

2.3 퍼셉트론 구현하기

def AND(x1, x2):
    w1, w2, theta = 0.5, 0.5, 0.7
    tmp = x1*w1 + x2*w2
    if tmp <= theta:
        return 0
    elif tmp > theta:
        return 1

AND(0, 0) # 0을 출력
AND(0, 1) # 0을 출력
AND(1, 0) # 0을 출력
AND(1, 1) # 1을 출력

2.3.2 가중치와 편향 도입

앞서 나온 퍼셉트론 수식을 확장을 위해 수정

y= \begin{cases} 0 & ( b + w_1x_1 + w_2x_2 \leq 0)\\ 1 & ( b + w_1x_1 + w_2x_2 > 0)\\ \end{cases}

b = 편향(bias), w1 & w2 = 가중치(weight)

새로 작성한 식을 바탕으로 해석하면, 퍼셉트론은 입력 신호에 가중치를 곱한 값과 편향을 합하여, 0이 넘으면 1, 아니면 0을 출력.

import numpy as np
def AND(x1, x2):
    x = np.array([x1, x2])
    w = np.array([0.5, 0.5])
    b = -0.7
    tmp = np.sum(w*x) + b
    if tmp <= 9:
        return 0
    else:
        return 1

2.4 퍼셉트론의 한계

XOR 게이트 구현은 함수 그림을 통해 나타낼 때, 직선을 이용해서 나타내기에는 불가능하다.

그러나, "곡선"을 활용하여 표현가능하다. 직선만을 이용하여 영역을 나눈 것을 "선형 영역"이라 하고, 곡선을 활용하여 영역을 나눈 것을 "비선형 영역"이라고 한다.

2.5 다층 퍼셉트론

XOR 게이트 구현은 "단층 퍼셉트론(single-layer perceptron)"으로는 불가능하다. 현재 까지 배운 퍼셉트론들은 모두 단층 퍼셉트론이고 이들은 모두 선형영역이다. 따라서, 앞서 구현한 퍼셉트론 논리 게이트들을 결합하여 "다층 퍼셉트론(multi-layer perceptron)"을 구현할 수 있다.

2.6 마무리

다층 퍼셉트론을 이용하여 "이론상" 2층 퍼셉트론으로 컴퓨터를 만들 수 있다. "비선형인 시그모이드 함수"를 활성화함수로 이용하여 임의의 함수로 표현 가능. 위에서 배운 퍼셉트론 함수는 신경망의 기초가 된다.

배운 내용 요약

퍼셉트론은 입출력을 갖춘 알고리즘이다. 입력을 주면 정해진 규칙에 따른 값을 출력한다.
퍼셉트론은 '가중치'와 '편향'을 매개변수로 설정한다.
퍼셉트론은 AND, OR 게이트등의 논리 회로를 표현할 수 있다.
XOR게이트는 단층 퍼셉트론으로는 표현할 수 없다.
2층 퍼셉트론을 이용하면 XOR 게이트를 표현할 수 있다.
단층 퍼셉트론은 직선형 영역만 표현할 수 있고, 다층 퍼셉트론은 비선형 영역도 표현할 수 있다.
다층 퍼셉트론은 (이론상) 컴퓨터를 표현할 수 있다.