폴리매스

Mathematics for AI #11

함수로 신경망 따라하기

*출제자의 한 마디*

저번 시간에는 행렬을 이용해 결괏값을 구하는 방법에 대해 간단히 살펴보았습니다. 결괏값을 미지수로 놓고 이에 대한 방정식을 세운 다음, 이를 벡터로 표현한 후 행렬로 나타내 미지수, 즉 결괏값을 쉽게 구하는 법을 알 수 있었습니다.  

이번 시간에는 함수를 통해 신경망을 구현하는 방법에 대하여 간단히 살펴봅시다.

--------------

함수로 신경망 따라하기 

딥러닝에 사용하는 인공신경망은 신경계의 기본 단위인 ‘뉴런’의 작동 원리를 이용해 만들었습니다. 뉴런의 수상돌기가 화학 신호를 받으면 축삭돌기로 전기 신호가 전달됩니다. 이것이 다시 화학 신호 형태로 축삭돌기 말단에서 다른 뉴런으로 전달되면서 몸에 반응이 일어납니다. 인공 뉴런도 여러 개의 입력신호 를 받아 하나의 신호 를 출력합니다.

또 뉴런은 일정 크기 이상의 자극이 주어져야 반응하는데, 이 자극의 크기를 임계값이라고 합니다. 인공 뉴런에서는 각 입력 신호에 고유한 가중치가 부여되는데, 가중치가 클수록 해당 신호가 중요하다는 뜻입니다. 입력 신호()를 미리 부여한 가중치()에 따라 계산한 후, 그 총합이 정해놓은 임계값을 넘으면 1을, 넘지 못하면 0을 출력합니다. 이런 함수를 계단함수라고 하고, 다음과 같이 나타냅니다.

계단 함수처럼 인공 뉴런의 출력을 결정하는 함수를 ‘활성화 함수’라고 합니다. 인공신경망 은 활성화 함수를 포함한 여러 개의 인공 뉴런 층으로 구성돼 있습니다.

인공신경망의 층을 구성하는 인공 뉴런을 ‘노드’라고 부르는데, 하나의 노드는 입력 신호 를 받아 다른 층으로 결과를 전달하는 하나의 함수로 볼 수 있습니다. 입력 신호 x를 받 아 y를 출력하는 경우는 y=wx+b로 나타낼 수 있죠. 여기서 w는 가중치, b는 함수가 더 정확한 결과를 내도록 돕는 편향입니다. 입력 신호가 두 개면 y=++b, 세 개면 y=+++b와 같이 나타냅니다. 다수의 입력 신호 , , …, 가 있는 경우에도 같은 방식으로 표현합니다.

출력값이 두 개인 경우는 행렬의 곱을 이용해 나타냅니다. 이때 는 i번째 노드에서 j번째 노드로 연결된 가중치를 의미합니다. 편의상 편향을 0으로 가정하면 다음과 같은 행렬과 그림으로 나타낼 수 있습니다.

                                               --------------

문제

입력 신호 x에 대한 함수 y=wx+b에서 가중치가 0.5, 편향이 -2일 때의 그래프를 그리고, 여기서 출력된 신호를 앞서 배운 계단함수에 다시 입력했을 때의 결과를 구해보자.

풀이에 필요한 SageMath 코딩 명령어

①

var('x')

y = 0.5*x-2

변수 x를 정의한 후 가중치 w=0.5, 편향 b=-2일 때의 함숫값 y를 수식으로 표현한다.

②

p1 = plot(y, (-10,10), color='red')

수식으로 나타낸 함수를 x가 -10에서 10 사이인 구간에서의 빨간색 그래프로 표현한다.

③

show(p1, aspect_ratio=1)

그래프를 출력한다. 이때 그래프의 가로세로 비율을 1:1로 맞춘다.

④

Step = piecewise([[(-10,0),0], [[0,10],1]])

plot(Step,(-10,10))

앞서 구한 출력값(y)을 입력했을 때의 계단함수를 그린다. 출력값이 0보다 작으면 0을, 0 이상이면 1을 내놓는다.

-끝-