[남독] 친절한 딥러닝 수학

친절한 딥러닝 수학

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

딥러닝은 몇 년 전부터 4차 산업 혁명의 핵심 기술인 인공지능의 하위 항목으로 대두되는 기술이다. 인공지능은 소위 말하는 컴퓨터를 사용하는 알고리즘(문제 해결을 위해 순차적인 연산을 통해 결과를 만들어 내는 프로그램)의 일종이고, 그 안에는 크게 데이터 기반으로 만들어지는 머신러닝(기계학습)과 규칙 기반의 알고리즘들이 있다. 머신러닝 안에는 문제의 유형이나 데이터의 성격에 따라 수많은 학습 방법들이 존재한다. 그중에는 신경망으로 대표되는 딥러닝 또한 포함되어 있다.

딥러닝은 신경세포가 하는 역할을 모사하여 수학적인 모델로 만든 것이 그 시작이다. 여러 차례의 인공지능에 겨울이 찾아왔지만, 컴퓨터 하드웨어의 급격한 발전과 폭발적으로 늘어난 빅데이터, 그리고 결정적으로 고정관념의 탈피로 인해 극복할 수 있었다.

첫 번째 겨울은 단일 신경망인 퍼셉트론(Perceptron)이 복잡한 문제를 해결하기 어렵다는 데에서 나왔다. 소위 말하는 XOR 문제였다. <친절한 딥러닝 수학>에서는 XOR문제를 조금 더 알기 쉬운 상황에 대입해서 이야기해준다. 바로 "정사각형 찾기 문제"이다. 이를 풀기 위해선 너비와 높이가 특정 지점에 있는 사각형들을 찾아야 하는데, 하나의 퍼셉트론 만으로는 필요한 부분을 모두 감쌀 수가 없었다. 이를 해결하는 방법은 사실 너무 단순하였는데, 그 이상의 퍼셉트론을 사용함으로 간단히 해결되었다. 즉, 다층 퍼셉트론(Multi-Layer Perceptron), 딥러닝의 본격적인 시작이었다.

두 번째는 조금 어려운 말이지만, 경사 소실(Gradient Vanishing) 문제이다. 신경세포 모사의 너무나도 최선을 다한 나머지, 시그모이드(sigmoid)라는 특수한 형태의 활성 함수를 사용한 것이 문제였다. 활성 함수는 간단히 말해 생물학 시간에 배운 적이 있을법한 "역치"와도 비슷한 이야기이다. 일정 수준 이상의 입력이 들어와야 활성화시켜주는 함수인 것이다. 이를 통해 다층 퍼셉트론이 복잡한 문제도 해결할 수 있도록 도와주는 역할을 한다. 하지만 시그모이드라는 함수의 문제는 "학습"단계에서 큰 문제를 마주하는데, 너무 작거나 큰 값이 들어오게 되면 기울기가 0으로 수렴해버리는 문제이다. 이를 해결하기 위해 사용된 방법 또한 간단하면서 결정적이었다. 바로 단순한 형태의 ReLU(Rectified Linear Unit), 정류된 선형 유닛을 사용한 것이다. ReLU는 아주 간단한 방법으로 활성 함수 역할을 수행하는데, 단순히 0보다 작으면 무시하고, 0보다 크면 원래의 값을 그대로 출력하는 방식이다. 이는 시그모이드에 비해 훨씬 간단한 모양이면서, 기울기가 0이 되어버리는 문제를 일정 부분 해결해 주었다.

https://hsf-training.github.io/hsf-training-ml-webpage/03-nn/index.html

그 이후에 찾아온 겨울들은 학습에 걸리는 시간에 대한 문제와 많은 데이터의 부재에 의해 나타났었는데, 이 부분들은 시간이 크게 해결해 주었다.

<친절한 딥러닝 수학>은 책 제목 대로 쉽지는 않고, 친절하게 이러한 딥러닝에 대해 알려준다. 배경 지식에 상관없이 모두가 가볍게 읽을만한 책은 아니다. 개인적으로는 이과생, 그중에서도 수식과 프로그래밍에 대해 많이 접할 수 있는 학부에 다니고 있는 대학생 이상이 딥러닝에 처음 입문한다면 적당하게 읽을만한 책이라고 생각이 된다. 하지만 친절할 필요가 없다고 생각이 된다면, <밑바닥부터 시작하는 딥러닝> 책을 강력 추천한다.