Machine learning: 머신러닝, 딥러닝 차이는? 흐름 이해하기!

Machine learning, Deep learning

머신러닝, 딥러닝 큰 그림을 그려 보자! 

 

---

 

 요즘 모든 분야에서 안쓰이는 곳이 없는 Machine learning. 아, 그럼 Deep learning 은 뭐지? 인공지능은 또 뭐지? 라고 애매하게 넘어가는 부분이 있어서 한번 총체적으로 큰 그림을 그려보기로 했다. 아직 입문하지 않았거나, 입문의 초기 단계이면 이 글을 읽으면 도움이 될 것 같다. 나도 공부하면서 정리하는 거니까, 입문자의 마음으로 ㅎㅎ 

 

 

 머신러닝과 딥러닝의 경계는 어디일까? 머신러닝과 딥러닝의 차이는? 다층신경망에서 그 층의 개수를 바탕으로 Deep 함을 결정 짓는 것 같은데, 그 기준은 명확하지 않다고 했다. 어떤 사람은 한 층 만 쌓여도 딥이라고 한다고 한다...일단 그 경계는 명확하지 않고. 

 

 

 정보처리를 위해서 생물의 신경망을 도입했고, 그 발전은 80년대 Back-propagation 을 통해 엄청난 발전을 이룩했다. Back propagation 이란 Error cost 를 출력층에서 다시 입력층으로 전달시키며 그 node 들 사이의 weighted function 기울기를 계산하는 것이다. 다만 이것의 단점은 node 의 층수가 많아지면 over fitting 되고, 기울기가 소실되어 버리는 문제를 가지고 있다. 또한 각종 parameter 들이 어떻게 성능으로 연결되는지 확실히 규명하지 못한다는 점이 있었다. 즉, hidden node 가 많은 다층신경망에서는 한계점을 나타내었었지만 단층신경망에서는 확실히 그 효과를 본 셈이다. 

 

 

 

 

 

 

 그러나 이미지 처리를 대상으로 하는 CNN(convolutional neural network) 에서는 어느정도 다층으로 신경망을 형성하여도 성공적으로 학습이 되었다. 

 (이미지 처리에 주로 적용되는 CNN과 대조되는, 음성인식이나 자연어처리등에 적용이 되는 Recurrent Neural Network : RNN 도 있다. )

 

 

 Back-propagation 의 단점들로 인해 잠시, 신경망 연구의 정체기가 있었고, 2000년대 초반 Hinton의 연구로 다시 신경망 연구가 활성화 되었다. 그가 발표한 것은 DBN(Deep belief Network) 으로, 확률을 기반으로 한다. 하지만 이것도 다층으로 연결 시킬수록 학습의 어려움이 있었고, 힌턴은 이에대해 Restricted boltzmann machine 을 개발 하였다. (RBM).  RBM은 greedy algorithm 과 같은 원리로 input layer 부터 unsupervised learning 을 적용시키는 것이다. RBM은 DBN에 잘 적용되었고, 그러한 layer scale 의 learning 처리 해두는 것으로 볼 수 있다.  또 다른 사전처리 과정으로 autoencoder(unsupervised) 가 있다.