[논문]심층 신경망의 발전 과정과 이해

이재성

심층 신경망의 발전 과정과 이해 원문보기

정보와 통신 : 한국통신학회지 = Information & communications magazine, v.33 no.10, 2016년, pp.40 - 48

이재성 (중앙대학교)

초록
AI-Helper

본고에서는 최근 활발하게 연구되고 있는 심층 학습에 대하여 알아본다. 기계 학습 분야 중 하나인 심층 학습은 인공 신경망의 한 형태인 심층 신경망을 통해 구현된다. 심층 신경망은 기존 다층 신경망의 구조와 거의 유사한 학습 구조를 가지지만, 학습 과정에서 발생하는 부정확한 학습 문제를 해결함으로써 최근의 성공을 이끌어낼 수 있었다. 본고에서는 다층 신경망이 가지고 있던 문제점들을 심층 신경망에서 어떻게 극복하였는지 심층 신경망의 발전 과정을 통해 알아보고, 기계 학습의 기본개념을 바탕으로 이를 설명하여 비전문가들의 이해를 돕고자 하였다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

인공 신경망은 인간의 뇌가 뉴런(Neuron)으로 이루어진 신경망으로 구성되어 있다는 점에 착안하여, 신경망의 모사를 통해 인간의 지능적 행위를 모사할 수 있다고 가정한다. 본 절에서는 심층 신경망의 발전 과정을 살펴봄으로써 이에 대한 이해를 돕고자 한다.
본고에서는 IT 전공이 아닌 다른 분야의 비전문가들에게도 친숙하게 읽힐 수 있도록 심층 학습을 설명한다. 이를 위해, 기계 학습 분야의 기본 개념과 배경 지식들을 먼저 설명한 뒤, 심층 신경망의 발전 과정을 살펴봄으로써 심층 학습에 대한 이해를 돕고자 한다.
이해를 돕기 위해 좌표 평면 위에서 와 같은 분포를 보이는 데이터를 활용해보자.
인공 신경망의 동작을 알아보기 위해 과 같이 비만 분류 예제에 대한 단층 신경망의 동작 과정을 살펴보도록 하자.
주어진 학습 데이터에 대해 일반적인 인공 신경망이 실제로 어떻게 동작하는지를 을 이용하여 이해해보도록 하자.
이제 각 이미지의 대표 값 x, 사상 함수 f(x), 결정 함수 h(e)를 활용하여 각각의 이미지에 대한 인식 결과를 <그림 9>와 같이 추정할 수 있다. 첫 번째 이미지를 기준으로 고양이 인식 모형에 대해 살펴보도록 하자. 우선 첫 번째 이미지의 대표 값은 0.

가설 설정

인공 신경망은 인간의 뇌가 뉴런(Neuron)으로 이루어진 신경망으로 구성되어 있다는 점에 착안하여, 신경망의 모사를 통해 인간의 지능적 행위를 모사할 수 있다고 가정한다. 본 절에서는 심층 신경망의 발전 과정을 살펴봄으로써 이에 대한 이해를 돕고자 한다.

제안 방법

이를 바탕으로 오차값 δ를 측정한 뒤, 출력층으로부터 입력층의 방향으로 되짚어 오면서 각 가중치 값들을 어떻게 수정해야 하는지를 측정한 후, 최종적으로 모든 가중치 값들을 수정한다.
본고에서는 IT 전공이 아닌 다른 분야의 비전문가들에게도 친숙하게 읽힐 수 있도록 심층 학습을 설명한다. 이를 위해, 기계 학습 분야의 기본 개념과 배경 지식들을 먼저 설명한 뒤, 심층 신경망의 발전 과정을 살펴봄으로써 심층 학습에 대한 이해를 돕고자 한다.

성능/효과

2.3절에서 언급하였던 것처럼 모든 기계 학습 알고리즘들은 데이터로부터 사상 함수를 역추정하도록 되어 있다. 이 때, 학습 데이터가 부족할 경우, 기계 학습 알고리즘은 학습 데이터를 정확하게 예측하지만, 한편으로는 과도하게 복잡한 형태의 사상 함수를 만들어낼 수 있다.
<그림 20>은 비선형 활성화 함수를 여러 개 활용하고 적절한 가중치 값을 할당함으로써, 인공 신경망이 비선형 문제에 대해 효과적으로 인식을 할 수 있음을 나타내고 있다. 또한, 해당 예제는 적절한 가중치가 설정된 여러 개의 은닉층을 설정함으로써 인공 신경망이 아주 복잡한 형태를 가지는 비선형 함수라도 효과적으로 모사할 수 있음을 알려준다. 이러한 관점에서 인공 신경망이란 아무리 복잡한 형태의 사상 함수라도 얼마든지 표현할 수 있는 구조를 미리 만들어두고, 학습 데이터에 따라 그때그때 최적화, 즉 적합한 가중치를 찾아내는 과정을 오차역전파 알고리즘에 따라 수행하는 기계 학습 방법이라고 할 수 있다.
이 때, h₃(v)에 의해 그려진 제2 은닉층의 왼쪽 그림은 붉은 색으로 표현되는 영역과 파란 색으로 표현되는 영역이 비선형으로 구분되고 있음을 나타내고 있다. 제2 은닉층의 결과를 바탕으로 출력층에서 나타나는 사상 형태를 보면, 붉은 색 패턴과 푸른 색 패턴의 분포에 따라 공간이 분리되어 나타나고 있음을 알 수 있다. 즉, 붉은 색으로 표현되는 영역에 임의의 어떤 패턴이 인공 신경망에 입력되면, 출력층에서 사상된 결과는 결국 긍정으로 인식되게 된다.
그 외에 또 다른 문제인, 신경망이 심층 구조를 가지게 되었을 때 요구되는 폭발적인 계산 요구량은, 2000년대에 들어 GPU를 이용한 병렬 컴퓨팅이 확산됨으로써 해결되기 시작한다. 특히, 인공 신경망에서 요구되는 대부분의 연산은 행렬의 내적 등과 같은 매우 단순한 연산이 무수히 반복되는 형태로 이루어져 있는데, GPU는 단순 연산이 무수히 반복되는 계산에 적합한 구조를 가지고 있었기 때문에 인공 신경망의 계산 복잡도를 현저히 낮추는데 기여할 수 있었다.

질의응답

핵심어	질문	논문에서 추출한 답변
	인공 신경망은 무엇으로 구성되어 있는가?	인공 신경망은 데이터를 입력받기 위한 입력층과 입력된 데이터에 대한 학습을 수행하는 여러 개의 은닉층, 그리고 최종적인 범주를 결정하기 위한 출력층으로 이루어져 있다. 각 층은 입력된 값들을 처리하기 위한 유닛, 또는 노드로 이루어져 있으며, 각각의 노드들은 활성화 함수를 통해 입력된 값들을 다음 층으로 전달할 것인지 말 것인지를 결정한다.
	기계 학습 알고리즘이란 무엇인가?	기계 학습 알고리즘은 관측 정보를 우리가 원하는 정보로 변환시키기 위한 사상 함수를 찾는 기계적인 절차이다. 또한, 이러한 절차는 추정 값과 결과 값 사이의 오차를 최소화하는 방향으로 진행된다.
	오차역전파 알고리즘의 한계를 극복하기 위해 제프리 힌튼 교수가 제안한 비지도 선행 학습은 사용했을 때 어떤 효과가 있는가?	비지도 선행 학습은 결과 값을 제외한 관측 데이터를 축약하여 표현할 수 있는 은닉층과 이에 연결된 가중치 값들을 미리 학습한 뒤, 이를 활용하여 인공 신경망의 최초 가중치 값들을 설정하는 것이 주요 골자이다. 이는 결과 값과 관계없이 관측 데이터 자체를 잘 표현하는 인공 신경망으로부터 시작하여, 출력층의 오차를 줄이는 방향으로 학습을 수행하게 함으로써, 인공 신경망의 가중치가 무작위로 초기화되었을 때에 비해 학습의 어려움, 그리고 반복 횟수를 경감시킨다. 또한, 이 방법은 과잉 학습의 문제를 완화시키는 데에도 효과가 있음이 알려져 있다.

참고문헌 (9)

Arel I., Rose D. C., and Karnowski T. P. "Deep Machine Learning-A New Frontier in Artificial Intelligence Research," IEEE Comput. Intell. Mag. Vol. 5, No. 4, pp. 13-18, 2010.
Rosenblatt, F. "The Perceptron: A Probabilistic Model For Information Storage And Organization In The Brain". Psychol. Rev. Vol. 65 No. 6, pp. 386-408, 1958.

상세보기
Rosenblatt, F. "The Perceptron--a perceiving and recognizing automaton," Report 85-460-1, Cornell Aeronautical Lab., 1957.
Minsky, M. and Papert S. Perceptrons: An Introduction to Computational Geometry. MIT Press, 1969.
Werbos P. "Beyond regression: New tools for prediction and analysis in the behavioral sciences," PhD thesis, Harvard University, 1974.
Hochreiter S., Bengio Y., Frasconi P., and Schmidhuber J. "Gradient flow in recurrent nets: the difficulty of learning long-term dependencies," A Field Guide to Dynamical Recurrent Neural Networks. IEEE Press, 2001.
Hinton G. E., Osindero S. and Teh, Y. "A fast learning algorithm for deep belief nets," Neural Comput. Vol. 18, No. 7, pp. 1527-1554, 2006.

상세보기
Dahl G. E., Sainath T. N. and Hinton G. E. "Improving Deep Neural Networks for LVCSR using Rectified Linear Units and Dropout," IEEE Int. Conf. Acoustics, Speech and Signal Processing, pp. 8609-8613, Vancouver, Canada, May 2013.
Krizhevsky A., Sutskever I. and Hinton, G. E. "ImageNet Classification with Deep Convolutional Neural Networks," Neural Information Processing Systems, pp. 1097-1105, Lake Tahoe, USA, Dec 2012.

LOADING...

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증