[논문]인공신경망 소개 및 발전 동향

유성현; 안춘기

인공신경망 소개 및 발전 동향 원문보기

전기의 세계 = The proceedings of KIEE, v.66 no.8, 2017년, pp.36 - 41

유성현 (고려대학교 전기전자공학부) , 안춘기 (고려대학교 전기전자공학부)

초록이 없습니다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

대표적인 방법으로는 가중치 학습을 통한 방법과 가지치기에 관한 내용을 살펴보았다. 뉴럴 네트워크의 발전은 현재도 활발히 이루어지고 있는 학문분야로 공학적, 실생활에 어떻게 적용될지 기대하며 본고를 마친다.
앞서 말한 바와 같이 뉴럴 네트워크의 문제 중 하나는 개발전 가중치 선택에 관한 문제를 해결하기 위한 학습기법과 또 다른 하나는 연산량이 굉장히 높다는 점이 있으며, 이를 해결하기 위한 다양한 방법들이 있는데, 대표적으로 두 가지의 인공신경망의 발전 동향에 관하여 소개하고자 한다.
이에 따라 본고에서는 현재 가장 활발한 학문 분야 중 하나인 인공지능 분야를 전부 설명하기는 어렵고, 기초가 되는 인공신경망의 발전 과정 및 핵심이론에 대해 살펴보도록 하겠다.
인공지능은 가장 활발히 연구되는 분야 중 하나인데 인공지능의 한 분야 중 딥 러닝은 인식, 분류 등의 분야에서 굉장히 높은 성과를 보이고 있다. 인공지능의 본질은 인공신경망에서 출발하였기 때문에 본고에서는 인공지능 이론에서 가장 기초가 되는 이론 중 하나인 인공신경망에 대해 알아보았다. 인공신경망, 즉 뉴럴 네트워크의 발전에 대해 알아보았으며 기초적인 퍼셉트론을 이루는 뉴런부터 퍼셉트론 등 원리를 간단히 살펴보았고, 뉴럴 네트워크의 단점을 극복하기 위한 다양한 발전과정에 대해 살펴보았다.

제안 방법

퍼셉트론은 간단한 덧셈과 뺄셈을 하는 이층구조의 학습 컴퓨터망에 근거하여 배타적 논리합(exlcusive or circuit)의 연산 및 패턴인식에 관한 알고리즘을 개발하였다. 또한, 폴 웨어포스(Paul Werbos) 에 의해 오차 역전파(Backpropergation) 알고리즘에 의해 원하는 결과가 출력되도록 하여 안정적인 결과를 얻을 수 있도록 만들어주었다.
그리고 이러한 처리기들을 가중치(weight)를 갖는 채널(데이터 통로)로 연결한 망(network) 형태의 계산모델을 제안하였는데 이를 인공신경망이라 하며, 본고에서는 뉴럴 네트워크라고 한다. 앞서 언급한 바와 같이, 맥컬록(Warren McCulloch)와 월터 피츠(Walter Pitts)가 초창기 처리기를 제안 하였으며, 임계 논 2017 August 36+37리의 획기적인 성능을 보이며 가능성을 제안하였다. 그림 3은 초창기 처리기 모델로 A, B, C는 입력, T는 임계값(threshold)을 의미한다.
이러한 인공지능기법의 사용 및 발전이 가능하기 위한 본질적인 개념을 살펴보면 0과 1밖에 모르는 컴퓨터에게 사람의 지식 혹은 사람이 판별할 수 있는 능력 등을 학습하는 능력을 키워줘야 하며, 다시 말해 컴퓨터가 기억을 할 수 있도록 하는 기계 학습이라는 개념을 도입해야 한다. 이러한 인공지능기법의 기초가 되는 방법으로는 인공신경망(ANN: artificial neural network), 퍼지(Fuzzy) 이론 등 다양한 이론이 있으며 본고에서는 인공신경망의 발전 동향에 관한 내용을 중점적으로 다룬다. 인공신경망은 기계학습과 인지과학으로부터 출발하여 그림 2와 같이 생물의 신경에서 영감을 얻은 통계학을 기반으로 한 학습알고리즘이다.
인공지능의 본질은 인공신경망에서 출발하였기 때문에 본고에서는 인공지능 이론에서 가장 기초가 되는 이론 중 하나인 인공신경망에 대해 알아보았다. 인공신경망, 즉 뉴럴 네트워크의 발전에 대해 알아보았으며 기초적인 퍼셉트론을 이루는 뉴런부터 퍼셉트론 등 원리를 간단히 살펴보았고, 뉴럴 네트워크의 단점을 극복하기 위한 다양한 발전과정에 대해 살펴보았다. 대표적인 방법으로는 가중치 학습을 통한 방법과 가지치기에 관한 내용을 살펴보았다.
우리가 흔히 알고 있는 인공신경망 중 하나인 뉴럴 네트워크의 가장 기초 모델은 1957년 코넬 항공 연구소의 프랑크 로젠블라크(Frank Rosenblatt)에 의해 고안된 퍼셉트론으로, 가장 간단한 형태의 피드포워드 네트워크 및 선형분류기로 나타낼 수 있다. 퍼셉트론은 간단한 덧셈과 뺄셈을 하는 이층구조의 학습 컴퓨터망에 근거하여 배타적 논리합(exlcusive or circuit)의 연산 및 패턴인식에 관한 알고리즘을 개발하였다. 또한, 폴 웨어포스(Paul Werbos) 에 의해 오차 역전파(Backpropergation) 알고리즘에 의해 원하는 결과가 출력되도록 하여 안정적인 결과를 얻을 수 있도록 만들어주었다.
하지만 미분으로 최적의 값을 찾는 것은 문제가 있어 이를 해결하기 위한 방법으로 뉴턴 알고리즘, 가우스-뉴턴 알고리즘, 레벤버그-마쿼트 알고리즘(Levenberg–Marquardtalgorithm) 등 다양한 방법이 있으며, 가중치를 조정하는 Update 룰과 특징이 표 1과 같으며 가중치 조정방법(Update Rules)에 관한 내용은 생략하고 컨셉에 관한 내용만 소개한다.
이때, 임계값을 활성화함수라 하는데, 활성화 함수에 의해 뉴런의 출력, 즉 net값이 달라지기 때문에 활성화함수를 결정하는 것 또한 중요한 문제이다 [3]. 활성화 함수를 결정할 때 단극, 양극에 관한 문제는 본고에서는 생략하고 활성화 함수의 종류에 관한 내용만 다룬다.그림 6은 대표적인 활성화 함수의 종류를 나타내며, 계단함수, 항등함수, 시그모이드 함수를 나타내고 있으며, 그 외에 임계로직, 하이퍼탄젠트 함수 등 굉장히 다양한 종류의 활성화 함수가 있다.

성능/효과

하지만 헤시안의 역행렬이 존재하지 않을 수 있기 때문에 가우스-뉴턴 알고리즘은 자코비안 행렬을 사용하였고, 불안정한 문제를 해결하기 위한 방법으로 레벤버그-마쿼트방법이 소개되었다. 마지막으로 NBN알고리즘이 있는데 NBN알고리즘은 모든 뉴련이 연결된 뉴럴 네트워크 뿐 아니라 임의로(arbitrarily) 연결된 뉴럴 네트워크도 학습시킬 수 있으며, 오류역전파 방법을 요구하지 않아 연산량이 굉장히 적다는 특징이 있다. 그 외에도 학습시키기 위한 방법으로 상태 추정기(State Estimator)를 활용한 방법으로 확장 칼만필터(Extended Kalman filter) [4], 무향 칼만 필터(Unscented Kalman filter) [5], 파티클 필터(Particle filter) [6] 등의 비선형 상태추정기로 이득을 학습시킨 연구도 있으며, 또 다른 접근법으로는 활성화 함수를 학습시키는 방법 등 뉴럴 네트워크의 발전은 여러 분야에서 다양한 학문과 접목하며 발전하고 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	인공지능이란 무엇인가?	인공지능(AI: artificial intelligence)은 기계로부터 만들어진 지능을 의미하며 기계에 인간이 지니고 있는 지적 능력의 일부 또는 전체를 인공적으로 구현한 것을 의미한다. 인공지능이라는 단어는 17세기부터 언급되어왔지만, SF 영화(Science fiction film)의 등장 이후 인공지능에 개념에 대한 상상만으로 지내왔다.
	인공지능기법의 사용 및 발전이 가능하기 위해 필요한 것은 무엇인가?	이러한 인공지능기법의 사용 및 발전이 가능하기 위한 본질적인 개념을 살펴보면 0과 1밖에 모르는 컴퓨터에게 사람의 지식 혹은 사람이 판별할 수 있는 능력 등을 학습하는 능력을 키워줘야 하며, 다시 말해 컴퓨터가 기억을 할 수 있도록 하는 기계 학습이라는 개념을 도입해야 한다. 이러한 인공지능기법의 기초가 되는 방법으로는 인공신경망(ANN: artificial neural network), 퍼지(Fuzzy) 이론 등 다양한 이론이 있으며 본고에서는 인공신경망의 발전 동향에 관한 내용을 중점적으로 다룬다.
	과거의 인공신경망 알고리즘에 어떠한 문제가 있었는가?	하지만 치명적인 문제점이 인공신경망 알고리즘에 존재하였는데, 70년대 초 학자들은 신경망 알고리즘에 관해 매우 긍정적으로 접근했지만 현실적인 난관이 있었다. 거대한 신경망 알고리즘을 수학적으로 처리하기 위한 컴퓨터의 발전이 이루어지지 않았으며, 오차 역전파 알고리즘이 나오기 전까지 배타적논리합 연산을 수행하지 못하였기 때문이다. 그와 동시에 모든 연구지원이 끊기며 인공지능의 겨울이 찾아왔다.

참고문헌 (12)

http://www.dt.co.kr/contents.html?article_no2016031602109931033004
http://news.mt.co.kr/mtview.php?no2015022514525399240
The Industrial Electronics Handbook 2nd Edition Intelligent systems, 2011 by Taylor and Francis Group
Y. Iiguni ; H. Sakai ; H. Tokumaru, "A realtime learning algorithm for a multilayered neural network based on the extended Kalman filter", IEEE Transactions on Signal Processing, 40(4), Apr 1992
E.A. Wan ; R. Van Der Merwe, "The unscented Kalman filter for nonlinear estimation", Adaptive Systems for Signal Processing, Communications, and Control Symposium 2000. AS-SPCC. The IEEE 2000
N. de FreitasC. AndrieuP. Hojen-SorensenM. NiranjanA. Gee. "Sequential Monte Carlo Methods for Neural Networks", Part of the Statistics for Engineering and Information Science book series (ISS), pp 359-379
L. Vecci, .F. Piazza, and A. Uncini, "Learning and Approximation Capabilities of Adaptive Spline Activation Function Neural Networks", 11(2), Mar, 1998, pp 259-270

상세보기
S. Zhang, W. Chen, F. M. Ghannouchi, and Y. Chen, "An iterative pruning of 2-D digital predistortion model based on normalized polynomial terms", Microwave Symposium Digest (IMS), 2013 IEEE MTT-S International, Seattle, WA, USA
C. K. Ing and T. L. Lai, "A stepwise regression method and consistent model selection for highdimensional sparse linear models", Institute of Statistical Science, Academia Sinica, 21(4), Oct 2011, pp1473-1513
Z. Z. Latt and H. Wittenberg, "Improving Flood Forecasting in a Developing Country: A Comparative Study of Stepwise Multiple Linear Regression and Artificial Neural Network", Water Resources Management, 28(8) Jun 2014, pp 2109-2128
http://www.silverwolf.co.kr/algorithm/4831
https://en.wikipedia.org/wiki/Rectifier_(neural_networks)

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

인공신경망 소개 및 발전 동향 원문보기

AI 본문요약
AI-Helper

문제 정의

제안 방법

성능/효과

질의응답

참고문헌 (12)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

인공신경망 소개 및 발전 동향 원문보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

성능/효과

질의응답

참고문헌 (12)

이 논문을 인용한 문헌

저자의 다른 논문 :

유성현 (4) 안춘기 (7)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

AI 본문요약
AI-Helper