[논문]CNN과 RNN의 기초 및 응용 연구

이은주

CNN과 RNN의 기초 및 응용 연구 원문보기

방송과 미디어 = Broadcasting and media magazine, v.22 no.1, 2017년, pp.81 - 89

이은주 (계명대학교)

초록이 없습니다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 논문에서는 딥 러닝을 학습하고자 하는 연구자들을 위해 실시간 영상 처리를 위한 최근의 딥 러닝 기술을 소개하고 효율적인 딥 러닝 시스템에 대한 연구 방향을 제시하고자 한다.
본 논문은 최근 들어 인식 및 예측 분야에서 많은 각광을 받고 있는 딥 러닝 모델 CNN(Convolutional Neural Network)과 RNN(Recurrent Neural Network) 알고리즘을 자세히 살펴보았다. 특히, 무인 자동차에서 보행자의 위험 행동을 인식하는데 CNN을 실시간으로 사용할 수 있도록 구현하였으며 또한 데이터에서 규칙적인 패턴을 인식하면서 Recurrent weight를 통해 현재의 정보 파악에 도움을 받는 구조로써 공간적 특성뿐만 아니라 시계열 특성을 고려하기 위한 관심(Attention) 기반 RNN 구조에 대해 알아보았다.
하지만 CNN의 학습과정은 순서가 중요하지 않은 정보들이 공통으로 가지는 특징들만 관심이 있기 때문에 실시간으로 들어오는 정보들의 순서 관계를 처리할 수 없는 문제점이 있다. 이에 과거 및 현재 정보를 기반으로 미래 정보를 예측하는 시계열 특성을 반영한 RNN[8] 딥 러닝 모델을 소개하고자 한다.

제안 방법

두 번째, 역 전파 학습 알고리즘을 사용하는 대신 반복학습 과정을 줄이고 응용시스템에 적합한 최적의 필터를 생성하기 위하여 GA(Genetic Algorithm) 필터뱅크 업데이트를 수행한다. 필터는 9개의 값으로 이루어져 있으며 LeCun 등[3]이 제시한 방법과 동일한 방법인 9개의 랜덤 값으로부터 최적의 필터 계수 추정법을 사용하였다.
실제 사람은 객체를 인식할 때 배경을 포함한 모든 정보를 사용하여 인식하는 것이 아니라 자신이 관심(Attention)있는 부분을 시간 흐름에 따라 포커싱하면서 그 sequence들을 종합하여 결론 내리는 것을 알 수 있다. 이 논문은 CNN처럼 전체 이미지를 한 번에 처리하지 않고 각 time step마다 관심 있는 영역을 감지하여 처리한다. <그림 8>은 시각적 관심(Visual Attention)을 이용한 RNN 구조도이다.
본 논문은 최근 들어 인식 및 예측 분야에서 많은 각광을 받고 있는 딥 러닝 모델 CNN(Convolutional Neural Network)과 RNN(Recurrent Neural Network) 알고리즘을 자세히 살펴보았다. 특히, 무인 자동차에서 보행자의 위험 행동을 인식하는데 CNN을 실시간으로 사용할 수 있도록 구현하였으며 또한 데이터에서 규칙적인 패턴을 인식하면서 Recurrent weight를 통해 현재의 정보 파악에 도움을 받는 구조로써 공간적 특성뿐만 아니라 시계열 특성을 고려하기 위한 관심(Attention) 기반 RNN 구조에 대해 알아보았다.

이론/모형

RNN은 각 time step마다 가중치 U, V, W가 공유되어지기 때문에 역전파 알고리즘의 변형인 Back-propagation Trough Time(BPTT)을 통해 학습한다.
세 번째, 추출된 특징 벡터를 완전 연결 방식의 멀티 레이어 퍼셉트론 방식 대신에 랜덤 특징을 선출하여 분류에 적용하는 BRF(Boosted Random Forest)[12]와 결합하여 처리 속도를 향상시키고 성능을 높이는 알고리즘을 적용하였다. C1∼SPP1의 단계를 거쳐 특징벡터를 생성하고 각 트리에 값을 입력 시켜 나온 확률 값들을 <그림 7>과 같이 누적하여 최종 분류 클래스를 결정하도록 한다.
두 번째, 역 전파 학습 알고리즘을 사용하는 대신 반복학습 과정을 줄이고 응용시스템에 적합한 최적의 필터를 생성하기 위하여 GA(Genetic Algorithm) 필터뱅크 업데이트를 수행한다. 필터는 9개의 값으로 이루어져 있으며 LeCun 등[3]이 제시한 방법과 동일한 방법인 9개의 랜덤 값으로부터 최적의 필터 계수 추정법을 사용하였다. 먼저 0∼255의 범위를 9개의 영역으로 나눈다.

성능/효과

RC-CNN은 전통적인 CNN에서 고정된 영상 사이즈를 입력 받아야 하는 제약을 넘어서 다양한 입력 크기에도 불구하고 처리속도 개선뿐만 아니라 SPP와의 융합으로 인한 견고한 인식이 가능함을 알 수 있었다.
다음으로 소개할 응용 사례는 Sharma 등[13]이 제안한 행동인식을 위한 Recurrent Model이다. 실제 사람은 객체를 인식할 때 배경을 포함한 모든 정보를 사용하여 인식하는 것이 아니라 자신이 관심(Attention)있는 부분을 시간 흐름에 따라 포커싱하면서 그 sequence들을 종합하여 결론 내리는 것을 알 수 있다. 이 논문은 CNN처럼 전체 이미지를 한 번에 처리하지 않고 각 time step마다 관심 있는 영역을 감지하여 처리한다.

후속연구

Ⅱ장에서는 딥 러닝 기술을 대표하는 전통적인 CNN(Convolutional Neural Network) 및 CNN의 단점을 개선한 RNN(Recurrent Neural Network)의 개념과 구조에 대해 설명한다. Ⅲ장에서는 딥 러닝 모델을 이용한 응용 사례, 마지막으로 Ⅳ장에서는 결론으로써 향후 연구 방향을 제시한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	딥 러닝이란?	딥 러닝은 인간의 두뇌와 유사한 사고방식을 컴퓨터에 적용하여 홍수처럼 쏟아지는 데이터를 분석하는 인공지능 기술을 말한다. 많은 개발자들이 딥러닝 기술을 추천하는 이유는 디지털 경제의 확산으로 학습 가능한 정보가 방대해졌으며 많은 정보를 실시간으로 처리할 수 있는 GPU 병렬처리 기술이 발달되었고 무엇보다 네트워크 구조가 간단하면서도 우수한 성능을 낼 수 있기 때문이다.
	인공지능에 대한 관심이 폭발적으로 증가하게 된 사건은 무엇인가?	2016년 3월, 전 세계적으로 굉장히 이슈가 되는 사건이 있었다. 다름 아닌, 구글 딥 마인드(Deep Mind)가 개발한 인공지능 바둑 프로그램인 알파고(AlphaGo)와 이세돌 9단의 바둑 대결에서 컴퓨터가 4대 1이라는 압승을 거둔 것이다. 이때, 일반 대중들에게 바둑에 대한 관심 못지않게 오래된 패러다임으로 생각되었던 인공지능에 대한 관심이 폭발적으로 증가하게 되었다[1].
	다수의 개발자들이 딥러닝 기술을 추천하는 이유는?	딥 러닝은 인간의 두뇌와 유사한 사고방식을 컴퓨터에 적용하여 홍수처럼 쏟아지는 데이터를 분석하는 인공지능 기술을 말한다. 많은 개발자들이 딥러닝 기술을 추천하는 이유는 디지털 경제의 확산으로 학습 가능한 정보가 방대해졌으며 많은 정보를 실시간으로 처리할 수 있는 GPU 병렬처리 기술이 발달되었고 무엇보다 네트워크 구조가 간단하면서도 우수한 성능을 낼 수 있기 때문이다.

참고문헌 (13)

연합뉴스, " (1)인공지능,마침내 인간을 넘어서다," http://www.yonhapnews.co.kr/bulletin/2016/03/14/02000000 00AKR20160314161200017.html, 2016.03.15.
O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, et al, "Imagenet large scale visual recognition challenge," International Journal of Computer Vision, Vol 15, No 3, pp. 211-252, 2015.
P. Sermanet, Y. LeCun, "Traffic sign recognition with multi-scale convolutional networks," Proc. of The International Joint Conference on Neural Networks, pp. 2809-2813, July, 2011.
X. Glorot, A. Bordes, Y. Bengio, "Deep sparse rectifier networks," Proc. of the 14th International Conference on Artificial Intelligence and Statistics, Vol. 15, pp. 315-323, 2011.
Y. LeCun, et al, "Gradient-based learning applied to document recognition," Proc. of the IEEE, 1998.
Y. ia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, et al, "Caffe: Convolutional architecture for fast feature embedding," Proc. of The International Conference on Multimedia, pp. 675-678, November, 2014.
A. Krizhevsky, I. Sutskever, and G. E. Hinton, "Imagenet classication with deep convolutional neural networks," In Proc. Neural Information Processing System, 2012.
J. Schmidhuber, "Deep learning in neural networks: An overview," Neural Networks, Vol 61, pp. 85-117, 2015.

상세보기
M. Baccouche, et al, "Sequential deep learning for human action recognition." International Workshop on Human Behavior Understanding. pp. 29-39, 2011.
E. J. Lee, B. C. Ko, J. Y. Nam, "Recognizing pedestrian's unsafe behaviors in far-infrared imagery at night," Infrared Physics & Technology, Vol 76, pp. 261-270, 2016.

상세보기
K. He, X. Zhang, S. Ren, J. Sun, "Spatial pyramid pooling in deep convolutional networks for visual recognition," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 37, No 9, pp. 1904-1916, 2015.

상세보기
Y. Mishina, M. Tsuchiya, H. Fujiyoshi, "Boosted Random Fores," Proc. of the International Conference on Computer Vision Theory and Applications, pp. 594-598, January, 2014.
S. Sharma, R. Kiros, R. Salakhutdinov, "Action recognition using visual attention," arXiv preprint arXiv:1511.04119, 2015.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

CNN과 RNN의 기초 및 응용 연구 원문보기

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (13)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

CNN과 RNN의 기초 및 응용 연구 원문보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (13)

이 논문을 인용한 문헌

저자의 다른 논문 :

이은주 (1)

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

AI 본문요약
AI-Helper