[논문]깊은신경망을 이용한 회전객체 분류 연구

이용규; 이일병

doi:10.5391/jkiis.2015.25.5.425

깊은신경망을 이용한 회전객체 분류 연구
A Study on Rotating Object Classification using Deep Neural Networks 원문보기

한국지능시스템학회 논문지 = Journal of Korean institute of intelligent systems, v.25 no.5, 2015년, pp.425 - 430

초록
AI-Helper

본 논문은 딥러닝 알고리즘을 적용한 깊은신경망을 이용하여 회전 객체의 분류 효율성을 높이기 위한 연구이다. 회전객체의 분류 실험을 위하여 데이터는 COIL-20을 사용하며 객체의 2/3영역을 학습시키고 1/3영역을 유추하여 분류한다. 연구에 이용된 3가지 분류기는 주성분 분석법을 이용해 데이터의 차원을 축소하면서 특징값을 추출하고 유클리디안 거리를 이용하여 분류하는 PCA분류기와 오류역전파 알고리즘을 이용하여 오류 에너지를 줄여가는 방식의 MLP분류기, 마지막으로 pre-training을 통하여 학습데이터의 관찰될 확률을 높여주고 fine-tuning으로 오류에너지를 줄여가는 방식의 딥러닝을 적용한 DBN분류기이다. 깊은신경망의 구조별 오류율을 확인하기 위하여 은닉층의 개수와 은닉뉴런의 개수를 변경해가며 실험하고 실제로 가장 낮은 오류율을 나타내는 구조를 기술한다. 가장 낮은 오류율을 보였던 분류기는 DBN을 이용한 분류기이다. 은닉층을 2개 갖는 깊은신경망의 구조로 매개 변수들을 인식에 도움이 되는 곳으로 이동 시켜 높은 인식률을 보여줬다.

Abstract ▼ AI-Helper

This paper is a study to improve the classification efficiency of rotating objects by using deep neural networks to which a deep learning algorithm was applied. For the classification experiment of rotating objects, COIL-20 is used as data and total 3 types of classifiers are compared and analyzed. 3 types of classifiers used in the study include PCA classifier to derive a feature value while reducing the dimension of data by using Principal Component Analysis and classify by using euclidean distance, MLP classifier of the way of reducing the error energy by using error back-propagation algorithm and finally, deep learning applied DBN classifier of the way of increasing the probability of observing learning data through pre-training and reducing the error energy through fine-tuning. In order to identify the structure-specific error rate of the deep neural networks, the experiment is carried out while changing the number of hidden layers and number of hidden neurons. The classifier using DBN showed the lowest error rate. Its structure of deep neural networks with 2 hidden layers showed a high recognition rate by moving parameters to a location helpful for recognition.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 논문에서는 회전객체의 2/3영역을 학습시켜 나머지 1/3영역을 얼마나 잘 유추하여 분류하는지에 대한 실험을 한다. 기존 분류기 방식의 문제점을 찾고 딥러닝 알고리즘을 이용한 DBN(Deep Belief Networks)의 학습방법을 접목해 기존의 분류기 방식보다 좀 더 효율적인 깊은신경망 구조의 분류기를 제안한다.
본 논문에서는 회전객체에 대한 분류를 위하여 총 3가지의 분류기를 구현하고 실험하였다.

제안 방법

따라서 본 논문에서는 회전객체의 2/3영역을 학습시켜 나머지 1/3영역을 얼마나 잘 유추하여 분류하는지에 대한 실험을 한다. 기존 분류기 방식의 문제점을 찾고 딥러닝 알고리즘을 이용한 DBN(Deep Belief Networks)의 학습방법을 접목해 기존의 분류기 방식보다 좀 더 효율적인 깊은신경망 구조의 분류기를 제안한다.
9527로 정보 손실량이 5% 이하임을 알 수 있다. 분류를 위하여 주성분 벡터를 23개와 61개를 사용하였으며 내적을 통하여 학습데이터와 테스트데이터의 특징을 추출하고 유클리디안 거리를 이용하여 가장 가까운 값의 클래스에 할당하여 분류하였다.
실제로 pre-training의 학습 횟수에 따른 데이터의 추출정도를 실험해 보았다. 그림 8에서 보듯 100번의 학습만으로도 입력데이터와 상당히 유사한 데이터를 추출해 낸다.

대상 데이터

본 논문의 실험을 위하여 데이터는 그림 3과 같은 COIL-20 dataset을 이용한다[8]. 총 20개의 객체를 가지고 있으며 객체당 5˚씩 회전하는 72개의 그레이스케일 이미지를 가진다.
본 실험의 데이터는 32*32 pixel 값을 가지므로 입력층은 총 1,024개의 뉴런, 출력층은 20개의 객체를 분류하기 위하여 총 20개의 뉴런이 필요하다. 초기 연결강도와 bias는 RBM의 학습을 통해 정해지게 된다.
실험을 위하여 객체의 0˚ - 235˚에 해당하는 960장(객체의 #영역)은 학습데이터로 사용하고 240˚ - 355˚에 해당하는 480장(객체의 #영역)은 테스트데이터로 사용하였다.
총 20개의 객체를 가지고 있으며 객체당 5˚씩 회전하는 72개의 그레이스케일 이미지를 가진다. 총 1,440장이 존재하며 이미지의 크기는 128*128의 pixel이다. 실험을 위하여 32*32 pixel로 축소하여 사용하였다.
본 논문의 실험을 위하여 데이터는 그림 3과 같은 COIL-20 dataset을 이용한다[8]. 총 20개의 객체를 가지고 있으며 객체당 5˚씩 회전하는 72개의 그레이스케일 이미지를 가진다. 총 1,440장이 존재하며 이미지의 크기는 128*128의 pixel이다.

이론/모형

RBM은 학습데이터를 통해서 구해진 확률의 로그-우도를 계산해서 그값을 최대한 크게하는 오르막 경사법을 사용한다. 이는 에너지가 낮을수록 데이터의 존재할 확률이 커지기 때문이다.
본 실험은 총 1,440개의 데이터를 이용해 실험하였으므로 좀 더 일반화 오차에 근접한 오차값을 얻을 필요가 있다. 이 때문에 그림 11과 같은 5분절 교차 검증법을 이용하였다.

성능/효과

가장 우수한 성능을 보인 분류기는 딥러닝 알고리즘을 적용한 DBN분류기였다. PCA를 이용한 분류기에 비하여 약 3.33%의 인식률 상승이 있었고 MLP를 이용한 분류기에 비하여 약 4.54%의 인식률 상승을 보였다. 또한, 같은 구조의 단순한 깊은신경망 구조를 가진 MLP에 비하여 약 7%의 인식률 상승을 보였다.
표 5는 테스트데이터 480개에 대한 각 분류기의 오류율을 나타낸다. PCA와 MLP를 이용한 분류기보다 딥러닝 알고리즘을 적용한 분류기가 더 낮은 오류율을 보이는 것을 확인할 수 있다.
가장 우수한 성능을 보인 분류기는 딥러닝 알고리즘을 적용한 DBN분류기였다. PCA를 이용한 분류기에 비하여 약 3.
54%의 인식률 상승을 보였다. 또한, 같은 구조의 단순한 깊은신경망 구조를 가진 MLP에 비하여 약 7%의 인식률 상승을 보였다. 이처럼 pre-training을 통하여 결정되는 신경망의 구조가 초기의 랜덤값을 가지는 신경망의 구조에 비하여 인식에 도움이 되는 곳으로 매개변수들을 이동시켜 훨씬 상승한 인식률을 보여주었다.
실험결과 은닉뉴런의 개수가 많다고 해서 더 좋은 성과를 발취하는 것은 아니며 초기값을 랜덤으로 설정하기 때문에 좋은 매개변수를 초기값으로 가진 경우 분류가 더 잘되는 것을 확인할 수 있었다. 테스트데이터에 대하여 가장 낮은 오류율 보인 구조는 1024 - 64 - 20 이었고 약 12.
표 2는 은닉층 2개로 늘려보았을 때의 오류율을 보여준다. 실험결과 은닉층을 늘려도 인식률 향상에 도움이 되지 않는 것을 확인할 수 있었다.
또한, 같은 구조의 단순한 깊은신경망 구조를 가진 MLP에 비하여 약 7%의 인식률 상승을 보였다. 이처럼 pre-training을 통하여 결정되는 신경망의 구조가 초기의 랜덤값을 가지는 신경망의 구조에 비하여 인식에 도움이 되는 곳으로 매개변수들을 이동시켜 훨씬 상승한 인식률을 보여주었다.
실험결과 은닉뉴런의 개수가 많다고 해서 더 좋은 성과를 발취하는 것은 아니며 초기값을 랜덤으로 설정하기 때문에 좋은 매개변수를 초기값으로 가진 경우 분류가 더 잘되는 것을 확인할 수 있었다. 테스트데이터에 대하여 가장 낮은 오류율 보인 구조는 1024 - 64 - 20 이었고 약 12.71%의 오류율을 보여준다.

후속연구

본 실험은 총 1,440개의 데이터를 이용해 실험하였으므로 좀 더 일반화 오차에 근접한 오차값을 얻을 필요가 있다. 이 때문에 그림 11과 같은 5분절 교차 검증법을 이용하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	객체인식 기술은 무엇인가?	객체인식 기술은 그림 1과 같이 데이터의 특징이나 속성을 찾아 동일한 객체를 찾아내는 방법으로 효율적인 인간-컴퓨터 상호작용을 위해서 시도되는 인터페이스 테마중 하나이다[1]. 그러나 최근 연구 결과에서 노이즈가 많은 데이터나 객체의 다양한 회전 각도에 의한 변형이 상당한 데이터에 대해 취약한 모습을 보이고 있는 것이 현실이다.
	제한된 볼츠만 머신은 어디에 사용되는가?	제한된 볼츠만 머신은 패턴인식에서 특징을 추출하기 위하여 사용되는 알고리즘의 하나이다. RBM은 그림 2와 같이 기본적으로 가시뉴런과 은닉뉴런으로 구성된 2개의 층을 가지며 0또는 1이나 -1또는 1의 이진값을 갖는 뉴런으로 구성된 신경망이다[5].
	패턴인식에서 분류의 문제는 무엇으로 구분되는가?	패턴인식에서 분류의 문제는 크게 2가지 단계로 구분된다. 바로 전처리를 통한 특징추출과 분류를 위한 분류기의 설계이다. 그러나 빅데이터로 인하여 매우 방대한 양의 데이터가 쏟아지고 최근에는 이를 처리하기 위해 특징추출과 분류기가 결합한 형태의 새로운 모형이 개발되고 있다[2].

참고문헌 (8)

Hye-Young Park and Kwan-Yong Lee ,Pattern recognition and Machine learning, EHAN, 2011.
Il-Seok Oh, Pattern recognition. KYOBO. 2008.
Bengio, Yoshua, "Learning Deep Architectures for AI," Foundations and Trends in Machine Learning 2, 2009.
J. Schmidhuber, "Deep Learning in Neural Networks: An Overview," 2014.
Geoffrey Hinton, "A Practical Guide to Training Restricted Boltzmann Machines," UTML TR 2010-003, University of Toronto, 2010.
Min-Kyu Park, "Training Restricted Boltzmann Machines using MCMC-based Particle filter," University of Seoul, 2013.
Hinton, Geoffrey E., "Training products of experts by minimizing contrastive divergence," Neural computation 14.8, 1771-1800. 2002.
Sameer A.Nene, Shree K.Nayar, Hiroshi Murase, "Columbia Object Image Library (COIL-20)," No. CUCS-005-96. 1996.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증