[논문]오토인코더 기반의 잡음에 강인한 계층적 이미지 분류 시스템

이종관

doi:10.7472/jksii.2021.22.1.23

[국내논문] 오토인코더 기반의 잡음에 강인한 계층적 이미지 분류 시스템
A Noise-Tolerant Hierarchical Image Classification System based on Autoencoder Models 원문보기

Journal of Internet Computing and Services = 인터넷정보학회논문지, v.22 no.1, 2021년, pp.23 - 30

이종관 (Department of Computer Science, Korea Military Academy)

초록
AI-Helper

본 논문은 다수의 오토인코더 모델들을 이용한 잡음에 강인한 이미지 분류 시스템을 제안한다. 딥러닝 기술의 발달로 이미지 분류의 정확도는 점점 높아지고 있다. 하지만 입력 이미지가 잡음에 의해서 오염된 경우에는 이미지 분류 성능이 급격히 저하된다. 이미지에 첨가되는 잡음은 이미지의 생성 및 전송 과정에서 필연적으로 발생할 수밖에 없다. 따라서 실제 환경에서 이미지 분류기가 사용되기 위해서는 잡음에 대한 처리 및 대응이 반드시 필요하다. 한편 오토인코더는 입력값과 출력값이 유사하도록 학습되어지는 인공신경망 모델이다. 입력데이터가 학습데이터와 유사하다면 오토인코더의 출력데이터와 입력데이터 사이의 오차는 작을 것이다. 하지만 입력 데이터가 학습데이터와 유사성이 없다면 오토인코더의 출력데이터와 입력데이터 사이의 오차는 클 것이다. 제안하는 시스템은 오토인코더의 입력데이터와 출력데이터 사이의 관계를 이용한다. 제안하는 시스템의 이미지 분류 절차는 2단계로 구성된다. 1단계에서 분류 가능성이 가장 높은 클래스 2개를 선정하고 이들 클래스의 분류 가능성이 서로 유사하면 2단계에서 추가적인 분류 절차를 거친다. 제안하는 시스템의 성능 분석을 위해 가우시안 잡음으로 오염된 MNIST 데이터셋을 대상으로 분류 정확도를 실험하였다. 실험 결과 잡음 환경에서 제안하는 시스템이 CNN(Convolutional Neural Network) 기반의 분류 기법에 비해 높은 정확도를 나타냄을 확인하였다.

Abstract ▼ AI-Helper

This paper proposes a noise-tolerant image classification system using multiple autoencoders. The development of deep learning technology has dramatically improved the performance of image classifiers. However, if the images are contaminated by noise, the performance degrades rapidly. Noise added to the image is inevitably generated in the process of obtaining and transmitting the image. Therefore, in order to use the classifier in a real environment, we have to deal with the noise. On the other hand, the autoencoder is an artificial neural network model that is trained to have similar input and output values. If the input data is similar to the training data, the error between the input data and output data of the autoencoder will be small. However, if the input data is not similar to the training data, the error will be large. The proposed system uses the relationship between the input data and the output data of the autoencoder, and it has two phases to classify the images. In the first phase, the classes with the highest likelihood of classification are selected and subject to the procedure again in the second phase. For the performance analysis of the proposed system, classification accuracy was tested on a Gaussian noise-contaminated MNIST dataset. As a result of the experiment, it was confirmed that the proposed system in the noisy environment has higher accuracy than the CNN-based classification technique.

주제어

표/그림 (11)

그림 (그림 1) 기본 오토인코더의 구조 (Figure 1) The structure of basic autoencoder
그림 (그림 2) 기본 잡음제거 오토인코더의 구조 (Figure 2) The structure of basic denoising autoencoder
표 (표 1) 기호와 의미 (Table 1) Symbol and meaning
그림 (그림 3) 제안하는 시스템의 개념도 (Figure 3) The conceptual diagram of the proposed system
그림 (그림 4) 2-AE 모델의 출력 이미지 예 (Figure 4) The example of outputs of 2-AEs
그림 (그림 5) 제안하는 시스템의 잡음 데이터 분류 절차 (Figure 5) Classification flowchart for noisy data in the proposed systems
그림 (그림 6) 원본 이미지와 잡음 이미지 (Figure 6) Original image and Noisy image
그림 (그림 7) 제안하는 시스템의 1단계 오토인코더의 출력 이미지 (Figure 7) Output images of autoencoders in the first phase of the proposed system
그림 (그림 8) 제안하는 시스템의 2단계 오토인코더의 출력 (Figure 8) Output images of autoencoders in the second phase of the proposed system
그림 (그림 10) 정확도 비교: CNN, AE+CNN, 제안한 시스템 (Figure 10) Accuracy Comparison: CNN, AE+CNN and Prop. systems
표 (표 2) 실험 결과 (Table 2) Simulation results

AI 본문요약
AI-Helper

문제 정의

본 논문은 다수의 오토인코더 모델의 조합을 통해 잡음에 강인한 이미지분류 시스템을 제안하였다. 제안하는 시스템은 2단계로 구성된다.
잡음에 의한 분류기 성능 저하를 극복하기 위한 두 번째 방법은 잡음에 강인한 분류기 모델을 구성하는 것이다. 본 논문은 두 번째 방법에 해당하는 것으로 다수의 오토인코더 모델을 이용하여 잡음에 강인한 이미지 분류 시스템을 제안한다. 오토인코더 모델이 클래스 A의 이미지들로만 학습되었다면, 클래스 A에 속하는 이미지에 대한 모델 출력값은 입력값과 매우 유사할 것이다.

제안 방법

하지만 클래스 A에 속하지 않는 이미지에 대한 모델 출력값은 입력값과 크게 다를 것이다. 제안하는 시스템은 이러한 관계를 이용하여 잡음 이미지에 대한 분류 정확도를 향상시킨다. 또한 오토인코더 모델 학습 시 원본 데이터만을 사용하기 때문에 RSDAECNN과 달리 학습 시 사용되는 이미지의 잡음 정도에 따른 모델 성능의 의존성이 없다.

대상 데이터

MNIST 데이터셋는 0부터 9까지의 필기체 숫자 이미지로 28×28픽셀의 그레이스케일 이미지 6만 장의 학습데이터와 1만 장의 테스트데이터로 구성되어 있다.
제안하는 시스템에 사용되는 오토인코더의 종류는 두 가지이며, 각각을 1차 오토인코더(1-AE), 2차 오토인코더 (2-AE)로 명명한다. 1-AE는 제안하는 시스템의 1단계에서 사용되며, 2-AE는 2단계에서 사용된다.

데이터처리

본 장에서는 제안하는 시스템의 성능을 분석하기 위해 가우시안 잡음으로 오염된 MNIST 데이터셋을 대상으로 분류 정확도를 측정하고, CNN 시스템, 오토인코더와 CNN이 결합된 시스템, 그리고 제안하는 시스템의 성능을 비교, 분석한다.

성능/효과

만약 분류 확률이 가장 높은 2개의 클래스에 대한 분류 확률이 서로 유사하면 2단계에서 추가적인 분류 절차를 수행하여 이미지 분류의 정확도를 높인다. 가우시안 잡음으로 오염된 MNIST 데이터를 대상으로 실험했을 때 제안하는 시스템이 CNN 기반의 시스템, 오토인코더와 CNN이 결합된 시스템에 비해 잡음 환경에서 보다 높은 분류 정확도를 나타냈다.
1단계에서 오토인코더들의 입력 데이터와 출력 데이터 간의 오차들을 비교하여 분류할 클래스를 선택한다. 만약 분류 확률이 가장 높은 2개의 클래스에 대한 분류 확률이 서로 유사하면 2단계에서 추가적인 분류 절차를 수행하여 이미지 분류의 정확도를 높인다. 가우시안 잡음으로 오염된 MNIST 데이터를 대상으로 실험했을 때 제안하는 시스템이 CNN 기반의 시스템, 오토인코더와 CNN이 결합된 시스템에 비해 잡음 환경에서 보다 높은 분류 정확도를 나타냈다.
즉, 완벽한 잡음 제거 효과가 아니라 다른 AE 모델에 비해 상대적으로 우수한 잡음 제거 효과만이 요구된다. 이러한 이유 때문에 제안하는 기법이 AE+CNN 기법에 비해 잡음 환경에서 보다 우수한 성능을 나타내는 것으로 판단된다.
한편 제안하는 기법은 AE+CNN 기법과 달리 절대적인 잡음 제거 효과로 정확도가 결정되지 않고, 각 AE 모델별 상대적인 손실 값에 의해 정확도가 결정된다. 즉, 완벽한 잡음 제거 효과가 아니라 다른 AE 모델에 비해 상대적으로 우수한 잡음 제거 효과만이 요구된다.

참고문헌 (17)

Wu, Jianxin. "Introduction to convolutional neural networks," National Key Lab for Novel Software Technology, Nanjing University, 2020. https://cs.nju.edu.cn/wujx/teaching/15_CNN.pdf
Kuo, C-C. Jay. "Understanding convolutional neural networks with a mathematical model," Journal of Visual Communication and Image Representation, Vol. 41, pp. 406-413, 2016. https://doi.org/10.1016/j.jvcir.2016.11.003

상세보기
Krizhevsky, A., Sutskever, I., & Hinton, G. E. "Imagenet classification with deep convolutional neural networks," Commun. ACM, Vol. 60, No. 6, pp. 84-90, 2017. https://doi.org/10.1145/3065386

상세보기
Simonyan, K., & Zisserman, A., "Very deep convolutional networks for large-scale image recognition," arXiv preprint arXiv:1409.1556, 2014. https://arxiv.org/abs/1409.1556
C. Szegedy, et al. "Going deeper with convolutions," Proceedings of the IEEE conference on computer vision and pattern recognition, 2015. https://doi.org/10.1109/cvpr.2015.7298594
K. He, et al. "Deep residual learning for image recognition," Proceedings of the IEEE conference on computer vision and pattern recognition, 2016. https://doi.org/10.1109/cvpr.2016.90
G. Huang, et al. "Densely connected convolutional networks," Proceedings of the IEEE conference on computer vision and pattern recognition, 2017. https://doi.org/10.1109/cvpr.2017.243
A. G. HOWARD, et al. "Mobilenets: Efficient convolutional neural networks for mobile vision applications," arXiv preprint arXiv:1704.04861, 2017. https://arxiv.org/abs/1704.04861
J. Hu, Li Shen, and Gang Sun, "Squeeze-and-excitation networks," Proceedings of the IEEE conference on computer vision and pattern recognition, 2018. https://doi.org/10.1109/cvpr.2018.00745
B. Zoph, "Learning transferable architectures for scalable image recognition," Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. https://doi.org/10.1109/cvpr.2018.00907
Sun, Lu, Mingtian Tan, and Zhe Zhou. "A survey of practical adversarial example attacks," Cybersecurity, 2018. https://doi.org/10.1186/s42400-018-0012-9

상세보기
Cisse, Moustapha M., et al. "Houdini: Fooling deep structured visual and speech recognition models with adversarial examples," Advances in neural information processing systems, 2017. https://papers.nips.cc/paper/7273-houdini-fooling-deep-structured-visual-and-speech-recognition-models-with-adversarial-examples.pdf
H. Kwon, Y. Kim, H. Yoon and D. Choi, "Selective Audio Adversarial Example in Evasion Attack on Speech Recognition System," IEEE Transactions on Information Forensics and Security, vol. 15, pp. 526-538, 2020. https://doi.org/10.1109/tifs.2019.2925452

상세보기
R. H. Chan, Chung-Wa Ho and M. Nikolova, "Saltand-pepper noise removal by median-type noise detectors and detail-preserving regularization," IEEE Transactions on Image Processing, Vol. 14, No. 10, pp. 1479-1485, 2005. https://doi.org/10.1109/tip.2005.852196

상세보기
Roy, S. S., Hossain, S. I., Akhand, M. A. H., & Murase, K. "A robust system for noisy image classification combining denoising autoencoder and convolutional neural network," International Journal of Advanced Computer Science and Applications, Vol. 9, No. 4, pp. 224-235, 2018. https://doi.org/10.14569/ijacsa.2018.090131

상세보기
Charte, David, et al. "A practical tutorial on autoencoders for nonlinear feature fusion: Taxonomy, models, software and guidelines," Information Fusion Vol 44, pp. 78-96, 2018. https://doi.org/10.1016/j.inffus.2017.12.007

상세보기
Goodfellow, Ian, Yoshua Bengio, and Aaron Courville, "Deep learning," MIT press, 2016. https://www.deeplearningbook.org

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증