[논문]유사 이미지 분류를 위한 딥 러닝 성능 향상 기법 연구

임동진; 김태홍

doi:10.5392/jkca.2021.21.08.001

초록
AI-Helper

딥 러닝을 활용한 컴퓨터 비전 연구는 여전히 대규모의 학습 데이터와 컴퓨팅 파워가 필수적이며, 최적의 네트워크 구조를 도출하기 위해 많은 시행착오가 수반된다. 본 연구에서는 네트워크 최적화나 데이터를 보강하는 것과 무관하게 데이터 자체의 특성만을 고려한 CR(Confusion Rate)기반의 유사 이미지 분류 성능 향상 기법을 제안한다. 제안 방법은 유사한 이미지 데이터를 정확히 분류하기 위해 CR을 산출하고 이를 손실 함수의 가중치에 반영함으로서 딥 러닝 모델의 성능을 향상시키는 기법을 제안한다. 제안 방법은 네트워크 최적화 결과와 독립적으로 이미지 분류 성능의 향상을 가져올 수 있으며, 클래스 간의 유사성을 고려해 유사도가 높은 이미지 식별에 적합하다. 제안 방법의 평가결과 HanDB에서는 0.22%, Animal-10N에서는 3.38%의 성능향상을 보였다. 제안한 방법은 다양한 Noisy Labeled 데이터를 활용한 인공지능 연구에 기반이 될 것을 기대한다.

Abstract ▼ AI-Helper

Deep learning in computer vision has made accelerated improvement over a short period but large-scale learning data and computing power are still essential that required time-consuming trial and error tasks are involved to derive an optimal network model. In this study, we propose a similar image cl...

Deep learning in computer vision has made accelerated improvement over a short period but large-scale learning data and computing power are still essential that required time-consuming trial and error tasks are involved to derive an optimal network model. In this study, we propose a similar image classification performance improvement method based on CR (Confusion Rate) that considers only the characteristics of the data itself regardless of network optimization or data reinforcement. The proposed method is a technique that improves the performance of the deep learning model by calculating the CRs for images in a dataset with similar characteristics and reflecting it in the weight of the Loss Function. Also, the CR-based recognition method is advantageous for image identification with high similarity because it enables image recognition in consideration of similarity between classes. As a result of applying the proposed method to the Resnet18 model, it showed a performance improvement of 0.22% in HanDB and 3.38% in Animal-10N. The proposed method is expected to be the basis for artificial intelligence research using noisy labeled data accompanying large-scale learning data.

주제어

표/그림 (11)

그림 그림 1. 딥 러닝 모델 구현 과정
그림 그림 2. HanDB와 Animal-10N 데이터셋 및 버섯과 한약재의 유사 이미지 샘플(순서대로)
그림 그림 3. 제안 프로세스 개념도
그림 그림 4. Confusion Matrix 예시
그림 그림 5. Resnet18 Animal-10N 정확도 변화
표 표 1. CR 기반 Loss 보정 알고리즘
그림 그림 6. Animal-10N 데이터셋 기존 모델과 제안 모델 학습 및 검증 변화
그림 그림 7. VGG13 네트워크에서 k값 변화에 따른 정확도 변화
표 표 2. Resnet18에서의 정확도 변화(%)
그림 그림 8. HanDB 데이터셋 기존 모델과 제안 모델 학습 및 검증 변화
표 표 3. 제안 모델 정확도(%): Animal-10N

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 학습 모델의 종류나 데이터셋의 크기와 무관한 혼동 이미지셋(시각적으로 유사한 특징을 가진 클래스)을 이용한 분류 성능 향상 기법을 제안한다. 제안 방법은 딥 러닝 모델의 학습 과정에서 발생하는 모델의 예측값과 데이터의 정답값의 차이를 이용하여 CM(Confusion Matrix)을 만들고, CM으로부터 두 클래스 간 차이 대한 비율 CR(Confusion Rate)을 새롭게 정의한다.

제안 방법

9 와 Batch Size 는 512로 설정하였다. HanDB에서는 이미지를 60x60 으로 변환 한 후 GrayScale과 Zero Padding을 적용하여 1x64x64로 학습을 진행하였고, Animal-10N에서는 3x64x64의 크기로 학습을 진행하였다.
제안 방법은 2 epoch부터 매 epoch마다 모델의 예측값을 기반으로 CM을 만들고 CR을 산출하여 학습에 이용하게 되는데, HanDB에서와 같이 모델의 학습이 빠르게 수렴한다면 CM은 대각행렬 모양을 띄게 되고 결국 CR의 값은 0이 된다. 이는 기존의 손실 함수에 아무런 가중치를 추가하지 않은 것과 같기 때문에 실질적 보정 효과를 가져올 수 없는 결과를 보여줬다.
본 논문에서는 학습 모델의 종류나 데이터셋의 크기와 무관한 혼동 이미지셋(시각적으로 유사한 특징을 가진 클래스)을 이용한 분류 성능 향상 기법을 제안한다. 제안 방법은 딥 러닝 모델의 학습 과정에서 발생하는 모델의 예측값과 데이터의 정답값의 차이를 이용하여 CM(Confusion Matrix)을 만들고, CM으로부터 두 클래스 간 차이 대한 비율 CR(Confusion Rate)을 새롭게 정의한다. CR 값은 손실 함수에 가중치를 더해 모델의 학습을 보정한다.

대상 데이터

HanDB는 한글 필기체 데이터 셋으로, 한글의 특성에 따라 다수의 유사 이미지를 포함하고 있으며 총 2,350개의 클래스, 학습데이터 665,890장, 검증데이터 75,186장으로 이루어져 있다. Animal-10N 데이터셋은 총 10개의 클래스로 학습데이터 50,000장과 검증데이터 5,000장으로 구성되어 있어 있으며 이미지 유사도가 높은 동물 10종의 사진을 모은 데이터셋이다. 또한 네트워크 구조 변경 없이 동일한 조건에서 실험을 진행하기 위해 Optimizer와 Batch_Size등 모든 하이퍼 파라미터를 고정하고 학습을 진행하였으며 Animal-10N은 Resnet18, Resnet34, VGG13 모델을 100 epochs 반복하였고, HanDB는 50 epochs 반복하였다.
본 논문에서는 제안 방법을 여러 도메인에 적용 해보기 위해 이질적인 두 종류의 데이터셋을 실험에 사용하였다. HanDB는 한글 필기체 데이터 셋으로, 한글의 특성에 따라 다수의 유사 이미지를 포함하고 있으며 총 2,350개의 클래스, 학습데이터 665,890장, 검증데이터 75,186장으로 이루어져 있다. Animal-10N 데이터셋은 총 10개의 클래스로 학습데이터 50,000장과 검증데이터 5,000장으로 구성되어 있어 있으며 이미지 유사도가 높은 동물 10종의 사진을 모은 데이터셋이다.
본 논문에서는 제안 방법을 여러 도메인에 적용 해보기 위해 이질적인 두 종류의 데이터셋을 실험에 사용하였다. HanDB는 한글 필기체 데이터 셋으로, 한글의 특성에 따라 다수의 유사 이미지를 포함하고 있으며 총 2,350개의 클래스, 학습데이터 665,890장, 검증데이터 75,186장으로 이루어져 있다.
본 연구에서는 먼저 식(2)에서 k값에 따른 학습 변화를 알아보기 위해 VGG13 네트워크와 Animal-10N 데이터셋으로 실험을 진행하였다. [그림 7]과 같이 k의 값이 3 일 때 결과가 가장 좋았으며, 값이 커질수록 과적합 등의 이유로 성능이 감소하는 모습을 보였다.
본 연구에서는 제안 방법이 도메인이 다른 데이터셋에도 효과가 있음을 확인하기 위해 HanDB 데이터셋에 VGG13, Resnet18, Resnet34 모델을 적용하여 실험을 진행하였다.

성능/효과

[표 3]과 같이 실험 결과 모델의 정확도 향상은 Resnet34 모델에 대해 Animal-10N에서와는 달리 HanDB에서는 98.40%에서 98.50%로유의미한 성능 향상을 보이지 못하였는데, [그림 8]에서 HanDB는 Animal-10N에서와 달리 학습 초기에 Loss가 0으로 빠르게 수렴하는 모습을 볼 수 있었다.
24%의 성능 향상을 확인할 수 있었다. 그러나 Resnet18에서 정확도 변화를 확인한 결과 3.38%의 성능 향상에도 불구하고 [표 2]에서와 같이 오랑우탄의 정확도가 떨어졌으며, [그림 5]에서와 같이 코요테와 늑대의 CR 값이 0.53에서 0.5로 상승하는 모습을 확인할 수 있었다.
두 개의 데이터셋의 특징을 고려해보면, HanDB는배경이미지가 없는 한글 필기체 데이터셋이고, Animal-10N은 상대적으로 배경이 복잡한 동물 데이터셋이기 때문에, 학습 수렴의 속도자체의 차이로 인해 Animal-10N 데이터셋에서 제안한 방법의 유사 이미지 분류 보정 효과가 높은 것으로 확인되었다. 이러한 특성으로 인해 제안 방법은 추가적인 보완을 통해 실세계의 비식용버섯, 독성 약재 이미지와 같은 복잡한 데이터 분류에 보다 효과적일 것으로 예상되며.
제안 방법이 다양한 네트워크에서도 활용 가능함을 보이기 위해 VGG13, Resnet18, Resnet34에 Animal-10N 데이터셋을 적용한 결과 [그림 6]의 결과와 같이 모든 네트워크에서 성능향상을 보였으며, VGG13에서 1.68%, Resnet18에서 3.38%, Resnet34 에서 2.24%의 성능 향상을 확인할 수 있었다. 그러나 Resnet18에서 정확도 변화를 확인한 결과 3.

후속연구

이러한 특성으로 인해 제안 방법은 추가적인 보완을 통해 실세계의 비식용버섯, 독성 약재 이미지와 같은 복잡한 데이터 분류에 보다 효과적일 것으로 예상되며. 또한 최근대 용량 데이터의 주요 수집처인 웹기반의 수집 이미지 셋과 같이 Noisy Label이 포함된 데이터셋에 대한 처리 방안 연구 등에도 활용할 수 있을 것으로 기대한다.
두 개의 데이터셋의 특징을 고려해보면, HanDB는배경이미지가 없는 한글 필기체 데이터셋이고, Animal-10N은 상대적으로 배경이 복잡한 동물 데이터셋이기 때문에, 학습 수렴의 속도자체의 차이로 인해 Animal-10N 데이터셋에서 제안한 방법의 유사 이미지 분류 보정 효과가 높은 것으로 확인되었다. 이러한 특성으로 인해 제안 방법은 추가적인 보완을 통해 실세계의 비식용버섯, 독성 약재 이미지와 같은 복잡한 데이터 분류에 보다 효과적일 것으로 예상되며. 또한 최근대 용량 데이터의 주요 수집처인 웹기반의 수집 이미지 셋과 같이 Noisy Label이 포함된 데이터셋에 대한 처리 방안 연구 등에도 활용할 수 있을 것으로 기대한다.

참고문헌 (18)

K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," Proceedings of the IEEE conference on computer vision and pattern recognition, pp.770-778, 2016.
Johnson, M. Justin, and M. Taghi, "Survey on deep learning with class imbalance," Journal of Big Data, Vol6, No.1, pp.1-54, 2019.

상세보기
Buda, Mateusz, Atsuto Maki, and A Mazurowski, "A systematic study of the class imbalance problem in convolutional neural networks," Neural Networks, Vol.106, pp.249-259, 2018.

상세보기
T. Xiao, T. Xia, Y. Yang, C. Huang, and X. Wang, "Learning from massive noisy labeled data for image classification," Proceedings of the IEEE conference on computer vision and pattern recognition, pp.2691-2699, 2015.
H. J. Song, M. S. Kim, and J. G. Lee, "Selfie: Refurbishing unclean samples for robust deep learning," International Conference on Machine Learning, pp.5096-5915, 2019.
S. Chopra, R. Hadsell, and Y. LeCun, "Learning a similarity metric discriminatively, with application to face verification," CVPR, pp.539-546, 2005.
A. Dubey, O. Gupta, P. Guo, R. Raskar, R. Farrell, and N. Naik, Training with confusion for fine-grained visual classification, CoRR, 2017.
Mikolajczyk, Agnieszka, and Michal Grochowski, "Data augmentation for improving deep learning in image classification problem," 2018 international interdisciplinary PhD workshop (IIPhDW), IEEE, pp.117-122, 2018.
J. G. Ian, P. Jean, M. Mehdi, X. Bing, W. David, O. Sherjil, C. Aaron, and B. Yoshua, Generative adversarial networks. 2014.
M. Frid-Adar, E. Klang, M. Amitai, J. Goldberger, and H. Greenspan, "Synthetic data augmentation using GAN for improved liver lesion classification," 2018 IEEE 15th international symposium on biomedical imaging (ISBI 2018), IEEE, pp.289-293, 2018.
임동진, AI 성능 향상을 위한 상호 혼동 쌍 선정 및 딥 러닝 모델 연구, 과학기술연합대학원대학교, 석사 학위논문, 2020.
김정연, 다중 열 딥러닝 구조와 자기 구성 지도를 이용한 한글 필기체 인식 연구, 숭실대학교, 석사학위논문, 2018.
Moravec, Hans, "When will computer hardware match the human brain," Journal of evolution and technology Vol.1, pp.10-22, 1998.
https://github.com/callee2006/HangulDB
https://dm.kaist.ac.kr/datasets/animal-10n
Simonyan, Karen, and A. Zisserman, "Very deep convolutional networks for large-scale image recognition," arXiv preprint arXiv:1409.1556, 2014.
D. Arpit, S. Jastrzebski, N. Ballas, D. Krueger, E. Bengio, and M. S. Kanwal, "A closer look at memorization in deep networks," International Conference on Machine Learning, PMLR, pp.233-242, 2017.
C. Zhang, S. Bengio, M. Hardt, B. Recht, and O. Vinyals, "Understanding deep learning requires rethinking generalization," Communications of the ACM, Vol.64, No.3, pp.107-115, 2021.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

유사 이미지 분류를 위한 딥 러닝 성능 향상 기법 연구
Research on Deep Learning Performance Improvement for Similar Image Classification 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (11)

표/그림 (11)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

참고문헌 (18)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

유사 이미지 분류를 위한 딥 러닝 성능 향상 기법 연구 Research on Deep Learning Performance Improvement for Similar Image Classification 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (11) 모든 표/그림 보기

표/그림 (11) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

참고문헌 (18)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

유사 이미지 분류를 위한 딥 러닝 성능 향상 기법 연구
Research on Deep Learning Performance Improvement for Similar Image Classification 원문보기

초록
AI-Helper

표/그림 (11)

표/그림 (11)

AI 본문요약
AI-Helper