[논문]금속 표면의 결함 검출을 위한 영역 기반 CNN 기법 비교

이민기; 서기성

doi:10.5370/kiee.2018.67.7.865

금속 표면의 결함 검출을 위한 영역 기반 CNN 기법 비교
Comparison of Region-based CNN Methods for Defects Detection on Metal Surface 원문보기

전기학회논문지 = The Transactions of the Korean Institute of Electrical Engineers, v.67 no.7, 2018년, pp.865 - 870

이민기 (Dept. of Electronics Engineering, Seokyeong University) , 서기성 (Dept. of Electronics Engineering, Seokyeong University)

Abstract ▼ AI-Helper

A machine vision based industrial inspection includes defects detection and classification. Fast inspection is a fundamental problem for many applications of real-time vision systems. It requires little computation time and localizing defects robustly with high accuracy. Deep learning technique have been known not to be suitable for real-time applications. Recently a couple of fast region-based CNN algorithms for object detection are introduced, such as Faster R-CNN, and YOLOv2. We apply these methods for an industrial inspection problem. Three CNN based detection algorithms, VOV based CNN, Faster R-CNN, and YOLOv2, are experimented for defect detection on metal surface. The results for inspection time and various performance indices are compared and analysed.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 금속으로 된 금속 부품의 표면에 대해 Faster R-CNN과 YOLO v2 기반의 결함 검출 방법을 실험하고 비교한다. 더불어 사전 연구 결과인 VOV 필터와 CNN을 결합한 검출 방법의 결과도 함께 정리한다.
또한, YOLOv2[12] 기법을 적용하여 Faster R-CNN 접근법과 비교한 연구도 수행하였다[13]. 본 논문에서는 이러한 사전 연구를 확장하여, 산업용 결함 검사 데이터에 대해서 CNN 기반의 상기의 검출 기법들간의 비교 실험을 수행하고 성능을 분석한다.

제안 방법

CNN 기반의 물체 검출 알고리즘은 R-CNN, Fast R-CNN을 거치며 검출 속도와 성능이 개선되어 왔다[8,9]. Fast R-CNN은 Selective Search 알고리즘을 사용하여 후보 영역(ROI)을 제안하고 이를 경계상자(bounding box) 회귀(regressors)로 학습시켰는데, Faster R-CNN[10]에서는 이를 보다 체계화하여, 다양한 크기의 앵커(anchor)를 적용한 RPN(Region Proposal Network)을 제안하였다.
앞쪽 특징 맵에서 추출된 bbox는 작은 물체, 풀링 연산후의 특징 맵에서 추출된 bbox는 보다 큰 물체의 특징을 포함한다. 또한 학습할 때 일정 배치마다 입력 이미지의 크기를 랜덤한 사이즈로 조정하여 학습한다. 그림 5에 YOLOv2의 구조가 나와 있다
본 논문에서는 금속으로 된 금속 부품의 표면에 대해 Faster R-CNN과 YOLO v2 기반의 결함 검출 방법을 실험하고 비교한다. 더불어 사전 연구 결과인 VOV 필터와 CNN을 결합한 검출 방법의 결과도 함께 정리한다.
산업용 금속 부품의 표면 결함 검사에 CNN 기반의 3가지 검출 기법을 적용하여 실험하였다. 사전에 연구된 VOV+CNN 검출 방법 외에 Faster R-CNN과 YOLOv2 기법을 중심으로 검출 성능과 속도 측면에서 비교하였다. 미검출율은 Faster R-CNN이 가장 우수했고, 그 다음으로 VOV+CNN, YOLOv2 순이었다.
산업용 금속 부품의 표면 결함 검사에 CNN 기반의 3가지 검출 기법을 적용하여 실험하였다. 사전에 연구된 VOV+CNN 검출 방법 외에 Faster R-CNN과 YOLOv2 기법을 중심으로 검출 성능과 속도 측면에서 비교하였다.
VOV와 CNN을 결합한 검출 방법은 금속 부품의 큰 이미지를 슬라이딩 윈도우 방식으로 잘라서 작은 크기의 ROI 이미지를 생성한다. 생성된 ROI 이미지에 VOV 필터를 적용해 결함 후보영역을 추출하고, 이를 CNN에 입력으로 주어 학습한다. Faster R-CNN 및 YOLOv2에서의 검출은 위 방법과는 달리 ROI 이미지 대신에 큰 이미지를 학습에 사용한다.
RPN은 특징맵에 슬라이딩 윈도우 방식으로 앵커(anchor) 박스를 적용한다. 앵커 박스는 크기와 비율을 변화시킨 다양한 크기로 구성되어 있고, 이들을 적용시켜 검출하고자 하는 객체가 존재할 만한 다양한 영역을 제안한다. 제안된 영역 중 IOU를 계산하여 일정 수치(예로 0.
풀링 연산은 이미지 내 특징의 작은 위치변화에 대한 불변성을 부여한다. 이 두가지 층을 교대로 거치면서 이미지의 특징을 추출하여 최종적으로 특징 맵을 만들고, 이를 완전연결(Fully connected) 층에 전달하여 이미지를 분류한다. 그림 3은 사전 연구 [6]에서 사용된 CNN 모델 구조의 예이며, 맵과 커널의 크기는 결함에 적합하게 설정되어 있다.
Faster R-CNN 및 YOLOv2에서의 검출은 위 방법과는 달리 ROI 이미지 대신에 큰 이미지를 학습에 사용한다. 큰 이미지에서 결함이 있는 좌표를 데이터화 한 후, 큰 이미지와 결함 좌표 데이터를 입력으로 사용해 학습한다. 평가시, Faster R-CNN은 결함영역의 좌측 상단 좌표, YOLOv2는 결함영역의 중심 좌표를 출력한다.
따라서 비결함 데이터는 학습에 사용하지 않았다. 테스트에는 3가지 방법 모두 같은 데이터를 사용하였고, VOV+CNN 방법은 전체 이미지에 대해서 윈도우를 이동하면서 검출을 시도하였다.

대상 데이터

실험에 사용한 금속 부품 표면의 결함 종류는 갈라짐, 긁힘, 찍힘, 오염 등을 포함한다. 표면의 질감이 약간 오톨도톨하거나 불균일한 느낌이 있어서 촬영 시 불균일한 무늬가 나타난다.
제품의 표면 결함은 긁힘, 갈라짐, 찍힘, 패임, 얼룩 등을 포함한다. 표면 재질의 특성에 따라 조명 반사가 심하거나, 가공과정에서 발생하는 불균일한 무늬 등이 존재하기 때문에 정상 영역과 결함 영역의 구별이 매우 어렵다.

이론/모형

실험에 사용된 데이터는 표 1과 같다. VOV+CNN 방법은 학습 시 분류 가능한 부분적인 조각 이미지 데이터를 사용하였고, Faster R-CNN, YOLOv2에서는 전체 이미지를 사용하였다. 또한 위치 검출이 필요하기 때문에 결함이 있는 데이터만을 사용해야 학습이 가능하다.
후속 연구로 R-CNN[8,9] 기반 접근법 중 가장 최신 방법 인 Faster R-CNN[10]을 사용하여 검출 성능과 속도를 향상시켰다[11]. 또한, YOLOv2[12] 기법을 적용하여 Faster R-CNN 접근법과 비교한 연구도 수행하였다[13]. 본 논문에서는 이러한 사전 연구를 확장하여, 산업용 결함 검사 데이터에 대해서 CNN 기반의 상기의 검출 기법들간의 비교 실험을 수행하고 성능을 분석한다.
검사시간 측정에 사용된 그래픽카드는 GTX 960이다. 코드 구현은 VOV+CNN, Faster R-CNN는 Matlab을 사용하였고, YOLOv2는 darknet19 기반의 C/C++를 사용하였다. Faster R-CNN과 YOLOv2 수행 속도의 차이가 기존의 참고문헌[14]의 결과와 유사하게 나왔다.
이 방법은 ROI의 수가 비교적 적어서 처리 속도 면에서 장점을 가지나, 검출성능이 만족스럽지 않았다. 후속 연구로 R-CNN[8,9] 기반 접근법 중 가장 최신 방법 인 Faster R-CNN[10]을 사용하여 검출 성능과 속도를 향상시켰다[11]. 또한, YOLOv2[12] 기법을 적용하여 Faster R-CNN 접근법과 비교한 연구도 수행하였다[13].

성능/효과

검사시간 측면에서도 Faster R-CNN이 더 적게 걸림을 알 수 있다. YOLOv2 방법이 Faster R-CNN 기반 방법보다 미검출율은 3.3% 증가했으나, 과검출율과 오류율은 각각 13.2% 및 8.3% 감소하였다. 특히, 검사 시간과 초 당 처리 프레임 수는 3가지 방법 중 현격한 차이로 가장 우수하였다.
미검출율은 Faster R-CNN이 가장 우수했고, 그 다음으로 VOV+CNN, YOLOv2 순이었다. 과검출과 오류율은 YOLOv2가 가장 우수했고, 그 다음으로 Faster R-CNN, VOV+CNN 순으로 나타났다. 또한, 검츨 속도면에서도 YOLOv2 기법이 다른 두 방법보다 월등한 성능을 보였다.
이러한 요인들이 결함 검출을 더욱 어렵게 한다. 또한, 검사 대상 제품의 위치가 균일하지 않아서, 검사 영역이 전후좌우로 이동되기 때문에 고정된 슬라이딩 윈도우 방식의 검사 방식은 적합하지 않으며 본 논문의 특징맵 방식의 접근이 효율적이다.
과검출과 오류율은 YOLOv2가 가장 우수했고, 그 다음으로 Faster R-CNN, VOV+CNN 순으로 나타났다. 또한, 검츨 속도면에서도 YOLOv2 기법이 다른 두 방법보다 월등한 성능을 보였다. 물체 검출을 위주로 연구가 되고 있는 Faster R-CNN 과 YOLOv2 알고리즘을 난이도가 높은 금속 부품의 표면 결함 검출에 적용하여 만족할 만한 성능을 얻은 것이 의의라고 볼 수 있다.
사전에 연구된 VOV+CNN 검출 방법 외에 Faster R-CNN과 YOLOv2 기법을 중심으로 검출 성능과 속도 측면에서 비교하였다. 미검출율은 Faster R-CNN이 가장 우수했고, 그 다음으로 VOV+CNN, YOLOv2 순이었다. 과검출과 오류율은 YOLOv2가 가장 우수했고, 그 다음으로 Faster R-CNN, VOV+CNN 순으로 나타났다.
그림 7은 3가지 방법에 대한 재현율(Recall), 정밀도(Precision), 정확도(Accuracy) 성능을 그래프로 나타낸 것이다. 정확도와 정밀도는 YOLOv2 방법이 가장 우수하고, 재현율에서는 Faster R-CNN 방법이 가장 우수하게 나왔다.
금속 부품의 표면 결함에 대한 검출 실험 결과가 표 3과 그림 7에 나와 있다. 표 3에서 Faster R-CNN 기반 결함 검출 방법이 VOV+CNN 방법에 비해 미검출율이(FNR) 약 1.1% 감소, 과검출율이(FPR) 약 56.1% 감소, 오류율이(Error Rate) 약 42.2% 감소하여 우수한 성능을 보였다. 검사시간 측면에서도 Faster R-CNN이 더 적게 걸림을 알 수 있다.

후속연구

향후, 네트워크 구조의 최적화와 학습 알고리즘의 개선을 통해 검출 성능과 처리 시간에 대한 추가적인 향상이 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	VOV+CNN 검출 방법 외에 Faster R-CNN과 YOLOv2 기법을 통해 금속 부품의 표면 결함 검사를 시행했을 때 어떤 결과를 얻을 수 있는가?	사전에 연구된 VOV+CNN 검출 방법 외에 Faster R-CNN과 YOLOv2 기법을 중심으로 검 출 성능과 속도 측면에서 비교하였다. 미검출율은 Faster R-CNN이 가장 우수했고, 그 다음으로 VOV+CNN, YOLOv2 순이었다. 과검출과 오류율은 YOLOv2가 가장 우수했고, 그 다음으로 Faster R-CNN, VOV+CNN 순으로 나타났다. 또한, 검츨 속도면에서도 YOLOv2 기법이 다른 두 방법보다 월등한 성능을 보였다. 물체 검출을 위주로 연구가 되고 있는 Faster R-CNN 과 YOLOv2 알고리즘을 난이도가 높은 금속 부품의 표면 결함 검출에 적용하여 만족할 만한 성능을 얻은 것이 의의라고 볼 수 있다.
	CNN은 어떤 구조로 이루어져 있는가?	컨볼루션(convolution) 층과 풀링(pooling) 층이 교대로 반복되는 구조를 이룬다. 컨볼루션(합성곱) 연산은 이미지를 흐릿하게 하거나 모서리나 선을 강조하는 효과를 준다.
	YOLOv2가 객체 검출을 하는 방법은 무엇인가?	YOLOv2[14]는 실시간 객체 검출을 목표로 하는 학습 및 검출 알고리즘으로 기존의 YOLO[12] 알고리즘을 개선한 기법이다. YOLOv2는 입력 이미지를 S ×S의 그리드 셀로 나눈 후 각 그리드 셀마다 5개의 앵커 박스를 적용하여 그리드 셀 내 객체의 존재 확률, 객체에 대한 클래스의 확률, 객체의 중심좌표와 객체의 너비 및 높이를 추정한다. Faster R-CNN이 RPN으로 객체의 영 역을 제안하는 것과 달리, YOLOv2는 간단한 그리드 셀을 바탕으로 객체의 영역을 제안한다.

참고문헌 (14)

Y. Park, and I. S. Kweon, "Ambiguous Surface Defect Image Classification of AMOLED Displays in Smartphones," IEEE Trans. on Industrial Informatics, vol. 12, no. 2, pp. 597-607, 2016

상세보기
S. Ghorai, A. Mukherjee, M. Gangadaran, P. K. Dutta, "Automatic Defect Detection on Hot-Rolled Flat Steel Products," IEEE Trans. on Instrumentation and Measurement, vol. 62, Iss. 3, pp. 612-621, 2013.

상세보기
LeCun, Yann, et al. "Gradient based learning applied to document recognition," Proceedings of the IEEE, pp. 2278-2324, 1998
J-K. Park, N. Kwon, J-H. and D. Kang, "Machine Learning-Based Imaging System for Surface Defect Inspection," International Journal of Precision Engineering and Manufacturing-Green Technology, vol. 3, no. 3, pp. 303-310, 2016

상세보기
H. Choi and K. Seo, "CNN Based Detection of Surface Defects for Electronic Parts," Journal of Korean Institute of Intelligent Systems, vol. 27, no. 3, pp. 195-200, 2017.

상세보기
H. Choi and K. Seo, "Comparison of CNN Structures for Detection of Surface Defects," The Transactions of the Korean Institute of Electrical Engineers, vol. 66, no. 7, pp. 1100-1104, 2017
B.-K Kwon, J.-S. Won, D.-J. Kang. "Fast defect detection for various types of surfaces using random forest with VOV features," International Journal of Precision Engineering and Manufacturing, vol. 16, no. 5, pp. 965-970, 2015

상세보기
R. Girshick, J. Donahue, T. Darrell, J. Malik, "Region-Based Convolutional Networks for Accurate Object Detection and Segmentation," IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 38, no. 1. pp. 142-158. 2016

상세보기
R. Girshick, "Fast R-CNN," ICCV 2015, pp. 1440-1448. 2015
Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun, "Faster r-cnn: Towards real-time object detection with region proposal networks," Advances in neural information processing systems, pp. 91-99, 2015
M. Lee, K, Seo, "Using Deep Learning Based Machine Vision for Defects Detection," Proceedings of Information and Control Symposium CICS'2017, pp. 54-55, 2017.
Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi, "You Only Look Once: Unified, Real-Time Object Detection," Proceedings of the IEEE conference on computer vision and pattern recognition, 2016
M. Lee, K, Seo, "Comparison of CNN Methods for Defects Detection," Proceedings of Information and Control Symposium ICS'2018, pp. 101-102, 2018.
Joseph Redmon, Ali Farhadi, "YOLO9000: better, faster, stronger," arXiv:1612.08242, 2017.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증