선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 PCB에 실장 된 부품을 Faster-RCNN을 이용하여 PCB에 실장된 부품을 검출하는 방식을 제안하며, 기존에 PCB 분야에서 많이 사용되던 템플릿 매칭 방식과의 성능 및 속도 비교를 진행하였다.
제안 방법
- Faster-RCNN의 학습은 미니 배치 당 영상 2장씩 사용하며, Annotation된 영상의 ROI는 128개를 사용했으며, Iteration 200,000번 학습을 진행했고, 학습 영상을 Flip하면서 학습을 진행했다.
- 본 논문에서는 위에서 설명한 Faster-RCNN을 이용하여 PCB에 실장 된 부품을 인식하는 방식을 진행한다. 먼저 카메라를 이용하여 해당 PCB의 영상을 촬영한다. 해상도는 3904x3904의 영상을 촬영하였고, 이 영상을 2600x2600 영상으로 영상의 크기를 Resize하는데, 이는 실험에 사용된 GPU의 한계로 원본 영상을 테스트할 수 없어 2600x2600으로 Resize 해서 사용했으며, 가장 작은 부품의 크기를 너무 작게 영상을 촬영하면 분류가 쉽지 않기 때문에 어느 정도 크기를 유지하도록 촬영하도록 한다.
- 본 논문에서는 위에서 설명한 Faster-RCNN을 이용하여 PCB에 실장 된 부품을 인식하는 방식을 진행한다. 먼저 카메라를 이용하여 해당 PCB의 영상을 촬영한다.
- 13[7], Caffe Framework[8], 공개된 py-Faster-RCNN[9]을 수정하여 사용하였다. 실험은 Faster-RCNN을 이용하여 PCB에 실장된 부품들을 인식하는 것과 Template Matching을 이용한 방법 두 가지의 속도와 성능 비교를 진행하였으며, 학습은 Faster-RCNN에서 Annotation 데이터를 학 습할 때 사용하는 Stochastic Gradient Descent(SGD) 방식을 사용하였으며, PCB에 실장 된 데이터가 상당히 많기 때문에 Region Proposal의 최대 개수는 1000개를 이용하였고, 기존에 Faster-RCNN에서 사용하는 Resize 파라미터를 사용하지 않고, 겹치는 Resion Proposal을 최대한 제거하기 위해 Non Maximum Suppression(NMS)을 사용하는데 NMS 임계값은 0.7로 고정하여 사용하며, Detection Threshold의 경우 Score가 0.8 이상인 데이터만을 사용하여 잘못된 Object의 위치를 측정하지 않도록 실험적인 값을 적용하였다. 또한 분류할 라벨의 개수는 23개의 부품 데이터로 구성하며, PCB 영상 중 Training Set의 개수는 32개, Test Set의 개수는 15개로 구성되며, Annotation 된 부품 영상의 총 개수는 아래 <표 1>과 같다.
- 이후 위에서 설명한 Annotation 된 데이터들과 원본 영상을 이용하여 Faster-RCNN의 RPN과 Detector를 학습시킨다. Network는 본 논문에서 RPN과 Detector에서 공유하는 Convolution Layer 층은 VGG16[7]의 D타입을 사용하며 13개의 공유 가능한 Convolution 층을 가진다.
- 해상도는 3904x3904의 영상을 촬영하였고, 이 영상을 2600x2600 영상으로 영상의 크기를 Resize하는데, 이는 실험에 사용된 GPU의 한계로 원본 영상을 테스트할 수 없어 2600x2600으로 Resize 해서 사용했으며, 가장 작은 부품의 크기를 너무 작게 영상을 촬영하면 분류가 쉽지 않기 때문에 어느 정도 크기를 유지하도록 촬영하도록 한다. 이후 촬영한 영상에서 실장 된 부품들의 Annotation 작업을 진행한다. Annotation 작업은 Training Set과 Test Set에서의 학습용 부품 데이터와 성능 측정에서의 사용을 위해 Annotation 작업을 진행하는 것이므로 정확하게 작업을 진행하며, 각 부품의 라벨 값과 Left, Top, Right, Bottom 데이터들을 저장하여 부품의 사각 영역을 저장한다.
- 이 네트워크의 입력의 개수는 네트워크에 학습할 부품의 개수 + Background까지 1개를 추가 한 개수가 입력의 수가 되고, 마지막 Box-Regression은 4X (개수 + Background), Box-Classification은 개수 + Background가 된다. 이후 학습은 전체 네트워크를 학습시키는 End-to-End 방식으로 학습을 진행하게 되고, 학습된 Weight와 Bias를 저장한 후 Test Set를 이용하여 테스트를 진행한다.
- 템플릿 매칭은 라벨별로 2장의 템플릿을 두고 Non Maximum Suppression의 값은 Width, Height에 대해 25 이하의 차이가 나면 찾은 ROI를 제거하도록 진행하고, 템플릿 매칭 방법은 openCV의 SQDIFF 방식의 매칭을 진행하였으며 Diff Threshold는 0.1로 지정하였다. Faster-RCNN과 템플릿 매칭의 Test Set에 대한 수행 시간과 Mean Average Precision(mAP)의 결과는 다음 <표 2>와 같다.
대상 데이터
- 또한 분류할 라벨의 개수는 23개의 부품 데이터로 구성하며, PCB 영상 중 Training Set의 개수는 32개, Test Set의 개수는 15개로 구성되며, Annotation 된 부품 영상의 총 개수는 아래 과 같다.
- 본 논문의 실험 환경은 Intel I7 6700K ( up to 4.20 GHz, 4-Core), 16GB RAM, NVIDIA Geforce GTX 1070 Sli(8GB x 2)의 환경이며 운영체제는 Microsoft Windows 10 (64bit), 통합 개발 환경 (IDE)는 Microsoft Visual Studio 2013, PyCharm을 사용하였으며, 관련 라이브러리로 OpenCV 2.4.13[7], Caffe Framework[8], 공개된 py-Faster-RCNN[9]을 수정하여 사용하였다. 실험은 Faster-RCNN을 이용하여 PCB에 실장된 부품들을 인식하는 것과 Template Matching을 이용한 방법 두 가지의 속도와 성능 비교를 진행하였으며, 학습은 Faster-RCNN에서 Annotation 데이터를 학 습할 때 사용하는 Stochastic Gradient Descent(SGD) 방식을 사용하였으며, PCB에 실장 된 데이터가 상당히 많기 때문에 Region Proposal의 최대 개수는 1000개를 이용하였고, 기존에 Faster-RCNN에서 사용하는 Resize 파라미터를 사용하지 않고, 겹치는 Resion Proposal을 최대한 제거하기 위해 Non Maximum Suppression(NMS)을 사용하는데 NMS 임계값은 0.
- 먼저 카메라를 이용하여 해당 PCB의 영상을 촬영한다. 해상도는 3904x3904의 영상을 촬영하였고, 이 영상을 2600x2600 영상으로 영상의 크기를 Resize하는데, 이는 실험에 사용된 GPU의 한계로 원본 영상을 테스트할 수 없어 2600x2600으로 Resize 해서 사용했으며, 가장 작은 부품의 크기를 너무 작게 영상을 촬영하면 분류가 쉽지 않기 때문에 어느 정도 크기를 유지하도록 촬영하도록 한다. 이후 촬영한 영상에서 실장 된 부품들의 Annotation 작업을 진행한다.
성능/효과
- Fast-RCNN 같은 Region 기반의 Detector에서 사용되는 Convolution Feature Map은 Region Proposal에도 사용될 수 있으므로, Region Proposal 계산 시 소모되는 비용을 상당히 줄일 수 있었으며, Detector와 RPN을 결합하여 동시에 학습시킬 수 있는 End-to-End 방식을 이용할 수 있게 된다. 또한 기존의 Selective-Search 방식을 사용한 Fast-RCNN보다 RPN을 이용한 Faster-RCNN이 실험 결과 상 더 좋은 성능을 보였으며, 속도적인 측면에서 상당히 빠른 속도를 보여주었다. 그러므로 더욱 큰 영상이나 실시간 처리에 가까운 Object Detection 문제에서 좋은 성능과 빠른 속도로 수행할 수 있게 한다.
- <표 2>의 실험 결과에 따르면 템플릿 매칭 방식보다 Faster-RCNN을 사용한 PCB 부품 인식의 수행 결과가 더 좋게 나타났으며, 수행시간 또한 상당히 줄어든 것을 볼 수 있다. 템플릿 매칭에서의 문제점은 밝기가 다른 영상들이나 영상의 각도가 회전되어 있으면 Score가 상당히 떨어지는 문제점이 나타났으며, 부품이 있는 곳이 아니더라도 수식의 계산 값이 유사하면 부품으로 인식하는 경우가 상당히 많이 나타났다.
후속연구
- 또한 상대적으로 크기가 큰 IC 칩의 경우 학습 세트나 테스트 세트의 개수가 많이 부족하여 데이터 추가가 필요하다. 위에서 설명한 문제점들을 개선하면 매우 정확하고, 수행 시간도 빠른 알고리즘의 사용이 가능하여 실제 산업 현장에서 활용할 수 있을 것으로 보인다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.