[논문]PCB 검사를 위한 YOLO 네트워크 기반의 PCB 부품 분류 알고리즘

윤형조; 이준재

doi:10.9717/kmms.2021.24.8.988

PCB 검사를 위한 YOLO 네트워크 기반의 PCB 부품 분류 알고리즘
PCB Component Classification Algorithm Based on YOLO Network for PCB Inspection 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.24 no.8, 2021년, pp.988 - 999

윤형조 (Dept. of Computer Engineering, Graduate School, Keimyung University) , 이준재 (Faculty of Computer Engineering, Keimyung University)

Abstract ▼ AI-Helper

AOI (Automatic Optical Inspection) of PCB (Printed Circuit Board) is a very important step to guarantee the product performance. The process of registering components called teaching mode is first perform, and AOI is then carried out in a testing mode that checks defects, such as recognizing and comparing the component mounted on the PCB to the stored components. Since most of registration of the components on the PCB is done manually, it takes a lot of time and there are many problems caused by mistakes or misjudgement. In this paper, A components classifier is proposed using YOLO (You Only Look Once) v2's object detection model that can automatically register components in teaching modes to reduce dramatically time and mistakes. The network of YOLO is modified to classify small objects, and the number of anchor boxes was increased from 9 to 15 to classify various types and sizes. Experimental results show that the proposed method has a good performance with 99.86% accuracy.

주제어

표/그림 (22)

그림 Fig. 1. Acquired image of PCB component.
그림 Fig. 2. PCB images and images showing PCB component locations.
그림 Fig. 3. Types of components.
그림 Fig. 4. Soldering region of capacitor (left) and resistor (right).
그림 Fig. 5. Diode with different colors.
그림 Fig. 6. String inside diode.
그림 Fig. 7. Features of transistor.
그림 Fig. 8. Labeling image of capacitor (left) and resistor (right).
그림 Fig. 9. Labeling images of diode.
그림 Fig. 10. Labeling image of 2812-TR and 2816-TR.
표 Table 1. Class name by types.
그림 Fig. 11. Network structure of YOLO v2.
그림 Fig. 12. Architecture of feature pyramid in YOLO v3.
그림 Fig. 13. Components of similar shape and color, 0603-C(left), 1005-C(middle), 2012-C(right).
그림 Fig. 14. Network structure of YOLO v2.
그림 Fig. 15. Modified network structure.
그림 Fig. 16. Size distribution of Training data and anchor boxes, default anchor box (left), modified anchor box (right).
표 Table 2. Number of train data per class.
표 Table 3. Basic YOLO v2 experiment result.
그림 Fig. 17. Detection results of 0402-C (left) and 0603-C (right).
그림 Fig. 18. Case of incorrectly finding 2012 size capacitor as 1608 size capacitor (original (left), detection result (right)).
표 Table 4. Experiment result of proposed network modification model (YOLO v2).

AI 본문요약
AI-Helper

제안 방법

본 논문에서는 PCB 부품 분류를 위해 부품의 특성을 조사하여 이들 간의 모양과 색상이 비슷하더라도 잘 구별해 낼 수 있도록 부품의 경계영역을 정하고 클래스를 정의하였다. 그리고 부품의 크기가 다르면 다른 종류의 부품으로 분류할 수 있도록 YOLO의 다른 모델들보다 상대적으로 크기정보에 민감한 YOLO v2를 사용했다, 또한 앵커박스의 개수와 크기를 본 논문에 맞게 수정하였으며, 작은 부품도 인식할 수 있는 네트워크를 제안하였다. 본 논문에 사용된 부품의 클래스는 총 29개의 클래스이지만 부품의 크기가 같으나 높이 정보가 필요한 부품들은 제외하고, 모양도 비슷하고 크기 비슷한 클래스들은 같은 클래스로 묶었다.
세 번째, 물체의 검출 및 분류를 동시에 수행하는 모델이면서 크기 변화에 의존적인 YOLO v2를 선택하여, 부품 모양에 적합한 앵커박스를 만들고. 네트워크를 수정하여 개선함으로써 작은 부품도 검출할 수 있도록 시스템의 분류성능을 높인다. 이렇게 함으로 제안한 방법은 실험결과 17개의 클래스에 대해 99.
첫째, 부품의 다양한 색상과, 약간의 회전변화에 대해서 강건한 분류특성을 갖도록 영상을 수집 및 처리한다. 둘째, 분류성능을 높이기 위해 부품 간의 구별되는 특성을 고려하여 물체의 경계영역을 정한다. 세 번째, 물체의 검출 및 분류를 동시에 수행하는 모델이면서 크기 변화에 의존적인 YOLO v2를 선택하여, 부품 모양에 적합한 앵커박스를 만들고.
하지만 여전히 YOLO v2에서는 작은 물체를 잘 찾지 못한다는 단점이 존재한다. 본 논문에서는 0402 크기의 부품같이 크기가 매우 작은 부품들을 찾아야 하므로 이를 개선하기 위해 YOLO v2에서 사용한 방법을 응용해서 네트워크를 개선한다.
본 논문에서는 PCB 부품 분류를 위해 부품의 특성을 조사하여 이들 간의 모양과 색상이 비슷하더라도 잘 구별해 낼 수 있도록 부품의 경계영역을 정하고 클래스를 정의하였다. 그리고 부품의 크기가 다르면 다른 종류의 부품으로 분류할 수 있도록 YOLO의 다른 모델들보다 상대적으로 크기정보에 민감한 YOLO v2를 사용했다, 또한 앵커박스의 개수와 크기를 본 논문에 맞게 수정하였으며, 작은 부품도 인식할 수 있는 네트워크를 제안하였다.
둘째, 분류성능을 높이기 위해 부품 간의 구별되는 특성을 고려하여 물체의 경계영역을 정한다. 세 번째, 물체의 검출 및 분류를 동시에 수행하는 모델이면서 크기 변화에 의존적인 YOLO v2를 선택하여, 부품 모양에 적합한 앵커박스를 만들고. 네트워크를 수정하여 개선함으로써 작은 부품도 검출할 수 있도록 시스템의 분류성능을 높인다.
본 논문에서 제안한 주요 기여내용을 요약하면 다음과 같다. 첫째, 부품의 다양한 색상과, 약간의 회전변화에 대해서 강건한 분류특성을 갖도록 영상을 수집 및 처리한다. 둘째, 분류성능을 높이기 위해 부품 간의 구별되는 특성을 고려하여 물체의 경계영역을 정한다.
소분류까지 정확한 분류를 위해서는 높이 정보를 이용해 RGB-D 4채널 영상을 활용하여야 한다. 하지만 높이 정보는 제공받지 못해 해당 논문에서는 RGB 영상만을 이용하는 중분류를 진행하였다. 추후 높이 정보를 수집하여 RGB-D 영상으로 소분류까지 부품을 분류하고자 한다.

대상 데이터

학습 데이터의 클래스별 세부 구성은 Table 3과 같다. 각 클래스 당 데이터 1000장을 기준으로 8:2로 학습데이터(800장)와 실험데이터(200장)로 나눴고 각 클래스마다 포함되는 부품들이 여러 개이고 배경도 다양하기 때문에 부품의 종류가 많고 배경이 다양한 경우는 학습 데이터를 900장으로 구성한다. 데이터가 1000장보다 적은 경우는 최대 영상의 개수를 8:2로 나눠서 구성한다.
검사할 부품을 중심으로 700×700(pixel) 크기의 영상을 사용하고 영상 당 가운데 하나의 부품만을 검사한다.
부품의 라이브러리화를 위해 데이터의 종류나 각 데이터들 간의 특징을 분석한다. 본 논문에서 사용되는 부품의 종류는 커패시터, 다이오드, 레지스터, 트랜지스터로 4가지로 구성되어 있으며, 각 종류에서 부품의 크기에 따라 부품의 종류가 세분화되어 있다. Fig.
데이터의 개수가 적은 부품은 학습의 신뢰성을 위해 제외해서 17개의 클래스를 분류결과를 보였으며, 추후 데이터가 확보되는 대로 확장할 예정이다. 실험은 학습 데이터 14, 548장, 테스트 데이터는 5, 511장으로 수행하였다. 기존의 앵커박스의 개수는 5개인데 비해, 본 논문에서는 크기가 다른 부품의 개수와 다이오드와 트랜지스터 등의 특성을 고려해서 앵커 박스의 개수를 15개로 늘렸다.
학습데이터 14, 548장, 실험 데이터는 5, 511장으로 구성했다. 학습 데이터의 클래스별 세부 구성은 Table 3과 같다.

데이터처리

네트워크의 성능을 비교하기 위해 기본 YOLO v2 의 모델과 본 논문에서 제안한 모델을 비교하여 실험하였다. 기본 YOLO v2의 실험 결과는 Table 3과 같이 전체적으로 정확도가 떨어진다.

성능/효과

실험은 학습 데이터 14, 548장, 테스트 데이터는 5, 511장으로 수행하였다. 기존의 앵커박스의 개수는 5개인데 비해, 본 논문에서는 크기가 다른 부품의 개수와 다이오드와 트랜지스터 등의 특성을 고려해서 앵커 박스의 개수를 15개로 늘렸다. 앵커박스의 크기 역시 부품들의 실제 크기를 기준으로 변경하고, 실험을 통해 앵커박스를 수정한 경우가 큰 부품에 대해 정확도가 높고 ROI를 좀 더 정확하게 찾는 것을 확인하였다.
앵커박스의 크기 역시 부품들의 실제 크기를 기준으로 변경하고, 실험을 통해 앵커박스를 수정한 경우가 큰 부품에 대해 정확도가 높고 ROI를 좀 더 정확하게 찾는 것을 확인하였다. 또한 앵커박스를 수정하면 작은 크기를 상대적으로 오검출을 많이 하는 단점이 존재하나, 네트워크를 수정하여 보완하고, 실험을 통해 성능을 확인하였다. 최종으로 개발한 YOLO 프로그램은 앵커 박스와 네트워크를 수정한 모델이며, 성능 평가는 전체 5, 511개의 데이터 중 5, 503개를 정확히 찾고, 8개를 오검출하여 정확도는 99.
기존의 앵커박스의 개수는 5개인데 비해, 본 논문에서는 크기가 다른 부품의 개수와 다이오드와 트랜지스터 등의 특성을 고려해서 앵커 박스의 개수를 15개로 늘렸다. 앵커박스의 크기 역시 부품들의 실제 크기를 기준으로 변경하고, 실험을 통해 앵커박스를 수정한 경우가 큰 부품에 대해 정확도가 높고 ROI를 좀 더 정확하게 찾는 것을 확인하였다. 또한 앵커박스를 수정하면 작은 크기를 상대적으로 오검출을 많이 하는 단점이 존재하나, 네트워크를 수정하여 보완하고, 실험을 통해 성능을 확인하였다.
또한 앵커박스를 수정하면 작은 크기를 상대적으로 오검출을 많이 하는 단점이 존재하나, 네트워크를 수정하여 보완하고, 실험을 통해 성능을 확인하였다. 최종으로 개발한 YOLO 프로그램은 앵커 박스와 네트워크를 수정한 모델이며, 성능 평가는 전체 5, 511개의 데이터 중 5, 503개를 정확히 찾고, 8개를 오검출하여 정확도는 99.86%로 매우 좋은 성능을 가진다.
17과 18은 불량 의예로, 부품의 종류는 제대로 검출하지만 부품의 크기를 오검출하는 경우가 대부분이다. 최종적으로 세부부품별 분류 성능은 Table 8과 같이, 전체 분류기의 성능은 99.86%로 매우 좋은 결과를 나타낸다.

후속연구

본 논문에 사용된 부품의 클래스는 총 29개의 클래스이지만 부품의 크기가 같으나 높이 정보가 필요한 부품들은 제외하고, 모양도 비슷하고 크기 비슷한 클래스들은 같은 클래스로 묶었다. 데이터의 개수가 적은 부품은 학습의 신뢰성을 위해 제외해서 17개의 클래스를 분류결과를 보였으며, 추후 데이터가 확보되는 대로 확장할 예정이다. 실험은 학습 데이터 14, 548장, 테스트 데이터는 5, 511장으로 수행하였다.
또한 본 논문에서는 주로 많이 사용되고 수집하기 쉬운 부품들인 커패시터, 다이오드, 레지스터, 트랜지스터, 4가지의 종류에 대해서만 수행하였으나 더 다양한 범주의 데이터가 확보되는 대로 나머지 8개의 부품들에 대해서 분류할 수 있는 분류기를 만들어 실제 산업 현장에서 사용되는 시스템에 이식할 계획이다.
추후 높이 정보를 수집하여 RGB-D 영상으로 소분류까지 부품을 분류하고자 한다. 즉, 1511-D와 1810-D의 분류와 2812-TR와 2816-TR, 2012-C와 3216-C의 부품들도 높이 값을 활용해 세부 분류하는 것이 추후 연구의 목표이다.
하지만 높이 정보는 제공받지 못해 해당 논문에서는 RGB 영상만을 이용하는 중분류를 진행하였다. 추후 높이 정보를 수집하여 RGB-D 영상으로 소분류까지 부품을 분류하고자 한다. 즉, 1511-D와 1810-D의 분류와 2812-TR와 2816-TR, 2012-C와 3216-C의 부품들도 높이 값을 활용해 세부 분류하는 것이 추후 연구의 목표이다.

참고문헌 (19)

J.S. Lee and T.H. Park, "Defect Classification of Components for SMT Inspection Machines," Journal of Institute of Control, Robotics and Systems, Vol. 21, No. 10, pp. 982-987, Oct. 2015.

원문보기 상세보기
J.H. Ryu, Y.H. Kim, and T.H. Park, "Assembly Defect Classification of SMD Components by Cascade Convolutional Neural Network," KIEE, Vol. 68, No. 10, 2019.
J.J. Lee, B.G. Lee and J.C. Yoo, "3-D Solder Paste Inspection Based on B-spline Surface Approximation," Journal of the Korean Society for Industrial and Applied Mathematics, Vol. 10, No. 1, 2006.
A. Fazakas, M. Purcar, and D. Turcu, "Polarity Determination of Electrolytic Capacitors in Power Supplies from External Terminals," Design and Technology in Electronic Packaging (SIITME) 2019 IEEE 25th International Symposium, pp. 395-398, 2019.
S.G. Youn, Y.A. Lee, and T.H. Park, "Automatic Classification of SMD Packages using Neural Network," Journal of Institute of Control, Robotics and Systems, Vol 21, No 3, pp. 276-282, 2015.

원문보기 상세보기
D.U. Lim, Y.G. Kim, and T.H. Park, "SMD Classification System on PCB Using Two Convolution Neural Networks," Journal of Institute of Control, Robotics and Systems, Vol. 25, No. 10, pp. 923-928, 2019.

상세보기
Y.A. Lee, and T.H Park, "Automatic Recognition of SMD Packages Using Neural Network," The Korean Institute of Electrical Engineers, pp. 38-39, 2013.
C.G. Cho and H.G. Park, "Main Parts Used in Electronic Ballast Diode, Transistor, PCB, Resistor," The Korean Institute of Illuminating and Electrical Installation Engineers, Vol. 13, No. 3, pp. 3-8, 1999.
S.M. Gang and J.J. Lee, "Coreset Construction for Character Recognition of PCB Components Based on Deep Learning," Journal of Korea Multimedia Society, Vol. 24, No 3, 382-395, 2021.03
U.H. Lee, Y.S. Choi, J.L. Kim, and G.S. Jung, "Generation of Reference Model for PCB Pattern Inspection from Gerber CAD Data," The Institute of Electronics and Information Engineers, pp. 317-323, 1994.
J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, "You Only Look Once: Unified, Real-Time Object Detection," IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 779-788, 2016.
J. Redmon and A. Farhadi, "YOLO9000: Better, Faster, Stronger," IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 6517-6525, 2017.
J. Redmon and A. Farhadi, "Yolov3: An Incremental Improvement," IEEE Conference on Computer Vision and Pattern Recognition, (CVPR), 2018.
W Huang and P. Wei, "A PCB Dataset for Defects Detection and Classification," Journal of Latex Class Files, Vol. 14, No. 8, pp. 1-9, 2018.
J. Sang, Z. Wu, P. Guo, H. Hu, xiang H, Q. Zhang, and B. Cai, "An Improved YOLOv2 for Vehicle Detection," Sensors, Vol. 18, No. 12, 2018.

상세보기
L. Zhang, Y. Jin, X. Yang, X. Li, X. Duan, and Y. Sun, "Convolutional Neural Network-Based Multi-Label Classification of PCB defects," The Journal of Engineering, pp. 1612-1616, 2018.
N. Kavitha and D.N. Chandrappa, "Optimized YOLOv2 Based Vehicle Classification and Tracking for Intelligent Transportation System," Results in Control and Optimization, Vol. 2, 2021.

상세보기
L. Wang, W. Li, W. Zhang, and C. Wei, "Pedestrian Detection Based on YOLOv2 with Skip Structure in Underground Coal Mine," 2017 IEEE 3rd Information Technology and Mechatronics Engineering Conference (ITOEC), pp. 1216-1220, 2017.
S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks," NIPS'15: Proceedings of the 28th International Conference on Neural Information Processing Systems, Vol. 1, pp. 91-99, 2015.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증