[논문]인공지능(AI)을 활용한 미세패턴 불량도 자동화 검사 시스템

이관수; 김재우; 조수찬; 신보성

doi:10.21289/ksic.2021.24.6.729

인공지능(AI)을 활용한 미세패턴 불량도 자동화 검사 시스템
Automated Inspection System for Micro-pattern Defection Using Artificial Intelligence 원문보기

한국산업융합학회 논문집 = Journal of the Korean Society of Industry Convergence, v.24 no.6/1, 2021년, pp.729 - 735

이관수 (부산대학교 나노과학기술대학 광메카트로닉스공학과) , 김재우 (부산대학교 나노과학기술대학 광메카트로닉스공학과) , 조수찬 (부산대학교 나노과학기술대학 인지메카트로닉스공학과) , 신보성 (부산대학교 나노과학기술대학 광메카트로닉스공학과)

Abstract ▼ AI-Helper

Recently Artificial Intelligence(AI) has been developed and used in various fields. Especially AI recognition technology can perceive and distinguish images so it should plays a significant role in quality inspection process. For stability of autonomous driving technology, semiconductors inside automobiles must be protected from external electromagnetic wave(EM wave). As a shield film, a thin polymeric material with hole shaped micro-patterns created by a laser processing could be used for the protection. The shielding efficiency of the film can be increased by the hole structure with appropriate pitch and size. However, since the sensitivity of micro-machining for some parameters, the shape of every single hole can not be same, even it is possible to make defective patterns during process. And it is absolutely time consuming way to inspect all patterns by just using optical microscope. In this paper, we introduce a AI inspection system which is based on web site AI tool. And we evaluate the usefulness of AI model by calculate Area Under ROC curve(Receiver Operating Characteristics). The AI system can classify the micro-patterns into normal or abnormal ones displaying the text of the result on real-time images and save them as image files respectively. Furthermore, pressing the running button, the Hardware of robot arm with two Arduino motors move the film on the optical microscopy stage in order for raster scanning. So this AI system can inspect the entire micro-patterns of a film automatically. If our system could collect much more identified data, it is believed that this system should be a more precise and accurate process for the efficiency of the AI inspection. Also this one could be applied to image-based inspection process of other products.

주제어

표/그림 (9)

그림 Fig. 1 The Emission of EM waves from autonomous vehicles
그림 Fig. 2 An EM wave shielding film and a micro hole
표 Table 1. Confusion matrix
그림 Fig. 3 Muller's AUC Level
그림 Fig. 4 The images of hole type captured by optical microscope
그림 Fig. 5 The ROC of the AI trained model
그림 Fig. 6 A set of the AI inspection system
그림 Fig. 7 The monitor of the AI trained model
표 Table 2. The accuracy result of another sample

AI 본문요약
AI-Helper

문제 정의

본 실험에서는 인공지능의 사물 인식 기술을 전자파 차폐 필름 불량품 판별 과정에 적용하여 검사 과정의 효율성 증대를 목표로 한다. 특히 웹 기반으로 인공지능 모델 생성 과정을 거치기 때문에 프로그래밍에 익숙하지 않은 사람도 쉽게 학습 모델을 만들고 적용시킬 수 있는 방법으로 구상하였다.

제안 방법

검사 진행 시 광학현미경 재물대 위의 필름 샘플의 이동이 자동적으로 수행될 수 있게 CATIA 프로그램을 이용하여 이동 나사의 기어 부품이 설계되었다. 제품 출력 3D 프린터에는 MakerBot Large PLA 필라멘트(1.
이와 더불어 현미경을 이용하는 방식은 미세 공정 부분을 한 부분씩만 검사할 수 있다. 따라서 차폐 필름의 모든 패턴을 자동으로 검사할 수 있도록 3D 프린터로 Gear모형 부품을 제작하고 모터를 연결하여 현미경 재물대 이동의 자동화 시스템을 제작한다. 이를 재물대 이동나사에 조립한 후 Arduino Serial 통신을 사용하여 Python에서 제어가 가능하도록 구현한다.
특히 웹 기반으로 인공지능 모델 생성 과정을 거치기 때문에 프로그래밍에 익숙하지 않은 사람도 쉽게 학습 모델을 만들고 적용시킬 수 있는 방법으로 구상하였다. 또한 해당 인공지능 프로그램은 모니터상의 가상 카메라를 통해 모니터링이 되게 하였다. 이는 이미지 데이터만 확보되면 다른 검사 장비에서도 손쉽게 적용할 수 있는 시스템으로 제작하기 위함이다.
우선 미세 홀 패턴의 양품과 불량품 이미지 데이터를 200여장 확보하고 양품과 불량품으로 분류한다. 이후 웹 기반 인공지능 툴 Teachable Machine을 통해 학습 파라미터(학습횟수, 배치크기, 학습률)를 조절한 딥러닝 학습 모델을 만들고 해당 모델에 대해 수신자 조작 특성 곡선(ROC curve, Reciever Operating Characteristics)을 통해 그 유용성을 평가한다.
따라서 차폐 필름의 모든 패턴을 자동으로 검사할 수 있도록 3D 프린터로 Gear모형 부품을 제작하고 모터를 연결하여 현미경 재물대 이동의 자동화 시스템을 제작한다. 이를 재물대 이동나사에 조립한 후 Arduino Serial 통신을 사용하여 Python에서 제어가 가능하도록 구현한다.
우선 미세 홀 패턴의 양품과 불량품 이미지 데이터를 200여장 확보하고 양품과 불량품으로 분류한다. 이후 웹 기반 인공지능 툴 Teachable Machine을 통해 학습 파라미터(학습횟수, 배치크기, 학습률)를 조절한 딥러닝 학습 모델을 만들고 해당 모델에 대해 수신자 조작 특성 곡선(ROC curve, Reciever Operating Characteristics)을 통해 그 유용성을 평가한다.
학습과정에선 학습 Parameter인 학습 횟수 (epoch), 학습률(learning rate), 배치 크기(batch size)를 조절하여 학습할 수 있으며 이 과정은 인공지능 모델 생성 시간과 성능에 영향을 미친다. 해당 실험에서는 각 케이스에 학습시킬 데이터의 양을 80개를 100% 기준으로 하여 20%, 50%, 80%, 100%로 바꿔가며 인공지능 모델이 생성되 며 각 학습 파라미터 또한 조절하며 학습 모델을 생성하였다. 이후 학습 횟수(Epoch)는 50, 150, 500으로, 배치크기는 16, 128, 512로 조정하면서 모델 생성 및 유용성 평가가 이루어졌다.

대상 데이터

학습 데이터 양을 100%로 제한한 후 학습 Parameters(학습 횟수, 학습률, 배치 크기)에 따른 AUC값을 측정하였다. ROC 측정 시 입력된 데이터는 양품 15개, 불량품 15개로, 총 30개의 이미지에 대한 결과를 통해 학습 모델의 유용성이 평 가되었다.
본 실험에서 수집된 데이터는 총 218개의 이미지가 확보되었다.
이 때 양품과 불량품에 대한 학습 이미지 데이터 개수는 동일한 분량인 86개씩 학습되었다. 이러한 이유는 AI모델을 생성할 때 각 케이스의 학습 데이터양을 비슷하게 맞추어야 더 높은 신뢰도의 모델이 생성되기 때문이다.

이론/모형

인공지능 학습 모델로는 웹 기반 인공지능 도구인 Teachable Machine이 활용되었다. Teachable Machine은 데이터수집(adding image), 학습(training), 프리뷰(preview)의 과정으로 구성되며, 데이터수집 과정에서 이미지 파일을 최소 2개 이상의 클래스로 나눠 학습할 수 있다.
차폐 필름의 미세 패턴을 관찰하기 위해 Olympus BX60M 모델 광학현미경이 사용되었다. 패턴의 이미지들은 미세 구멍의 반경에 따라 4가지 유형으로 분류되었다.
학습을 마친 후 AI 모델을 평가하는 과정에서는 인공지능 모델의 유용성 평가에 사용되는 수신자 조작 특성 곡선 ROC(Receiver Operating Characteristic) 이 사용되었다. Table 1은 ROC 분석을 위해 정답으로 예측한 값이 실제로 정답인 경우(TP, True Positive), 오답으로 예측한 값이 실제로 오답인 경우(TN, True Negative), 정답으로 예측한 값이 실제로는 오답인 경우(FP, False Positive), 오답으로 예측한 값이 실제 정답인 경우(False Negative)으로 분류한 표이다.

성능/효과

이에 제작된 인공지능 시스템은 시간적으로 효율성을 극대화할 수 있는 방법으로 적용되었다. 100개의 미세 패턴에 대해 수작업으로 검사하는 과정에서는 약 60분이 걸렸지만 본 실험에 제작된 인공지능 시스템은 약 13분만이 소요되었다.
그러나 판별 성능 평가에서 95.05%의 정확도를 가지는 인공지능 모델은 상황에 따라서는 신뢰도가 다소 떨어질 수 있다. 이미지 데이터가 늘어남에 따라 더 높은 정확성을 보이는 인공지능의 특성을 미루어 보았을 때 차폐 필름의 샘플을 추가적으로 확보하여 더 많은 양의 이미지 데이터가 구축될 필요가 있다.
기존의 전자파 차폐 필름의 미세 패턴 검사 과정은 수백 개의 미세 구멍에 대해 광학현미경으로 검사하는 과정을 거치고 있었다. 마이크로미터 단위의 형상을 검사할 때에는 한 부분씩 검사할 수밖에 없는 한계가 있다.
더불어 검사되는 패턴들은 광학현미경을 통해 이미지로 나타나게 되는데 현미경상의 초점을 수동적으로 맞추어야 하는 부분은 직접적으로 조절하였다. 시스템 구현 시 초점을 자동으로 맞추는 Auto-Focusing Algorithm 설계가 추후 연구 과제로 요구된다.
75%의 판별 정확도가 나타났다. 따라서 전체 데이터 101개에 대해 95.05%의 정확도를 가지는 인공지능 시스템인 것을 확인할 수 있었다 (Table 2).
실제로 ‘Speckle 기법을 이용한 반도체 표면 패턴 검사 장비’에 해당 위와 같은 과정을 통해 인공지능 모델을 생성한 결과, 거의 100%의 정확도로 패턴 유형을 구분하였다
마이크로미터 단위의 형상을 검사할 때에는 한 부분씩 검사할 수밖에 없는 한계가 있다. 이에 제작된 인공지능 시스템은 시간적으로 효율성을 극대화할 수 있는 방법으로 적용되었다. 100개의 미세 패턴에 대해 수작업으로 검사하는 과정에서는 약 60분이 걸렸지만 본 실험에 제작된 인공지능 시스템은 약 13분만이 소요되었다.

후속연구

기존의 전자파 차폐 필름의 미세 패턴 검사 과정은 수백 개의 미세 구멍에 대해 광학현미경으로 검사하는 과정을 거치고 있었다. 마이크로미터 단위의 형상을 검사할 때에는 한 부분씩 검사할 수밖에 없는 한계가 있다. 이에 제작된 인공지능 시스템은 시간적으로 효율성을 극대화할 수 있는 방법으로 적용되었다.
더불어 검사되는 패턴들은 광학현미경을 통해 이미지로 나타나게 되는데 현미경상의 초점을 수동적으로 맞추어야 하는 부분은 직접적으로 조절하였다. 시스템 구현 시 초점을 자동으로 맞추는 Auto-Focusing Algorithm 설계가 추후 연구 과제로 요구된다.
위와 같이 구현된 시스템을 이용하여 패턴들에 대해 판별된 데이터들을 지속적으로 누적시켜 진행한다면 더욱 정밀도가 높은 과정로써 생산품의 품질 검사의 효율성이 높아질 것으로 여겨진다.
05%의 정확도를 가지는 인공지능 모델은 상황에 따라서는 신뢰도가 다소 떨어질 수 있다. 이미지 데이터가 늘어남에 따라 더 높은 정확성을 보이는 인공지능의 특성을 미루어 보았을 때 차폐 필름의 샘플을 추가적으로 확보하여 더 많은 양의 이미지 데이터가 구축될 필요가 있다.

참고문헌 (13)

W. Tong, A. Hussain, W. X. Bo, and S. Maharjan, "Artificial Intelligence for Vehicle-to-Everything: A Survey", IEEE Access, Vol. 7, pp. 10823-10843, 2019.

상세보기
X. Zhang, and W. Dahu, "Application of artificial intelligence algorithms in image processing", Journal of Visual Communication and Image Representation, Vol. 61, pp. 42-49, 2019.

상세보기
K. de Haan, Y. Rivenson, Y. Wu and A. Ozcan, "Deep-Learning-Based Image Reconstruction and Enhancement in Optical Microscopy", Proceedings of the IEEE, Vol. 108, pp. 30-50, 2020.

상세보기
J. O'Leary, K. Sawlani, and A. Mesbah, "Deep Learning for Classification of the Chemical Composition of Particle Defects on Semiconductor Wafers", IEEE Transactions on Semiconductor Manufacturing, Vol. 33, pp. 72-85, 2020.

상세보기
A. Krull, P. Hirsch, C. Rother, A. Schiffrin, and C. Krull, "Artificial-intelligence-driven scanning probe microscopy", Communications Physics, Vol. 3, pp. 54, 2020.

상세보기
A. Durand, T. Wiesner, M. A. Gardner, L. E. Robitaille, A. Bilodeau, C. Gagne, P. D. Koninck, and F. Lavoie-Cardinal, " A machine learning for online automated optimization of super-resolution optical microscopy", Nature Communications, Vol. 9, pp. 5247, 2018.

상세보기
M. H. Al-Saleh, and U. Sundararaj, "Electromagnetic interference shielding mechanisms of CNT/polymer composites", Carbon, Vol. 47, pp. 1738-1746, 2009.

상세보기
K. Sushmita, G. Madras, and S. Bose, "Pol ymer Nanocomposites Containing Semiconductors as Advanced Materials for EMI Shielding", ASC Omega, Vol. 5, pp. 4705-4718, 2020.
D. Kong, J. Li, A. Guo, and X. Xiao, "High temperature electromagnetic shielding shape memory polymer composite", Chemical Engineering Journal, Vol. 408, pp. 127365, 2021.

상세보기
B. Z. Liu, Y. Yang, X. C. Wang, and Z. Zhou, "Prediction Model of Shielding Effectiveness of Electromagnetic Shielding Fabric with Rectangular Hole", Progress In Electromagnetics Research C, Vol. 48, pp. 151-157, 2014.

상세보기
B. Adelmann, and R. Hellmann, "Rapid micro hole laser drilling in ceramic substrates using single mode fiber laser", Journal of Materials Processing Technology, Vol. 221, pp. 80-86, 2015.

상세보기
S. Marimuthu, M. Antar, and J. Dunleavey, "Characteristics of micro-hole formation during fibre laser drilling of aerospace superalloy", Precision Engineering, Vol. 55, pp. 339-348, 2019.

상세보기
Y. Rong, Y. Huang, C. Lin, Y. Liu, S. Shi, G. Zhang, and C. Wu, "Stretchability improvement of flexible electronics by laser micro-drilling array holes in PDMS film", Optics and Lasers in Engineering, Vol. 134, pp. 106307, 2020.

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증