[논문]Mask R-CNN을 활용한 반도체 공정 검사

한정희; 홍성수

[국내논문] Mask R-CNN을 활용한 반도체 공정 검사
Semiconductor Process Inspection Using Mask R-CNN 원문보기

반도체디스플레이기술학회지 = Journal of the semiconductor & display technology, v.19 no.3, 2020년, pp.12 - 18

한정희 (서울대학교 융합과학기술대학원 융합과학부) , 홍성수 (서울대학교 전기.정보공학부)

Abstract ▼ AI-Helper

In semiconductor manufacturing, defect detection is critical to maintain high yield. Currently, computer vision systems used in semiconductor photo lithography still have adopt to digital image processing algorithm, which often occur inspection faults due to sensitivity to external environment. Thus, we intend to handle this problem by means of using Mask R-CNN instead of digital image processing algorithm. Additionally, Mask R-CNN can be trained with image dataset pre-processed by means of the specific designed digital image filter to extract the enhanced feature map of Convolutional Neural Network (CNN). Our approach converged advantage of digital image processing and instance segmentation with deep learning yields more efficient semiconductor photo lithography inspection system than conventional system.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

하지만, 반도체 산업분야에서 반도체 공정에 특화된 이미지를 다량으로 확보하기는 그리 쉽지 않다. 따라서 이를 극복하기 위해 디지털 이미지 처리로 전처리한 구별된 이미지를 깊은 학습의 입력으로 학습하게 하여 원래의 픽셀 정보에서 추출할 수 없었던 구별된 특징지도를 얻을 수 있도록 한다.
향후에는 석백 영역 검출 외 오염 영역, 분사 영역을 동시에 검출할 수 있는 Mask R-CNN[1] 모델을 학습하여 성능을 평가한다. 또한 학습의 방법에 따라 마스크 영역 검출 정확도를 분석하고자 한다. 학습 방법에는 이미지 주석 도구로 세가지 유형의 검출 영역을 설정하여 한 번에 Mask R-CNN[1] 모델을 학습시키는 방법과 개별로 학습 시키는 방법, 단계적으로 학습시키는 방법이 있다.
따라서 비전 검사장비에서는 이미지의 특성이 변하거나 왜곡이 생기면 이를 극복하기 위해 새롭거나 변형된 기법의 이미지 처리와 특화된 신호처리 방식을 적용해야 하는 단점이 있다. 본 논문에서는 이를 극복하기 위해 외부 환경변화에 강인한 깊은 학습(Deep learning)을 적용[1]하는 방식을 제안한다. 결함을 검출하기 위해서는 이미지 내 특정 영역을 찾아내고 그 영역 안에 있는 특징들을 추출하여 결함 여부를 판단해야 한다.
학습 방법에는 이미지 주석 도구로 세가지 유형의 검출 영역을 설정하여 한 번에 Mask R-CNN[1] 모델을 학습시키는 방법과 개별로 학습 시키는 방법, 단계적으로 학습시키는 방법이 있다. 이러한 학습 방식에 따라 검출 정확도 성능에 미치는 영향을 분석하고, 학습된 모델의 가중치 간 연계할 수 있는 방법에 대해 연구하고자 한다. 또한 ResNet[20] 기반의 Mask RCNN[1] 모델을 DenseNet[27] 기반으로 Mask R-CNN[1] 모델을 수행하여 성능 부분을 비교 분석한다.

제안 방법

Mask R-CNN[2] 모델을 학습하기 위해 사용하는 이미지는 특정 노즐에 대해 검사 특징들을 가지고 있는 것으로 선별하여 사용하고, 이미지 주석 도구(Image Annotation Tool)인 VGG image annotator 를 사용하여 원본 이미지에서 검출하고자 하는 영역을 설정하고 주석을 만들어서 JSON 파일형태로 저장한다. Mask R-CNN[2] 모델 학습에 사용할 데이터 셋(Dataset)을 만들기 위해 원본 이미지를 불러와서 윤곽선 검출을 위한 이미지 필터와 합성 곱을 적용하여 원본 이미지를 전처리한다. 전처리된 이미지를 가지고 Mask R-CNN[2] 모델을 학습하기 위한 데이터 셋과 추론을 위한 데이터 셋을 만들어서 Mask R-CNN[2] 모델을 학습시킨다.
노즐 유형에 대해 학습된 ResNet[20] 모델의 가중치를 Mask R-CNN[2] 모델의 초기 가중치 값으로 설정하고 특정 노즐에 대해 석백 영역과 오염 영역, 분사 영역을 검출할 수 있도록 Mask R-CNN[2] 모델을 학습 시킨다. Mask R-CNN[2] 모델을 학습하기 위해 사용하는 이미지는 특정 노즐에 대해 검사 특징들을 가지고 있는 것으로 선별하여 사용하고, 이미지 주석 도구(Image Annotation Tool)인 VGG image annotator 를 사용하여 원본 이미지에서 검출하고자 하는 영역을 설정하고 주석을 만들어서 JSON 파일형태로 저장한다. Mask R-CNN[2] 모델 학습에 사용할 데이터 셋(Dataset)을 만들기 위해 원본 이미지를 불러와서 윤곽선 검출을 위한 이미지 필터와 합성 곱을 적용하여 원본 이미지를 전처리한다.
두 가지 방식 모두 학습 손실이 가장 낮은 모델 가중치(Weight)를 적용하여 마스크 영역을 추정하고 이를 가지고 평균 AP를 구한다. 학습 손실 관점에서는 두 가지 방식이 큰 차이가 없지만 AP관점에서는 전처리 과정을 융합한 Mask R-CNN[1] 모델 성능이 훨씬 우월하게 나타난다.
학습 손실 관점에서는 두 가지 방식이 큰 차이를 보이지 않는다. 따라서, 물체 검출(Object Detection) 알고리즘 성능 평가 방법으로 주로 많이 사용하는Average Precision(AP)[26]로 두 가지 방식에 대한 성능을 측정하고 비교한다.
결함을 검출하기 위해서는 이미지 내 특정 영역을 찾아내고 그 영역 안에 있는 특징들을 추출하여 결함 여부를 판단해야 한다. 따라서, 영역을 검출할 수 있는 깊은 학습 기법으로 Mask R-CNN[2]을 적용하고 전처리 과정으로 이미지 필터를 결합 하여 비전 검사장비의 결함 검출 능력을 향상시키는 방안을 제안하고 성능을 평가한다.
이러한 학습 방식에 따라 검출 정확도 성능에 미치는 영향을 분석하고, 학습된 모델의 가중치 간 연계할 수 있는 방법에 대해 연구하고자 한다. 또한 ResNet[20] 기반의 Mask RCNN[1] 모델을 DenseNet[27] 기반으로 Mask R-CNN[1] 모델을 수행하여 성능 부분을 비교 분석한다.
여러 가지 노즐 유형 이미지를 ResNet[20] 모델로 학습하여 노즐 유형을 분류하게 한다. 노즐 유형에 대해 학습된 ResNet[20] 모델의 가중치를 Mask R-CNN[2] 모델의 초기 가중치 값으로 설정하고 특정 노즐에 대해 석백 영역과 오염 영역, 분사 영역을 검출할 수 있도록 Mask R-CNN[2] 모델을 학습 시킨다.
외부 환경으로 인해 발생하는 예측할 수 없는 이미지 왜곡 및 다양한 형태의 노즐 특성을 이미지 처리 및 신호 처리 방식으로 해결하기에는 한계가 있다. 이를 극복하기 위해서 이미지 왜곡에도 강인하고 다양한 노즐 형태를 인식하여 그에 맞는 특징을 추출할 수 있는 깊은 학습 방법을 적용한다. 깊은 학습 방법 중 컨볼루션 신경망(CNN, Convolution Neural Networks)은 다양한 이미지를 분류하는데 탁월한 성능을 보이며, 컴퓨터 비전 분야에 많이 활용되고, 반도체 웨이퍼 맵 결함 패턴 분류 및 이미지 검색을 위해서도 컨볼루션 신경망[3]을 사용한다.
전처리 과정을 융합한 Mask R-CNN[1] 모델과 전처리 과정이 없는 Mask R-CNN[1] 모델을 각각 동일한 이미지를 가지고 200 epoch까지 학습한다. Table 2는 전처리 과정을 융합한 방식과 단순 Mask R-CNN[1] 모델 방식을 각각 200까지 학습하는 과정 중에서 얻은 가장 낮은 손실을 나타낸다.
Mask R-CNN[2] 모델 학습에 사용할 데이터 셋(Dataset)을 만들기 위해 원본 이미지를 불러와서 윤곽선 검출을 위한 이미지 필터와 합성 곱을 적용하여 원본 이미지를 전처리한다. 전처리된 이미지를 가지고 Mask R-CNN[2] 모델을 학습하기 위한 데이터 셋과 추론을 위한 데이터 셋을 만들어서 Mask R-CNN[2] 모델을 학습시킨다. Fig.
노즐 유형별 마스크 영역 외에 비전 검사에 필요한 노즐의 석백 영역 및 오염 영역, 분사 영역을 검출하기 위해 노즐 유형을 인식할 수 있는, 이미 학습된 ResNet[20] 모델의 가중치를 Mask R-CNN[1] 모델의 초기 가중치로 적용한다. 특정 노즐 1개에 대해 266장의 이미지를 VGG image annotator로 석백 영역을 설정하여 JSON파일로 저장한 이미지를 가지고 Mask R-CNN[1] 모델을 학습한다.
이미지 처리는 입력 영상의 잡음을 제거하고, 밝기 또는 명암 대비를 향상 시킨 후 에지를 강조하게 하고 영상을 보다 더 선명하게 처리한다. 특징 추출은 이미지 처리된 영상의 수직성분의 픽셀들의 합과 수평성분들의 합을 구하고 적응형 임계 값(Adaptive Threshold)을 적용하는 신호 처리 방식에 의해 구한다. 추출된 특징을 인식하고 해석하여 결함 여부를 판단하는 것은 신경망(Neural Network)으로 구성한다.

대상 데이터

따라서, 이미지 크기를 120×120크기로 조정하여 ResNet[20] 모델의 입력으로 사용 한다. ResNet[20] 모델을 학습하기 위해 사용하는 이미지는 서로 다른 8개의 노즐 이미지, 총18,304장을 사용한다. ResNet[20] 모델을 학습한 결과로 노즐 이미지 분류 정확도는 99%를 가진다.
ResNet[20] 모델을 학습한 결과로 노즐 이미지 분류 정확도는 99%를 가진다. 노즐 유형을 인식할 수 있는 이미 학습된 ResNet[20] 모델의 가중치를 Mask R-CNN[2] 모델의 초기 가중치로 적용하고, 노즐 유형별 40장 이미지를 8개유형에 대해 총320장의 이미지에 VGG image annotator로 노즐 유형 영역을 설정하여 JSON 파일로 저장한 이미지를 Mask R-CNN[1] 모델의 학습 데이터로 사용한다. Fig.

이론/모형

노즐 유형별 마스크 영역은 전처리 과정이 없어도 마스크 영역을 잘 찾아낸다. 노즐 유형별 마스크 영역 외에 비전 검사에 필요한 노즐의 석백 영역 및 오염 영역, 분사 영역을 검출하기 위해 노즐 유형을 인식할 수 있는, 이미 학습된 ResNet[20] 모델의 가중치를 Mask R-CNN[1] 모델의 초기 가중치로 적용한다. 특정 노즐 1개에 대해 266장의 이미지를 VGG image annotator로 석백 영역을 설정하여 JSON파일로 저장한 이미지를 가지고 Mask R-CNN[1] 모델을 학습한다.
여러 가지 노즐 유형 이미지를 ResNet[20] 모델로 학습하여 노즐 유형을 분류하게 한다. 노즐 유형에 대해 학습된 ResNet[20] 모델의 가중치를 Mask R-CNN[2] 모델의 초기 가중치 값으로 설정하고 특정 노즐에 대해 석백 영역과 오염 영역, 분사 영역을 검출할 수 있도록 Mask R-CNN[2] 모델을 학습 시킨다. Mask R-CNN[2] 모델을 학습하기 위해 사용하는 이미지는 특정 노즐에 대해 검사 특징들을 가지고 있는 것으로 선별하여 사용하고, 이미지 주석 도구(Image Annotation Tool)인 VGG image annotator 를 사용하여 원본 이미지에서 검출하고자 하는 영역을 설정하고 주석을 만들어서 JSON 파일형태로 저장한다.
반도체 산업분야의 이미지 특수성 때문에 ImageNet[21]으로 사전 학습된 모델(Pre-trained Model)을 사용할 수 없어서, 처음부터 학습할 수 있는 ResNet[20]을 백본 네트워크모델로 구성하여 실험하고, Mask R-CNN[1] 모델 학습을 위해 사용하는 하드웨어로는 GPU가 내장된 노트북을 사용한다. Table 1은 노트북에 탑재된 CPU와 GPU에 대한 하드웨어 사양이다.
비전 검사장비에 사용하는 다양한 노즐의 형태는 이미지 분류를 위해 CNN 기반의 ResNet[22]을 적용하고, 결함 검출에 필요한 특징(Feature)들은 Mask R-CNN[2]을 적용하여 찾아낸다. Mask R-CNN[1]은 기존 Faster R-CNN[5]에서 구간 안에 픽셀(Pixel)이 객체인지 아닌지를 판단하는 바이너리(Binary) 마스크(Mask)를 병행하여 추가하고 RoI(Region of Interest) Pooling 대신 RoI Align을 사용한다.

성능/효과

따라서, 이미지 처리 방식의 장점과 깊은 학습의 장점을 서로 융합하여 보다 정확한 성능을 가지도록 한다. 비전 검사장비에서 필요한 정확한 마스크 영역 검출을 위해 이미지 처리를 통한 전처리 과정을 Mask R-CNN[1] 모델과 융합하여 학습시키면 마스크 영역의 정확도 성능 측면에서 훨씬 나은 결과를 얻을 수 있다.

후속연구

향후에는 석백 영역 검출 외 오염 영역, 분사 영역을 동시에 검출할 수 있는 Mask R-CNN[1] 모델을 학습하여 성능을 평가한다. 또한 학습의 방법에 따라 마스크 영역 검출 정확도를 분석하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	회전 도포 과정이 잘못되면 무엇에 영향을 주는가?	이 과정 중 감광제를 도포하는 회전 도포(Spin Coating) 과정은 포토 공정에 필요한 두께의 감광제를 실리콘 웨이퍼(Wafer) 기판 전체에 균일하게 형성하는 과정이다. 따라서 회전 도포 과정은 포토 공정에서 중요한 공정이며, 이 공정이 잘못되면 후속 공정이 아무리 잘 되어도 불량품이 생산되며, 또한 웨이퍼 단위의 공정이어서 불량품 생산율에 크게 영향을 준다. 회전 도포 과정 중 발생하는 결함을 검출하기 위한 요소에는 감광제를 분사하는 노즐의 석백(Suck-Back) 상태와 오염 상태, 감광제를 분사하는 시간으로 이 세가지가 중요한 요소이다.
	반도체 포토공정 중 회전 도포 과정은 무엇인가?	반도체 포토공정(Photo Lithography)은 웨이퍼에 반도체 회로를 그리는 작업으로 웨이퍼(Wafer) 위에 빛에 반응하는 감광성 고분자 물질(Photo Resist)을 얇게 코팅한 후 원하는 패턴의 마스크(Mask)를 올려놓고 빛을 쪼여 원하는 패턴을 형성하는 과정이다. 이 과정 중 감광제를 도포하는 회전 도포(Spin Coating) 과정은 포토 공정에 필요한 두께의 감광제를 실리콘 웨이퍼(Wafer) 기판 전체에 균일하게 형성하는 과정이다. 따라서 회전 도포 과정은 포토 공정에서 중요한 공정이며, 이 공정이 잘못되면 후속 공정이 아무리 잘 되어도 불량품이 생산되며, 또한 웨이퍼 단위의 공정이어서 불량품 생산율에 크게 영향을 준다.
	반도체 포토공정은 어떤 과정인가?	반도체 포토공정(Photo Lithography)은 웨이퍼에 반도체 회로를 그리는 작업으로 웨이퍼(Wafer) 위에 빛에 반응하는 감광성 고분자 물질(Photo Resist)을 얇게 코팅한 후 원하는 패턴의 마스크(Mask)를 올려놓고 빛을 쪼여 원하는 패턴을 형성하는 과정이다. 이 과정 중 감광제를 도포하는 회전 도포(Spin Coating) 과정은 포토 공정에 필요한 두께의 감광제를 실리콘 웨이퍼(Wafer) 기판 전체에 균일하게 형성하는 과정이다.

참고문헌 (27)

Y. K. C. Yeon Ho Chu, "A Deep Learning based IOT Device Recognition System," Journal of the Semiconductor & Display Technology, vol. 18, no. 2, pp. 1-5, 2019.
K. He, G. Gkioxari, P. Doll'ar, and R. Girshick, "Mask R-CNN," Facebook AI Research (FAIR), 2018.
T. Nakazawa and D. V. Kulkarni, "Wafer Map Defect Pattern Classification and Image Retrieval Using Convolutional Neural Network," IEEE Transactions on Semiconductor Manufacturing, vol. 31, no. 2, pp. 309-314, 2018, doi: 10.1109/tsm.2018.2795466.

상세보기
M. Everingham, L. Gool, C. Williams, J. Winn, and A. Zisserman, "The Pascal Visual Object Classes (VOC) Challenge," International Journal of Computer Vision, vol. 88, no. 2, pp. 303-338, 2010, doi: 10.1007/s11263-009-0275-4.

상세보기
R. Girshick, "Fast R-CNN," Microsoft Research, 2015.
R. Girshick, J. Donahue, T. Darrell, and J. Malik, "Rich feature hierarchies for accurate object detection and semantic segmentation," arXiv.org, 2014.
J. Dai, Y. Li, K. He, and J. Sun, "R-FCN: Object Detection via Region-based Fully Convolutional Networks," arXiv.org, 2016.
W. Liu, D. Anguelov, C. Szegedy, S. Reed, F. Cheng-Yang, and A. Berg, "SSD: Single Shot MultiBox Detector," vol. 9905, ed. Ithaca, 2016.
J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, "You Only Look Once: Unified, Real-Time Object Detection," vol. 2016-, ed, 2016, pp. 779-788.
L. Tsung-Yi, P. Goyal, R. Girshick, H. Kaiming, and P. Dollar, "Focal Loss for Dense Object Detection," vol. 2017-, ed, 2017, pp. 2999-3007.
T. Kong, A. Yao, Y. Chen, and F. Sun, "HyperNet: Towards Accurate Region Proposal Generation and Joint Object Detection," arXiv.org, 2016.
T. Kong, F. Sun, A. Yao, H. Liu, M. Lu, and Y. Chen, "RON: Reverse Connection with Objectness Prior Networks for Object Detection," arXiv.org, 2017.
S. Bell, C. Zitnick, K. Bala, and R. Girshick, "Inside-Outside Net: Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks," arXiv.org, 2015.
P. Chao et al., "MegDet: A Large Mini-Batch Object Detector," arXiv.org, 2018.
B. Singh and L. Davis, "An Analysis of Scale Invariance in Object Detection - SNIP," arXiv.org, 2018.
Z. Cai and N. Vasconcelos, "Cascade R-CNN: Delving into High Quality Object Detection," 2017.
Y.-H. L. Hyochang Ahn, "A Research of CNN-based Object Detection for Multiple Object Tracking in Image," Journal of the Semiconductor & Display Technology, vol. 18, no. 3, pp. 110-114, 2019.
E. Shelhamer, J. Long, and T. Darrell, "Fully Convolutional Networks for Semantic Segmentation," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, no. 4, pp. 640-651, 2017, doi: 10.1109/TPAMI.2016.2572683.

상세보기
B. Hariharan, P. Arbelaez, R. Girshick, and J. Malik, "Hypercolumns for Object Segmentation and Finegrained Localization," arXiv.org, 2015.
L.-C. Chen, G. Papandreou, I. Kokkinos, K. Murphy, and A. Yuille, "Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs," arXiv.org, 2016.
D. Jia, D. Wei, R. Socher, L. Li-Jia, L. Kai, and F.-F. Li, "ImageNet: A large-scale hierarchical image database," ed, 2009, pp. 248-255.
K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition," Microsoft Research, 2015.
W.-Y. Kang and B.-T. Zhang, "Image Classification using Convolutional Neural Networks Based on Discriminative Features," KOREA INFORMATION SCIENCE SOCIETY, pp. 645-647 (3 pages), 2016.12.
A. L. KABADE and D. V. G. Sangam, "Canny edge detection algorithm," International Journal of Advanced Research in Electronics and Communication Engineering, vol. 5, no. 5, May 2016.
O. R. Vincent and O. Folorunso, "A Descriptive Algorithm for Sobel Image Edge Detection," Proceedings of Informing Science & IT Education Conference (InSITE) 2009.
J. Revaud, J. Almazan, R. Sampaio de Rezende, and C. de Souza, "Learning with Average Precision: Training Image Retrieval with a Listwise Loss," arXiv.org, 2019.
G. Huang, Z. Liu, and K. Weinberger, "Densely Connected Convolutional Networks," arXiv.org, 2018.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증