선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 반도체 패키지의 외관검사 시스템은 검사 항목들에 대한 결함 유무 검사 이외에 결함의 종류를 분류하는 기능도 필요하다. 본 논문에서는 반도체 패키지의 외관에서 발생하는 foreign material과 chip 결함의 효과적인 분류를 위한 광학계와 분류방법을 제안하였다.
- 조명 선정을 위해 고려해야 할 부분은 조명의 형태, 광원, 조명의 색등이 있다. 본 논문에서는 앞서 소개한 광학시스템에서 측사조명의 색을 변화시켜 그 영향이 결함 분류에 미치는 영향을 확인하고 분류에 가장 적합한 조명의 색을 제안한다. 사용한 색은 광원이 LED인 IR, red, blue, white이고 이들은 각각 다른 파장을 갖는다.
- 하지만 조명색의 변화에 따라 영상의 밝기 차이가 있음을 알 수 있다. 본 논문에서는 조명색에 따른 특징정보 데이터의 신뢰성 평가가 목적이므로 밝기 변화에 따른 특징정보 데이터의 변화에 대한 확인이 필요하였다. 확인을 위해 그림 5의 8장 영상을 histogramstretch 방법으로 영상의 밝기 차이를 개선시켜 각 영상의 밝기가 유사하도록 처리한 후 개선 전 영상의 특징정보 데이터와 비교하였으나 차이가 없었다.
- 본 논문은 반도체 패키지의 외관결함 가운데 검출과 분류가 다루어지지 않던 그림 1과 같은 foreign material과 chip 결함을 대상으로 ML 분류법을 사용하였을 때 가장 높은 분류성능을 갖게 하는 특징정보의 선정과 특징정보의 정확한 획득을 위한 광학계 설계를 목적으로 하였다.
제안 방법
- 또한 생성한 분류모델들의 ML 분류성능 평가 및 검증을 위해 두 가지 검증방법을 사용하였다. 1차 검증방법으로 조명의 색과 결함 별로 총280장의 새로운 결함 영상을 촬영 후 분류모델에 적용하여 정확히 분류한 개수와 분류를 하지 못한 개수를 분석하여 1차 검증을 하였다. 표 3은 검증방법의 수행결과를 나타내었다.
- 2차 검증방법으로 특징정보 도메인에서 각 클래스간 분산과 클래스 내 분산을 구한 후 클래스간 분산을 클래스내 분산으로 나눈 값으로 분류성능을 비교하였다. 다음의 표 4에서는 2차 검증결과를 보이고 있다.
- 또한 일반적인 특징정보 보다 결함의 위치 및 밝기 특성을 이용한 특징정보 CB, DM를 제안하였다. 검증을 위해 불량 영상을 이용한 실험적 검증방법과, 얻어진 특징정보를 통해 생성된 클래스의 분산을 분석하는 방법을 사용하였다. 실험 결과 제안한 특징정보를 사용하였을 경우 일반적인 특징정보(eccentricity, roundness, compactness)를 사용한 결과보다 분류성능이 대폭 향상되는 것을 확인하였으며, 측사 red 조명을 사용하였을 경우 다른 색의 광원을 사용하였을 때보다 향상된 분류성능을 보이는 것을 실험결과를 통해 확인하였다.
- 표 1. 기존 광학계와 제안한 광학계 클래스 분할 측정.
- 실험에서는 결함 영역에 대한 일반적인 특징정보의 데이터와 제안한 특징정보 CB, DM의 데이터가 ML 방법에 적용되었을 때의 분류성능 및 조명의 색에 따른 특징정보 데이터의 정확성에 대해 평가하기 위하여 조명의 색을 IR, red, blue, white로 변화를 주면서 각각에 대해 foreign material 결함 영상과 chip 결함 영상을 약 800장 촬영하였고 각 영상에서 얻은 다섯 개의 특징정보 데이터 중 2개의 특징정보를 이용하여 ML 분류를 위한 분류모델들을 생성하였다. 또한 생성한 분류모델들의 ML 분류성능 평가 및 검증을 위해 두 가지 검증방법을 사용하였다. 1차 검증방법으로 조명의 색과 결함 별로 총280장의 새로운 결함 영상을 촬영 후 분류모델에 적용하여 정확히 분류한 개수와 분류를 하지 못한 개수를 분석하여 1차 검증을 하였다.
- 광학시스템에서는 재질은 같으나 결함 표면의 차이를 극대화 시키고 반도체 패키지 표면의 특성에 의한 노이즈는 최소화할 수 있도록 측사조명과 동축조명을 동시에 사용하였으며, 제안한 광학계를 통해 기존 광학계에서는 검출이어려운 chip 결함의 검출이 용이한 것을 확인하였다. 또한 일반적인 특징정보 보다 결함의 위치 및 밝기 특성을 이용한 특징정보 CB, DM를 제안하였다. 검증을 위해 불량 영상을 이용한 실험적 검증방법과, 얻어진 특징정보를 통해 생성된 클래스의 분산을 분석하는 방법을 사용하였다.
- Opening으로 인하여 본래 모양을 잃었을 결함 영역을 최소화하기 위해 Image1과 Image2를 이용하여 conditional dilation기법을 적용하였다. 마지막으로 특징정보 추출을 위해 분할 된 영역에 blob analysis를 수행하였다.
- 제안한 방법에서는 결함의 위치, 밝기 특징정보와 ML을 이용한 분류방법, 그리고 특징정보 획득에 좋은 광학계 선정 방법을 보인다. 실험에서는 각각 다른 색 LED광원(red, blue, infra red, white)을 사용한 네 가지 광학계로 영상들을 촬영하였고 결함 영역의 위치, 밝기의 특징정보 및 여러 일반 적인 특징정보를 이용한 분류모델들을 생성하였다. 최종적으로 ground-truth를 알고 있는 결함 패키지 영상을 제안한 분류방법에 적용하여 분류 성능을 1차 검증 하였고 Fisher’s linear discriminant[8]를 이용한 클래스간 분산 (SB)과 클래스 내 분산(SW)의 비율로 2차 검증 하였다.
- 실험에서는 결함 영역에 대한 일반적인 특징정보의 데이터와 제안한 특징정보 CB, DM의 데이터가 ML 방법에 적용되었을 때의 분류성능 및 조명의 색에 따른 특징정보 데이터의 정확성에 대해 평가하기 위하여 조명의 색을 IR, red, blue, white로 변화를 주면서 각각에 대해 foreign material 결함 영상과 chip 결함 영상을 약 800장 촬영하였고 각 영상에서 얻은 다섯 개의 특징정보 데이터 중 2개의 특징정보를 이용하여 ML 분류를 위한 분류모델들을 생성하였다. 또한 생성한 분류모델들의 ML 분류성능 평가 및 검증을 위해 두 가지 검증방법을 사용하였다.
- 본 논문에서 분류하고자 하는 결함인 foreign material 과 chip은 크기, 위치, 방향이 일정하지 않아 분류를 위한 특징정보는 크기, 위치, 방향에 독립적이어야 한다. 실험에서는 제안한 특징정보와 일반적으로 사용하는 특징정보를 비교하기 위해 두 가지 특징정보를 모두 적용해보았다 먼저 일반적인 특징정보로는 compactness(조밀성), eccentricity (이십률), roundness(원형성)를 후보로 선정하였고, 제안한 특징정보로 CB (Connected Boundary ratio), DM(Difference of Mean)을 선정하였다. 이들에 대해 다음에서 설명한다.
- 여기서 변환행렬 W를 찾아내야 하는데 본 논문에서는 W는 찾지 않고 SW, SB만을 이용해 2차 성능 검증을 하였다.
- 제안하는 광학계는 측사조명을 0도로 사용하는 것을 제안한다. 하지만 측사조명만 사용할 경우 반도체 패키지의 고르지 않은 표면의 특성도 동시에 나타나게 된다.
- 제안한 특징정보는 반도체 패키지의 외곽에서 발생하는 chip 결함의 고유특성과 조명에 의해 결함의 화소 값이 패키지 면과 차이를 갖는 특성을 고려하여 제안하였다.
- 표 3에서 red조명을 사용하였을 때 분류성능이 가장 좋았기 때문에 2차 검증 방법을 red조명만 검증 하였다. 표 4에서의 SB는 값이 클수록 좋고, SW는 값이 작을수록 좋다.
대상 데이터
- 본 논문에서는 앞서 소개한 광학시스템에서 측사조명의 색을 변화시켜 그 영향이 결함 분류에 미치는 영향을 확인하고 분류에 가장 적합한 조명의 색을 제안한다. 사용한 색은 광원이 LED인 IR, red, blue, white이고 이들은 각각 다른 파장을 갖는다. 파장에 따라 대상의 형태가 다르게 나타나므로 조명 선정은 결함 분류를 위한 중요 요소라 할 수 있다.
- 영상 취득에 사용한 카메라는 해상도 1024×768의 mono CCD 카메라를 사용하였고 검사할 반도체 패키지는 QFN 4mm×4mm패키지를 사용하였다.
데이터처리
- 최종적으로 ground-truth를 알고 있는 결함 패키지 영상을 제안한 분류방법에 적용하여 분류 성능을 1차 검증 하였고 Fisher’s linear discriminant[8]를 이용한 클래스간 분산 (SB)과 클래스 내 분산(SW)의 비율로 2차 검증 하였다.
이론/모형
- 5. Defect images acquired by 4 illumination methods.
- 또한 배경에서 5~10개 화소 크기로 분포하는 노이즈 성분을 최소화하기 위해 11×11 box의 structuring element로 opening 연산을 하고 결과영상을 Image2라 하였다. Opening으로 인하여 본래 모양을 잃었을 결함 영역을 최소화하기 위해 Image1과 Image2를 이용하여 conditional dilation기법을 적용하였다. 마지막으로 특징정보 추출을 위해 분할 된 영역에 blob analysis를 수행하였다.
- 그림 7은 chip과 FM에 대하여 각 특징정보별 생성 모델을 보여주고 있다. 그림 7의 모델 생성 후 표 3의 결과를 얻기 위해 모델에 데이터를 넣고 ML분류법을 사용하여 결함 분류를 하였다.
- 본 논문에서 사용한 threshold 기법은 Kittler & Illingworth의 minimum error threshold 방법[11]이다. 또한 threshold 처리 후 나타나는 불필요한 영역제거와 결함의 본래 형태를 유지하기 위해 모폴로지 기법을 이용하였다. 영역 분할과정을 그림 6에서 나타내었다.
- 본 논문에서 사용한 threshold 기법은 Kittler & Illingworth의 minimum error threshold 방법[11]이다.
성능/효과
- 일반적인 특징정보에 의해 생성된 분류모델들은 결함의 특성분포가 표 4에서 확인한 것과 같이 분류모델의 클래스내 분산, 클래스간 분산이 좋지 않아 일부 겹치지만 본 논문에서 제안한 그림 7(c)의 특징정보에 의해 생성된 분류모델은 결함의 특성분포가 거의 독립적으로 분포하는 것을볼 수 있다. DM vs CB 특징정보 도메인을 나타낸 그림 7(c)를 보면 제안한 특징정보 CB는 반도체 패키지의 외곽 영역에서만 발생하는 chip과 위치에 독립적으로 발생하는 foreign material의 특성을 이용하여 제안한 특징정보로써 분류성능을 향상시키기 충분한 특징정보라 판단되며, 밝기 차이 정보를 이용한 DM도 분류 성능 향상에 효과적인 분류모델을 생성하는 것을 확인하였다.
- 결론적으로 SB는 값이 클수록 좋고, SW는 값이 작을수록 좋다. 2차 검증 방법에서는 SB / SW을 사용하여 가장 큰 값을 가지는 feature를 선택 한다.
- 광학시스템에서는 재질은 같으나 결함 표면의 차이를 극대화 시키고 반도체 패키지 표면의 특성에 의한 노이즈는 최소화할 수 있도록 측사조명과 동축조명을 동시에 사용하였으며, 제안한 광학계를 통해 기존 광학계에서는 검출이어려운 chip 결함의 검출이 용이한 것을 확인하였다. 또한 일반적인 특징정보 보다 결함의 위치 및 밝기 특성을 이용한 특징정보 CB, DM를 제안하였다.
- Blue 조명에서는 가장 부정확한 특징정보 데이터가 얻어진 것을 알 수 있다. 또한 DM vs CB 방법을 사용하였을 경우엔 조명색의 변화에 따라 성능이 변화하는 다른 특징정보들과는 다르게 4가지 색 모두에서 99.9%의 분류성능을 보였다.
- 검증을 위해 불량 영상을 이용한 실험적 검증방법과, 얻어진 특징정보를 통해 생성된 클래스의 분산을 분석하는 방법을 사용하였다. 실험 결과 제안한 특징정보를 사용하였을 경우 일반적인 특징정보(eccentricity, roundness, compactness)를 사용한 결과보다 분류성능이 대폭 향상되는 것을 확인하였으며, 측사 red 조명을 사용하였을 경우 다른 색의 광원을 사용하였을 때보다 향상된 분류성능을 보이는 것을 실험결과를 통해 확인하였다.
- 위 결과에서도 DM vs CB 방법을 사용하였을 때 가장 좋은 결과를 보였다. 이 결과는 특징정보 도메인에서 두 클래스간 독립성이 크다는 것을 의미하며 이것은 분류성능과 직접적인 관계를 가지고 있다.
- 일반적인 특징정보에 의해 생성된 분류모델들은 결함의 특성분포가 표 4에서 확인한 것과 같이 분류모델의 클래스내 분산, 클래스간 분산이 좋지 않아 일부 겹치지만 본 논문에서 제안한 그림 7(c)의 특징정보에 의해 생성된 분류모델은 결함의 특성분포가 거의 독립적으로 분포하는 것을볼 수 있다. DM vs CB 특징정보 도메인을 나타낸 그림 7(c)를 보면 제안한 특징정보 CB는 반도체 패키지의 외곽 영역에서만 발생하는 chip과 위치에 독립적으로 발생하는 foreign material의 특성을 이용하여 제안한 특징정보로써 분류성능을 향상시키기 충분한 특징정보라 판단되며, 밝기 차이 정보를 이용한 DM도 분류 성능 향상에 효과적인 분류모델을 생성하는 것을 확인하였다.
- 정확한 결함의 분류를 위해서는 먼저 결함의 검출이 필수적으로 수행되어야 한다. 제안한 광학계에서 촬영한 영상에 대한 결과에서는 foreign material과 chip 모두 검출되는 것을 확인하였다.
- 제안한 방법에서는 결함의 위치, 밝기 특징정보와 ML을 이용한 분류방법, 그리고 특징정보 획득에 좋은 광학계 선정 방법을 보인다. 실험에서는 각각 다른 색 LED광원(red, blue, infra red, white)을 사용한 네 가지 광학계로 영상들을 촬영하였고 결함 영역의 위치, 밝기의 특징정보 및 여러 일반 적인 특징정보를 이용한 분류모델들을 생성하였다.
- 최종적으로 ground-truth를 알고 있는 결함 패키지 영상을 제안한 분류방법에 적용하여 분류 성능을 1차 검증 하였고 Fisher’s linear discriminant[8]를 이용한 클래스간 분산 (SB)과 클래스 내 분산(SW)의 비율로 2차 검증 하였다. 제안한 방법은 1차, 2차 성능 검증 결과 일반적인 feature보다 본 논문에서 제안한 feature를 사용할 때 가장 높은 분류성능을 보였고 red 조명을 사용하면 다른 조명을 사용할 때보다 더 나은 성능을 나타내는 것을 확인 할 수 있다.
- 표 1에서 보는 바와 같이 기존 광학계의 개선한 영상보다 제안한 광학계의 영상이 결함과 배경의 구분이 분명하여 결함 검출에 용이한 영상 촬영이 가능한 것을 확인하였다.
- 표 3을 통해 red 측사조명을 사용하였을 경우 선정한 특징정보의 조합에 의한 분류성능이 평균 98.88%로 가장 좋은 결과를 보였다. Blue 조명에서는 가장 부정확한 특징정보 데이터가 얻어진 것을 알 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.