선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 풍부한 라벨이 없는 데이터를 활용하여 위 두 가지의 문제를 모두 해결하는 새로운 학습 전략인 점진적 데이터 평준화를 제안한다. 소량의 라벨 데이터로 효과적인 네트워크 학습법을 도출해낸다면 엔지니어의 라벨링 (labeling) 업무 효율화에 크게 기여할 것으로 예상된다.
제안 방법
- 기반으로 실험을 진행하였다. 150 (=150+0), 200 (=150+50), 250 (=150+100) 에폭에서 가(假) 정답 제작 단계, 평준화 단계를 총 3 번 진행하였다. 클래스별 최종 데이터 수, Max_num은 100으로 하였고, 라벨이 없는 데이터의 개수, 특징지도의 거리를 비교할 대상은 다양하게 변화시켜가며 실험을 진행하였다.
- 본 연구에서 제안하는 점진적 데이터 평준화는 라벨이 없는 데이터를 라벨링 하여 라벨 데이터로 사용하는 가(假) 정답 제작 (pseudo-labeling) 방법을 기반으로 라벨이 없는 데이터를 유의미하게 활용하여 결함 라벨 간의 불균형 문제를 해결한다. 3.
- 불균등 비율 (imbalance ratio)이100이 되도록 인위적으로 WM-811K 에서 데이터셋을 구축하였다[6]. 가장 작은 클래스는 ‘Near-full’로 10 장의 표본을 갖고, 가장 큰 클래스는 ‘None’으로 1, 000 장의 샘플을 포함한다.
- 적용하였다. 오버-샘플링과 동일한 효과를 얻기 위해, 네트워크 학습에서 배치 (batch)를 얻을 시, 하나의 배치 내부에 포함된 클래스별 데이터가 균등하도록 샘플링하는 배치 샘플러 (batch sampler)인 불균등 오버-샘플러를 설계하였다.
- 어려움이 따른다. 위의 문제점들을 극복하기 위해 데이터의 불균형 문제를 해결하고 동시에 라벨이 없는 데이터를 적절히 활용하는 새로운 학습 전략인 점진적 데이터 평준화를 제안하였다. 적용 결과, 동일한 네트워크에서 6.
- 같은 가(假) 정답을 가지더라도 그 라벨이 얼마큼 정확한지에 대한 신뢰도는 모두 다르게 된다. 이 차이를 고려해주기 위해 소프트맥스 함수를 통과한 최종 확률 벡터의 엔트로피 (entropy) [7]를 계산 및 저장하여 이후 네트워크 학습 시에 손실함수 (loss function)의 가중치로 사용하였다.
- 이때, 비슷한 출력 확률 벡터 최댓값을 갖는 가(假) 정답 데이터가 여러 개 존재한다면, 특징 지도 간의 거리를 측정하여 특징 지도의 분포를 풍부하게 하는 데이터를 선택한다. 잠재 공간상에서 특징 지도 사이의 거리로 프로베니우스 노름 (Frobenius norm)을 사용하였다.
- 점진적 데이터 평준화가 적용되기 전, 근본적인 결함 라벨 간의 불균등 문제를 완화하기 위해 데이터가 적은 클래스에 데이터를 추가해주는 오버-샘플링 기법을 변형하여 적용하였다. 오버-샘플링과 동일한 효과를 얻기 위해, 네트워크 학습에서 배치 (batch)를 얻을 시, 하나의 배치 내부에 포함된 클래스별 데이터가 균등하도록 샘플링하는 배치 샘플러 (batch sampler)인 불균등 오버-샘플러를 설계하였다.
- 점진적 데이터 표준화의 효과를 확인하기 위해, 라벨 데이터 수를 조절해가며 350 에폭동안 일반적인 지도학습으로 네트워크를 학습시켰다.
- 150 (=150+0), 200 (=150+50), 250 (=150+100) 에폭에서 가(假) 정답 제작 단계, 평준화 단계를 총 3 번 진행하였다. 클래스별 최종 데이터 수, Max_num은 100으로 하였고, 라벨이 없는 데이터의 개수, 특징지도의 거리를 비교할 대상은 다양하게 변화시켜가며 실험을 진행하였다.
- 학습에 총 2, 275 장의 라벨 데이터를 사용하였으며, 평가에는 모든 클래스의 표본 수가 95 장으로 총 855 장을 사용하였다. 평가 데이터가 균등하기 때문에 전체 (평균) 정확도 (accuracy)로 성능을 평가하였다.
- 근본적으로 발생하는 데이터 분포의 불균형 문제를 해결하기 위해 배치 샘플링 시 불균등 오버-샘플러를 기본으로 사용하였다. 회전 (rotation)과 뒤집기 (flip)의 데이터 증대기법을 사용하였고, 입력 웨이퍼 영상의 크기는 가로, 세로를 동일하게 32 로 재설정하여 사용하였다. 손실 함수로는 교차엔트로피 (cross entropy) 손실 함수를 사용하였다.
대상 데이터
- 공평한 비교를 위해 점진적 평준화를 사용하지 않고 350 (=150+150+50) 에폭만큼 일반적인 지도학습을 적용한 것을 비교 대상으로 하였다.
- 배치 크기는 128로 설정하였다. 근본적으로 발생하는 데이터 분포의 불균형 문제를 해결하기 위해 배치 샘플링 시 불균등 오버-샘플러를 기본으로 사용하였다. 회전 (rotation)과 뒤집기 (flip)의 데이터 증대기법을 사용하였고, 입력 웨이퍼 영상의 크기는 가로, 세로를 동일하게 32 로 재설정하여 사용하였다.
- 잠재공간 (latent space) 상에서 특징 지도 (feature map)의 종류가 다양해지면 네트워크가 더욱 여러 가지 특징 지도에 대해 견고하게 학습이 된다. 따라서, 라벨 데이터 중에서 네트워크가 올바르게 판단한 데이터의 출력 확률 벡터 최대값의 분포는 유지하면서 특징 지도의 분포를 풍부하게 하는 가(假) 정답 데이터를 선택하였다. 예를 들어, 특정 클래스에 대해 네트워크가 맞게 분류한 데이터가 3개이고, 출력 확률 벡터의 최대값이 각각 0.
- 라벨이 없는 데이터, UL (=UnLabeled) 를 {10, 000, 20, 000, 30, 000, 40, 000}, 특징 지도의 거리를 비교할 대상, NB (=NeighBour)을 {5, 10}으로 설정하고 실험을 진행하였다. 공평한 비교를 위해 점진적 평준화를 사용하지 않고 350 (=150+150+50) 에폭만큼 일반적인 지도학습을 적용한 것을 비교 대상으로 하였다.
- 실제 반도체 제조과정에서 취득한 반도체 웨이퍼 영상 811, 457 장으로 구성된 WM-811K 데이터셋을 사용하여 실험을 진행하였다. 나타나는 결함 패턴의 종류는 총 9가지로 Figure.
- 처음 150 에폭은 라벨 데이터만으로 학습을 진행하는 초기학습 단계, 다음 150 에폭은 가(假) 정답 제작 단계, 그리고 평준화 단계를 통해 얻은 가(假) 정답 데이터와 라벨 데이터 모두를 포함하는 학습 데이터를 이용하여 학습하였다. 마지막 50 에폭은 최종 가(假) 정답 데이터와 라벨 데이터, 즉 최대 규모의 데이터를 이용하여 학습을 안정적으로 수행하였다.
- 가장 작은 클래스는 ‘Near-full’로 10 장의 표본을 갖고, 가장 큰 클래스는 ‘None’으로 1, 000 장의 샘플을 포함한다. 학습에 총 2, 275 장의 라벨 데이터를 사용하였으며, 평가에는 모든 클래스의 표본 수가 95 장으로 총 855 장을 사용하였다. 평가 데이터가 균등하기 때문에 전체 (평균) 정확도 (accuracy)로 성능을 평가하였다.
이론/모형
- Tarvainen [8]의 13-계층 콘볼루션 네트워크 (13-layer ConvNet)를 기반으로 실험을 진행하였다. 150 (=150+0), 200 (=150+50), 250 (=150+100) 에폭에서 가(假) 정답 제작 단계, 평준화 단계를 총 3 번 진행하였다.
- 모든 실험에서 아담 최적화 기법 (Adam optimizer)을 사용하였고, 초기의 학습률 (learning rate)는 1e-3로 설정한 뒤, 50 에폭 (epoch)마다 절반으로 감소시켰다. 배치 크기는 128로 설정하였다.
- 회전 (rotation)과 뒤집기 (flip)의 데이터 증대기법을 사용하였고, 입력 웨이퍼 영상의 크기는 가로, 세로를 동일하게 32 로 재설정하여 사용하였다. 손실 함수로는 교차엔트로피 (cross entropy) 손실 함수를 사용하였다.
- 1에서 소량의 라벨 데이터와 불균등 오버-샘플러로 결함 분류 네트워크를 학습한다. 학습된 네트워크가 가(假) 정답을 제작해야 하므로 분류 성능을 최대한 높여 올바른 정답이 예측할 수 있도록 학습되어야 하며, 이를 위해 기존의 불균등학습법인 focal loss [4]나 그 외의 방법 [5, 6]을 도입할 수 있다.
성능/효과
- Table. 1 에서 점진적 데이터 평준화를 적용하였을 때, 크게는 6%-p 이상의 정확도 향상을 보였다. 지도학습만으로 네트워크를 학습하는 경우, 라벨 데이터의 부족으로 학습데이터의 분류 정확도는 100%에 가깝지만 평가 데이터의 분류정확도는 학습 초기에 최고점에 도달하고 그 이후에 하락하는 오버피팅 문제가 발생하였음을 알 수 있다.
- Table. 2 에서 라벨 데이터가 많아질수록 성능이 확실히 개선되는 것을 확인할 수 있다. Figure.
- 위의 문제점들을 극복하기 위해 데이터의 불균형 문제를 해결하고 동시에 라벨이 없는 데이터를 적절히 활용하는 새로운 학습 전략인 점진적 데이터 평준화를 제안하였다. 적용 결과, 동일한 네트워크에서 6.07%-p 의 분류정확도가 향상되어 77.26%로 약 40%의 라벨 데이터가 추가된 것과 같은 성능을 보였다.
후속연구
- 본 논문에서는 풍부한 라벨이 없는 데이터를 활용하여 위 두 가지의 문제를 모두 해결하는 새로운 학습 전략인 점진적 데이터 평준화를 제안한다. 소량의 라벨 데이터로 효과적인 네트워크 학습법을 도출해낸다면 엔지니어의 라벨링 (labeling) 업무 효율화에 크게 기여할 것으로 예상된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.