[논문]Comparative Analysis of Anomaly Detection Models using AE and Suggestion of Criteria for Determining Outliers

Kang, Gun-Ha; Sohn, Jung-Mo; Sim, Gun-Wu

doi:10.9708/jksci.2021.26.08.023

Comparative Analysis of Anomaly Detection Models using AE and Suggestion of Criteria for Determining Outliers 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.26 no.8, 2021년, pp.23 - 30

Kang, Gun-Ha (Epozen's research institute) , Sohn, Jung-Mo (Epozen's research institute) , Sim, Gun-Wu (Epozen's research institute)

초록
AI-Helper

본 연구에선 제조 공정에서의 양/불량 판정을 위한 오토인코더(AE) 기반의 이상 탐지 방법들의 비교 분석과 우수한 성능을 보인 이상치 판별 기준을 제시한다. 제조 현장의 특성상 불량 데이터의 수는 적고, 불량의 형태가 다양하다. 이러한 특성은 정상과 비정상 데이터를 모두 활용하는 인공지능 기반 양/불량 판정 모델의 성능을 저하시키고, 성능 향상을 위한 비정상 데이터의 추가 확보에 시간과 비용을 발생시킨다. 이러한 문제를 해결하기 위해서 정상 데이터만을 이용해 이상 탐지를 수행하는 AE, VAE 등 AE 기반의 모델에 관한 연구들이 진행되고 있다. 본 연구에서는 Convolutional AE, VAE, Dilated VAE 모델을 기반으로 잔차 이미지에 대한 통계치와 MSE, 정보 엔트로피를 이상치 판별 기준으로 선정하여 각 모델의 성능을 비교 분석했다. 특히 Convolutional AE 모델에 대해서 범위 값을 적용했을 때, AUC PRC 0.9570, F1 Score 0.8812, AUC ROC 0.9548, 정확도 87.60%의 가장 우수한 성능을 보였다. 이는 기존의 이상치 판별 기준으로 자주 사용되었던 MSE에 비해 정확도 기준 약 20%P(Percentage Point)의 성능 향상을 보이며, 이상치 판별 기준에 따른 모델 성능 향상이 가능함을 확인하였다.

Abstract ▼ AI-Helper

In this study, we present a comparative analysis of major autoencoder(AE)-based anomaly detection methods for quality determination in the manufacturing process and a new anomaly discrimination criterion. Due to the characteristics of manufacturing site, anomalous instances are few and their types greatly vary. These properties degrade the performance of an AI-based anomaly detection model using the dataset for both normal and anomalous cases, and incur a lot of time and costs in obtaining additional data for performance improvement. To solve this problem, the studies on AE-based models such as AE and VAE are underway, which perform anomaly detection using only normal data. In this work, based on Convolutional AE, VAE, and Dilated VAE models, statistics on residual images, MSE, and information entropy were selected as outlier discriminant criteria to compare and analyze the performance of each model. In particular, the range value applied to the Convolutional AE model showed the best performance with AUC PRC 0.9570, F1 Score 0.8812 and AUC ROC 0.9548, accuracy 87.60%. This shows a performance improvement of an accuracy about 20%P(Percentage Point) compared to MSE, which was frequently used as a standard for determining outliers, and confirmed that model performance can be improved according to the criteria for determining outliers.

주제어

표/그림 (17)

그림 Fig. 1. Convolutional Autoencoder architecture[10]
그림 Fig. 2. Variational Autoencoder architecture[12]
그림 Fig. 3. Dilated Box in VAE encoder structure
그림 Fig. 4. Casting Product Datasets
그림 Fig. 5. Convolutional AE Model and Process
그림 Fig. 6. VAE Model
표 Table 1. Anomaly Discrimination Criteria
그림 Fig. 7. Dilated VAE Encoder Model
그림 Fig. 8. Filter according to dilation rate of Dilated Convolution
표 Table 2. Performance Assessment Indicator
표 Table 3. Statistics Performance Indicator Results for Residual Images
표 Table 4. Results of Performance indicators of MSE and Information entropy
표 Table 5. Statistics Performance Indicator Results for Residual Images
표 Table 7. Statistics Performance Indicator Results for Residual Images
표 Table 8. Results of Performance indicators of MSE and Information entropy
표 Table 6. Results of Performance indicators of MSE and Information entropy
표 Table 9. Performance assessments result for each model

AI 본문요약
AI-Helper

문제 정의

이처럼 모델 자체에 관한 연구들은 많으나 이상치 판별기준에 따른 모델 성능 차이에 관한 연구는 부족한 것으로 확인되었다. 이에 본 연구는 제조 공정에서의 양/불량 판정에 다양한 이상치 판별 기준을 적용한 오토인코더 기반의 이상 탐지를 수행한 후 해당 결과를 비교 분석하여 이상치 판별 기준이 이상 탐지 모델의 성능에 미치는 영향을 확인하였다.

제안 방법

본 연구는 Kaggle의 정상 주조 제품 이미지를 사용하여 Convolutional AE, VAE, Dilated VAE 모델 학습을 수행하였다. 이후 학습된 각 모델에 대해서 통계치, MSE, 정보엔 트로피를 이상치 판별 기준으로 적용하여 양/불량 이상 탐지를 시도해 모델 성능을 비교 분석하였다.
이러한 문제를 해결하기 위해 최근에는 육안검사 대신 딥러닝 기반의 비전 검사를 도입하고 있다. 특히 이상 탐지라는 기법을 이용하여 제조 제품의 양/불량 판정을 통해 품질을 검사한다.

대상 데이터

본 연구는 NVIDIA Tesla V100 환경에서 수행되었다. 연구에 사용한 학습 모델은 Convolutional AE, VAE, Dilated VAE 모델로 Keras 2.
이상치는 잔차(원본 - 생성) 이미지에 대한 통계치와 정보 엔트로피, MSE를 사용하였다. 사용된 이상치는 Table 1과 같다.

데이터처리

본 연구는 Kaggle의 정상 주조 제품 이미지를 사용하여 Convolutional AE, VAE, Dilated VAE 모델 학습을 수행하였다. 이후 학습된 각 모델에 대해서 통계치, MSE, 정보엔 트로피를 이상치 판별 기준으로 적용하여 양/불량 이상 탐지를 시도해 모델 성능을 비교 분석하였다. 그 결과, 범위 값을 이상치 기준으로 적용하였을 때, 각 모델에 대해서 우수한 성능을 보였다.
잔차 이미지에 대해 이상치를 통계치 설정하거나 원본과 생성된 이미지에 대해 이상치를 MSE, 정보 엔트로피로 설정하여 정확도, 조화평균, AUC ROC, AUC PRC라는 성능지표를 통해 각 모델의 성능을 평가하였다.

이론/모형

모델의 성능 평가의 척도로는 정확도(Accuracy), AUC ROC, 조화평균(F1 Score), AUC PRC를 기준으로 평가하였다. 성능 평가에 사용된 지표들은 다음 Table 2와 같다.
본 연구는 NVIDIA Tesla V100 환경에서 수행되었다. 연구에 사용한 학습 모델은 Convolutional AE, VAE, Dilated VAE 모델로 Keras 2.3 버전 기반으로 구성하였다.

성능/효과

각 모델 성능 비교 결과, Convolutional AE 모델에서 잔차(원본 – 생성) 이미지에 대한 통계치 중 범위 값을 이상치 판별 기준으로 사용하였을 때에 주조 제품 이미지의 양/불량 판정을 가장 우수하게 수행하였다
이후 학습된 각 모델에 대해서 통계치, MSE, 정보엔 트로피를 이상치 판별 기준으로 적용하여 양/불량 이상 탐지를 시도해 모델 성능을 비교 분석하였다. 그 결과, 범위 값을 이상치 기준으로 적용하였을 때, 각 모델에 대해서 우수한 성능을 보였다. 특히 학습된 Convolutional AE 모델에 대해서 범위 값을 이상치 기준으로 적용했을 때, AUC PRC 0.
60%의 가장 좋은 성능을 보였다. 이는 기존 판별 기준으로 사용하는 MSE에 비해 약 20%P의 성능 향상을 보인다.
이를 통해 본 연구에서 범위 값을 이상치 판별 기준을 적용하였을 때 모델의 성능 향상이 가능함을 확인하였다.
그 결과, 범위 값을 이상치 기준으로 적용하였을 때, 각 모델에 대해서 우수한 성능을 보였다. 특히 학습된 Convolutional AE 모델에 대해서 범위 값을 이상치 기준으로 적용했을 때, AUC PRC 0.9570, F1 Score 0.8812, AUC ROC 0.9548, 정확도 87.60%의 가장 좋은 성능을 보였다. 이는 기존 판별 기준으로 사용하는 MSE에 비해 약 20%P의 성능 향상을 보인다.

후속연구

본 연구에서의 테스트는 Kaggle 주조제품 이미지에 대한 것으로 결과가 한정적일 수 있다. 따라서, 추후 다른 제조 데이터 세트를 적용했을 때도 제시한 이상치 판별 기준이 적용될 수 있는지 연구할 예정이다.

참고문헌 (23)

Yeong-Tae Baek, Jae-Gyu Sim, Chan-Young Pak, Se-Hoon Lee, PCB Defect Inspection using Deep Learning. KSCI, pp. 325-326, 2018.
Chul-jin, Park. A study on the quality information management for preventing human errors at quality of ship.. Ulsan University Graduate School of Automotive Vessel Technology, 2016, UCI:I084:48009-000002213977.
Ho Young, Lee. Changes in labour demand and acceptability due to the Fourth Industrial Revoluation. Korea Information Society Development, 2019.
E.S. Lee, H.C. Bae, H.J. Kim, H.N. Han, Y.K. Lee, J.Y. Son, Trends in AI Technology for Smart Manufacturing in the Future. Electronics and telecommunications trends, Vol.35, No.1, pp. 60-70, 2020, DOI:10.22648/ETRI.2020.J.350106.

원문보기 상세보기
Raghavendra Chalapathy and Sanjay Chawla, Deep Learning for Anomaly Detection: A Survey. CoRR, (abs/1901.03407), 2019.
Alberto Tellaeche Iglesias, Miguel Angel Campos Anaya, Gonzalo Pajares Martinsanz and Iker Pastor-Lopez, On Combining Convolutional Autoencoders and Support Vector Machines for Fault Detection in Industrial Textures, Sensors, 21(10), 3339, 2021, DOI:10.3390/s21103339.

상세보기
Jungsuk Kim,Jungbeom Ko,Hojong Choi and Hyunchul Kim, Printed Circuit Board Defect Detection Using Deep Learning via A Skip-Connected Convolutional Autoencoder, Sensors, 21(15), 4968, 2021, DOI:10.3390/s21154968.

상세보기
Jinwon An and Sungzoon Cho, Variational Autoencoder based AnomalyDetection using Reconstruction Probability. Technical Report, SNU Data MiningCenter, pp. 1-18, 2015.
Jonathan Masci, Ueli Meier, Dan Ciresan, and Jurgen Schmidhuber, Stacked convolutional auto-encoders for hierarchical feature extraction. In International Conference on Artificial Neural Networks, ICANN, pp. 52-59, 2011, DOI:10.1007/978-3-642-21735-7_7.

상세보기
Omid E. David, Nathan S.Netanyahu, DeepPainter: Painter Classification Using Deep Convolutional Autoencoders. ICANN, Vol.9887, pp. 20-28, 2016, DOI:10/1007/978-3-319-44781-0_3.
Diederik P Kingma and Max Welling, Auto-encoding variational bayes. ICLR. arXiv preprintarXiv:1312.6114, 2013.
Taeu Kim, https://taeu.github.io/paper/deeplearning-paper-vae/.
Shengyuan Piao and Jiaming Liu, Accuracy improvement of unet based on dilated convolution. Journal of Physics: Conference Series. Vol. 1345. No. 5. IOP Publishing, 2019, DOI:10.1088/1742-6596/1345/5/052066.

상세보기
VESAL.Sulaiman, RAVIKUMAR.Nishant, MAIER.Andreas. A 2D dilated residual U-Net for multi-organ segmentation in thoracic CT. arXiv preprint arXiv:1905.07710, 2019.
Ravirajsinh Dabhi, Casting product image data for quality inspection, Kaggle, https://www.kaggle.com/ravirajsinh45/real-life-industrial-dataset-of-casting-product.
The Nature of Statistics Bigpicture, Statistics Basics Lecture 1. Mean, Deviation, Variance, Standard Deviations, https://hsm-edu.tistory.com/1182
Garlic, https://m.blog.naver.com/yk60park/222100758577
CityWizard, https://m.blog.naver.com/PostView.naver?blogIdy4769&logNo220505513170&proxyRefererhttps:%2F%2Fwww.google.com%2F
Wikipedia, Entropy(Information Theory), https://en.wikipedia.org/wiki/Entropy_(information_theory)
Robert Muller, Fabian Ritz, Steffen lllium, Claudia Linnhoff-Popien, Acoustic Anomaly Detection for Machine Sounds based on ImageTransfer Learning, CVPR, 2021, DOI:10.5220/0010185800490056.
Kim, Chungyun, Evaluation Method of Classification Model, https://velog.io/@skyepodium/%EB%B6%84%EB%A5%98-%EB%AA%A8%EB%8D%B8-%ED%8F%89%EA%B0%80-%EB%B0%A9%EB%B2%95.
Sunil Park, Taeho Oh, Application of Receiver Operating Characteristic(ROC) Curve for Evaluation of Diagnostic Test Performance. Journal of Veterinary Clinics, pp. 97-101, 2016, DOI:10.17555/jvc.2016.04.33.2.97.

원문보기 상세보기
Jakub Czakon, https://neptune.ai/blog/f1-score-accuracy-roc-aucpr-auc

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증