[논문]CNN을 이용한 Al 6061 압출재의 표면 결함 분류 연구

김수빈; 이기안

doi:10.5228/kstp.2022.31.4.229

CNN을 이용한 Al 6061 압출재의 표면 결함 분류 연구
Study on the Surface Defect Classification of Al 6061 Extruded Material By Using CNN-Based Algorithms 원문보기

소성가공 = Transactions of materials processing : Journal of the Korean society for technology of plastics, v.31 no.4, 2022년, pp.229 - 239

김수빈 (인하대학교 신소재공학과) , 이기안 (인하대학교 신소재공학과)

Abstract ▼ AI-Helper

Convolution Neural Network(CNN) is a class of deep learning algorithms and can be used for image analysis. In particular, it has excellent performance in finding the pattern of images. Therefore, CNN is commonly applied for recognizing, learning and classifying images. In this study, the surface defect classification performance of Al 6061 extruded material using CNN-based algorithms were compared and evaluated. First, the data collection criteria were suggested and a total of 2,024 datasets were prepared. And they were randomly classified into 1,417 learning data and 607 evaluation data. After that, the size and quality of the training data set were improved using data augmentation techniques to increase the performance of deep learning. The CNN-based algorithms used in this study were VGGNet-16, VGGNet-19, ResNet-50 and DenseNet-121. The evaluation of the defect classification performance was made by comparing the accuracy, loss, and learning speed using verification data. The DenseNet-121 algorithm showed better performance than other algorithms with an accuracy of 99.13% and a loss value of 0.037. This was due to the structural characteristics of the DenseNet model, and the information loss was reduced by acquiring information from all previous layers for image identification in this algorithm. Based on the above results, the possibility of machine vision application of CNN-based model for the surface defect classification of Al extruded materials was also discussed.

주제어

표/그림 (16)

그림 Fig. 1 Flatten works converting matrix to single array
그림 Fig. 2 Schematic diagram of convolutional neural network (CNN)
그림 Fig. 3 Schematic diagram of the convolution operation; (a) a kernel size of 3 × 3 and (b) zero-padding
그림 Fig. 4 Schematic diagram of pooling; left is max-pooling and right is average-pooling
그림 Fig. 6 Configuration of ResNet; (a) residual Block and (b) bottleneck
그림 Fig. 7 Schematic diagram of Dense Block
그림 Fig. 5 (a) Plain network (b) Residual Block of ResNet
그림 Fig. 8 Image defect area extraction procedure
그림 Fig. 9 Typical surface defects of aluminum 6061 extrusion products
표 Table 1 Diagram of VGGNet Structure
표 Table 2 Diagram of ResNet Structure
표 Table 3 Diagram of DenseNet Structure
표 Table 4 The conditions of experimental environment
표 Table 5 Network Training Hyper-parameters
그림 Fig. 10 Data classification rate results obtained in this study
그림 Fig. 11 Training result for DenseNet architectures; (a) training-set accuracy and loss and (b) test-set accuracy and loss

AI 본문요약
AI-Helper

문제 정의

본 연구에서는 CNN 기반의 알고리즘들을 이용하여 Al 6061 압출재의 소성 가공 중 발생하는 Backdefect, Blister, Crack 등의 결함들을 분류하고자 하였다. 이를 위해 데이터 수집 기준을 마련하고 확보하였으며, 얻어진 데이터의 불균형 및 작은 훈련 데이터 세트의 보완을 위해 데이터 증식 기법을 사용하였다.

제안 방법

(2) 본 연구에서는 Geometric 방법과 Photometric 방법을 이용하여 이미지 증식 과정을 통해 학습에 필요한 적절한 크기의 데이터 셋을 구축하였으며, 이를 통해 학습 데이터의 패턴을 도출함으로써 검증 데이터의 정확도를 높일 수 있었다.
본 연구에서는 Batch Size, Epoch 등의 파라미터를 다양하게 바꾸어 학습을 수행하였으며, 그 성능을 비교하였다. Learning rate 의 경우 일반적으로 임의 설정을 진행하게 되는데, 본 연구에서는 Learning rate Scheduler 를 사용하여 처음에는 큰 보폭으로 빠르게 Optimize 하고 최적 값에 가까워질수록 보폭을 줄여 미세 조정하였다.
결과적으로 본 연구에서는 Batch size 16, Epoch 40, Learning rate Scheduler 를 적용하여 최종 학습이 진행되었다. VGGNet-16 의 경우 테스트 데이터에 의한 정확도는 98.
본 연구에서 사용하게 될 결함 이미지를 준비하기 위해 알루미늄 압출재 생산에 있어 불량이 난 제품들을 모아 각 결함을 촬영하였다. Fig 8 과 같이 한 장의 사진에는 다수의 결함이 포함되어 있으며, 먼저 230 x 230 크기로 결함 후보 영역을 찾아 분할하였다.
따라서 각 모델 구조에 맞는 파라미터들의 적절한 조합과 적용이 요구된다. 본 연구에서는 Batch Size, Epoch 등의 파라미터를 다양하게 바꾸어 학습을 수행하였으며, 그 성능을 비교하였다. Learning rate 의 경우 일반적으로 임의 설정을 진행하게 되는데, 본 연구에서는 Learning rate Scheduler 를 사용하여 처음에는 큰 보폭으로 빠르게 Optimize 하고 최적 값에 가까워질수록 보폭을 줄여 미세 조정하였다.
본 연구에서는 직접 구축한 압출 결함 데이터 세트를 이용하여 VGGNet, ResNet, DenseNet 모델의 성능을 비교하였다. 연구의 결과는 다음과 같다.
먼저 분류 정확도의 저해 요소를 제거하기 위해 적정 수집 기준을 마련하여 이에 따라 데이터 셋을 구성하였다. 얻어진 이미지들을 3 가지 주요 표면 결함들 (Back Defect, Blister, Crack)로 분류하였으며, 총 2,024개의 결함 이미지를 구축하여 사용하였다.
본 연구에서는 CNN 기반의 알고리즘들을 이용하여 Al 6061 압출재의 소성 가공 중 발생하는 Backdefect, Blister, Crack 등의 결함들을 분류하고자 하였다. 이를 위해 데이터 수집 기준을 마련하고 확보하였으며, 얻어진 데이터의 불균형 및 작은 훈련 데이터 세트의 보완을 위해 데이터 증식 기법을 사용하였다. 이후 CNN 기반 VGGNet, ResNet, DenseNet 알고리즘들을 이용하여 최적의 조건을 도출하고 그 성능을 비교하였다.
또한 인터넷을 통해 데이터를 수집하는 경우에는 연구 목적에 맞는 데이터를 구하기 어렵다. 이에 본 연구에서는 Al 6061 합금의 압출 공정에서 발생하는 결함재를 직접 수집하여 초기 데이터 셋을 구축하였다.

대상 데이터

(1) Al 6061 압출재에서 나타난 실제 결함을 기반으로 가시적 데이터 세트를 직접 구성하였다. 먼저 분류 정확도의 저해 요소를 제거하기 위해 적정 수집 기준을 마련하여 이에 따라 데이터 셋을 구성하였다.
본 연구에서는 224×224 의 입력 이미지를 사용하여 VGGNet-16, 19 를 이용한 학습을 진행하였다
얻어진 이미지들에서 Fig 9 에 제시된 바와 같이 총 3 가지 주요 표면 결함들(Back Defect, Blister, Crack)이 제시되었다. 이를 기반으로 학습 데이터 1,417 개, 평가 데이터 607 개로 무작위 분류하였으며 총 2,024 개의 이미지로 데이터 셋을 구축하였다.

데이터처리

본 연구에 적용된 알고리즘의 분류 성능을 평가지표로 얻어진 결과들 중 정확도와 손실 값들을 비교, 평가하였다. 정확도는 전체 데이터에 대한 예측 정답 비율이며, 손실은 실제 정답과 모델이 예측한 값의 사이의 거리(또는 오차)를 의미한다.
이를 위해 데이터 수집 기준을 마련하고 확보하였으며, 얻어진 데이터의 불균형 및 작은 훈련 데이터 세트의 보완을 위해 데이터 증식 기법을 사용하였다. 이후 CNN 기반 VGGNet, ResNet, DenseNet 알고리즘들을 이용하여 최적의 조건을 도출하고 그 성능을 비교하였다.
학습에 사용한 Network 구조는 VGGNet-16, VGGNet- 19, ResNet-50, DenseNet-121 으로 평가 데이터를 이용해 Network 각각의 성능을 비교, 분석하였다. 각 Network 에 대한 구성은 Table 1,2,3 에 자세히 제시하였다.

이론/모형

본 연구에서는 그림과 같이 Rotation, Random Crop, Random Horizontal Flip 과 같은 Geometric 방법들과 Color Jitter를 사용한 Photometric 방법을 이용하여 데이터를 증식하였다. Geometric 방법은 이미지 내에서 표현되는 클래스의 기본 모양이 유지되지만 새로운 위치와 방향으로 변경시켜 이미지를 새롭게 만들어 낼 수 있다.

성능/효과

(3) DenseNet-121 네트워크가 99.13 %의 정확도와 0.037 의 loss 로 가장 우수한 분류 성능을 보임을 확인하였다. 한편 VGGNet-16 의 경우 98.
224x224의 입력 Image를 사용하여 ResNet-50 학습을 진행하였으며, 그 결과 ResNet-50 알고리즘에 대한 분류 성능의 정확도는 98.72 %로 나타났다. 학습에 소요된 총 시간은 50.
DenseNet-121 알고리즘을 이용한 학습 진행 결과, 99.13%의 정확도를 보였으며 학습에 소요된 총 시간은 30.61 min 으로 1epoch 당 평균 0.306 min 으로 나타났다. Fig 11에서 DenseNet-121의 평가 지표의 변화 수치를 확인할 수 있다.
DenseNet 의 경우 앞서 제시된 VGGNet, ResNet 알고리즘들과 비교할 때, 가장 빠른 학습 속도 성능을 나타냈으며, 손실 또한 가장 낮게 측정되었다. 또한 DenseNet 알고리즘을 사용할 때 가장 높은 정확도를 나타내어, 결함 이미지를 분류하는데 있어 최적의 Architecture 라 판단되었다. DenseNet 에서 얻어진 이러한 향상된 결과는 Dense Block 을 통해 앞선 특징 값을 누적으로 받아 들여와 특징 값의 손실을 보상하였기 때문으로 설명될 수 있다.

참고문헌 (36)

S. Barella, A. Gruttadauria, R. Gerosa, G . Mainetti, T. Mainetti, 2021, Predictive Tools for in-Line Isothermal Extrusion of 6xxx Aluminum Alloys, Mater. Proc, Vol. 3, No. 1, pp.24-31. https://doi.org/10.3390/IEC2M-09239
W. Zhou, Z. Shao, J. Yu, J. Lin, 2021, Advances and Trends in Forming Curved Extrusion Profiles, Mater, Vol. 14, No.7, pp. 1603-1631. https://doi.org/10.3390/ma14071603

상세보기
A. Chondronasios, I. Popov, I. Jordanov, 2016, Feature selection for surface defect classification of extruded aluminum profiles, JAMT, Vol. 83, No.1, pp. 33-41. https://doi.org/10.1007/s00170-015-7514-3

상세보기
Z. Peng, T. Sheppard, 2014, Study of surface cracking during extrusion of aluminium alloy AA 2014, Mater. Sci. Technol, Vol. 20, No. 9, pp. 1179-1191. DOI: 10.1179/026708304225022016

상세보기
J. Yang, S. Li, Z. Wang, H. Dong, J. Wang, S. Tang, 2020, Using Deep Learning to Detect Defects in Manufacturing: A Comprehensive Survey and Current Challenges, Mater, Vol. 13, No. 24, pp. 5755-5777. https://doi.org/10.3390/ma13245755

상세보기
T. Wang, Y. Chen, M. Qiao, 2018, A fast and robust convolutional neural network-based defect detection model in product quality control, JAMT, Vol. 94, No. 9, pp. 3465-3471. https://doi.org/10.1007/s00170-017-0882-0

상세보기
M. K. Lee, K. S. Seo, 2018, Comparison of Region-based CNN Methods for Defects Detection on Metal Surface, KIEE, Vol. 67, No. 7, pp. 865-870. https://doi.org/10.5370/KIEE.2018.67.7.865

원문보기 상세보기
J. Zhu, F. Shi, J. Li, 2021, IMCEC, IEEE, Manhattan, pp. 2026-2030. DOI: 10.1109/IMCEC51613.2021.9482067
J. Uma, B. Sukanya, 2021, ICETEST, Elsevier, Amsterdam, pp. 1-5. http://dx.doi.org/10.2139/ssrn.3972999
S. Qadri, T. Aslam, S. A. Nawaz, N. Saher, R. Abdur, M. U. Rehman, N. Ahmad, F. Shahzad, S. F. Qadri, 2021, Machine Vision Approach for Classification of Rice Varieties Using Texture Features, IJFP, Vol. 24, No. 1, pp. 1615-1630. DOI: 10.1080/10942912.2021.1986523

상세보기
J. P. Park, 2017, Analysis on Success Cases of Smart Factory in Korea: Leveraging from Large, Medium, and Small Size Enterprises, J. Digit. Converg, Vol. 15, No. 5, pp. 107-115. https://doi.org/10.14400/JDC.2017.15.5.107

원문보기 상세보기
S. K. Muhammad, Z. Muhammad, A. K. Hamid, H. J. Fawwad, 2022, Detection of Ductal Carcinoma in Breasts from DDSM Data using DenseNet-121 and Comparative Analysis, EAI Endorsed Trans. Energy Web, Vol. 1, No. 1, pp. 24-33. DOI: 10.4108/EW9832.4242
W. Xie, S. Wei, Z. Zheng, 2021, Recognition of Defective Carrots Based on Deep Learning and Transfer Learning, FABT, Vol. 14, No. 7, pp. 1361-1374. https://doi.org/10.1007/s11947-021-02653-8

상세보기
X. Tao, D. Zhang, W. Ma, X. Liu, D. Xu, 2018, Automatic metallic surface defect detection and recognition with convolutional neural networks, Appl. Sci, Vol. 8, No. 9, pp. 1575-1589. https://doi.org/10.3390/app8091575

상세보기
J. P. Yun, 2020, Automated defect inspection system for metal surfaces based on deep learning and data augmentation, JMS, Vol. 55, pp. 317-324. https://doi.org/10.1016/j.jmsy.2020.03.009

상세보기
D. Praveen, M. V. Achuth Rao, R. Jordan, Y. J. Ahmad, 2021, ICAPAI, IEEE, Manhattan, pp. 1-6. DOI: 10.1109/ICAPAI49758.2021.9462060
X. Feng, X. Gao, L. Luo, 2021, X-SDD: A New Benchmark for Hot Rolled Steel Strip Surface Defects Detection, Symmetry, Vol. 13, No. 4, pp. 706-721. https://doi.org/10.3390/sym13040706

상세보기
D. E. Kim, B. K. Jeon, D. S. Kwon, 2018, 3D Convolutional Neural Networks based Fall Detection with Thermal Camera, J. Kor. Robot. Soc, Vol. 13, No. 1, pp. 45-54. https://doi.org/10.7746/jkros.2018.13.1.045

원문보기 상세보기
Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, L. D. Jackel, 1989, Backpropagation applied to handwritten zip code recognition, Neural. Comput, Vol. 1, No.4, pp. 541-551. DOI:10.1162/neco.1989.1.4.541

상세보기
Y. Lecun, L. Bottou, Y. Bengio, P. Haffner, 1998, Gradient-based learning applied to document recognition, Proc. IEEE, Vol. 86, No. 11, pp. 2278-2324. DOI: 10.1109/5.726791

상세보기
S. Behnke, 2003, Hierarchical neural networks for image interpretation, Vol. 2766, Springer, Heidelberg, pp. 1-244. DOI: https://doi.org/10.1007/b11963
P. Y. Simard, D. Steinkraus, J. C. Platt, 2003, ICDAR, IEEE, Manhattan, pp. 958-963. DOI: 10.1109/ICDAR.2003.1227801
A. Krizhevsky, I. Sutskever, G. E. Hinton, 2017, ImageNet classification with deep convolutional neural networks, Commun. ACM, Vol. 60, No. 6, pp. 84-90. https://doi.org/10.1145/3065386

상세보기
K. Simonyan, A. Zisserman, 2014, Very Deep Convolutional Networks for Large-Scale Image Recognition https://doi.org/10.48550/arXiv.1409.1556
C. Szegedy, W. Liu, Y. Jia, 2015, IEEE. CVPR. Conf, IEEE, Manhattan, pp. 1-9. DOI: 10.1109/CVPR.2015.7298594
K. He, X. Zhang, S. Ren, J. Sun, 2016, Deep residual learning for image recognition, Proc. IEEE conf. CVPR, pp. 770-778. https://doi.org/10.48550/arXiv.1512.03385
G. Huang, Z. Liu, L. V. D. Maaten, K. Q. Weinberger, 2017, Densely Connected Convolutional Networks, Proc. IEEE conf. CVPR, pp. 4700-4708. https://doi.org/10.48550/arXiv.1608.06993
R. Wei, Y. Bi, 2019, Research on Recognition Technology of Aluminum Profile Surface Defects Based on Deep Learning, Meter, Vol. 12, No. 10, pp. 1681-1694. DOI: https://doi.org/10.3390/ma12101681

상세보기
I. Kandel, M. Castelli, 2020, The effect of batch size on the generalizability of the convolutional neural networks on a histopathology dataset, ICT Express, Vol. 6. No. 4, pp. 312-315. https://doi.org/10.1016/j.icte.2020.04.010

상세보기
H. G. Park, K. H. Bae, 2020, A Study on Detection and Resolving of Occlusion Area by Street Tree Object using ResNet Algorithm, JKAIS, Vol. 21, No. 10, pp. 77-83. https://doi.org/10.5762/KAIS.2020.21.10.77

원문보기 상세보기
N. J. Kwak, H. J. Shin, J. S. Yang, T. S. Song, 2020, CNN Applied Modified Residual Block Structure, KMMS, Vol. 23, No. 7, pp. 803-811. https://doi.org/10.9717/kmms.2020.23.7.803

원문보기 상세보기
Y. M. Park, S. Y. Gang, J. H. Chae, J. J. Lee, 2018, Classification Method of Plant Leaf using DenseNet, KMMS, Vol. 21, No. 5, pp. 571-582. https://doi.org/10.9717/kmms.2018.21.5.571

원문보기 상세보기
X. Fang, Q. Luo, B. Zhou, C. Li, L. Tian, 2020, Research Progress of Automated Visual Surface Defect Detection for Industrial Metal Planar Materials, Sensors, Vol. 20, No. 18, pp. 5136-5170. https://doi.org/10.3390/s20185136

상세보기
T. Luke, G. Nitschke, 2018, SSCI, IEEE, Manhattan, pp. 1542-1547. https://doi.org/10.48550/arXiv.1708.06020
C. Shorten, T. M. A. Khoshgoftaar, 2019, Survey on Image Data Augmentation for Deep Learning, J. Big Data, Vol. 6, No. 1, pp. 1-48. https://doi.org/10.1186/s40537-019-0197-0

상세보기
S. J. Kim, G. B. Kim, 2021, A Study on Surface Defect Classification Using Deep-Learning and Transfer-Learning, KSDET, Vol. 20, No. 1, pp. 64-69.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증