[논문]머신러닝 기술의 재료·가공문제에 적용III - RNN, LSTM, CNN

김영석

doi:10.5228/kstp.2024.33.3.214

머신러닝 기술의 재료·가공문제에 적용III - RNN, LSTM, CNN
Machining Learning and Its Application to Material Processing Problem III - RNN, LSTM, CNN 원문보기

소성가공 = Transactions of materials processing : Journal of the Korean society for technology of plastics, v.33 no.3, 2024년, pp.214 - 230

김영석 (경북대학교 기계공학부)

초록이 없습니다.

표/그림 (28)

그림 Fig. 1 Weather time series dataset recorded by the Max Planck Institute for Biological Geochemistry [https://storage.googleapis.com/tensorflow/tf-kerasdatasets/ jena_climate_2009_2016.csv.zip]
그림 Fig. 2 (a) ANN model; (b) RNN model (many-to-one)
그림 Fig. 3 Unrolled RNN model expression
그림 Fig. 4 Understanding RNN algorithm
그림 Fig. 5 Unrolled LSTM model expression
그림 Fig. 6 (a) Autoencoder architecture [https://doi.org/10.1007/s10845-021-01879-9]
그림 Fig. 6 (b) LSTM Autoencoder for anomaly detection and data reconstruction for normal and abnormal data
그림 Fig. 7 Typical convolutional neural network for image classification [https://towardsdatascience.com/a-comprehensive-guide-to-convolutional-neural-networks-the-eli5-way- 3bd2b1164a53]
그림 Fig. 9 Convolution layer for the alphabet X
그림 Fig. 10 Pooling layer with activation function
그림 Fig. 8 Binary scale image of press forming
그림 Fig. 11 Feature map through convolution, max-pooling with activation function
그림 Fig. 12 Various filters
그림 Fig. 13 (a) A 9Ⅹ1 tensor image(feature map) obtained from 9Ⅹ9 tensor image by passing successively convolution, pooling, padding layer
그림 Fig. 13 (b) Characteristic of vector table of the alphabet X
그림 Fig. 14 (a) Comparison of vector table of the alphabet X
그림 Fig. 14 (b) Vector value (flatted layer value) for the 4-test images
그림 Fig. 15 (a) CNN result for handwriting image of X and non-X [https://github.com/yskim9574/DFclass-2023/blob/ main/CNN_handwriting]
그림 Fig. 15 (b) Training and validation loss over epochs
그림 Fig. 15 (c) Residual block of ResNet50 CNN and its result for handwriting image of X and non-X. Here the residual connection skips two layers, where reuses data from the previous layer by skipping two layers [https://github.com/yskim9574/DFclass-2023/blob/ main/CNN_ResNet50_handwriting]
그림 Fig. 15 (d) Convolution with 3D input image and two layers' 3D filters
그림 Fig. 16 A schematic diagram of a 3-layer dense block used in the DenseNet architecture [H. Alshazly et al., Peer J Comp. Sci., (2021), DOI 10.7717/peerj-cs.655]
그림 Fig. 17 (a) Conventional image processing technology for automatically evaluating hole expansion ratio (HER) through hole expansion test [S.H.Jang, Y.S.Kim, Trans. Korean Soc. Mech. Eng. A, 37(2) (2013) 161-168]
$Fig. 17 (b) Black and white binary image enlarged near the fractured area during the hole expansion test$ 그림 Fig. 17 (b) Black and white binary image enlarged near the fractured area during the hole expansion test
그림 Fig. 18 Low-pass filter image(burring) and high-pass filter image(sharpening) [https://github.com/yskim9574/DFclass-2023/blob/ main/High_pass_filter]
그림 Fig. 19 The use of CNNs in self-driving cars [https://www.augmentedstartups.com/blog/convolutionalneural- networks-cnn-in-self-driving-cars]
그림 Fig. 20 (a) Dataset of good weld bead and poor weld bead obtained in GMAW process
그림 Fig. 20 (b) Prediction of weld bead quality for test data images using CNN-DenseNet algorithm [https://github.com/yskim9574/DFclass-2023/blob/ main/CNN_DenseNet_welding]

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 지난 1회 및 2회 해설논문[18, 19]에 이어서, 산업 현장에서 널리 활용되고 있는 머신 러닝 기술의 핵심 알고리즘들을 알기 쉽게 설명하고자 한다. 이를 통해 산업 현장의 엔지니어들이 이 기술을 더욱 잘 이해하고 활용할 수 있도록 돕고자 한다.
본 해설논문에서는 RNN(Recurrent Neural Network), LSTM(Long Short-Term Memory), 및 CNN(Convolutional Neural Network)의 세 가지 핵심 알고리즘[20]과 그 응용 예를 다루고자 한다.

제안 방법

저자는 그동안 머신러닝에 관한 해설논문을 통해 소성가공을 연구하는 연구자 및 산업 현장 기술자들에게 머신러닝의 개념을 이해하기 쉽게 설명하려 노력하였다. 또한 다양한 적용 예를 제시하여 연구와 산업현장에서 머신러닝 알고리즘을 적극 도입하여 국내 소성가공 기술의 발전에 기여하고자 하는 바램에서 일련의 해설논문을 작성하였다.
[예제 1] 가스 금속 아크 용접공정(gas metal arc welding, GMAW)에서 용접조건이 적당하지 않을 때 기공(pore, hole), 균열(crack), 용입불량(underfil), 융합 부족(lack of fusion) 등의 용접불량이 발생한다. 여기서는 다양한 재료를 맞대기 용접(butt welding)한 후 용접부의 용접비드(weld bead) 형상에 대한 이미지 데이터에 대해서 CNN-DenseNet121 모델과 ImageNet에서 사전 훈련된 가중치을 활용하여 용접비드의 기공 불량 여부의 자동 판별 가능성을 평가하였다.
이 문제를 다루기 위한 텐서플로우 프로그램에서 컨볼루션 층, 풀링 층 등의 주요 파라미터로 아래와 같이 그레이 스케일의 15Ⅹ15 크기의 입력 이미지 데이터, 3Ⅹ3 크기의 필터 32개 층, 렐루 활성화 함수, same-padding, 2Ⅹ2 풀링 창의 최대값 등을 적용하였다.

대상 데이터

본 해설에 기술한 내용과 관련된 프로그램은 저자의 GitHub(https://github.com/yskim9574/DFclass-2023)에 올려두었다. 관심 있는 분들은 참조하시기 바랍니다.
사용한 데이터는 그림 20(a)에 나타낸 것과 같이 온전하게 용접된 정상 데이터 11개 데이터, 용접 기공이 발생한 불량 데이터 11개, 한 개의 불량 데이터를 포함한 시험용 데이터 4개이다.

성능/효과

이 결과, 학습에 사용하지 않은 4개의 테스트 데이터에 대해서 첫 번째 데이터는 97%의 확률로 X라고 판정하였고, 두 번째 데이터에 대해서는 94%의 확률로 non-X라고 판정하였다. 전체적으로 높은 확률로 손으로 쓴 영문자를 잘 판별하는 것을 알 수 있다.
이상에서 논한 것 같이 기존에 전문가의 경험에 의존하여 해결하였던 제조현장의 문제들을 데이터 기반 통계기술을 접목한 머신러닝 기법들을 적용하여 효율적으로 해결할 수 있다는 것을 확인하였다.

참고문헌 (45)

Y. LeCun, Y. Bengio, 2015, Geoffrey Hinton, Deep？learning, Review Nature. Vol. 28, No. 521, pp. 436-444. https://doi.org/10.1038/nature14539？

상세보기
D. P. Kroese, et al, 2023, Data Science and Machine？Learning; Mathematical and Statistical Methods.？ISBN-13978-1138492530？
M. di Nuzzo, 2021, Data Science and Machine？Learning: From Data to Knowledge.？ISBN-13979-8779849456？
V.N. Vapnik, 1998, Statistical Learning Theory. New？York: Wiley.？
E. Alpaydin, 2016, Introduction to Machine Learning. The MIT Press, Cambridge,？Massachusetts, USA; London, England, 3rd？
S.W. Bae, J.S. Yu, 2018, Estimation of the apartment？housing price using the machine learning methods:？The case of Gangnam-gu, Seoul, J. Korea Real？Estate Analysts Assoc., Vol. 24, No. 1, pp. 69-85.？http://dx.doi.org/10.19172/KREAA.24.1.5？

상세보기
T. Hastie, R. Tibshirani, J. Friedman, 2009, The？elements of statistical learning, data mining,？inference, and prediction, Springer 2nd Ed..？ISBN 978-0-387-84857-0？
J.H.Kang, N.K.Kyu, 2019, Verification of Resistance？Welding Quality Based on Deep Learning, J. Soc.？Naval, Arch. Korea, Vol. 56, No. 6, pp. 473-479.？DOI: https://doi.org/10.3744/SNAK.2019.56.6.473？

원문보기 상세보기
K. Kim et al., 2023, Prediction of hardness for cold？forging manufacturing through machine learning,？Trans. Mater. Process., Vol. 32, No. 6, pp. 329-333.？http://data.doi.or.kr/10.5228/KSTP.2023.32.6.329？

원문보기 상세보기
K.P. Kim et al., 2023, A study on improving？formability of stamping processes with segmented？blank holders using artificial neural network and？genetic algorithm, Trans. Mater. Process., Vol. 32,？No. 5, pp. 276-286.？https://doi.org/10.5228/KSTP.2023.32.5.276？

원문보기 상세보기
M. Soori et. al., 2023, Machine learning and？artificial intelligence in CNC machine tools, A？review in Sustainable Manufacturing and Service？Economics (2023).？https://doi.org/10.1016/j.smse.2023.100009？

상세보기
V.C. Do, Y.S. Kim et al., 2017, Effect of hole lancing？on the forming characteristics of single point？incremental forming, Procedia Engng., Vol. 84, pp.？35-42. https://doi.org/10.1016/j.proeng.2017.04.068？

상세보기
Pham Q. Tuan, Y.S. Kim et al., 2022, A machine？learning-based methodology for identification of the？plastic flow in aluminum sheets during incremental？sheet forming processes, Int. J. Adv. Manuf.？Technol., Vol. 120, pp. 3559-3584.？https://doi.org/10.1007/s00170-022-08698-z？

상세보기
H. Salmenjoki, M. J. Alava, L. Laurson, 2018,？Machine learning plastic deformation of crystals,？Nature Communications, Vol. 9, No. 5307.？https://doi.org/10.1038/s41467-018-07737-2？

상세보기
T. Tancogne-Dejean et al., 2021, Recurrent neural？network modeling of the large deformation of？lithium-ion battery cells, Int. J. Plast., Vol. 146, No.？103072. https://doi.org/10.1016/j.ijplas.2021.103072？

상세보기
X. Chen et al., 2019, Research on fault early？warning and the diagnosis of machine tools based on？energy fault tree analysis, Proc. IMech. Engng., Part？B: J Eng. Manuf., Vol. 233, No. 11, pp. 2147-2159.？https://doi.org/10.1177/0954405418816848？

상세보기
F. Tao et al, 2018, Data-driven smart manufacturing,？J. Manuf. Systems-C, Vol. 48, No. 7, pp. 157-169.？https://doi.org/10.1016/j.jmsy.2018.01.006？

상세보기
www.kamp-ai.kr？
Ministry of SMEs and Startups, 2021, Precision？processing resource optimization AI dataset, analysis？practice guidebook.？
Y.S. Kim, 2024, Review paper for key algorithms of？machine learning and its application to material？processing problems I, Trans. Mater. Process., Vol.？33. No. 1, pp. 50-67.？
Y.S. Kim, 2024, Review paper for key algorithms of？machine learning and its application to material？processing problems II, Trans. Mater. Process., Vol.？33, No. 2, pp. 132-150.？
Andrew Ng, https://www.coursera.org/learn/machineLearning？
R.J. William, G.E. Hinton, D.E. Rumelhart, 1986,？Learning representations by back-propagation errors,？Nature, Vol. 323, pp. 533-536.？https://doi.org/10.1038/323533a0？

상세보기
S. Hochreiter, J. Schidhuber, 1997, Long short-term？memory, Neural Comput., Vol. 9, No. 8, pp. 1735-1780. https://doi.org/10.1162/neco.1997.9.8.1735？

상세보기
K. Simonyan and A. Zisserman, 2015, Very deep？convolutional networks for large-scale image？recognition. In ICLR2015.？https://doi.org/10.48550/arXiv.1409.1556？
S. Cong, Y. Zhou, 2023, A review of convolutional？neural network architectures and their optimizations.？Artif. Intell. Rev., Vol. 56, pp. 1905-1969.？https://doi.org/10.1007/s10462-022-10213-5？

상세보기
X. Zhao, L. Wang, Y. Zhang, X. Han, M. Deveci, M. Parmar, 2024, A review of convolutional neural？networks in computer vision, Artif. Intell. Rev., Vol.？57, No. 4, pp. 57-99.？https://doi.org/10.1007/s10462-024-10721-6？

상세보기
L.Alzubaidi, et al., 2021, Review of deep learning:？concepts, CNN architectures, challenges,？applications, future directions, J. Big Data, Vol. 8,？No. 53, pp. 1-74.？https://doi.org/10.1186/s40537-021-00444-8？

상세보기
J.Y. Chung, C. Gulcehre, K.H. Cho, Y. Bengio, 2014,？Empirical evaluation of gated recurrent neural？networks on sequence modeling, Presented in NIPS？2014 Deep Learning and Representation Learning？Workshop.？https://doi.org/10.48550/arXiv.1412.3555？
https://aimi.stanford.edu/chexpert-chest-x-rays？
https://www.lunit.io/ko/company？
Dow-Mu Koh et al, 2022, Artificial intelligence and？machine learning in cancer imaging,？Communications Medicine, Vol. 2, No. 133.？https://doi.org/10.1038/s43856-022-00199-0？

상세보기
Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, 1998,？Gradient-based learning applied to document？recognition. Proc. IEEE, Vol. 86, No. 11, pp. 2278-2324. http://yann.lecun.com/exdb/mnist/？
J. Deng, W. Dong, R. Socher, L. -J. Li, Kai Li and Li？Fei-Fei, 2009, ImageNet: A large-scale hierarchical？image database, 2009 IEEE Conference on？Computer Vision and Pattern Recognition(CVPR),？pp. 248-255. doi: 10.1109/CVPR.2009.5206848？
ImageNet. http://www.image-net.org？
He, Kaiming, Xiangyu Zhang, Shaoqing Ren, and？Jian Sun, 2016, Deep residual learning for image？recognition, Proc. IEEE Conf. Comput. Vision？Pattern Recog., pp. 770-778.？http://image-net.org/challenges/LSVRC/2015/ and？http://mscoco.org/dataset/#detections-challenge2015？
Q. A. Al-Haija, A. Adebanjo, Breast Cancer？Diagnosis in Histopathological Images Using？ResNet-50 Convolutional Neural Network, 2020？IEEE International IOT, Electronics Mechatronics？Conf., (IEMTRONICS).？DOI:10.1109/IEMTRONICS51293.2020.9216455
Gao Huang, Zhuang Liu, Laurens van der Maaten,？Kilian Q. Weinberger, Densely Connected？Convolutional Networks.？https://doi.org/10.48550/arXiv.1608.06993？
https://velog.io/@minkyu4506/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0-Densely-Connected-Convolutional-NetworksDenseNet？
I.S. Hwang, D.Y. Kim , G.J. Jeong, M.J. Kang , D.C.？Kim and Y.M. Kim, 2017, Effect of Weld Bead？Shape on the Fatigue Behavior of GMAW Lap Fillet？Joint in GA 590 MPa Steel Sheets, Metals, Vol. 7,？No. 10, pp. 399-. doi:10.3390/met7100399？

상세보기
P. Zheng, J-C Chen, S-F Ye, Peter Ott, L. Wang,？Classification of Arc Welding Joints Images Based？on Convolutional Neural Network, 12th IEEE Int.？Conf. Anti-counterfeiting, Security, Identification？(ASID) (2018).？DOI: 10.1109/ICASID.2018.8693214？
P. Rabe1, U. Reisgen1, A. Schiebahn, 2023, Nondestructive evaluation of the friction stir welding？process, generalizing a deep neural defect detection？network to identify internal weld defects across？different aluminum alloys, Weld. World, Vol. 67, pp.？549-560.？https://doi.org/10.1007/s40194-022-01441-y？
Haichao Li, Yixuan Ma, Mingrui Duan, XinWang &？Tong Che, 2023, Defects detection of GMAW？process based on convolutional neural network？algorithm, Scientific Reports, Vol. 13, No. 21219.？https://doi.org/10.1038/s41598-023-48698-x？

상세보기
J.Y. Lee, 2020, Technology for collecting,？processing, analyzing, and utilizing data for？intelligent die-casting processes, J. Korean. Soc.？Manuf. Eng., Vol. 29, No. 6, pp. 441-448.？https://doi.org/10.7735/ksmte.2020.29.6.441？

상세보기
J.Y. Lee, 2020, Development of intelligence data？analytics system for quality enhancement of die-casting process, J. Korean Soc. Precis. Eng., Vol. 37,？No. 4, pp. 247-254.？https://doi.org/10.7736/JKSPE.019.136

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증