[논문]머신러닝 기술의 핵심 알고리즘과 재료·가공 문제에 적용 II

김영석

머신러닝 기술의 핵심 알고리즘과 재료·가공 문제에 적용 II
Key Algorithms of Machine Learning and its Application to Material Processing Problems II 원문보기

소성가공 = Transactions of materials processing : Journal of the Korean society for technology of plastics, v.33 no.2, 2024년, pp.132 - 150

김영석 (경북대학교 기계공학부)

초록이 없습니다.

표/그림 (28)

그림 Fig. 1 (a) Stump; (b) Forest of stumps (주) (a) Stump(그루터기)-노드 하나에 두개의 리프(leaf)를 지닌 트리, (b) Forest of stumps(그루터기 숲) -크기가 큰 것은 가중값이 더 큰 그루터기를 뜻한다. 가중값이 크다는 것을 Amount of Say가 크다고 표현하며, 결과에 미치는 영향이 크다는 뜻이다.
그림 Fig. 2 Mechanism of AdaBoost algorithm
표 Table 1 AdaBoost example for heart disease
표 Table 2 AdaBoost with decision stumps
그림 Fig. 3 How to predict in AdaBoost model
표 Table 3 Development of an AdaBoost classifier in 1^st step
표 Table 4 Develop an AdaBoost classifier in 2^nd step
그림 Fig. 4 Gradient boosting machine model
표 Table 5 Gradient boosting machine example for body weight
표 Table 6 Process of GBM model
표 Table 7 Process of 1^st residual prediction process in GBM model
그림 Fig. 5(a) Linearly separable problem in SVM model
그림 Fig. 5(b) Nonlinearly separable problem in SVM model
표 Table 8 Process of 2^nd residual prediction process in GBM model
그림 Fig. 6 Definition of hyperplane, margin and support vector in SVM model
그림 Fig. 7 Small margin example in SVM model
표 Table 9 Support vector machine example of hard margin problem
그림 Fig. 8 (a) Definition of classification of data by linear support vector boundary
그림 Fig. 8 (b) Definition of classification of data by soft margin SVM problem
그림 Fig. 9 Mapping of the data from the input space to a high-dimensional feature space
그림 Fig. 10 Support vector machine to classify the dog and cat
그림 Fig. 11 Actual and predicted testing data for surface roughness in ISF experiments: (a) SVR; (b) ANN [27a]
그림 Fig. 11 (c) R² values for predicted results (pillow effect and wall diameter)
표 Table 11 Comparisons of machine learning model for U-channel forming problem [28]
그림 Fig. 12 Tool wear(a) and mSVM classifying five wear states [25]
그림 Fig. 13 (a) Lathe cutting force prediction in MLP method (https://github.com/yskim9574/DFclass-2023/blob/main/ANN_lathecutting)
그림 Fig. 13 (b) Lathe cutting force prediction in GBM method
그림 Fig. 13 (c) Lathe cutting force prediction in SVR method

AI 본문요약
AI-Helper

문제 정의

본 해설논문에서는 각각 기술의 통계학적 복잡한 수식을 가능한 배제하고 개념적으로 각 알고리즘을 쉽게 설명하고자 하였다. 머신러닝에 대해 보다 공부하고자 하는 사람은 앤드류 웅(Andrew Ng)의 유튜브 강의[20]와 머신러닝의 여러 알고리즘과 통계이론을 알기 쉽게 설명하는 유튜브 Statquest[32], Colah’s Blog[33] 그리고 관련 전문서적[2-5, 34] 등을 참고하기 바란다.
본 해설논문에서는 지난번 해설논문[19]에 이어서 산업현장의 다양한 문제들에 널리 활용되고 있는 머신러닝 기술의 핵심 알고리즘을 통계학적 복잡한 수식을 배제하고 알기 쉽게 설명하여 산업현장 엔지니어들의 동 기술에 대한 이해를 높이고자 한다.

가설 설정

본 예제의 경우는 6개의 그루터기가 생성되었다고 가정하고 주어진 테스트 데이터(가슴 통증과 막힌 동맥이 있고 체중이 182kg인 환자가 심장병이 있는지 없는지)에 대해서 이렇게 의사결정트리를 통과하면 아래와 같이 각 그루터기 마다의 Amount of Say가 얻어진다.

제안 방법

본 해설논문에서는 AdaBoost, Gradient Boosting Machine, Support Vector Machine의 핵심 알고리즘에 대해서 알기 쉽게 설명하였고 저자가 GitHub에 올린 파이썬(python) 프로그램을 통해서 어떻게 알고리즘이 구현되고 있는지를 나타내었다.
본 해설논문에서는 지난 호에 이어서 최근 다양한 사회과학 분야와 재료∙가공기술 분야에 널리 사용되고 있는 AI 기술중의 하나인 머신러닝의 핵심 알고리즘 중 AdaBoost, Gradient Boosting Machine, Support Vector Machine 을 알기 쉽게 설명하였다.

대상 데이터

(https://github.com/yskim9574/DFclass-2023/...) 여기서 기술된 알고리즘에 대한 프로그램들은 구글의 Colab(https://colab.research.google.com/)에서 구동하였다.
SVM 모델을 이용하여 동물의 크기와 무게로 개와 고양이를 분류한 예제에 대한 프로그램을 https://github.com/yskim9574/DFclass-2023/blob/main/SVM_catdog_classifier에 올려두었다.
[예제 1] 표 1은 [StatQuest: AdaBoost, Clearly Explained]에서 발췌한 Chest Blocked Arteries(막힌 동맥), Patient Weight(환자 체중)에 따른 Heart Disease(심장병) 여부에 대한 데이터이다. AdaBoost 알고리즘을 이용하여 각각의 속성이 결과값 (여기서는 Heart Disease)에 미치는 영향에 대해 검토한다.

이론/모형

[예제 1] 표 1은 [StatQuest: AdaBoost, Clearly Explained]에서 발췌한 Chest Blocked Arteries(막힌 동맥), Patient Weight(환자 체중)에 따른 Heart Disease(심장병) 여부에 대한 데이터이다. AdaBoost 알고리즘을 이용하여 각각의 속성이 결과값 (여기서는 Heart Disease)에 미치는 영향에 대해 검토한다. 또한 가슴 통증과 막힌 동맥이 있고 그리고 체중이 170kg인 환자는 심장병이 있는지 없는지를 판단하는 방법에 대해서 검토해보자.
GBM 알고리즘에서 체중과 같이 목표값(target 또는 label)이 연속형인 회귀 문제인 경우 Gradient Boosting Regressor(GVR)를 사용하고, 목표값이 Yes, No와 같은 분류 문제인 경우 Gradient Boosting Classifier(GBC)를 사용한다.
SVM을 이용한 머신러닝에서 이산 범주용 데이터의 분류에서는 SVC(support vector classifier)를, 연속한 데이터의 회귀에서는 SVR (support vector regressor)를 사용한다. SVR은 SVM의 많은 장점을 공유하는 방식으로 데이터에 연속값 함수를 적용한다.
SVR은 SVM의 많은 장점을 공유하는 방식으로 데이터에 연속값 함수를 적용한다. sklearn.svm의 SVR알고리즘에서는 RBF kernel을 기본으로 사용한다.
여기서 AdaBoost 또는 Adaptive Boosting은 Yoav Freund와 Robert Schapire가 제안한 기계학습 메타 알고리즘으로 앙상블 부스팅 분류기 중 하나이다[18a, b]. AdaBoost는 기존의 이진 분류 문제를 더 일반화한 다중 분류에 대한 알고리즘에 기초하고 있고, 분류(classification) 문제와 회귀(regression) 문제에 모두 적용 가능하다.

성능/효과

또한 공구 재료와 공구 형상이 베개 효과에 가장 큰 영향 미치는 상대적 중요 요소(relative importance, RI)이며, 공구의 거칠기와 공구 형상이 벽 직경에 가장 영향을 주는 것을 나타났다.
공구 마모상태가 잘 분류되고 있음을 알 수 있고, 공구 마모 분류의 정확도는 센서에 의한 하중의 시계열 데이터 수집 방법(data acquisition), PCA 등의 데이터 전처리(preprocessing) 및 특징 추출(feature extraction)의 정확성에 민감하게 영향을 받는 것으로 평가되었다[25]. 또한 다양한 머신러닝 알고리즘 - LDA, RF, mSVM, NB, kNN -들의 정확성을 평가한 결과, 선형 커널 함수를 이용한 mSVM이 가장 정확성이 높다는 것을 보였다.
또한 다양한 머신러닝 알고리즘을 적용하여 공구 형상, 공구 재료, 공구의 반경, 공구의 거칠기 등이 베개 효과와 벽 변위에 미치는 영향을 검토한 결과[27b] Levenberg-Marquardt (LM) optimizer를 적용한 MLP(multilayer perceptron) 가 두 경우에 모두 가장 우수한 성능을 보였고, 다음에 CatBoost와 GBR가 우수한 성능을 보였다(그림 11(c)). MLP는 ANN모델에서 다수의 은닉층을 갖고 있는 모델을 말한다.
이상에서 논한 것 같이 기존에 전문가의 경험에 의존하여 해결하였던 제조현장의 문제들을 데이터 기반 통계기술을 접목한 머신러닝 기법을 적용하여 효율적으로 해결할 수 있다는 것을 확인하였다.
제한된 실험결과 이지만 DP600 강의 스프링백 평가에는 SVM모델이 가장 우수하지만 최대 두께 감소율 평가에는 RF 모델이 더 적합하다는 것을 알 수 있다.

후속연구

국내 제조현장을 디지털 전환(digital transformation, DX)하여 제조업의 경쟁력 강화를 위해서는 머신러닝 기술을 통한 실시간 현장 데이터 모니터링과 시퀜스 데이터(sequential data) 또는 시계열 데이터(time-series data) 분석결과를 가시화하여 인사이트(insight-의사결정을 내릴 수 있는 통찰력)를 제공하는 시스템 구축이 필요할 것으로 판단된다.
다음 호에는 RNN, LSTM, LSTM Autoencoder 그리고 의료 영상과 같은 이미지 인식, 컴퓨터 비전에 의한 객체 검출, 오디오 신호데이터 분리 등에 널리 사용되는 합성곱 신경망(convolution neural network, CNN 또는 ConvNet라고도 부름)에 대해서 다룰 예정이다.

참고문헌 (47)

Y. LeCun, Y. Bengio, Geoffrey Hinton, Deep？learning, Review Nature. 28(521) (2015) 436-444,？https://doi.org/10.1038/nature14539

상세보기
D. P. Kroese, et al, 2023, Data Science and Machine？Learning; Mathematical and Statistical Methods,？ISBN-13978-1138492530
M. di Nuzzo, 2021, Data Science and Machine？Learning: From Data to Knowledge,？ISBN-13979-8779849456
V.N. Vapnik, 1998, Statistical Learning Theory. New？York: Wiley, ISBN-978-0471030034
E. Alpaydin, 2016, Introduction to Machine Learning.？The MIT Press, Cambridge, Massachusetts, USA;？London, England, 3rd edn.
S.W. Bae, J.S. Yu, Estimation of the apartment？housing price using the machine learning methods:？The case of Gangnam-gu, Seoul, J. Korea Real？Estate Analysts Assoc., 24(1) (2018), 69-85,？http://dx.doi.org/10.19172/KREAA.24.1.5

상세보기
T. Hastie, R. Tibshirani, J. Friedman, 2009, The？elements of statistical learning, data mining,？inference, and prediction, Springer 2nd Ed.,？ISBN 978-0-387-84857-0
Y.S. Kim, J.J. Kim, Basics of Artificial Neural？Network and its Applications to Material Forming？Process I, Trans. Mater. Process., 30(4) (2021), 201-210.
Y.S. Kim, J.J. Kim, Basics of Artificial Neural？Network and its Applications to Material Forming？Process II, Trans. Mater. Process., 30(6) (2021),？311-322.
K. Kim et al., Prediction of hardness for cold forging？manufacturing through machine learning, Trans.？Mater. Process., 32(6) (2023), 329-333,？http://data.doi.or.kr/10.5228/KSTP.2023.32.6.329

원문보기 상세보기
K.P. Kim et al., A study on improving formability of？stamping processes with segmented blank holders？using artificial neural network and genetic algorithm,？Trans. Mater. Process., 32(5) (2023), 276-286,？https://doi.org/10.5228/KSTP.2023.32.5.276

원문보기 상세보기
M. Soori et. al., Machine learning and artificial？intelligence in CNC machine tools, A review,？https://doi.org/10.1016/j.smse.2023.100009

상세보기
V.C. Do, Y.S. Kim et al., Effect of hole lancing on？the forming characteristics of single point？incremental forming, Procedia Engng., 84(2017) 35-42, https://doi.org/10.1016/j.proeng.2017.04.068

상세보기
Pham Q. Tuan, Y.S. Kim et al., A machine learning-based methodology for identification of the plastic？flow in aluminum sheets during incremental sheet？forming processes, Int. J. Adv. Manuf. Technol., 120？(2022) 3559-3584,？https://doi.org/10.1007/s00170-022-08698-z

상세보기
H. Salmenjoki, M. J. Alava, L. Laurson, Machine？learning plastic deformation of crystals, Nature？Communications, 9, (2018) 5307,？https://doi.org/10.1038/s41467-018-07737-2

상세보기
T. Tancogne-Dejean et al., Recurrent neural network？modeling of the large deformation of lithium-ion？battery cells, Int. J. Plast., 146 (2021), 103072,？https://doi.org/10.1016/j.ijplas.2021.103072

상세보기
X. Chen et al., Research on fault early warning and？the diagnosis of machine tools based on energy fault？tree analysis, Proc. IMech. Engng., Part B: J Eng.？Manuf., 233(11) (2019) 2147-2159,？https://doi.org/10.1177/0954405418816848

상세보기
F. Tao et al, Data-driven smart manufacturing, J.？Manuf. Systems-C, 48(7) (2018), 157-169,？https://doi.org/10.1016/j.jmsy.2018.01.006

상세보기
www.kamp-ai.kr
Ministry of SMEs and Startups, Precision processing？resource optimization AI dataset, analysis practice？guidebook, 2021.
Y. Freund, R.E. Schapire. A decision-theoretic？generalization of on-line learning and an application？to boosting. J. Comp. Syst. Sci., 55(1), (1997) 119-139, https://doi.org/10.1006/jcss.1997.1504

상세보기
Y. Freund, R.E. Schapire., A short introduction to？boosting, J. Japan. Soc. Artificial Intell., 14(5)？(1999) 771-780 (In Japanese, translation by Naoki？Abe.)
Y.S. Kim, Review paper for key algorithms of？machine learning and its application to material？processing problems I, Trans. Mater. Process., 33(1) (2024), 50-67.
Andrew Ng,？https://www.coursera.org/learn/machine-learning
J.H. Friedman, Greedy function approximation: A？gradient boosting machine, Ann. Statist. 29 (5) 1189-1232, https://doi.org/10.1214/aos/1013203451

상세보기
C. Cortes, V. Vapnik, Support-vector networks,？Machine Learning, 20, (1995), 273-297,？https://doi.org/10.1007/BF00994018

상세보기
F. Parrella, On-line support vector regression, Thesis,？Department of Information Science Univ. Genoa？Italy June 2007.
A.J. Smola, B. Scholkopf, 1998. A Tutorial on？Support Vector Regression, NeuroCOLT Technical？Report NC-TR-98-030, Royal Holloway College,？Univ. London, UK.
C. Kubik et al., Smart sheet metal forming:？importance of data acquisition, preprocessing and？transformation on the performance of a multiclass？support vector machine for predicting wear states？during blanking , J. Intell. Manuf., 33 (2022) 259-282, https://doi.org/10.1007/s10845-021-01789-w

상세보기
P.E. Romero et al., Use of the support vector？machine (SVM) algorithm to predict geometrical？accuracy in the manufacture of molds via single？point incremental forming (SPIF) using aluminized？steel sheets, J. Mater. Res. Technol., 15 (2021),？1562-1571,？https://doi.org/10.1016/j.jmrt.2021.08.155

상세보기
S.M. Najm, I. Paniti, Predict the effects of forming？tool characteristics on surface roughness of？aluminum foil components formed by SPIF using？ANN and SVR. Int. J. Prec. Engng. Manuf., 22(1),？(2021) 13-26,？https:// doi.org/10.1007/s12541-020-00434-5

상세보기
S. M. Najm, I. Paniti, Investigation and machine？learning-based prediction of parametric effects of？single point incremental forming on pillow effect？and wall profile of AlMn1Mg1 aluminum alloy？sheets, J. Intell. Manuf. 34 (2023) 331-367,？https://doi.org/10.1007/s10845-022-02026-8

상세보기
M. Dib et al., Model prediction of defects in sheet？metal forming processes, In: Pimenidis, E., Jayne, C.？(eds) Engineering Applications of Neural Networks.？EANN 2018. Comm. Comp. Info. Sci., 893,？https://doi.org/10.1007/978-3-319-98204-5_14
J. Wang et al., A neural networks approach to？investigating the geometrical influence on wrinkling？in sheet metal forming. J. Mater. Process. Technol.？105, (2000), 215-220,？https://doi.org/10.1016/S0924-0136(00)00534-3

상세보기
F. Kara et al., ANN and multiple regression method-based modelling of cutting forces in orthogonal？machining of AISI 316L stainless steel, Neural？Comput. Appl., (2014)？https://doi.org/10.1007/s00521-014-1721-y

상세보기
J.Y. Lee, Technology for collecting, processing,？analyzing, and utilizing data for intelligent die-casting processes, J. Korean. Soc. Manuf. Eng.,？29(6) (2020), 441-448,？https://doi.org/10.7735/ksmte.2020.29.6.441

상세보기
J.Y. Lee, Development of intelligence data analytics？system for quality enhancement of die-casting？process, J. Korean Soc. Precis. Eng., 37(4) (2020),？247-254, https://doi.org/10.7736/JKSPE.019.136

상세보기
https://www.youtube.com/@statquest
https://colah.github.io/
S. Raschka, V. Mirjalili, 2021, Python Machine？Learning, 3rd Edition (H.S. Park, Korean？Translation, Gilbut) ISBN9791165215187
https://www.kaggle.com/c/titanic/data
https://www.kaggle.com/datasets/uciml/iris
https://www.kaggle.com/code/agileteam/t2-2-pima-indians-diabetes
https://www.kaggle.com/datasets/altavish/boston-housing-dataset
http://www.timeseriesclassification.com/description.php?DatasetFordA
www.kamp-ai.kr 「Ford Engine Vibration AI？Dataset」 Analysis Practice Guidebook
https://fordatis.fraunhofer.de/handle/fordatis/151.2?modefull&localeen？

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증