[논문]머신러닝을 이용한 항공기 수리부속 예측 모델의 실증적 연구

이창호; 김웅이; 최연철

doi:10.12985/ksaa.2018.26.4.101

머신러닝을 이용한 항공기 수리부속 예측 모델의 실증적 연구
An Empirical Study on Aircraft Repair Parts Prediction Model Using Machine Learning 원문보기

한국항공운항학회지 = Journal of the Korean Society for Aviation and Aeronautics, v.26 no.4, 2018년, pp.101 - 109

이창호 (한서대학교 항공운항관리학과) , 김웅이 (한서대학교 항공정보산업대학원) , 최연철 (한서대학교 항공교통물류학과)

Abstract ▼ AI-Helper

In order to predict the future needs of the aircraft repair parts, each military group develops and applies various techniques to their characteristics. However, the aircraft and the equipped weapon systems are becoming increasingly advanced, and there is a problem in improving the hit rate by applying the existing demand prediction technique due to the change of the aircraft condition according to the long term operation of the aircraft. In this study, we propose a new prediction model based on the conventional time-series analysis technique to improve the prediction accuracy of aircraft repair parts by using machine learning model. And we show the most effective predictive method by demonstrating the change of hit rate based on actual data.

주제어

표/그림 (12)

표 Table 1. Defense field repair parts demand forecasting technique
그림 Fig 1. US Air Force RFM operating concept
그림 Fig 2. Procedures for the development of the German air force prediction model
그림 Fig 3. Air Force requirement calculation process
표 Table 2. KIDA's machine learning forecast
표 Fig 4. Input variable selection
표 Table 3. Detailed list of input variables
그림 Fig 5. Comparing the demand accrual rate when applying machine learning
표 Table 4. Predicted demand items by applying 5 kinds of machine learning
표 Table 5. Detailed rate of demand accrual when applying machine learning
표 Table 6. Confusion Matrix on machine learning model forecasts
표 Table 7. Confusion Matrix by variable group of k-NN model

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 연구에서는 최근 답보상태에 있는 항공기 수리부속 예측 적중률 향상을 위해 기존의 시계열 분석 기법에만 의존한 예측체계에 새롭게 머신러닝 기법을 복합 적용한 예측 모델을 제시하고 실제 데이터를 기반으로 적중률의 변화를 실증함으로, 가장 효과적인 소요예측 기법의 실증을 시도한다.
또한 변수 요소의 특성에 따라 수요발생 품목 예측이 상이하므로, 수요예측 정확도 향상을 위해 변수요소를 적절히 조합하여 최적의 변수조합을 찾는 것이 향후 적중률을 향상시키기 위한 과제로 식별되었다.
본 연구에서는 유일한 국산 제트 항공기인 T-50 계열 항공기의 수리부속에 대해, 현재의 예측 체계인 시계열 분석 기법에 4차 산업혁명의 산물인 머신러닝 기법을 복합 적용하는 모델을 이용하여 수리부속 소요를 예측하고 적중률의 향상 수준을 실제 데이터를 이용하여 검증하였다. 개발 중인 KIDA의 유사한 머신러닝 모델을 근간으로 머신러닝의 학습효과를 증대시키는 입력변수를 수요변수 뿐만 아니라 정비변수와 운영변수를 추가하여 종합변수로 다양화하였고, 각각의 변수 종류별로 예측되는 결과를 비교하며 5가지의 머신러닝 기법에 대한 결과물도 비교 검증하였다.

제안 방법

5가지 머신러닝 기법을 사용하여 예측한 2017년도 수리부속 소요 발생여부 품목 수는 수요변수만을 적용한 경우와 정비/운영 변수를 포함한 종합변수를 적용한 경우로 구분하여 분석하며, 수요발생이 예상되는 품목과 수요가 미발생 될 것으로 예상되는 품목으로 구분하였다. 기존의 시계열 중심의 공군 수요예측방법의 경우 대상 1,897 품목 중 수요발생 예측은 1,040 품목이며, 수요 미발생 예측 품목 수는 857 품목이었음에 비해 비교적 큰 차이가 발생하였고, 수요변수와 종합변수를 적용했을 경우의 차이도 식별되었는데 결과는 Table 4와 같다.
소요산정 과정으로서 과거의 소모실적을 기반으로 미래의 소요량을 산정하기 위해 과거 5개년간의 소무실적을 분기별로 총 20개 분기의 자료를 기반으로 차기 3개 분기의 소요량을 각각 예측한다. 이때 5가지 기법으로 모두 예측된 수량에 대하여 실제 값과의 편차가 가장 적은 기법을 선정하게 되며 아래 Fig 3는 그 세부 과정을 나타낸다.
KIDA(한국국방연구원)는 국방 연구기관으로서 2016년부터 머신러닝을 이용한 수리부속의 수요발생 유무를 예측하는 수요예측에 대한 연구와 2017년 확대 개발을 통해 머신러닝을 이용한 수량예측까지 시도하고 그 효과성을 최초로 비교 제시 하였다. 이 연구에서 기존의 시계열 분석을 이용한 예측기법에 대비하여 수요발생여부와 수량 예측을 구분하여 시계열 분석과 머신러닝을 구분 적용하고 효과를 분석하여 총 4가지 경우에 대한 수요예측 적중률을 연구하여 Table 2와 같은 결과를 제시하였다.

대상 데이터

머신러닝 분석을 위한 프로그램은 'R 프로그램‘을 이용하였고, 항공기 수리부속의 실제 소모 데이터가 있는 2017년의 예측 수량과 실적을 비교분석 하기 위해 2012년부터 2016년까지 T-50 계열 항공기 수리에 사용된 2,000여 품목의 소모 자료를 대상으로 분석하였다.
입력변수는 2012년부터 2016년까지 5개년간의 수리부속의 소모량, 결함횟수 및 비행쏘티 등 항공기 운영실적 자료를 기반으로 수리부속 운영과 관련된 수요변수, 정비변수, 운영변수로 대분하는 61개의 ‘종합변수’를 선정하였다. 이때 수요 변수는 분기/연간 소모량과 연도별 청구목표 등 47개 변수이며, 정비변수는 운용기지별 품목의 결함과 정비횟수 등 4개 변수이고, 운영 변수는 총 비행쏘티와 비행시간, 연도별 불가동률 등 10개 변수로서 종합은 Fig 4와 같다.

데이터처리

본 연구에서는 유일한 국산 제트 항공기인 T-50 계열 항공기의 수리부속에 대해, 현재의 예측 체계인 시계열 분석 기법에 4차 산업혁명의 산물인 머신러닝 기법을 복합 적용하는 모델을 이용하여 수리부속 소요를 예측하고 적중률의 향상 수준을 실제 데이터를 이용하여 검증하였다. 개발 중인 KIDA의 유사한 머신러닝 모델을 근간으로 머신러닝의 학습효과를 증대시키는 입력변수를 수요변수 뿐만 아니라 정비변수와 운영변수를 추가하여 종합변수로 다양화하였고, 각각의 변수 종류별로 예측되는 결과를 비교하며 5가지의 머신러닝 기법에 대한 결과물도 비교 검증하였다.

이론/모형

KIDA(2017) 연구 결과 머신러닝과 시계열 분석의 단독/혼합 예측 방안에 대해 수요발생 여부 예측은 머신러닝 기법을 적용하고, 수량 예측은 시계열 분석을 통한 예측이 효율적임을 제안하였다. 이 연구에서 추천된 머신러닝 기법은 DT(Decision Tree : 의사결정나무), k-NN (k-Nearest Neighbors : k-최근접 이웃), SVM(Support Vector Machine : 서포트 벡터 머신), LDA(Linear Discriminant Analysis : 선형판별 분석)과 LR(Logistics Regression : 로지스틱스 회귀) 등 5개 기법이다[13].

성능/효과

5가지 머신러닝 기법으로 산출한 수요발생여부 품목의 예측 적중률은 2017년도 실제 수요예측 대상 전체 품목에 대비하여 수요발생 예측 후 수요가 발생한 품목과 수요 미발생 예측 후 실제 수요가 발생하지 않은(예측한데로 된) 품목의 합의 비율로 산출하였다. 이때 산출 공식은 다음과 같다.
공군은 2015년부터 항공기 수리부속의 예측 자료로서 ‘청구실적’ 기반에서 ‘소모실적’을 기반으로 변경하여 수요 예측 정확도가 향상 되었으나, 2016년 이후 정확도는 2015년과 비교할 때 유사한 수준을 유지하여 시계열 분석만으로는 더 이상의 향상에 한계가 있음을 인식하였다. 국방부에서는 장비유지비의 증가를 효율적으로 관리하기 위해 머신러닝을 적용한 수리부속 수요예측 모델을 2016년부터 개발 중에 있는 등, 4차 산업기술인 머신러닝을 항공기 수리부속 수요예측 분야에 적용하여 보다 향상된 재고관리 능력을 보유할 필요성이 인식되고 있다.
다품종 소량으로 발생하는 항공기 수리부속의 특성상 아래 표와 같이 머신러닝을 활용하여 수요 발생여부를 우선 분류 후에 시계열 분석을 이용하여 수량을 예측하는 방법이 시계열 기법만을 이용하는 기존의 방법이나, 머신러닝만을 이용하여 수요발생 여부와 수량을 예측하는 방법 보다 적중률이 높고 머신러닝을 분석하기 위한 장기간의 시간을 절약할 수 있는 효율적 방법임을 제안 하였다.[3]
머신러닝 활용 시 수요발생여부 예측 적중률은 73.9~83.3%로 기존의 시계열분석 예측 수준인 74.1%(적중 1,400품목, 미적중 490품목)에 비해 최대 9.2%p 향상되었으며, 성능 우수 모델은 최근접이웃모델(k-NN)로 확인되었다. 아래 Fig 5와 Table 5는 머신러닝 적용 시 수요발생 적중률 결과이다.
수요변수만을 적용할 경우에도 기존보다 수요 발생 품목 및 미발생 품목 예측이 증가하지만, 정비변수를 추가 적용할 경우 기존보다 수요발생/미발생 품목 예측과 유사하며, 수요변수/수요+운용변수 적용 시 대비 수요 발생품목 예측은 증가하고 미발생 품목 예측은 감소한 것으로 확인되어 종합변수를 적용하는 것이 가장 높은 정확도를 확보할 수 있음을 확인하였다.
연구 결과, 기존의 시계열 분석 중심의 수리 부속 예측 체계에 비하여, 종합변수를 입력한 머신러닝과 시계열 분석 복합예측 모델은 기존 예측체계에 비해 5가지 기법 모두 예측 정확도의 향상이 실증 되었다. 품목 예측 정확도는 5가지 머신러닝 기법에 대해 평균적으로 3.
82%) 순으로 산출되었다. 이 결과는 머신러닝의 학습 효과와 예측 결과는 일반적인 이론과 부합되게 항공기 수리부속 예측 체계에서도 입력 데이터의 적절성과 포괄성 여부에 영향을 받음을 실증하였다. 머신러닝 기법의 정확도 향상을 위해서는 컴퓨터가 학습하는 입력 변수의 특성에 따라 수요발생 품목 예측이 상이하므로, 변수요소를 적절히 조합하여 최적의 변수조합을 찾는 것이 향후 적중률을 향상시키기 위한 과제로 식별되었다.
입력변수 관점에서 종합변수와 수요변수 입력 에 따른 변수별 적중률 차이가 0 ~ 1.2%p로, 수요변수보다 종합변수를 사용할 때 정확도가 향상됨을 확인하였다. 결과적으로 머신러닝 활용 시 수요발생여부 예측 적중률은 기존 대비 향상 되었으며, 변수 및 일부모델의 알고리즘 조정을 통한 최적화 작업으로 수요예측 정확도의 추가 향상도 가능할 것으로 기대된다.
입력변수의 종류에 따라서는 5가지 머신러닝 기법의 평균을 적용할 때, 수량 예측 정확도가 종합변수 > 수요+정비 변수 > 수요+운영 변수 > 수요변수(48.82%) 순으로 산출되었다. 이 결과는 머신러닝의 학습 효과와 예측 결과는 일반적인 이론과 부합되게 항공기 수리부속 예측 체계에서도 입력 데이터의 적절성과 포괄성 여부에 영향을 받음을 실증하였다.
적중률이 가장 높게 산출된 k-NN 모델에 대해 변수 그룹별 적중률을 Confusion Matrix로 분석한 결과, 변수별 수요발생 적중품목이 기존 방법 대비 160 ~ 174품목 많아 적중률이 높은 것을 확인하였고, 변수의 그룹별 정확도는 종합변 수 > 수요변수+정비변수 > 수요변수+운영변수 > 수요변수 순으로 식별되었다. 변수 그룹별 Confusion Matrix 분석 결과는 Table 7과 같다.
연구 결과, 기존의 시계열 분석 중심의 수리 부속 예측 체계에 비하여, 종합변수를 입력한 머신러닝과 시계열 분석 복합예측 모델은 기존 예측체계에 비해 5가지 기법 모두 예측 정확도의 향상이 실증 되었다. 품목 예측 정확도는 5가지 머신러닝 기법에 대해 평균적으로 3.7%p 향상되었고, 최적기법인 k-NN 기법은 최대 9.1%p의 향상이 확인되었으며, 수량 예측 정확도는 평균 3.5%p가 향상되었으며 마찬가지로 k-NN 기법 적용 시에는 5.7%p의 상당한 예측 정확도 향상 효과가 실증되었다.

후속연구

2%p로, 수요변수보다 종합변수를 사용할 때 정확도가 향상됨을 확인하였다. 결과적으로 머신러닝 활용 시 수요발생여부 예측 적중률은 기존 대비 향상 되었으며, 변수 및 일부모델의 알고리즘 조정을 통한 최적화 작업으로 수요예측 정확도의 추가 향상도 가능할 것으로 기대된다.
본 연구 결과는 항공기 수리부속 예측 정확도의 향상이 필요한 항공기 운영 기관 및 부대에서 응용하여 적용할 때 수리부속 구매 예산의 효율성과 항공기 가동률의 안정성을 향상 시킬 수 있으므로 다른 기종으로의 확대 적용이 가능할 것이며, T-50 계열 항공기는 해외 수출 중임 을 고려할 때 유지비의 절감이 가능한 후속 군수지원체계의 하나로 항공기 제작사에서 활용 가능할 것으로 예상된다.
특히 k-NN모델은 적중품목이 기존 체계 대비 169품목 높게 적중하므로, 해당 모델 적용 시 소요량 확보를 통해 원활한 수리부속 지원과 항공기 가동률 향상 효과가 있을 것으로 예상된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	세계 항공시장의 규모의 최근 5년간 성장률은?	세계 항공시장의 규모는 최근 5년간 연평균6.1%(여객 km 기준)씩 꾸준히 성장하고 있으며 특히 아‧태 지역 항공산업의 폭발적인 성장은 세계 항공산업의 지형을 바꾸며 향후 성장 가능성은 더욱 커지고 있다. 세계 항공우주산업 시장 규모는 2008년 4,300억$에서 2014년 5,826억$로 35% 성장하였고, 2023년에는 8,410억$로 44% 성장할 것으로 예측되고 있다[1].
	RFM 방법의 장점과 한계점은 무엇인가?	미 공군은 90년대 후반까지 과거 수요 데이터를 가지고 품목에 대한 수요를 예측 하였으며, 이러한 예측방법은 과거의 수요흐름이 미래의 수요 흐름과 동일할 것이라는 가정을 기반으로 하고 있다. 전통적인 이 모델은 관리자 입장에서 비교적 간단하게 쉽게 산출 및 적용할 수 있다는 장점이 있으나, 일정한 조달기간, 일정한 수요, 독립적인 수요발생 등에 관한 가정들로 인하여 많은 한계점을 가지고 있다.[10] 이러한 문제점들로 인해 보다 효율적인 재고관리가 이루어지지 못했으며, 필요한 품목에 대한 주문도 적시에 이뤄지지 못하였다.
	미래 소요에 대한 예측 적중률이 중요한 이유는?	항공기 수리부속의 확보는 계약 후 평균 수개월에서 1년 이상이 소요되어 상당 부속품을 1년 전에 품목과 수량을 예측하여 예산을 확보하고 주요 부품은 사전 계약하므로, 미래 소요에 대한 예측 적중률에 따라 항공기의 가동률과 불필요한 초과자산의 발생을 방지하는 등 안정적이며 경제적인 운영이 가능하다.

참고문헌 (13)

Se-jong Choi, “A study on aviation MRO industries and growth strategy in korean MRO”, Journal of the Aviation Management Society of Korea, 15(2), 2017, pp. 3~19
Se-hun Park, “Improvement method of forecasting method of aircraft repair parts”, 2007, Air Force University. pp. 25~34
10.5755/j01.eee.20.10.8870 KIDA, “Development of repair parts demand forecasting model”, 2014, pp. 10~20

상세보기
Jin-ung Kim, “Method of development to supply demand forecasting : Case of an appurtenance”, Master Thesis, Chongnam National University, Daejeon. Feb 1998. pp. 9~21
Gi-Duck Chang, Gun-Wook Jun, “Scientific direction of repair part requirement management”, The Weekly Defense Review, Vol 918(02-47), KIDA, 2002
Young-Jin Park, Gun-Wook Jun, “A demand forecasting for aircraft spare parts using ARMIA”, Journal of the Military Operations Research Society of Korea, 2008, Vol 34(2), pp. 79~101
Myoung-Rye Kim, “Research of the scheme for improving a repairing request estimating hitting ratio”, Master Thesis, Gwangju University, Gwangju. Feb 2012. pp. 32~42
Sung-Jong Joo, “Military unit inventory reduction plan”, KIDA, 2002
Sung-In Jo, “A study on systematization of fleet repair parts management method”, Air Force Headquarters, 2010. pp. 45~56
Mi-Sun Sun, Je-woong Woo, Hyeck-Soo Lee, “A study on the efficiency of the US Army repair”, KIDA, 2010
Gaudette, K., Blazer, D. and Alcorn, H. K. “Managing Air Forces depot consumables - The big picture”, Air Force Journal of Logistics, Vol. XXVI, No. 4, 2002, P. 5
Jae-Hyun Shin, “A study on the empirical effectiveness analysis for repair parts requirement calculation system improvement” PhD Thesis, Daejeon University, Daejeon, Aug 2016, pp. 16~22, 56~86
KIDA, Major achievements and development directions, 2017

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증