[논문]디지털 데이터에서 데이터 전처리를 위한 자동화된 결측 구간 대치 방법에 관한 연구

김종찬; 심춘보; 정세훈

doi:10.9717/kmms.2020.24.2.245

디지털 데이터에서 데이터 전처리를 위한 자동화된 결측 구간 대치 방법에 관한 연구
A Study on Automatic Missing Value Imputation Replacement Method for Data Processing in Digital Data 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.24 no.2, 2021년, pp.245 - 254

김종찬 (Department of Computer Eng., Sunchun National University) , 심춘보 (School of Information Commucation.Multimedia Eng., Sunchun National University) , 정세훈 (School of Creative Convergence, Andong National University)

Abstract ▼ AI-Helper

We proposed the research on an analysis and prediction model that allows the identification of outliers or abnormality in the data followed by effective and rapid imputation of missing values was conducted. This model is expected to analyze efficiently the problems in the data based on the calibrated raw data. As a result, a system that can adequately utilize the data was constructed by using the introduced KNN + MLE algorithm. With this algorithm, the problems in some of the existing KNN-based missing data imputation algorithms such as ignoring the missing values in some data sections or discarding normal observations were effectively addressed. A comparative evaluation was performed between the existing imputation approaches such as K-means, KNN, MEI, and MI as well as the data missing mechanisms including MCAR, MAR, and NI to check the effectiveness/efficiency of the proposed algorithm, and its superiority in all aspects was confirmed.

주제어

표/그림 (8)

표 Table 1. A Processing Method of Missing Data Mechanism.
그림 Fig. 1. Data Missing Value Imputation and Replacement Algorithm Configuration.
그림 Fig. 2. Example of Data in Missing Value (K-Nearest Neighbor Algorithm).
그림 Fig. 3. Flow chart of Proposed KNN-MLE Method.
표 Table 2. Components of the dataset.
그림 Fig. 4. IoT Original Data.
그림 Fig. 5. Data of Missing Value Imputation Processing.
그림 Fig. 6. The Missing Value Imputation and Replacement of Compared with the Existing Algorithm.

AI 본문요약
AI-Helper

문제 정의

본 연구에서는 결측치 보정 연구를 위해 데이터의 불규칙한 시계열 데이터 패턴 및 결측 처리 방안을 머신러닝 기법을 사용하여 데이터 결측이 발생한 지점의 상황과 가장 유사한 과거 시점의 상황을 찾아 유사 과거 시점의 데이터로 결측을 대체하는 방안을 제안하고자 한다. 기존 최근접 이웃 알고리즘은 결측값 대치 시 결측값을 포함하지 않는 완전한 패턴만을 대상으로 하기 때문에 결측값을 포함하는 인스턴스의 관측값들을 활용하지 못하는 단점이 있었지만, 본 연구에서는 이러한 불규칙 패턴을 구분하여 관측정보로 활용하고 패턴의 후보로 선택하고자 한다. 이를 위해 최대 우도 추정법 알고리즘과 최근접 이웃 알고리즘을 결합한 기법을 제안한다.
본 연구에서는 결측치 보정 연구를 위해 데이터의 불규칙한 시계열 데이터 패턴 및 결측 처리 방안을 머신러닝 기법을 사용하여 데이터 결측이 발생한 지점의 상황과 가장 유사한 과거 시점의 상황을 찾아 유사 과거 시점의 데이터로 결측을 대체하는 방안을 제안하고자 한다. 기존 최근접 이웃 알고리즘은 결측값 대치 시 결측값을 포함하지 않는 완전한 패턴만을 대상으로 하기 때문에 결측값을 포함하는 인스턴스의 관측값들을 활용하지 못하는 단점이 있었지만, 본 연구에서는 이러한 불규칙 패턴을 구분하여 관측정보로 활용하고 패턴의 후보로 선택하고자 한다.
본 연구에서는 디지털 환경에서 데이터 전처리를 위한 데이터 결측 및 보정 처리 알고리즘을 제안한다. 첫 번째는 결측치 데이터의 보정 알고리즘을 통해 결측치 데이터를 대체하며, 두 번째는 보정된 로우데이터를 기준으로 데이터 이상 여부와 특이점을 확인할 수 있도록 변형된 K-means와 주성분 분석알고리즘을 결합한 데이터 분석 모델을 제안한다.

제안 방법

이는 추후 K-최근접 이웃 알고리즘 적용 시 결측값을 포함하는 인스턴스들의 관찰 데이터 활용을 가능하게 하는 것을 목적으로 한다. 두 번째로 결측 구간의 전체 결측값을 최대 우도 추정 결과값으로 초기화한 인스턴스들 중 하나의 인스턴스에 대해 최대 우도 추정 결과값을 결측값으로 변경한다. 이는 하나의 결측값에 대한 추정값을 계산하기 위하여 결측값으로 변경된 인스턴스를 제외한 전체 데이터를 K-최근접 이웃 알고리즘 적용하기 위함이다.
본 논문에서는 Fig.2와 같이 활용되지 않는 구간인 A, C, E구간을 활용하여 결측치를 대치하는 방법을 제안한다. 이를 위해 최대 우도 추정법을 활용하여 이 문제점을 해결한다.
본 논문에서는 K-최근접 이웃 알고리즘과 최대우도 추정법을 통해 데이터에서 발생하는 결측치를 빠르게 대치하고, 데이터 이상 여부와 특이점 확인에 대한 연구를 제안하였다. 이를 통해 보정된 로우데이터를 기준으로 데이터의 이상유무 및 외력을 통해 발생되는 문제점을 빠르게 분석할 수 있는 모델을 구현하였다.
0도 사이에 분포도를 나타내고 있다. 수집된 데이터에는 결측치 및 이상치 데이터가 포함되어 있어 제안하는 결측 대치 알고리즘을 통해 보정하였다. Fig.
기존 최근접 이웃 알고리즘은 결측값 대치 시 결측값을 포함하지 않는 완전한 패턴만을 대상으로 하기 때문에 결측값을 포함하는 인스턴스의 관측값들을 활용하지 못하는 단점이 있었지만, 본 연구에서는 이러한 불규칙 패턴을 구분하여 관측정보로 활용하고 패턴의 후보로 선택하고자 한다. 이를 위해 최대 우도 추정법 알고리즘과 최근접 이웃 알고리즘을 결합한 기법을 제안한다.
본 연구에서는 디지털 환경에서 데이터 전처리를 위한 데이터 결측 및 보정 처리 알고리즘을 제안한다. 첫 번째는 결측치 데이터의 보정 알고리즘을 통해 결측치 데이터를 대체하며, 두 번째는 보정된 로우데이터를 기준으로 데이터 이상 여부와 특이점을 확인할 수 있도록 변형된 K-means와 주성분 분석알고리즘을 결합한 데이터 분석 모델을 제안한다.

대상 데이터

IoT데이터는 Temperature, Acceropitch, Roll의 로우데이터이며, 수집된 데이터는 로우데이터당 51,312개의 데이터를 실험에 반영하여 결측 구간에 대한 결측 대치 및 보정 수행을 진행하였다. 결측 및대치 및 데이터 전처리를 통해 필터링된 IoT 데이터는 다음과 같다.
본 논문에서는 IoT데이터 분석 및 결측치 대치 보정의 알고리즘을 확인하기 위하여 센서 데이터는 Table2와 같다. 알고리즘 성능평가에 활용하기 위한 데이터 수집 기간은 2018년 1월 1일부터 2018년 12월 31일까지 12개월의 데이터이며, 환경 센서 데이터이다. 측정 주기는 1시간 단위이며 수집된 데이터 타입는 Temperature, Acceropitch, Roll이다.
측정 주기는 1시간 단위이며 수집된 데이터 타입는 Temperature, Acceropitch, Roll이다. 전체 데이터셋은 크기는 100MB이며, 로우데이터당 51,312개의 데이터가 수집되었다.

데이터처리

본 논문에서 제안하는 IoT데이터의 결측 대치 성능평가를 위해 1,241개의 결측치 데이터를 5%에서부터 100%까지 비율을 조정하며, 결측 매커니즘이 MCAR, MAR, NI를 생성하여 K-means, KNN, MEI, MI의 알고리즘과 성능평가를 진행하였다. ANAE수치는 작을수록 결측 대치의 정확성이 우수한 것으로 평가된다.
Average Absolute Error(AAE)는 특정 변수에 포함된 결측값에 대한 결측값 대치 정확도를 확인하기 위해서 평가에 반영한다. 본 논문에서는 데이터를 최대 우도 추정법을 기반으로 특정 결측 구간에 해당되는 ANAE수치를 기존 연구와 비교평가를 진행하여 데이터의 결측 대치 및 보정의 우수성을 평가한다.
제안된 알고리즘을 통해 기존 결측 대치 알고리즘인 KNN알고리즘의 단점으로 확인된 일부 구간의 결측치와 정상적인 관측 데이터의 버려지는 문제점을 보완하였다. 이를 확인하기 위해 기존 결측 대치법(K-means, KNN, MEI, MI)과 결측 매커니즘(MCAR, MAR, NI)과의 비교평가를 확인하였다.
제안된 결측 대치 알고리즘은 기존 연구 기법과 비교하여 최대 우도 측정법을 활용한 K-최근접 이웃 알고리즘을 결합하였다. 이를 통해 소규모 데이터 및 일부 데이터를 기준으로 결측 대치값을 결정하였던 기존 K-최근접 이웃 알고리즘과 비교하여 대규모 및 전체 데이터를 활용할 수 있다는 특징이 있다.

이론/모형

이는 하나의 결측값에 대한 추정값을 계산하기 위하여 결측값으로 변경된 인스턴스를 제외한 전체 데이터를 K-최근접 이웃 알고리즘 적용하기 위함이다. 세 번째로는 결측값을 가진 하나의 인스턴스에 대해 K-최근접 이웃 알고리즘을 적용하여 결측값 대치의 추정값을 계산한다.
최대 우도 추정법은 전체 데이터를 활용하여 최적의 θ를 찾는 매커니즘을 활용한다

성능/효과

Fig.6과 같이 본 논문에서 제안하는 KNN-MLE 알고리즘이 기존 연구인 K-means, KNN, MEI, MI 기법보다 우수한 것을 확인할 수 있다. K-means, KNN, MEI, MII는 확률적인 통계기법의 알고리즘으로 결측 비율이 높아질수록 성능이 개선되는 효과를 보였다.
6과 같이 본 논문에서 제안하는 KNN-MLE 알고리즘이 기존 연구인 K-means, KNN, MEI, MI 기법보다 우수한 것을 확인할 수 있다. K-means, KNN, MEI, MII는 확률적인 통계기법의 알고리즘으로 결측 비율이 높아질수록 성능이 개선되는 효과를 보였다. 특히 KNN알고리즘은 기존 다른 연구 방식과 다르게 결측 비율이 높아질수록 정확성이 확연하게 개선되는 것을 확인할 수 있다.
그러나 MI알고리즘은 소규모 데이터이거나 결측 비율이 낮을 경우 우수한 결과를 보였지만 결측 비율이 높아질수록 결측 구간이 포함된 정상 데이터 구간을 반영하지 못하여 성능이 떨어지는 결과를 보였다. 그리고 제안하는 알고리즘은 KNN을 적용할 때 MLE로 변경된 데이터들을 활용하기 때문에 KNN의 성능 저하에 크게 영향을 받지 않다는 것을 확인하였다. 결측값 대치 기법별 ANAE측정 값들에 대한 평균의 비교가 유의미한지 평가하기 위한 tTest와 w Test결과이다.
05보다 작은 것을 확인하였다. 이러한 결과는 KNN과 MI의 결측 비율이 5%일 때 정확도 측면에서는 제안하는 알고리즘과 유사하다는 의미이며, 해당 구간을 제외한 모든 비율과 구간에서는 제안하는 알고리즘의 결측 비율의 정확도가 더 우수하다는 성능평가 결과이다.
특히 KNN알고리즘은 기존 다른 연구 방식과 다르게 결측 비율이 높아질수록 정확성이 확연하게 개선되는 것을 확인할 수 있다. 이러한 현상은 KNN알고리즘의 특징으로 데이터 규모 및 결측 비율이 향상할수록 성능이 우수하다는 가설을 확인할 수 있었다. 그러나 MI알고리즘은 소규모 데이터이거나 결측 비율이 낮을 경우 우수한 결과를 보였지만 결측 비율이 높아질수록 결측 구간이 포함된 정상 데이터 구간을 반영하지 못하여 성능이 떨어지는 결과를 보였다.
제안된 결측 대치 알고리즘은 기존 연구 기법과 비교하여 최대 우도 측정법을 활용한 K-최근접 이웃 알고리즘을 결합하였다. 이를 통해 소규모 데이터 및 일부 데이터를 기준으로 결측 대치값을 결정하였던 기존 K-최근접 이웃 알고리즘과 비교하여 대규모 및 전체 데이터를 활용할 수 있다는 특징이 있다. 이러한 결측 대치 기법의 정확도 비교 연구에 활용되는 평가 척도는 다음과 같다.
특히 IoT센서 데이터에서 수집되는 결측 데이터를 보정하고 이를 활용하기 위해 K-최근접 이웃 알고리즘과 최대 우도 추정법을 결합한 KNN+ MLE알고리즘을 적용하여 데이터 전처리 및 데이터를 적절하게 활용할 수 있는 시스템을 제시하였다. 제안된 알고리즘을 통해 기존 결측 대치 알고리즘인 KNN알고리즘의 단점으로 확인된 일부 구간의 결측치와 정상적인 관측 데이터의 버려지는 문제점을 보완하였다. 이를 확인하기 위해 기존 결측 대치법(K-means, KNN, MEI, MI)과 결측 매커니즘(MCAR, MAR, NI)과의 비교평가를 확인하였다.
K-means, KNN, MEI, MII는 확률적인 통계기법의 알고리즘으로 결측 비율이 높아질수록 성능이 개선되는 효과를 보였다. 특히 KNN알고리즘은 기존 다른 연구 방식과 다르게 결측 비율이 높아질수록 정확성이 확연하게 개선되는 것을 확인할 수 있다. 이러한 현상은 KNN알고리즘의 특징으로 데이터 규모 및 결측 비율이 향상할수록 성능이 우수하다는 가설을 확인할 수 있었다.

후속연구

향후 연구로는 제안한 알고리즘을 기반으로 추가적인 데이터 범위 확대와 데이터 규모를 확대하여 데이터의 불균형 현상을 해결하여 데이터간의 의미론적인 상관관계를 파악하고 다양한 예측 알고리즘을 연구하여 비교 및 평가하고자 한다. 이러한 연구 결과를 바탕으로 결측치가 보정된 데이터를 기준으로 강화학습 모델을 적용한 데이터 분석 시스템을 구축할 것이다.
향후 연구로는 제안한 알고리즘을 기반으로 추가적인 데이터 범위 확대와 데이터 규모를 확대하여 데이터의 불균형 현상을 해결하여 데이터간의 의미론적인 상관관계를 파악하고 다양한 예측 알고리즘을 연구하여 비교 및 평가하고자 한다. 이러한 연구 결과를 바탕으로 결측치가 보정된 데이터를 기준으로 강화학습 모델을 적용한 데이터 분석 시스템을 구축할 것이다.

참고문헌 (14)

M.K. Kim, S. D. Park, J.H. Lee, Y.J Joo, and J.K. Choi, "Learning-Based Adaptive Imputation Method with kNN Algorithm for Missing Power Data," Energies, Vol. 10, No. 10, pp. 1-20, 2017.
S. Zahriah, R. Yusof, and J. Watada. "FINNIM: Iterative Imputation of Missing Values in Dissolved Gas Analysis Dataset," IEEE Transactions on Industrial Informatics, Vol. 10, No. 4, pp. 2093-2102, 2014.

상세보기
C. C. Turrado, F.S. Lasheras, J.L. C-R, A.J. P-P, and F.J. C. Juez, "A New Missing Data Imputation Algorithm Applied to Electrical Data Loggers," Sensors, Vol. 15, No. 12 pp. 31069-31082, 2015.

상세보기
C. C. Turrado, F. S. Lasheras, J. L. C-R, A.-J. P-P, M.G. Melero, and F. J. C. Juez, "A Hybrid Algorithm for Missing Data Imputation and Its Application to Electrical Data Loggers, Sensors, Vol. 16, No. 9, pp. 1-13, 2016.

상세보기
A. Chaudhry, W. Li, A. Basri, and F. Patenaude, "A Method for Improving Imputation and Prediction Accuracy of Highly Seasonal Univariate Data with Large Periods of Missingness," Wireless Communications and Mobile Computing, Vol. 2019, pp.1-14, 2019.

상세보기
Q. Ding, J. Han, X. Zhao, and Y. Chen, "Missing-data Classification with the Extended Full-dimensional Gaussian Mixture Model: Applications to EMG-based Motion Recognition," IEEE Transactions on Industrial Electronics, Vol. 62, No. 8, pp. 4994-5005, 2015.

상세보기
D.H. Lee, K.A. Yoon, and D.H. Bae, "A Missing Data Imputation by Combining K nearest Neighbor with Maximum Likelihood Estimation for Numerical Software Project Data," Journal of KIISE: Software and Applications, Vol. 36, No. 4, pp. 273-282, 2009.
K.Strike, K.EI. Emam, and N. Madhavji, "Software Cost Estimation with Incomplete data," IEEE Transactions on Software Engineering, Vol. 27, No. 10, pp. 890-908, 2001.

상세보기
I. Myrtveit, E. Stensrud, and U.H. Olsson. "Analyzing Data Sets with Missing Data: An Empirical Evaluation of Imputation Methods and Likelihood-based Methods," IEEE Transactions on Software Engineering, Vol. 27, No. 11, pp. 999-1013, 2001.

상세보기
Q. Song and M. Shepperd. "A New Imputation Method for Small Software Project Data Sets," Journal of Systems and Software, Vol. 80, No. 1, pp. 51-62, 2007.

상세보기
W. R. Parke, "Pseudo Maximum Likelihood Estimation: The Asymptotic Distribution," The Annals of Statistics, Vol. 14, No. 1 pp. 355-357, 1986.

상세보기
V. Terauds and J. Sumner. "Maximum Likelihood Estimates of Rearrangement Distance: Implementing a Representation-Theoretic Approach," Bulletin of Mathematical Biology, Vol. 81, No. 2, pp. 535-567, 2019.

상세보기
M. P. Beugin, T. Gayet, D. Pontier, S. Devillard, and T. Jombart, "A Fast Likelihood Solution to the Genetic Clustering Problem," Methods in Ecology and Evolution, Vol. 9, No. 4, pp. 1006-1016, 2018.

상세보기
M. A. Kiasari, G. J. Jang, and M.H Lee, "Novel Iterative Approach using Generative and Discriminative Models for Classification with Missing Features," Neurocomputing, Vol. 225, pp. 23-30, 2017.

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증