[논문]머신러닝을 이용한 빅데이터 품질진단 자동화에 관한 연구

이진형

머신러닝을 이용한 빅데이터 품질진단 자동화에 관한 연구
A Study on Automation of Big Data Quality Diagnosis Using Machine Learning 원문보기

The journal of Bigdata = 한국빅데이터학회지, v.2 no.2, 2017년, pp.75 - 86

이진형 (위세아이텍 인공지능팀)

초록
AI-Helper

본 연구에서는 빅데이터의 품질을 진단하는 방법을 자동화하는 방법을 제안하고 있다. 빅데이터의 품질진단을 자동화해야 하는 이유는 4차 산업혁명이 이슈화 되면서 과거보다 더 많은 볼륨의 데이터를 발생시키고 이 데이터들을 활용 하려는 요구가 증가하기 때문이다. 데이터는 급증하지만 데이터의 품질을 진단하기 위해 많은 시간이 소비된다면 데이터를 활용하기 위해 많은 시간이 걸리거나 데이터의 품질이 낮아질 수 있다. 그러면 이러한 낮은 품질의 데이터로부터 의사결정이나 예측을 한다면 그 결과 또한 잘못된 방향을 제시할 것이다. 이러한 문제를 해결하기 위해 많은 데이터를 신속하게 진단하고 개선할 수 있는 머신러닝 이용한 빅데이터 품질 향상을 위한 진단을 자동화 할 수 있는 모델을 개발하였다. 머신러닝을 이용하여 도메인 분류 작업을 자동화하여 도메인 분류 작업 시 발생할 수 있는 오류를 예방하고 작업 시간을 단축시켰다. 연구 결과를 토대로 데이터 변환의 중요성, 학습되지 않은 데이터에 대한 학습 시킬 수 있는 방안 모색, 도메인별 분류 모델을 개발에 대한 연구를 지속적으로 진행한다면 빅데이터를 활용하기 위한 데이터 품질 향상에 기여할 수 있을 것이다.

Abstract ▼ AI-Helper

In this study, I propose a method to automate the method to diagnose the quality of big data. The reason for automating the quality diagnosis of Big Data is that as the Fourth Industrial Revolution becomes a issue, there is a growing demand for more volumes of data to be generated and utilized. Data is growing rapidly. However, if it takes a lot of time to diagnose the quality of the data, it can take a long time to utilize the data or the quality of the data may be lowered. If you make decisions or predictions from these low-quality data, then the results will also give you the wrong direction. To solve this problem, I have developed a model that can automate diagnosis for improving the quality of Big Data using machine learning which can quickly diagnose and improve the data. Machine learning is used to automate domain classification tasks to prevent errors that may occur during domain classification and reduce work time. Based on the results of the research, I can contribute to the improvement of data quality to utilize big data by continuing research on the importance of data conversion, learning methods for unlearned data, and development of classification models for each domain.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 빅데이터의 품질 진단을 자동화 모델 개발에 대하여 연구하였다. 자동화 모델 개발 절차는 데이터 확보, 데이터 전처리, 자동화 모델 개발, 모델 검증 및 보완과 같이 네 단계로 구성된다.
데이터품질을 진단하는 방법은 크게 도메인 기반 데이터 품질 진단과 업무규칙 기반 데이터 품질 진단이 있다. 이번 연구에서는 도메인 분류 작업을 자동화하여 수작업으로 도메인 분류 시 발생할 수 있는 오류를 예방하고, 작업 시간을 단축시켜 데이터품질을 진단하고 개선하는 핵심 업무에 집중할 수 있도록 도메인 분류를 머신러닝 알고리즘을 사용하여 자동화 하는 것이다.

가설 설정

그 이유는 다음과 같다. 첫 번째, 데이터 도메인의 중요성이다. 데이터 도메인이 정확하게 정의되었다면 전혀 다른 의미의 데이터가 입력되는 문제가 발생하지 않을 것이다.
첫 번째, 모델 생성에 필요한 데이터를 확보해야 한다. 지도학습 알고리즘을 사용하기 때문에 모델링 시 학습에 필요한 올바른 데이터가 있어야 모델의 정확도가 향상된다.

제안 방법

데이터 품질을 진단하는 다양한 방법이 존재한다. 그 중 데이터 도메인을 기반으로 하는 데이터 품질 진단 방법을 선정하였다. 그 이유는 다음과 같다.
세 번째 단계는 머신러닝을 이용한 분류 모델 생성이다. 데이터 전처리 단계를 거친 데이터를 이용하여 도메인 분류 모델을 생성한다. 분류 모델을 만들기 위해서 본 연구에서는 최근접 이웃 알고리즘, 의사결정 나무, 랜덤 포레스트, 서포트 벡터 머신과 같은 4가지 지도학습 알고리즘을 사용하여 분류 모델을 개발하고 최종적으로 정확도가 높은 모델을 선정하였다.
첫 번째 단계는 데이터 확보 단계이다. 머신러닝 알고리즘 중 지도학습을 이용하여 도메인 분류 모델을 생성할 것이다. 지도학습을 진행하기 위해서는 학습에 필요한 데이터가 필요하다.
데이터 변환은 특징 추출(Feature Engineering)이라고도 하며 기존에 존재하는 변수를 사용하여 새로운 변수를 생성하는 것이다. 본 연구에서는 9개의 변수를 사용하는데 이 중 8개의 파생변수를 사용한다. 이번 연구에서 변수를 만들기 위해 물리 칼럼명, 논리 칼럼명, 데이터 타입, 데이터 값, 데이터 수를 사용하였다.
모델링이란 데이터 전처리를 거친 변수를 사용하여 머신러닝 알고리즘을 이용한 모델을 생성하는 것이다. 본 연구에서는 k-NN, 의사결정나무, 서포트 벡터 머신, 랜덤 포레스트 알고리즘을 수행하여 가장 정확도가 높은 알고리즘을 최종 모델로 선정하였다. 마지막 단계는 모델 검증 및 보완 단계이다.
데이터 전처리 단계를 거친 데이터를 이용하여 도메인 분류 모델을 생성한다. 분류 모델을 만들기 위해서 본 연구에서는 최근접 이웃 알고리즘, 의사결정 나무, 랜덤 포레스트, 서포트 벡터 머신과 같은 4가지 지도학습 알고리즘을 사용하여 분류 모델을 개발하고 최종적으로 정확도가 높은 모델을 선정하였다.
마지막으로 테스트 셋(Test Set)으로 실제 발생하는 데이터라고 가정하고 정확도를 확인하는 단계이다. 생성된 모델을 이용하여 아직 발생하지 않은 데이터에 대해서 검증을 할 수 없기 때문에 학습 데이터의 일부를 사용하여 미래에 발생할 데이터에 대한 예측을 진행한다. 훈련 셋과 테스트 셋만 있는 경우 데이터 셋의 비율은 70% 대 30% 정도이며, 훈련 셋, 검증 셋, 테스트 셋으로 나눌 경우 60% : 20% : 20% 정도로 하는 것이 일반적이다.
최종적으로 모델을 선정한 후 모델 검증 및 보완을 수행한다. 앞 단계에서 만들어진 모델을 검증하고 보완하여 정확도를 향상 시킨다.
모델링을 통해 개발한 모델을 검증하여 정확도를 확인하고 파라미터를 수정하거나 학습 데이터를 보정하여 데이터의 정확도를 높이는 단계이다. 특이 본 연구는 빅데이터의 품질을 진단하는 것이므로 정확도가 낮은 결과를 신뢰할 수 없기 때문에 예측 결과의 확률을 확인하여 결과의 채택 여부를 결정하였다.

대상 데이터

본 연구에서는 와 같이 L사의 도메인 기반 품질 진단 결과 데이터 7만 개를 학습에 필요한 데이터로 이용하였다.
본 연구에서는 9개의 변수를 사용하는데 이 중 8개의 파생변수를 사용한다. 이번 연구에서 변수를 만들기 위해 물리 칼럼명, 논리 칼럼명, 데이터 타입, 데이터 값, 데이터 수를 사용하였다. 최종 선택한 9개의 변수는 아래와 같다.

성능/효과

과 같이 랜덤 포레스트 모델 결과의 Confusion matrix를 확인해본 결과 서포트 벡터 머신 알고리즘에서 분류를 잘하지 못하던 ID에 대해서는 높은 정확도를 나타냈으나 “율” 도메인에 대해서 정확하지 못한 결과를 나타낸다.
네 번째로, 랜덤 포레스트 알고리즘을 사용한 결과 78.5%의 Accuracy를 나타냈다. 본 연구에서 사용한 알고리즘의 수행 결과 가장 높은 정확도를 보여준다.
데이터 통합 단계에서는 다양한 데이터베이스에서 데이터 품질 진단을 수행한 데이터를 통합하였다. 데이터 통합 시 가능한 다양한 산업별 데이터 품질 진단 결과 데이터를 사용하면 모델의 분류 성능을 향상 시킬 수 있다. 그 이유는 산업별로 사용하는 용어와 업무가 다르기 때문에 한 가지 산업군의 데이터를 이용하여 모델 생성 시 타 산업 군에서 사용하는 칼럼에 대해서 인식을 못할 수 있다.
데이터 도메인이 정확하게 정의되었다면 전혀 다른 의미의 데이터가 입력되는 문제가 발생하지 않을 것이다. 두 번째, 도메인은 11개로 구성되어 있으며 머신러닝의 알고리즘을 이용하여 분류가 가능할 것으로 예상했다. 세 번째, 도메인의 분류를 판단하기 위해서 다양한 속성을 분석해야 하는데 많은 시간이 소요된다.
두 번째로, 과 같이 의사결정 나무알고리즘을 사용한 결과 77.6%의 Accuracy를 나타낸다.
5%의 Accuracy를 나타낸다. 본 알고리즘의 예측 결과를 Confusion matrix로 확인해보면 ID 값을 금액과 명칭으로 잘못 예측하는 것으로 나타난다. 이에 따라 ID 값에 대한 예측 정확도를 높이기 위해 데이터를 추가적으로 학습하거나 새로운 파생변수를 생성해야 할 것으로 판단된다.
5%의 Accuracy를 나타냈다. 본 연구에서 사용한 알고리즘의 수행 결과 가장 높은 정확도를 보여준다. <그림 8>과 같이 랜덤 포레스트 모델 결과의 Confusion matrix를 확인해본 결과 서포트 벡터 머신 알고리즘에서 분류를 잘하지 못하던 ID에 대해서는 높은 정확도를 나타냈으나 “율” 도메인에 대해서 정확하지 못한 결과를 나타낸다.
세 번째로, 과 같이 서포트 벡터 머신알고리즘을 사용한 결과 63.5%의 Accuracy를 나타낸다.
이러한 결과가 나오는 원인은 잘못된 분류 결과를 확인해본 결과 “금액”, “수”와 같이 숫자로 구성된 도메인으로 분류된다는 특징을 발견했다.
첫 번째로, 와 같이 최근접 이웃 알고리즘을 사용한 결과 k 값은 5개이고 Accuracy는 49.3%가 최고의 정확도를 나타냈다.

후속연구

세 번째, 도메인의 분류를 판단하기 위해서 다양한 속성을 분석해야 하는데 많은 시간이 소요된다. 머신러닝 알고리즘을 이용하여 빠르게 도메인을 분류한다면 데이터 품질을 진단하는 시간을 단축할 수 있을 것으로 예상된다. 연구는 크게 4단계로 나누어 진행한다.
이러한 데이터 품질의 문제로 인한 신규 가치 창출과 인공지능 산업 활성화의 걸림돌을 해소하기 위해 데이터 품질을 향상시킬 수 있는 방법의 연구를 제안한다.
추후 연구 과제에서는 산업 군에 따른 데이터 표준화 정의 문제, 학습되지 않은 데이터 발생 시 나타나는 문제, 도메인별 다양한 값의 이상치를 찾는 문제에 대한 연구가 진행 되어야 할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	데이터 품질이란 무엇인가?	데이터 품질이란 다양한 자료에서 발생한 데이터를 이용하기 위해 데이터를 활용할 대상이 데이터에 대한 신뢰를 가질 수 있는 수준을 의미한다. 명재호 는 “데이터 품질관리란 조직이 운영하는 정보시스템과 데이터베이스를 활용하는 이용자의 기대를 만족시키기 위해 지속적으로 수행하는 데이터 관리 활동을 의미한다.
	지도학습에서 교차 검증을 하는 데 필요한 데이터셋에는 무엇이 있는가?	이와 같은 평가하기 위해서 교차 검증을 이용하는데 이를 위해 세 가지의 데이터 셋이 필요하다. 첫 번째는 훈련 셋(Training Set)으로 학습에 사용할 데이터이고, 두 번째로 검증 셋(Validation Set)으로 앞에서 만든 모델이 최적의 모델인지 검증에 사용된다. 마지막으로 테스트 셋(Test Set)으로 실제 발생하는 데이터라고 가정하고 정확도를 확인하는 단계이다. 생성된 모델을 이용하여 아직 발생하지 않은 데이터에 대해서 검증을 할 수 없기 때문에 학습 데이터의 일부를 사용하여 미래에 발생할 데이터에 대한 예측을 진행한다.
	데이터 품질을 진단하는 종류는 무엇이 있는가?	데이터 품질 진단은 데이터를 소유하고 있는 조직이 데이터를 관리하기 위해서 데이터의 품질을 측정하고, 데이터 품질의 신뢰성이 낮은 원인을 파악하고 개선하는 과정을 의미한다[7]. 데이터 품질을 진단하는 종류는 데이터 값 진단, 데이터구조 진단, 데이터 관리 프로세스 진단이 있다. 데이터 값 진단은 데이터베이스의 테이블, 칼럼, 코드, 관계, 업무 규칙 등을 기준으로 데이터를 분석하여 품질을 진단하는 것이다.

참고문헌 (11)

김선호, 이창수, 이진우, "공공데이터 품질관리 성숙 수준에 대한 연구", 대한산업공학회 추계학술대회논문집, pp.159-165, 2016.
명재호, 안희진, 이창수, 김성현, 임동진, 오경조, 이종규, 김선영, 최용준, 데이터 품질 가이드라인, 한국데이터진흥원, 2011.
이상기, 채철주, 홍의경, "데이터프로파일링과 정규 표현식 활용 비정형 과학기술 빅데이터 품질관리 방안", 한국콘텐츠학회논문지, 제14권, 제12호, pp.486-493, 2014.
이용구, 김병구, "학술지 기사에 대한 메타데이터 품질의 계량화 방법에 관한 연구", 정보관리학회지, 제28권, 제1호, pp.309-326, 2011.

원문보기 상세보기
이현호, R과 SQL을 활용한 실전 데이터전처리, 카오스북, 2016.
차경엽, 심광호, "공공부문 정보시스템 데이터의 신뢰성 점검기법 개발", 한국통계학회논문집, 제17권, 제5호, pp.745-753, 2010.

원문보기 상세보기
호진원, 이미영, "IT활용 감사의 효과성 향상을 위한 데이터 품질관리 방안 연구", 한국사회와 행정연구, 제23권, 제4호, pp.31-53, 2013.

상세보기
Sungho Kwon, A Study on the Standardization Method of Inventory Item Master Data Using Text Mining and Standardization Approaches, Masters dissertation. University of Seoul, Seoul 2010.
http://news.hankyung.com/article/2017060160031.
http://biz.chosun.com/site/data/html_dir/2017/03/08/2017030801954.html.
http://www.yonhapnews.co.kr/bulletin/2017/05/24/0200000000AKR20170524044700089.HTML.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증