데이터 품질에 대한 연구는 오랜 기간 동안 수행되어 왔다. 하지만 이러한 데이터 품질관리 연구는 구조적 데이터를 대상으로 하였다. 최근에 디지털혁명 또는 4차산업혁명이 일어나면서 빅데이터에 대한 품질관리가 중요해 지고 있다. 본 논문에서는 기존 논문을 분석하여 빅데이터 품질 유형을 분류하고 비교 분석하였다. 요약하면, 빅데이터 품질 유형은 빅데이터 값, 빅데이터 구조, 빅데이터 품질 프로세스, 빅데이터 가치사슬 단계, 빅데이터 모형 성숙도 등으로 분류할 수 있다. 이러한 비교 연구를 바탕으로 본 논문에서는 새로운 기준을 제시하고자 한다.
데이터 품질에 대한 연구는 오랜 기간 동안 수행되어 왔다. 하지만 이러한 데이터 품질관리 연구는 구조적 데이터를 대상으로 하였다. 최근에 디지털혁명 또는 4차산업혁명이 일어나면서 빅데이터에 대한 품질관리가 중요해 지고 있다. 본 논문에서는 기존 논문을 분석하여 빅데이터 품질 유형을 분류하고 비교 분석하였다. 요약하면, 빅데이터 품질 유형은 빅데이터 값, 빅데이터 구조, 빅데이터 품질 프로세스, 빅데이터 가치사슬 단계, 빅데이터 모형 성숙도 등으로 분류할 수 있다. 이러한 비교 연구를 바탕으로 본 논문에서는 새로운 기준을 제시하고자 한다.
The research on data quality has been performed for a long time. However, the research focused on structured data. With the recent digital revolution or the fourth industrial revolution, quality control of big data is becoming more important. In this paper, we analyze and classify big data quality t...
The research on data quality has been performed for a long time. However, the research focused on structured data. With the recent digital revolution or the fourth industrial revolution, quality control of big data is becoming more important. In this paper, we analyze and classify big data quality types through previous research. The types of big data quality can be classified into value, data structure, process, value chain, and maturity model. Based on these comparative studies, this paper proposes a new standard, service quality of big data.
The research on data quality has been performed for a long time. However, the research focused on structured data. With the recent digital revolution or the fourth industrial revolution, quality control of big data is becoming more important. In this paper, we analyze and classify big data quality types through previous research. The types of big data quality can be classified into value, data structure, process, value chain, and maturity model. Based on these comparative studies, this paper proposes a new standard, service quality of big data.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
빅데이터 가치사슬은 사전 프로세싱, 프로세싱, 분석, 시각화 단계로 구성된다. <그림 3>과 같이 가치사슬의 각 단계별로 데이터 품질평가를 위한 방안을 제시하였다. 빅데이터 가치사슬 기반으로 품질 평가를 했다는 점에서 빅데이터 품질의 범위를 확대한 의미가 있다.
따라서 전통적인 데이터 품질관리를 넘어서 빅데이터 품질관리를 체계적으로 연구할 시점이 되었다. 본 연구는 그동안 수행되었던 빅데이터 품질연구를 분석하여 빅데이터 품질 유형을 분류하고 비교하여 빅데이터 품질관리 체계를 정립하는 것이다.
본 논문에서는 빅데이터 라이프사이클에 의한 데이터 품질 유형을 도출하고 새로운 데이터 품질 유형을 제안하고자 한다.
본 논문에서는 빅데이터환경 하의 데이터서비스 품질 유형을 강조하고자 한다. 앞에서 언급했듯이 빅데이터 값보다는 빅데이터 프로세스나 가치사슬이 중요하다.
따라서 전통적인 데이터 품질관리를 넘어서 빅데이터 품질관리를 체계적으로 연구할 시점이 되었다. 본 연구는 그동안 수행되었던 빅데이터 품질연구를 분석하여 빅데이터 품질 유형을 분류하고 비교하여 빅데이터 품질관리 체계를 정립하는 것이다.
기존의 빅데이터 품질 유형은 빅데이터 값, 빅데이터 구조, 빅데이터 품질 프로세스, 빅데이터 가치사슬 단계, 빅데이터 모형 성숙도 등으로 분류할 수 있다. 이러한 비교 연구를 바탕으로 본 논문에서는 새로운 기준을 제시하였다. 새로운 기준은 빅데이터 분석알고리즘 품질과 빅데이터 서비스 품질이다.
제안 방법
본 논문에서는 기존 논문을 분석하여 빅데이터 품질 유형을 분류하고 비교 분석하였다.
가오(Gao 2016)도 가치사슬 단계 별로 분석하였으나, 전 단계와 연계하여 빅데이터 유효성을 검사하였다. 즉, 빅데이터 유효성검사 프로세스를 데이터 수집, 데이터 클린징, 데이터 변환, 데이터 적재, 데이터 분석의 5단계로 구성하였다. 다수 원천인 경우 데이터 집계 단계를 추가하였다.
성능/효과
백커(Becker 2015)는 MIRTE에 의한 4가지 사례 연구를 통해서 빅데이터 품질을 연구하였다. 4가지 사례 연구결과는 빅데이터 환경에서 새로운 데이터 품질 문제를 발견할 수 없었고 빅데이터 품질은 빅데이터 종류와 적용기술에 따라 달라진다고 주장하였다.
결론적으로 데이터서비스 품질은 사용자가 빅데이터 서비스를 받기 전에 형성된 기대와 실제 사용자가 경험한 후의 지각과의 차이라고 정의할 수 있다.
새로운 기준은 빅데이터 분석알고리즘 품질과 빅데이터 서비스 품질이다. 특히 본 논문에서는 빅데이터 서비스 품질을 강조하였다.
질의응답
핵심어
질문
논문에서 추출한 답변
서브퀄 모형에서 지각된 품질이란?
서비스 품질 측정 모형은 대표적으로 서브퀄(SERVQUAL) 모형과 서브퍼프(SERVPERF) 모형이 있다. 서브퀄 모형은 가장 보편적인 방법으로, 지각된 품질은 고객이 구매하기 전에 형성된 기대와 실제 고객이 경험한 후의 지각과의 차이라고 정의한다. 서브퀄 모형의 구성요인은 업체의 성격에 따라 업체가 속한 지역적, 문화적, 환경적 등에 의해 규명할 필요가 있다.
서비스 품질 측정 모형은 무엇이 있는가?
서비스 품질 측정 모형은 대표적으로 서브퀄(SERVQUAL) 모형과 서브퍼프(SERVPERF) 모형이 있다. 서브퀄 모형은 가장 보편적인 방법으로, 지각된 품질은 고객이 구매하기 전에 형성된 기대와 실제 고객이 경험한 후의 지각과의 차이라고 정의한다.
가오는 빅데이터 유효성을 어떻게 검사하였는가?
가오(Gao 2016)도 가치사슬 단계 별로 분석하였으나, 전 단계와 연계하여 빅데이터 유효성을 검사하였다. 즉, 빅데이터 유효성검사 프로세스를 데이터 수집, 데이터 클린징, 데이터 변환, 데이터 적재, 데이터 분석의 5단계로 구성하였다. 다수 원천인 경우 데이터 집계 단계를 추가하였다. 빅데이터 프로세스의 반복성을 품질에 고려했다는 점에서 의미가 있다.
참고문헌 (18)
김승현, 박주석, 박재홍, 김인현, "빅데이터 환경에서 분석자원이 기업성과에 미치는 영향", 한국빅데이터학회, 제1권, 제1호, 2016.
박주석, "데이터 중심의 공공 정보자원관리", 한국정보화진흥원, 연구보고서, 2016.
박주석, 김인현, "전통적 환경과 빅데이터 환경의 데이터자원관리 비교연구", 한국빅데이터학회, 제1권, 제2호, 2016.
박주석, 이형로, "진정한 데이터 품질관리의 조건은?", 2009년 데이터베이스 컨퍼런스, 한국데이터베이스진흥센터, 2009.
신덕호, 유비쿼터스 컴퓨팅 환경에서의 개인정보 정책 발전에 관한 연구, 단국대학교 석사학위논문, 2009.
이연우, 장현미, 홍승필, "빅데이터 환경 내 개인정보보호를 위한 대용량 개인정보 관리 모델 설계방안", 한국인터넷정보학회 추계학술발표대회논문집, 제1권, 제2호, pp.29-30, 2012.
Becker, D., T.D. King, and B. McMullen, "Big Data-Big Data Quality Problem", 2015 IEEE International Conference on Big Data, 2015.
Caballero, I., B. Rivas, M. Serrano, M. Piattini, "A Data Quality in Use model for Big Data", Future Generation Computer Systems, Vol.63, pp.123-130, 2015.
Cai, L. and Y. Zhu, "The Challenges of Data Quality and Data Quality Assessment in the Big Data Era", Data Science Journal, Vol.14, p.2, 2015, http://doi.org/10.5334/dsj-2015-002.
Gao, J.C. Xie, and C. Xie, "Big Data Validation and Quality Assurance-Issuses, Challenges, and Needs".
Gao, J., "Big Data Validation and Quality Assurance-Issuses, Challenges, and Needs", IEEE 10th IEEE International Symposium on ServiceOriented System Engineering, At Oxford, UK.
Gartner, "Establish a Data Quality Program to Support Digital Business", Apr. 2015.
Gartner, "Magic Quadrant for Data Quality Tools", Nov. 2016.
Haryadi, F.A., J. Hulstijn, A. Wahyudi, H. van der Voort, and M. Janssen, "Antecedents of big data quality: An empirical examination in financial service organizations", In: Proceedings of the IEEE International Conference on Big Data, pp.116-121. DOI:10.1109/BigData.2016.7840595, 2016.
Merino, J., I. Caballero, B. Rivas, M. Serrano, and M. Piattini, "Functions per proles in the 3cs data quality model", 2015.
Serhani, M.A., H.T. El Kassabi, I. Taleb, and A. Nujum, "An Hybrid Approach to Quality Evaluation Across Big Data Value Chain", 2016 IEEE International Congress on Big Data, pp.411-412, 2016.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.