[논문]인공지능 데이터 품질검증 기술 및 오픈소스 프레임워크 분석 연구

윤창희; 신호경; 추승연; 김재일

doi:10.9717/kmms.2021.24.10.1403

인공지능 데이터 품질검증 기술 및 오픈소스 프레임워크 분석 연구
An Evaluation Study on Artificial Intelligence Data Validation Methods and Open-source Frameworks 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.24 no.10, 2021년, pp.1403 - 1413

윤창희 (AI Future Strategy Center, National Information-Society Agency) , 신호경 (School of Computer Science and Engineering, Kyungpook National University) , 추승연 (School of Architecture, Kyungpook National University) , 김재일 (School of Computer Science and Engineering, Kyungpook National University)

Abstract ▼ AI-Helper

In this paper, we investigate automated data validation techniques for artificial intelligence training, and also disclose open-source frameworks, such as Google's TensorFlow Data Validation (TFDV), that support automated data validation in the AI model development process. We also introduce an experimental study using public data sets to demonstrate the effectiveness of the open-source data validation framework. In particular, we presents experimental results of the data validation functions for schema testing and discuss the limitations of the current open-source frameworks for semantic data. Last, we introduce the latest studies for the semantic data validation using machine learning techniques.

주제어

표/그림 (12)

그림 Fig. 1. Data lake as data platform architecture.
그림 Fig. 2. End-to-end process of AI development.
그림 Fig. 3. Data collection approaches for artificial intelligence.
그림 Fig. 4. Data linter for data validation in AI development process.
그림 Fig. 5. The AI training data quality validation.
표 Table 1. Characteristics of open source data validation libraries [13-16].
그림 Fig. 6. Structured data schema validation results.
그림 Fig. 7. Training data (left) and abnormal data (right).
표 Table 2. Mammography meta-dataset schema [18].
표 Table 3. Schema of training dataset, inferred by TFDV.
그림 Fig. 8. Schema validation result of unstructured data.
그림 Fig. 9. Image statistics in TensorFlow data validation.

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 인공지능 학습용 데이터에 대한 데이터 검증 기법을 검토하였고, 오픈소스 프레임워크에 대한 분석을 소개하였다. 인공지능 개발 과정에 통합된 형태의 학습 데이터 스키마 추론 및 검증 기술, 의미론적 데이터 이상치 탐지 기술은 지속적으로 수집되는 학습 데이터 오류를 줄이고, 데이터 품질을 지속적으로 유지할 수 있게 함으로써 인공지능 모델의 성능 향상을 이끌 것으로 기대한다.
본 논문은 인공지능 학습용 데이터에 대한 자동화된 품질관리 기술을 분석하고, Google의 TensorFlow DataValidation(TFDV)와 같이 인공지능 모델 개발과정에서 데이터 유효성 검증을 지원하는 오픈소스 프레임워크에 대한 공개 데이터를 이용한 분석 연구를 소개한다. 특히, 공개 데이터를 이용하여 현재 오픈소스 프레임워크에서 구현된 데이터 유효성 검증기능을 검토하고, 의미론적 데이터(SemanticData)에 대한 오픈소스 프레임워크들의 한계점과 이를 극복하기 위한 최신 연구들을 분석 소개한다.

제안 방법

우선 정형 데이터 검증 유효성 확인을 위해 의료기록 메타 데이터를 학습용 데이터 세트와 검증용 데이터 세트로 나눈 뒤, 검증 데이터 세트에서는 데이터 명, 데이터 타입, 값 범위 변경, 데이터 일부 삭제 등 데이터 수집과 레이블링 과정에서 발생할 수 있는 데이터 오류을 재현하여, TFDV가 해당 오류를 검출할 수 있는지 실험하였다. 학습 및 검증 데이터 세트는 TFDV에 dataframe형식으로 구현하여 입력하였고, TFDV는 학습용 데이터 세트에서 자동으로 추론된 스키마 구조와 속성, 데이터 값의 통계적 파라미터를 기준으로 검증 데이터 세트의 유효성을 검증한다.
이를 통해 대규모 학습 데이터 관리 및 모델학습·검증·구현 등을 중심으로 오류를 최소화하여 양질의 데이터를 효율적으로 도출할 수 있는 방안을 모색하였다.

대상 데이터

본 논문에서는 오픈소스 데이터 검증 프레임워크 중 모델 검증과 연계될 수 있는 TFDV를 대상으로 데이터 검증 프로세스 유효성 확인을 위해 의료 기록메타 데이터와 비정형 영상 데이터로써 복강경 영상공개 데이터를 사용한 실험을 진행하였다. Table2는 사용 데이터 세트의 스키마 정보이다.

데이터처리

다음으로 비정형 데이터 검증 유효성을 확인하기 위하여, TFDV에 복강경 영상 데이터 세트를 학습과 검증 세트로 나눈 후 TensorFlow에서 제공하는 이진 데이터 포맷인 TFrecord로 변환하였다. 검증용데이터 세트는 Fig.7과 같이 학습용 데이터와 다른 영상 모달리티(MRI)에서 획득한 비정상 영상 데이터를 포함하여, TFDV의 비정형 데이터 검증 기능 유효성을 확인하였고, 이와 함께 영상 메타데이터에서의 명칭 변경을 강제하여, 비정형 데이터가 포함된 스키마 검증에 대한 유효성을 함께 확인하였다.

후속연구

인공지능 개발 과정에 통합된 형태의 학습 데이터 스키마 추론 및 검증 기술, 의미론적 데이터 이상치 탐지 기술은 지속적으로 수집되는 학습 데이터 오류를 줄이고, 데이터 품질을 지속적으로 유지할 수 있게 함으로써 인공지능 모델의 성능 향상을 이끌 것으로 기대한다.

참고문헌 (23)

E. Caveness, et al., "Tensorflow Data Validation: Data Analysis and Validation in Continuous ML Pipelines," Proceedings of the 2020 ACM SIGMOD International Conference on Management of Data. pp. 2793-2794, 2020.
A. Jain, et al., "Overview and Importance of Data Quality for Machine Learning Tasks," Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. pp. 3561-3562, 2020.
A. Paleyes, R.-G. Urma, and N.D. Lawrence, "Challenges in Deploying Machine Learning: A Survey of Case Studies," arXiv preprint, arXiv:2011.09926, pp. 1-3, pp. 15-16, 2020.
T. Rukat, et al., "Towards Automated ML Model Monitoring: Measure, Improve and Quantify Data Quality," ML Ops Workshop at the Conference on Machine Learning and Systems (MLSys), pp. 1-2, 2019.
S.E. Whang and J.-G. Lee, "Data Collection and Quality Challenges for Deep Learning," Proceedings of the VLDB Endowment 13.12, pp. 3429-3431, 2020.
S. Saria and A. Subbaswamy, "Tutorial: Safe and Reliable Machine Learning," ACM Conference on Fairness, Accountability, and Transparency, Atlanta, Ga. pp. 1-3, 2019.
M. Armbrust, et al., "Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics," CIDR, pp. 1-4, 2021.
K. Kumar, New Trends in Data Warehousing Techniques, ResearchGate, 2020.
J.-C. Kim, et al., "A Study on Automatic Missing Value Imputation Replacement Method for Data Processing in Digital Data," Journal of Korea Multimedia Society, Vol. 24. No. 2, pp. 245-246, 2021.
Y. Roh, et al., "A Survey on Data Collection for Machine Learning: A Big Data - AI Integration Perspective," IEEE Transactions on Knowledge and Data Engineering, Vol. 33, No. 4, pp. 1328-1330. 2021.

상세보기
N. Hynes, D. Sculley, and M. Terry, "The Data Linter: Lightweight, Automated Sanity Checking for ML Data Sets," NIPS MLSys Workshop. pp. 1-3, 2017.
V. Shah, K. Yang, and K. Kumar, "Improving Feature Type Inference Accuracy of TFDV with SortingHat," Corpus ID: 235273771, pp. 1-7, 2020.
TFDV(2021), https://www.tensorflow.org/tfx/guide/tfdv (accessed October 8, 2021).
Cerberus(2021), https://docs.python-cerberus.org/en/stable/ (accessed October 8, 2021).
Voluptuous(2021), https://github.com/alecthomas/voluptuous (accessed October 8, 2021).
Pandera(2021), https://pandera.readthedocs.io/en/stable/ (accessed October 8, 2021).
E. Breck, et al., "Data Validation for Machine Learning," MLSys. pp. 2-4, 2019.
Laparoscopic Endoscopy Open Dataset(2021), https://opencas.webarchiv.kit.edu/?qnode/30 (accessed October 8, 2021).
L. Ruff, et al., "Deep One-class Classification," International Conference on Machine Learning, PMLR 80, pp. 3-5, 2018.
P. Marquez-Neila and R. Sznitman, "Image Data Validation for Medical Systems," International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI), pp. 1-2, 2019.
M. Hulsebos, et al., "Sherlock: A Deep Learning Approach to Semantic Data Type Detection," Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, pp. 1500-1504, 2019.
G. Pang, et al., "Deep Learning for Anomaly Detection: A Review," ACM Computing Surveys, Vol. 54, Issue 2, pp. 1-8, 2021.

상세보기
S.-H. Jeong, et al., "A Study on Classification Evaluation Prediction Model by Cluster for Accuracy Measurement of Unsupervised Learning Data," Journal of Korea Multimedia Society, Vol. 21. No. 7, pp. 779-780, 2018.

원문보기 상세보기

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증