[논문]기계학습 활용을 위한 학습 데이터세트 구축 표준화 방안에 관한 연구

최정열

doi:10.14400/jdc.2018.16.10.205

기계학습 활용을 위한 학습 데이터세트 구축 표준화 방안에 관한 연구
A study on the standardization strategy for building of learning data set for machine learning applications 원문보기

디지털융복합연구 = Journal of digital convergence, v.16 no.10, 2018년, pp.205 - 212

초록
AI-Helper

고성능 CPU/GPU의 개발과 심층신경망 등의 인공지능 알고리즘, 그리고 다량의 데이터 확보를 통해 기계학습이 다양한 응용 분야로 확대 적용되고 있다. 특히, 사물인터넷, 사회관계망서비스, 웹페이지, 공공데이터로부터 수집된 다량의 데이터들이 기계학습의 활용에 가속화를 가하고 있다. 기계학습을 위한 학습 데이터세트는 응용 분야와 데이터 종류에 따라 다양한 형식으로 존재하고 있어 효과적으로 데이터를 처리하고 기계학습에 적용하기에 어려움이 따른다. 이에 본 논문은 표준화된 절차에 따라 기계학습을 위한 학습 데이터세트를 구축하기 위한 방안을 연구하였다. 먼저 학습 데이터세트가 갖추어야할 요구사항을 문제 유형과 데이터 유형별로 분석하였다. 이를 토대로 기계학습 활용을 위한 학습 데이터세트 구축에 관한 참조모델을 제안하였다. 또한 학습 데이터세트 구축 참조모델을 국제 표준으로 개발하기 위해 대상 표준화 기구의 선정 및 표준화 전략을 제시하였다.

Abstract ▼ AI-Helper

With the development of high performance CPU / GPU, artificial intelligence algorithms such as deep neural networks, and a large amount of data, machine learning has been extended to various applications. In particular, a large amount of data collected from the Internet of Things, social network services, web pages, and public data is accelerating the use of machine learning. Learning data sets for machine learning exist in various formats according to application fields and data types, and thus it is difficult to effectively process data and apply them to machine learning. Therefore, this paper studied a method for building a learning data set for machine learning in accordance with standardized procedures. This paper first analyzes the requirement of learning data set according to problem types and data types. Based on the analysis, this paper presents the reference model to build learning data set for machine learning applications. This paper presents the target standardization organization and a standard development strategy for building learning data set.

주제어

표/그림 (4)

표 Table 1. Example of public data set
표 Table 2. Example of data sets for machine learning
표 Table 3. Requirement of data sets for problem types
표 Table 4. Requirement of data sets for data types

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그럼에도 불구하고 데이터의 종류의 응용 분야에 따라 데이터 양식과 내용이 상이하여 개발자들이 쉽게 활용하기 어려운 점이 있다. 따라서 본 논문에서는 기계학습을 위한 학습 데이터세트의 표준화가 필요함을 역설하였다. 2018년 4월에 신설된 JTC 1 SC 42는 인공지능 분야의 표준화 기구로서 학습 데이터세트의 표준화를 위해서 적합한 기구이다.
학습 데이터세트는 기계학습 기반의 여러 응용서비스에 쉽게 적용될 수 있도록 표준화된 절차에 따라 구축될 필요가 있다. 본 절에서는 학습 데이터세트의 구축 참조모델을 국제 표준으로 개발하는 전략에 대해서 기술한다. 먼저 고려해야할 사항은 어떤 표준화 기구에서 표준안을 개발할 것인지를 선택해야 한다.
이를 위해서 본 논문은 기계학습을 위한 학습 데이터 세트 구축 방안을 연구하고, 이러한 데이터세트가 실제로 활용되기 위해서 선행되어야하는 표준화 방안에 대해서 살펴본다. 이를 위해서 2장에서는 국내외에서 진행되고 있는 데이터세트와 관련된 표준화 동향을 살펴본다.

가설 설정

분류 문제의 경우에는 적절한 규모의 학습 데이터세트를 선택하기 위해서 다음과 같은 사항을 고려해야 한다. N을 데이터세트의 크기라 하고, d를 데이터의 특징(또는 차원, 속성)이라 하고, k를 분류 문제에 있어서 분류의 수라고 하고, m을 데이터세트에서 소수 샘플의 비율이라고 가정하자. 먼저 d > k를 만족해야 하는데, 이는 데이터세트들의 속성이 분류의 수보다는 커야함을 의미한다.

제안 방법

학습 데이터세트를 모델 수립에 직접 활용하기에 앞서 샘플 데이터세트를 구축할 수도 있다. 간단한 모델을 구성하고 샘플 데이터세트를 적용하여, 구축한 학습 데이터의 적절성 여부를 판단한다. 만약에 모델을 수립하는데 있어서 심각한 오류가 있다고 판단되면, 데이터 수집을 다시 수행할 수도 있으며, 특징값을 다르게 추출할 수도 있다.
수집한 데이터에 이상값을 처리하는 등의 전처리 과정을 수행한 다음에 모델 수립에 활용할 수 있는 학습 데이터세트를 구축한다. 이 과정에서는 데이터가 내포하고 있는 특징값을 추출하게 된다 [25].
좀 더 보편적인 방법으로 K 겹 교차 검증 (K fold cross validation) 기법을 활용할 수 있다 [26]. 이 방식은 데이터세트를 K개로 나누고, 그 중 첫 번째 세트를 평가용으로 나머지를 학습용으로 구분하여 모델을 수립하고 평가한다. 그 다음에는 두 번째 세트를 평가용으로 나머지를 학습용으로 구분하여 모델을 수립하고 평가한다.
먼저 국제표준을 개발하기 위해서는 표준 개발에 대한 필요성을 각국에 인지시켜 동의를 얻어야 한다. 이를 위해서 국제표준 개발의 첫 단계로서 인공지능 서비스를 위한 학습 데이터세트의 요구사항을 도출하고 학습 데이터세트의 사례를 분석한다. 다양한 사례 분석은 표준 개발에 대한 필요성을 제시하게 된다.
다양한 사례 분석은 표준 개발에 대한 필요성을 제시하게 된다. 이를 토대로 문제 및 데이터 유형별 학습 데이터세트 요구사항 및 구축 참조모델에 대한 신규 표준 제안(New Work Item Proposal, NP)을 제안한다.

성능/효과

두 기구 중에서 FG-ML5G는 포커스 그룹으로서 표준안을 직접 개발하기 보다는 표준 개발을 위한 선행 작업을 하고, 그 결과물(deliverable)을 실제 표준을 개발하는 연구반에 제공한다. 따라서 학습 데이터세트 참조모델 표준을 개발하기 위해서는 JTC 1 /SC42에서 담당하는 것이 적합하다고 판단된다.
인공지능 기술을 활용하기 위해서는 무엇보다도 강력한 컴퓨팅 성능, 효율적인 인공지능 알고리즘, 그리고 인공지능을 학습시킬 위한 충분한 양의 데이터가 요구된다[4]. 클라우드 컴퓨팅 인프라와 고성능 GPU의 활용을 통해서 오랜 시간 처리해야 하는 인공지능 알고리즘을 보다 빠르고 신속하게 처리할 수 있게 되었다. 예를 들어 구글의 알파고는 약 1200개의 CPU를 이용해서 구현되었다.

후속연구

이 과정이 국제표준 개발에 필수 단계는 아니지만, 다양한 서비스와 데이터 유형에 따라 구축 참조모델이 잘 적용될 수 있는 지는 확인하는 단계를 거치는 것이 바람직하다. ITU-TFG-ML5G에서 기계학습의 유즈케이스를 개발하고 있기 때문에, JTC 1 SC 42와 협력하여 학습 데이터세트 구축 참조모델을 활용한 유즈케이스를 개발할 수도 있을 것이다.
2018년 4월에 신설된 JTC 1 SC 42는 인공지능 분야의 표준화 기구로서 학습 데이터세트의 표준화를 위해서 적합한 기구이다. 본 논문에서 제안한 바에 따라서 기계학습을 위한 학습 데이터세트의 구축 참조모델을 구축하고,기능 검증 및 활용을 위한 유즈케이스 개발을 단계적으로 수행해나간다면 기계학습이 다양한 서비스 분야에서 쉽게 활용될 것으로 기대된다. 향후 국내 표준화 위원회를 바탕으로 국내 기술을 바탕으로 참조모델을 개발하고, 이를 통하여 국제 표준안을 개발한다면 국내 인공지능기술의 확산에 기여할 것으로 판단된다.
0975) [14]가 있다. 위 표준안 모두 데이터세트와 구축과 직접적인 관련은 없으나 향후 데이터세트 표준안이 마련된다면 기계학습은 물론 빅데이터 분야에서도 쉽게 활용될 것으로 기대된다.
본 논문에서 제안한 바에 따라서 기계학습을 위한 학습 데이터세트의 구축 참조모델을 구축하고,기능 검증 및 활용을 위한 유즈케이스 개발을 단계적으로 수행해나간다면 기계학습이 다양한 서비스 분야에서 쉽게 활용될 것으로 기대된다. 향후 국내 표준화 위원회를 바탕으로 국내 기술을 바탕으로 참조모델을 개발하고, 이를 통하여 국제 표준안을 개발한다면 국내 인공지능기술의 확산에 기여할 것으로 판단된다.
현재는 JTC1/WG 9으로부터 이관받은 빅데이터 참조구조 [16]를 표준화하고 있으며, 새롭게 인공지능 개념 및 용어 [17]와 기계학습을 위한 인공지능 시스템 프레임워크 [18]에 대한 표준 개발이 승인되었다. 향후 학습 데이터세트 및 유즈케이스 등 다양한 인공지능 분야의 표준이 개발될 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	인공지능 기술을 활용하기 위해 필요한 것은?	인공지능 기술을 활용하기 위해서는 무엇보다도 강력한 컴퓨팅 성능, 효율적인 인공지능 알고리즘, 그리고 인공지능을 학습시킬 위한 충분한 양의 데이터가 요구된다[4]. 클라우드 컴퓨팅 인프라와 고성능 GPU의 활용을 통해서 오랜 시간 처리해야 하는 인공지능 알고리즘을 보다 빠르고 신속하게 처리할 수 있게 되었다.
	기계학습의 활용을 가속화하는 것은 무엇인가?	기계학습의 효과적인 활용을 위해서는 충분히 많은 데이터가 확보되어야 한다. 사물인터넷, 사회관계망서비스, 인공지능 스피커, 웹페이지, 공공데이터로부터 수집되고 있는 다량의 데이터들이 기계학습의 활용을 가속화하고 있다. 그럼에도 불구하고 데이터의 종류의 응용 분야에 따라 데이터 양식과 내용이 상이하여 개발자들이 쉽게 활용하기 어려운 점이 있다.
	기계학습을 위한 학습 데이터세트의 표준화가 필요한 이유는?	사물인터넷, 사회관계망서비스, 인공지능 스피커, 웹페이지, 공공데이터로부터 수집되고 있는 다량의 데이터들이 기계학습의 활용을 가속화하고 있다. 그럼에도 불구하고 데이터의 종류의 응용 분야에 따라 데이터 양식과 내용이 상이하여 개발자들이 쉽게 활용하기 어려운 점이 있다. 따라서 본 논문에서는 기계학습을 위한 학습 데이터세트의 표준화가 필요함을 역설하였다.

참고문헌 (26)

O. Y. Al-Jarrah, P. D. Yoo, S. Muhaidat, G. K. Karagiannidis & K. Taha. (2015). Efficient machine learning for big data: A review. Big Data Research, 2(3), 87-93.
F. Cady. (2017). The data science handbook. Wiley.
S. Kim & Y. Jeong. (2017). Machine Learning. Seoul : Hanbit Media.
A. Moore & M. S. Lee. (1988). Cached sufficient statistics for efficient machine learning with large datasets. Journal of Artificial Intelligence Research, 8, 67-91.
S. Lee. (2017) Artificial Intelligence: Recent Artificial Intelligence Development Trend and Future Evolution Direction. LG Economic Research Institute(Online). http://www.lgeri.com/report/view.do?idx19584
Open Data Portal, https://www.data.go.kr/
Seoul Open Data Plaza, http://data.seoul.go.kr/
Gyeonggi Data Dream, https://data.gg.go.kr/portal/mainPage.do
Healthcare Bigdata Hub, http://opendata.hira.or.kr/
T. Borovicka, M. Jirina Jr, P. Kordik & M. Jirina. (2012). Selecting representative data sets. Advances in data mining knowledge discovery and applications, InTech. 43-70.
A. Ferrari, G. O. Spagnolo & S. Gnesi. (2017). Towards a Dataset for Natural Language Requirements Processing, Proceedings of International Working Conference on Requirements Engineering: Foundation for Software Quality.
ICT Standardization Strategy Map ver.2018. (2017). Telecommunications Technology Association.
TTAK.KO-10.0974, Big Data - Definition, Concept and Use Cases of Data Providing Service, TTA Standards. (2016)
TTAK.KO-10.0975, Big Data - Requriements and Functional Architecture for Data Providing Service. TTA Standards, 2016.
ITU-T SG20 TR.AI4IoT, Artificial Intelligence and Internet of Thing (work in progress), 2018
ISO/IEC AWI TR 20547-1, Information technology -- Big data reference architecture -- Part 1: Framework and application process
ISO/IEC AWI 22989, Artificial Intelligence Concepts and Terminology (work in progress),
ISO/IEC AWI 23053, Framework for Artificial Intelligence (AI) Systems Using Machine Learning (ML) (work in progress)
List of datasets for machine learning research, https://en.wikipedia.org/wiki/List_of_datasets_for_machine_learning_research, Wikipedia, 2018.
T. Bertin-Mahieux, D. P. W. Ellis, B. Whitman, & P. Lamere. (2011). The Million Song Dataset. Proceedings of the 12th International Society for Music Information Retrieval Conference, 2(9), 591-596.
S. J. Raudys & A. K. Jain. (1991). Small sample size effects in statistical pattern recognition: Recommendations for practitioners. IEEE Transactions on Pattern Analysis & Machine Intelligence, 13(3), 252-264.
G. Pant, P. Srinivasan & F. Menczer. (2004). Crawling the web. Web Dynamics, 153-177.
J. Morcos, Z. Abedjan, I. F. Ilyas, M. Ouzzani, P. Papotti & M. Stonebraker. (2015). Dataxformer: An interactive data transformation tool. Proceedings of the 2015 ACM SIGMOD International Conference on Management of Data, 883-888.
Y. Li, R. Krishnamurthy, S. Raghavan, S. Vaithyanathan & H. V. Jagadish. (2008). Regular expression learning for information extraction. Proceedings of the Conference on Empirical Methods in Natural Language Processing, 21-30.
I. Guyon & A. Elisseeff. (2006). An introduction to feature extraction. In Feature extraction. Springer, 1-25.
T. Fushiki. (2011). Estimation of prediction error by using K-fold cross-validation. Statistics and Computing, 21(2), 137-146.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증