초록 ▼

□ 연구의 목적 및 내용
• 연구 목적
- 비정형 데이터 수집 및 빅데이터 분석 기술 개발과 인사이트 발굴
- 비정형 데이터 분석 및 모형 개발
- 비정형 데이터 분석 모형 검증 및 시각화 시스템 구축

• 연구 내용
- 기상청에서 생산되고 있으나 활용하지 않고 있는 기상 관련 정형·비정형 데이터를 발굴하고 빅데이터 분석기법을 적용하여 기상청 업무 효율성 향상 및 기상청 내 업무 개선에 기여
- 정형·비정형 기상 데이터 분석 모형을 활용하여 관측·예보, 기상정책 경향 파악 등 기상 업무

□ 연구의 목적 및 내용
• 연구 목적
- 비정형 데이터 수집 및 빅데이터 분석 기술 개발과 인사이트 발굴
- 비정형 데이터 분석 및 모형 개발
- 비정형 데이터 분석 모형 검증 및 시각화 시스템 구축

• 연구 내용
- 기상청에서 생산되고 있으나 활용하지 않고 있는 기상 관련 정형·비정형 데이터를 발굴하고 빅데이터 분석기법을 적용하여 기상청 업무 효율성 향상 및 기상청 내 업무 개선에 기여
- 정형·비정형 기상 데이터 분석 모형을 활용하여 관측·예보, 기상정책 경향 파악 등 기상 업무 및 정책 개선에 활용할 수 있는 방안 제시
- 기상 관련 정형·비정형 기상 데이터에 빅데이터 분석 기법을 추가적으로 수행하여 의미 있는 결론을 도출하고 정량적인 활용 방안 제시
- 각 비정형 자료의 형태에 적합한 빅데이터 분석 방법 조사 및 선정
- 다양한 데이터 마이닝 기법과 텍스트 마이닝 기법을 적용하여 전반적인 기상청 업무 분석 및 효율화를 위한 통계적 모형 개발
- 분석의 산출물을 사용자가 쉽게 이해할 수 있도록 하는 시각화 기법에 대해 연구하고 이를 비정형 데이터 분석 결과에 적용하여 기상청 업무 전반에 알맞게 사용할 수 있는 형태로 표출

□ 연구개발성과
• 논문(SCI) 1건 투고 중:
- Partially Collapsed Gibbs Sampling for Latent Dirichlet Allocation
• 논문(비SCI) 3건:
- 텍스트 마이닝을 이용한 기상청 연구개발분야 과제의 추세 분석(한국통계학회 “응용통계연구”지 2016.08월호 게재)
- 텍스트 마이닝 알고리즘을 이용한 기상연감 자료 분석(2017.08.31 "응용통계연구"(KCI) 게재)
- 기상 특보 발표가 기상청 콜센터 상담 건수에 미치는 영향 분석("대기(KCI)지"게재)
• 특허 출원 1건:
- Partially Collapsed Gibbs Sampling for Latent Dirichlet Allocation 특허 출원
• 학술발표 6건:
- 텍스트마이닝 기법을 이용한 기상산업진흥원의 기상관련 연구 개발사업 추세분석(2016년 BI데이터마이닝학회 춘계학술대회)
- 기상 콜센터 자료 분석을 위한 텍스트마이닝 기법 적용(2016년 한국통계학회 춘계학술대회)
- 텍스트마이닝 기법을 이용한 기상콜센터 자료분석(2016년 한국통계학회 춘계학술대회)
- 등록텍스트 마이닝 알고리즘을 이용한 기상청 기상연감 자료 분석(2017년 BI데이터마이닝학회 춘계학술대회)
- Analysis of Yearbook from the Korea Meteorological Administration using a Text-Mining Algorithm(IMS-APRM2018, Singapore)
- FB-LDA: efficient inference in full Bayesian network of LDA(2017년 한국통계학회 추계학술대회)
• 현업화 2건:
- 텍스트 마이닝 기법으로 기상/기후 빅데이터 기반 텍스트 분석 시 사용할 기상/기후 관련 용어(단어) 사전 제작
- 텍스트 데이터 분석 및 시각화 표출을 위한 기상청 웹 기반 시스템 탑재 현업화 (인증 신청 진행 중)
• SW 등록 10건:
- 등록번호(C-2016-018390) : 기상산업진흥원 R&D과제 제안요청서 분석 R프로그램
- 등록번호(C-2016-018392) : 국립기상과학원 연구논문 초록 분석 R프로그램
- 등록번호(C-2016-018391) : 기상산업진흥원 기상 콜센터 상담내역 텍스트 분석 R프로그램
- 등록번호(C-2017-012841) : 텍스트 마이닝 기법을 이용한 기상연감 텍스트 분석
- 등록번호(C-2017-012842) : 텍스트 마이닝 기법을 이용한 기상산업진흥원 알앤디(R&D) 기상 씨-앗(See-At)기술개발사업 연구결과 최종보고서 텍스트분석
- 등록번호(C-2017-012843) : 병렬프로세스를 이용한 기상청 홈페이지 비정형 웹로그 봇 분석
- 등록번호(C-2018-018575) : 기상산업기술원 알엔디(R&D) 과제의 최종보고서에 나타나는 단어들의 텍스트 마이닝 토픽모델 결과 시각화
- 등록번호(C-2018-018576) : 텍스트 마이닝에서 시간 변동에 따른 주제(토픽) 변화 파악 기법인 다이나믹 토픽 모델을 이용한 기상산업기술원 알엔디(R&D) 과제의 최종보고서 핵심 다어 경향 분석
- 등록번호(C-2018-019145) : 텍스트 마이닝에서 단어 임베딩 기법인 word2vec(워드투벡터)기법을 이용한 기상산업기술원 R&D(알엔디) 과제의 최종보고서 핵심단어 경향 분석
- 등록번호(C-2018-019146) : 기상산업기술원 알엔디(R&D) 과제 최종보고서에 대한 텍스트마이닝 기법 중 시간변화에 따른 엘디에이(LDA) 분석 결과 시각화
• 인력양성: 석사 4명

□ 연구개발성과의 활용계획(기대효과)
• 비정형 데이터에 대해 텍스트 마이닝 분석 기법을 적용하여 기상청에 대한 국민들의 니즈를 파악하여 기상청 내 업무 전반에 활용 가능
• 시각화 기술에 대한 연구를 통해 사용자에 친숙한 연구 성과를 제공하여 대국민 서비스의 품질을 향상시키고 정책 결정의 근거로 사용
• 비정형 데이터 반영을 통해 기상 데이터 수요자들에게 새로운 인사이트를 제공할 수 있어 관련 산업에 긍정적인 효과 기대
• 실증적이고 체계적인 연구 산출물 활용을 통한 유사 산업에 대한 R&D 수요 증진 및 비정형 데이터 관련 산업 활성화

(출처 : 요약문 4p)

Abstract ▼

□ Purpose & Contents
• Purpose of research
- Develop unstructured data collection and big data analysis technology and develop insights
- Unstructured Data Analysis and Model Development
- Validate and visualize unstructured data analysis models

• Contents
- Find formal and n

□ Purpose & Contents
• Purpose of research
- Develop unstructured data collection and big data analysis technology and develop insights
- Unstructured Data Analysis and Model Development
- Validate and visualize unstructured data analysis models

• Contents
- Find formal and non-steady weather data produced by the Korea Meteorological Administration and apply big data analysis techniques to improve the efficiency of theagency's operations and improve the work within the KMA.
- Using formal and non-constant meteorological data analysis models, measures such as observation, prediction, and understanding of weather policy trends are presented.
- Additional big data analysis techniques are carried out for routine and irregular weather data to derive meaningful conclusions and provide quantitative methods for utilization
- Investigate and select the appropriate Big Data analysis method for each type of unstructured data
- Apply various data mining techniques and text mining techniques to develop statistical models for overall weather station business analysis and efficiency.
- Research on visualization techniques that make the output of the analysis easier for users to understand and apply them to unstructured data analysis results to express them in a form suitable for use throughout the agency's business.

□ Results
• Contributing 1 thesis (SCI):
- Partially Collected Gibbs Sampling for Latent Explicit Allocation
• 3 papers (nonSCI):
- Trend analysis on R&D projects of the Korea Meteorological Administration using text mining (published in the August 2016 issue of the Journal of Statistics Korea)
- Analyzing weather data using text mining algorithms (2017.08.31 "Application Statistics Study" (KCI)
- Analyzing the impact of the weather report on the number of calls made by the Korea Meteorological Administration (KCI) magazine)
• 1 patent application:
- Patent application for Partially Collected Gibbs Sampling for Latent Explicit Allocation
• 6 academic publications:
- Trend analysis of the KMA's weather-related R&D projects using text mining techniques (BI Data Mining Association Spring Conference 2016)
- Application of text mining techniques for data analysis of weather call centers (Korea Statistical Society's Spring Conference 2016)
- Data analysis of the weather call center using text mining techniques (Korea Statistics Association Spring Conference 2016)
- Analysis of weather data for the KMA using registered text mining algorithms (BI Data Mining Association Spring Congress 2015)
- Analysis of the Yearbook from the Korea Metrological Administration use a Text-Mining Algorem (IMS-APRM2018, Singapore)
- FB-LDA: efficient reference in full Bayesian network of LDA (2017 Korea Statistical Society Autumn Conference)
• 2 active cases:
- Text mining technique to pre-populate weather/climate terms (word) for weather/climate big data-based text analysis
- Commercialization of the KMA web-based system for text data analysis and visualisation (certification in progress)
• 10 SW register:
- (C-2016-018390) : R program for text analysis of request for proposal in KMIPA
- (C-2016-018392) : R program for English text analysis in abstract of NIMR research paper
- (C-2016-018391) : R program for text analysis in Call Center Consulting of KMIPA
- (C-2017-012841) : R program for text mining with yearbook text data
- (C-2017-012842) : R program for text mining with Korea Meteorological Industry Promotion Agency’s final research report
- (C-2017-012843) : R program for analysis of unstructured weblog data on Korea Meteorological Administration website using parallel process
- (C-2018-018575) : Visualization of the results of the text mining topical model of words appearing in the final report of the Korea Meteorological Institute's R&D task
- (C-2018-018576) : Analysis of Core Trend of the Korea Meteorological Institute's R&D tasks using Dynamic Topic Model, which is a technique to understand theme (TOP) changes according to time variation in text mining
- (C-2018-019145) : Analysis of Key Words Trend in the Final Report of the Korea Meteorological Institute's R&D task using word-to-vector technique in Text Mining
- (C-2018-019146) : Visualization of LDA analysis results over time during text mining techniques for the Korea Meteorological Institute's R&D task final report
• Manpower training: 4 masters

□ Expected Contribution
• Applying text mining analysis method in unstructured data to know the requirement of general public and adapting it in data analysis process.
• Studying visualization technique to offer user-friendly result for enhancing the quality for public service and appling in basement of political decision.
• Expecting positive effect for weather data users in industry with new insight of unstructured data analysis.
• Activation of unstructured data-related industry and research project with applicable and systematic research product.

(source : SUMMARY 6p)

목차 Contents

• 표지 ... 1
• 제출문 ... 2
• 보고서 요약서 ... 3
• 국문요약문 ... 4
• SUMMARY ... 6
• CONTENTS ... 8
• 목차 ... 9
• 제1장. 연구개발과제의 개요 ... 10
• 제1절. 연구개발 목적 ... 10
• 제2절. 연구개발의 필요성 ... 10
• 제3절. 연구개발 범위 ... 11
• 제2장. 국내외 기술 개발 현황 ... 12
• 제1절. 선진국 비정형 데이터 분석 현황 및 수준 ... 12
• 제2절. 국내 비정형 데이터 분석 현황 및 수준 ... 18
• 제3장. 연구 수행 내용 및 성과 ... 21
• 제1절. 비정형 데이터 수집 및 빅데이터 분석 기술 개발과 인사이트 발굴 ... 21
• 제2절. 비정형 데이터 분석 및 모형 개발 ... 31
• 제3절. 비정형 데이터 분석 모형 검증 및 시각화 구축 ... 44
• 제4절. 연구개발성과 (등록ㆍ기탁 대상) ... 57
• 제5절. 기술적 성과와 경제적 성과 ... 59
• 제4장. 목표 달성도 및 관련 분야 기여도 ... 61
• 제1절. 연도별 목표 및 연구개발 내용 ... 61
• 제2절. 목표 달성도 평가 ... 63
• 제5장. 연구개발성과의 활용계획 ... 68
• 제6장. 연구 과정에서 수집한 해외 과학기술 정보 ... 69
• 제7장. 연구개발성과의 보안등급 ... 69
• 제8장. 국가과학기술종합정보시스템에 등록한 연구시설ㆍ장비 현황 ... 69
• 제9장. 연구개발과제 수행에 따른 연구실 등의 안전 조치 이행 실적 ... 69
• 제10장. 연구개발과제의 대표적 연구 실적 ... 70
• 제11장. 기타 사항 ... 73
• 제12장. 참고 문헌 ... 74
• 끝페이지 ... 76