초록 ▼

○ 연구개발과제 목표
- 소셜미디어에서 생성된 비정형 빅데이터로부터 사회문제 관련 이벤트를 추출 및 예측하는 시스템을 개발
○ 연구 수행 내용
1. 1차년도
가. 비정형 빅데이터 자동 수집 및 Parsing 기술 개발
나. 대용량 비정형 텍스트에 대한 형태소 분석 기술 개발
다. 개체명 인식 기술 개발
라. SNS 텍스트 감성 분류 기술 개발
마. Spatio-Temporal 이벤트 추출 기술 개발
바. 실시간 비정형 데이터를 이용한 사회문제 예측 방법 연구
2. 2차년도

○ 연구개발과제 목표
- 소셜미디어에서 생성된 비정형 빅데이터로부터 사회문제 관련 이벤트를 추출 및 예측하는 시스템을 개발
○ 연구 수행 내용
1. 1차년도
가. 비정형 빅데이터 자동 수집 및 Parsing 기술 개발
나. 대용량 비정형 텍스트에 대한 형태소 분석 기술 개발
다. 개체명 인식 기술 개발
라. SNS 텍스트 감성 분류 기술 개발
마. Spatio-Temporal 이벤트 추출 기술 개발
바. 실시간 비정형 데이터를 이용한 사회문제 예측 방법 연구
2. 2차년도
가. 소셜 스트림 스팸 분류 기술 개발
나. 이형태 자동 군집화 기술 개발
다. 감성 단어 사전 자동 확장 기술 개발
라. 사회문제 이벤트 정보 필터링 기술 개발
마. 소셜 스트림에서 텍스트 요약 기술 개발
바. 소셜 스트림 분석에 의한 경제지표 예측 기술 개발
3. 3차년도
가. Hadoop 기반 Realtime 데이터 처리 기술 개발
나. 도메인별 감성 단어 사전 확장 기술
다. 토픽 트렌드 분석 기술 개발
라. 다중 문서 자동 추출 요약 기술 개발
마. 이벤트 탐지에 따른 경제지표 예측 기술
바. 텍스트 마이닝에 의한 Box-office 예측 기술 개발

Abstract ▼

Results
0. Technique for processing unstructured big data
a. Entity recognition
b. Spam detection in social stream
c. Realtime data process technique based on Hadoop ecosystem
0. Technique for sentiment analysis and sentiment word dictionary expansion
a. Sentiment polarity classifi

Results
0. Technique for processing unstructured big data
a. Entity recognition
b. Spam detection in social stream
c. Realtime data process technique based on Hadoop ecosystem
0. Technique for sentiment analysis and sentiment word dictionary expansion
a. Sentiment polarity classification on social text
b. Alternative words clustering
c. Sentiment word dictionary expansion by domains
0. Technique for topic extraction and trend analysis
a. Spatio-temporal event extraction
b. Topic trend analysis
0. Technique for automatic extractive document summarization
a. Text summarization from social texts
b. Text summarization from multiple documents
0. Technique for predicting economic indicators
a. Economic indicator prediction by social stream analysis
b. Economic indicator prediction by event detection
0. Technique for predicting production sales volumes
a. Technique for predicting Box-offices

목차 Contents

• 표지 ... 1
• 제출문 ... 2
• 보고서 요약서 ... 3
• 연구개발사업 주요 연구성과 ... 4
• 국문 요약문 ... 5
• 영문 요약문 ... 6
• 목차 ... 7
• 제1장. 연구개발과제의 개요 ... 9
• 1. 연구개발 목적 ... 9
• 가. 빅데이터 분석에 대한 사회적 수요 급증 ... 9
• 나. 비정형 데이터 증가에 따른 텍스트/오피니언 마이닝 기술의 중요성 ... 9
• 다. 미래 예측 기술을 통한 Insight 도출 및 경제적 이윤 창출 ... 10
• 2. 연구개발의 필요성 ... 11
• 가. 기술적 측면 ... 11
• 나. 경제적ㆍ산업적 측면 ... 12
• 다. 사회ㆍ문화적 측면 ... 13
• 제2장. 국내외 기술 개발 현황 ... 14
• 1. 국내외 기술 현황 ... 14
• 가. 국내 기술 동향 및 수준 ... 14
• 2. 국외 기술 동향 및 수준 ... 17
• 가. 국외 기술 동향 및 수준 ... 17
• 제3장. 연구 수행 내용 및 성과 ... 20
• 1. 1차년도 ... 20
• 가. 비정형 빅데이터 자동 수집 및 Parsing 기술 개발 ... 20
• 나. 대용량 비정형 텍스트에 대한 형태소 분석 기술 개발 ... 23
• 다. 개체명 인식 기술 개발 ... 26
• 라. SNS 텍스트 감성 분류 기술 개발 ... 28
• 마. Spatio-Temporal 이벤트 추출 기술 개발 ... 31
• 바. 실시간 비정형 데이터를 이용한 사회문제 예측 방법 연구 ... 35
• 2. 2차년도 ... 38
• 가. 소셜 스트림 스팸 분류 기술 개발 ... 38
• 나. 이형태 자동 군집화 기술 개발 ... 42
• 다. 감성 단어 사전 자동 확장 기술 개발 ... 46
• 라. 사회문제 이벤트 정보 필터링 기술 개발 ... 52
• 마. 소셜 스트림에서 텍스트 요약 기술 개발 ... 54
• 바. 소셜 스트림 분석에 의한 경제지표 예측 기술 개발 ... 58
• 3. 3차년도 ... 62
• 가. Hadoop 기반 Realtime 데이터 처리 기술 개발 ... 62
• 나. 도메인별 감성 단어 사전 확장 기술 ... 66
• 다. 토픽 트렌드 분석 기술 개발 ... 75
• 라. 다중 문서 자동 추출 요약 기술 개발 ... 81
• 마. 이벤트 탐지에 따른 경제지표 예측 기술 ... 86
• 바. 텍스트 마이닝에 의한 Box-office 예측 기술 개발 ... 94
• 제4장. 목표 달성도 및 관련 분야 기여도 ... 104
• 제5장. 연구개발성과의 활용계획 ... 105
• 1. 기술적 측면 ... 105
• 2. 경제·산업적 측면 ... 105
• 제6장. 연구 과정에서 수집한 해외 과학기술 정보 ... 105
• 제7장. 연구개발성과의 보안등급 ... 105
• 제8장. 국가과학기술종합정보시스템에 등록한 연구시설장비ㆍ현황 ... 105
• 제9장. 연구개발과제 수행에 따른 연구실 등의 안전 조치 이행 실정 ... 106
• 1. 연구실 안전 점검 체계 ... 106
• 2. 연구실 정밀안전진단 실시 체계 ... 106
• 가. 교육훈련 ... 106
• 제10장. 연구개발과제의 대표적 연구 실적 ... 107
• 제11장. 참고 문헌 ... 108
• 끝페이지 ... 109