문제 정의

• 본 논문에서는 이러한 빅데이터를 분석하기 위해, 분산 처리 시스템 (distribution processing system)인 맵리듀스 (MapReduce)를 활용하여 비정형 빅데이터를 정형화하고, 이를 분석하고 시각화하기 위해 사회네트워크분석 (social network analysis)를 활용하려 한다. 2013년 1월부터 2013년 12월까지의 부산지역지인 국제신문과 부산일보의 기사 중 부산과 교통이 동시에 언급된 기사들을 추출하여 사용빈도가 높은 단어들을 찾아내고, 그 단어들을 이용하여 각 단어들 간의 특성을 파악하고자 한다. 2절에서는 빅데이터를 처리하는 맵리듀스의 개념과 처리방법 및 사회네트워크분석의 이론에 대해 설명하고, 기존의 사회네트워크분석의 시각적 해석의 추가하여 비정형 데이터를 정형화하여 분석하고 시각화하는 전체적인 작업흐름에 대하여 소개하려 한다.
• 3의 인접행렬에서는 4번을 가진 사람이 3번을 가진 사람에 대한 관계가 다른 사람들 간의 관계보다 높지만 네트워크 그림에서는 이를 알아보기가 어렵다. 따라서 본 논문에서는 이러한 문제점을 해결하고 좀 더 쉽게 시각적으로 해석하고자 새로운 알고리즘을 소개한다.
• 본 논문에서는 이러한 빅데이터를 분석하기 위해, 분산 처리 시스템 (distribution processing system)인 맵리듀스 (MapReduce)를 활용하여 비정형 빅데이터를 정형화하고, 이를 분석하고 시각화하기 위해 사회네트워크분석 (social network analysis)를 활용하려 한다. 2013년 1월부터 2013년 12월까지의 부산지역지인 국제신문과 부산일보의 기사 중 부산과 교통이 동시에 언급된 기사들을 추출하여 사용빈도가 높은 단어들을 찾아내고, 그 단어들을 이용하여 각 단어들 간의 특성을 파악하고자 한다.

제안 방법

• kr). 그리고 맵리듀스의 맵과 리듀스 과정을 거쳐 8973개의 단어들로 이루어진 인접행렬을 만들었는데, 조사목록에 있는 단어들을 제거한 후 중복을 제거한 단어목록과 신문기사 텍스트를 비교, 순회하여 단어들의 빈도로 이루어진 인접행렬을 만들었다. 특히, 부산과 교통을 각각 포함한 문장에서 단어의 빈도가 높은 10개의 단어들을 이용하여 보완된 네트워크 그림을 보려보았다.
• 본 연구에서는 맵리듀스를 활용하여 비정형 빅데이터를 정형화하고, 통계적 기법에 적용할 수 있도록 하였다. 더불어, 사회네트워크분석을 활용하여, 정형화된 빅데이터를 시각화하고 해석하였다. 이에 부산과 교통이 언급된 2013년 1월부터 2013년 12월까지의 국제신문과 부산일보의 기사를 정형화하여 통계적 분석기법에 활용할 수 있도록 하였고, 사회네트워크분석에 적용하여 2013년 부산지역의 화두에 대해 살펴보았다.
• 빅데이터 분석은 다양한 형태로 축적되어 있는 대용량의 데이터로부터 잠재 되어 있는 가치를 찾아 낼 수 있다. 본 연구에서는 맵리듀스를 활용하여 비정형 빅데이터를 정형화하고, 통계적 기법에 적용할 수 있도록 하였다. 더불어, 사회네트워크분석을 활용하여, 정형화된 빅데이터를 시각화하고 해석하였다.
• 비정형 데이터를 통계적 방법론을 이용한 분석을 하기위해서는 정형화 시키는 과정이 필요하다. 본 연구에서는 비정형 빅데이터를 정형화하기 위해 2절에 소개했던 맵리듀스 과정을 활용하였다.
• 사회네트워크분석을 이용하여 2013년 부산지역 지인 국제신문과 부산일보의 ’부산’과 ’교통’에 관련된 기사에 사용된 단어들을 통하여 2013년에 화두가 된 주제에 대해 한눈에 알아볼 수 있었다.
• 선의 색상을 4가지로 나누고, 각각의 4가지 색상에 따라 굵기를 5가지 단계로 나누었다. 선의 비율이 0.
• 더불어, 사회네트워크분석을 활용하여, 정형화된 빅데이터를 시각화하고 해석하였다. 이에 부산과 교통이 언급된 2013년 1월부터 2013년 12월까지의 국제신문과 부산일보의 기사를 정형화하여 통계적 분석기법에 활용할 수 있도록 하였고, 사회네트워크분석에 적용하여 2013년 부산지역의 화두에 대해 살펴보았다. 그 결과 부산지역 상권과 밀접한 관련이 있는 부산 프리미엄 아울렛의 개장과 이에 대한 인근지역의 극심한 교통체증, 부산의 가장 대표적인 관광지인 해수욕장 특히, 해운대 해수욕장이 큰 화두가 되었다.
• 본 연구는 부산 교통과 관련된 기사들의 동향과 이슈를 파악하기 위해 2013년 1월 1일부터 2013년 12월 31일사이의 기간동안 부산지역지인 국제신문과 부산일보의 기사 제목 중 부산과 교통이 동시에언급된 2889건의 기사들을 사용하였다. 조사목록 리스트를 이용하여 기사에 포함된 조사를 제거하였다. 조사목록 리스트는 국민대학교 강승식 교수의 한글공학-정보검색 연구실 사이트에서 추출한 것이다( 특히, 부산과 교통을 각각 포함한 문장에서 단어의 빈도가 높은 10개의 단어들을 이용하여 보완된 네트워크 그림을 보려보았다.

• 본 연구는 부산 교통과 관련된 기사들의 동향과 이슈를 파악하기 위해 2013년 1월 1일부터 2013년 12월 31일사이의 기간동안 부산지역지인 국제신문과 부산일보의 기사 제목 중 부산과 교통이 동시에언급된 2889건의 기사들을 사용하였다. 조사목록 리스트를 이용하여 기사에 포함된 조사를 제거하였다.
• 조사목록 리스트를 이용하여 기사에 포함된 조사를 제거하였다. 조사목록 리스트는 국민대학교 강승식 교수의 한글공학-정보검색 연구실 사이트에서 추출한 것이다(http://nip.kookmin.ac.kr). 그리고 맵리듀스의 맵과 리듀스 과정을 거쳐 8973개의 단어들로 이루어진 인접행렬을 만들었는데, 조사목록에 있는 단어들을 제거한 후 중복을 제거한 단어목록과 신문기사 텍스트를 비교, 순회하여 단어들의 빈도로 이루어진 인접행렬을 만들었다.

성능/효과

• 이에 부산과 교통이 언급된 2013년 1월부터 2013년 12월까지의 국제신문과 부산일보의 기사를 정형화하여 통계적 분석기법에 활용할 수 있도록 하였고, 사회네트워크분석에 적용하여 2013년 부산지역의 화두에 대해 살펴보았다. 그 결과 부산지역 상권과 밀접한 관련이 있는 부산 프리미엄 아울렛의 개장과 이에 대한 인근지역의 극심한 교통체증, 부산의 가장 대표적인 관광지인 해수욕장 특히, 해운대 해수욕장이 큰 화두가 되었다. 그리고 부산지역의 교통체증이 가장 심한 만덕교차로, 전국 호환 교통카드 출시 등의 화제를 알 수 있었다.

후속연구

• 이처럼, 대용량의 텍스트를 정독하지 않고도, 빅데이터 분석만으로 많은 정보를 얻을 수 있으며, 나아가 현재에도 폭발적으로 증가하고 있는 빅데이터를 이해하고 분석함으로써, 다양한 분야에서 가치 있는 정보를 얻고, 활용 할 수 있을 것이라고 기대하여 본다.