선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 5를 통해 이 단어들의 증가 추세를 시각적으로 확인하였다. 그리고 이 단어들과 관련한 단어들을 살펴보았다. “소통”과관련한 단어인 “소통프로그램”, “소통워크숍”, “내부소통강화”의 연도별 상대도수 그래프를 그린 결과는 Figure 3.
- 본 연구는 텍스트 마이닝을 통해 기상청이 발행한 기상연감을 분석하여 기상과 관련된 키워드의 연도별 변화를 파악하는 비교 분석을 다룬다. 기상청의 업무 중점, 기상 예보 및 현황이 어떻게 바뀌어 왔는지를 분석하였다.
- 이러한 분석으로 기상청 기상연감 문서에서의 트렌드를 파악하고, 이를 통해 이슈가 되었던 기상 관련 소식과 기상현황, 그리고 기상청이 중점으로 하고 있는 업무 현황의 트렌드를 파악하였다. 본 연구를 통해 기상업무 분석 및 효율화에 도움을 주고 기상정책에 반영할 수 있는 유용한 정보를 이끌어내고자 하였다.
- 본 연구에서는 기상연감의 10대 주요뉴스, 업무현황, 기상현황에서 이슈가 되었던 단어들을 중심으로 기상청의 업무 효율성 향상을 위한 기초자료로 활용하여 기상관련 자료 사용자들의 필요를 만족시키는데 의의가 있다. 특히 오픈소스로 제공하는 사전에 탑재되어있지 않은 기상과 관련한 용어들을 업데이트하였다는 점에서 이후 기상관련 텍스트에서 이러한 단어들이 분석에 알맞게 추출할 수 있기 때문에 기상정책 마련이나 기상사업 추진 시 가치 있는 자산이 될 것이다.
- 본 연구의 목적은 연도별로 주요 키워드의 변화를 살피기 위함이기 때문에 분석 결과에서 높은 비중을 차지하는 서술성 명사와 매해 가장 높게 나타난 “기상청”을 제외하고 워드 클라우드를 그린 결과는 Figure 3.2이고 이를 통해서 전체적인 단어의 분포를 파악하였다.
- 이 과정을 수행하기 위하여 텍스트 자료를 말뭉치로 변환된 결과를 원래의 자료와 비교하여 분석의 목적에 맞게 단어가 추출되었는지를 확인하였다. 본 연구의 목적은 의미있는 분석 결과를 토대로 기상정책에 활용할 수 있는 방안을 제시함이므로 위에서 말한 작업을 반복하여 추출된 단어가 텍스트의 내용을 이해할 수 있을 만큼의 정보를 제공하도록 하였다.
제안 방법
- 이를 위해 먼저 전처리 과정을 통하여 용어사전을 구축하고, 용어-문서 행렬(termdocument matrix)을 생성하였다. 그리고 이것을 사용하여 연도별 용어 빈도수를 계산하고, 자주 나타나는 단어들에 대하여 상대도수의 변화를 관찰하였다. 또한 회귀 분석 기법을 사용하여 증가추세와 감소추세를 보이는 용어들을 파악하였다.
- 본 연구는 텍스트 마이닝을 통해 기상청이 발행한 기상연감을 분석하여 기상과 관련된 키워드의 연도별 변화를 파악하는 비교 분석을 다룬다. 기상청의 업무 중점, 기상 예보 및 현황이 어떻게 바뀌어 왔는지를 분석하였다. 이를 위해 먼저 전처리 과정을 통하여 용어사전을 구축하고, 용어-문서 행렬(termdocument matrix)을 생성하였다.
- 그리고 이것을 사용하여 연도별 용어 빈도수를 계산하고, 자주 나타나는 단어들에 대하여 상대도수의 변화를 관찰하였다. 또한 회귀 분석 기법을 사용하여 증가추세와 감소추세를 보이는 용어들을 파악하였다. 이러한 분석으로 기상청 기상연감 문서에서의 트렌드를 파악하고, 이를 통해 이슈가 되었던 기상 관련 소식과 기상현황, 그리고 기상청이 중점으로 하고 있는 업무 현황의 트렌드를 파악하였다.
- 본 연구에서는 연도별 기상연감을 10대 주요뉴스, 업무현황, 기상현황으로 나누어 각 항목에 대하여 각각 분석을 진행하였다. 텍스트 마이닝 기법을 이용하여 보다 더 정확한 분석과 의미 있는 결론을 도출하기 위해서는 추출한 단어가 텍스트 내에서 단어의 쓰임에 맞게 추출되었는지 확인하는 과정이 필요하다.
- 이 과정에 따라 분석의 토대가 되는 단어 추출 결과가 달라지기 때문에 전처리 과정에서 사전구축과 띄어쓰기 수정 및 용어 통일 과정이 필수적이다. 사전을 구축하기 위해 기상연감에서 등장하는 단어들 중에서 오픈소스로 제공되는 NIA사전이나 세종사전에 등록되지 않은 단어들을 찾아서 사전을 만든 후 원래의 사전과 함께 분석에 사용하였다. 분석을 진행하기 위한 전처리 작업의 자세한 설명은 뒤의 전처리 과정 부분에 기술하였다.
- 워드 클라우드를 통해 전체적인 단어의 분포를 파악한 뒤, 2013년부터 2015년까지 처음 등장한 단어를 추출하여 최근 이슈화되고 있는 기상소식에 대해 살펴보았다. 살펴볼만한 점은 2015년 “엘니뇨”의 출현 빈도가 이전에 나타나지 않다가 2015년 엘니뇨현상 발생시점에 출현 빈도가 급증하였다.
- 정제된 말뭉치를 기반으로 용어-문서 행렬을 만들어 연도별 빈도표를 작성하고 이를 이용하여 연도별 용어의 출현빈도를 파악하였다. 이 과정에서 분석 결과를 효과적으로 나타내기 위하여 연도별 단어 빈도표를 바탕으로 워드 클라우드를 구현하여 분석 결과를 시각화하였다. 워드 클라우드는 문서에 사용된 단어의 빈도를 시각적으로 표현한 방법이다.
- 이 과정을 수행하기 위하여 텍스트 자료를 말뭉치로 변환된 결과를 원래의 자료와 비교하여 분석의 목적에 맞게 단어가 추출되었는지를 확인하였다. 본 연구의 목적은 의미있는 분석 결과를 토대로 기상정책에 활용할 수 있는 방안을 제시함이므로 위에서 말한 작업을 반복하여 추출된 단어가 텍스트의 내용을 이해할 수 있을 만큼의 정보를 제공하도록 하였다.
- 또한 회귀 분석 기법을 사용하여 증가추세와 감소추세를 보이는 용어들을 파악하였다. 이러한 분석으로 기상청 기상연감 문서에서의 트렌드를 파악하고, 이를 통해 이슈가 되었던 기상 관련 소식과 기상현황, 그리고 기상청이 중점으로 하고 있는 업무 현황의 트렌드를 파악하였다. 본 연구를 통해 기상업무 분석 및 효율화에 도움을 주고 기상정책에 반영할 수 있는 유용한 정보를 이끌어내고자 하였다.
- 기상청의 업무 중점, 기상 예보 및 현황이 어떻게 바뀌어 왔는지를 분석하였다. 이를 위해 먼저 전처리 과정을 통하여 용어사전을 구축하고, 용어-문서 행렬(termdocument matrix)을 생성하였다. 그리고 이것을 사용하여 연도별 용어 빈도수를 계산하고, 자주 나타나는 단어들에 대하여 상대도수의 변화를 관찰하였다.
- 단어들을 구름모양으로 나타내어 빈도가 높고 핵심어일수록 큰 글씨로 중심부에 표현한다. 이후 구체적인 수치를 통해 연도별 단어의 흐름을 파악하였다. 특정 단어가 출현한 횟수를 연도별로 비교하기 위하여 연도별로 단어가 출현한 절대도수가 아닌 상대도수를 계산하여 분석하였다.
- 우선 tm패키지를 이용하여 텍스트 내의 구두점, 공백 등 결과 해석에서 의미가 없는 자료를 제거하였다. 이후 실제로는 같은 뜻을 의미하지만 다른 형태의 단어로 쓰여진 경우, 용어를 통일하여 그 의미를 분석에 담을 수 있도록 용어를 수정하는 과정을 수행하였다. 예를 들어, “한국기상청”과 “우리나라기상청” 라는 두 단어는 실제로 의미하는 것은 같지만, 키워드를 추출한 결과로 보면 두 단어의 빈도는 나누어지기 때문에 정확한 결론을 내기 위해서는 서로 같은 의미를 갖는 단어로 통일하여야 한다.
- 이후 연도별로 특정 기상현상이 갖는 추세를 파악하기 위해 “장마”, “태풍”, “황사”, “폭염”, “호우”, “대설” 총 6개의 주요기상현상을 연도별 상대도수 그래프로 시각화하였다.
- 전처리 과정 이후 통계 프로그램인 R (R Core Team, 2016)에서 한나눔 형태소 분석기를 바탕으로 형태소 분석을 구현해 놓은 패키지인 KoNLP (Jeon, 2016)를 활용하여 사전에 등록된 단어를 태깅(tagging)된 품사에 따라 단어를 추출하였다. 이후 추출한 단어를 tm 패키지 (Feinerer와 Hornik, 2015)를 이용하여 말뭉치(corpus)로 만들고 분석에 쓰이지 않을 단어를 제거하였다. 정제된 말뭉치를 기반으로 용어-문서 행렬을 만들어 연도별 빈도표를 작성하고 이를 이용하여 연도별 용어의 출현빈도를 파악하였다.
- 이후 추출한 단어를 tm 패키지 (Feinerer와 Hornik, 2015)를 이용하여 말뭉치(corpus)로 만들고 분석에 쓰이지 않을 단어를 제거하였다. 정제된 말뭉치를 기반으로 용어-문서 행렬을 만들어 연도별 빈도표를 작성하고 이를 이용하여 연도별 용어의 출현빈도를 파악하였다. 이 과정에서 분석 결과를 효과적으로 나타내기 위하여 연도별 단어 빈도표를 바탕으로 워드 클라우드를 구현하여 분석 결과를 시각화하였다.
- 총설에서 “기상업무 추진개요”와 “기상업무 변화관리 추진현황” 등 기상청 업무를 서술해 놓은 부분을 업무현황이라 구분하고, 기상현상을 서술한 부분을 기상현황으로 구분하여 분석을 진행하였다.
- 따라서 본 연구의 목적인 기상 관련 핵심 키워드의 변화를 살피기 위해 분석에서 서술성 명사는 제외하였다. 추가적으로 증가추세 또는 감소추세가 있는 단어를 파악하기 위해 각 단어마다 연도를 설명변수로 하고 상대도수를 반응변수로 한 회귀분석 기법을 적용하여 결정계수가 0.5이상인 단어를 추려내고 그 중 회귀계수가 0보다 큰 단어와 0보다 작은 단어를 파악하였다.
- 이후 구체적인 수치를 통해 연도별 단어의 흐름을 파악하였다. 특정 단어가 출현한 횟수를 연도별로 비교하기 위하여 연도별로 단어가 출현한 절대도수가 아닌 상대도수를 계산하여 분석하였다. 특정 단어의 각 연도별 출현 횟수와 해당연도에 나타난 총 단어의 출현횟수 합계를 이용하여 단어들의 연도별 상대도수를 구하고 연도별 상대도수 그래프를 그려서 분석 결과를 나타내었다.
- 특정 단어가 출현한 횟수를 연도별로 비교하기 위하여 연도별로 단어가 출현한 절대도수가 아닌 상대도수를 계산하여 분석하였다. 특정 단어의 각 연도별 출현 횟수와 해당연도에 나타난 총 단어의 출현횟수 합계를 이용하여 단어들의 연도별 상대도수를 구하고 연도별 상대도수 그래프를 그려서 분석 결과를 나타내었다.
대상 데이터
- 본 연구에서 사용된 자료는 2004년부터 2015년까지 기상청에서 제공하는 총 12개년의 기상연감 텍스트 자료이다. 기상연감 텍스트 자료는 해당연도의 기상과 관련한 소식을 기록한 보고서로, 구성은 10대 주요뉴스, 1부 총설, 2부 국내외 동향, 3부 분야별 업무활동으로 총 4개 분야로 구성되어있다. 본 연구의 목적은 기상과 관련된 키워드의 변화를 파악하고, 기상업무에서의 중점사항을 파악하기 위함으로 본 연구에서 사용된 텍스트는 2004년부터 2015년까지의 기상연감 10대 주요뉴스와 1부 총설이다.
- 본 논문은 총 4장으로 구성되어 있다. 2장에서는 본 연구에서 사용한 자료에 대한 설명과 분석 방법에 대해 서술하였고, 텍스트 마이닝 분석을 위한 준비 단계인 전처리 과정이 어떻게 이루어졌는지에 대해 설명하였다.
- 본 연구에서 사용된 자료는 2004년부터 2015년까지 기상청에서 제공하는 총 12개년의 기상연감 텍스트 자료이다. 기상연감 텍스트 자료는 해당연도의 기상과 관련한 소식을 기록한 보고서로, 구성은 10대 주요뉴스, 1부 총설, 2부 국내외 동향, 3부 분야별 업무활동으로 총 4개 분야로 구성되어있다.
- 따라서 텍스트의 단어들을 많이 포함할 수 있는 사전을 업데이트 하는 과정이 필요하다. 본 연구에서 사용한 사전은 국립국어원에서 제공하는 세종사전(8만개), 한국정보화진흥원에서 제공하는 NIA사전(93만개), 본 연구진이 선행 연구에서 한국기상학회에서 제공한 대기과학용어집에 나온 단어들로 구축한 사전(2만개)이다. 추가적으로 기상연감과 한국기상산업진흥원 최종보고서에 등장하는 기상 관련 용어 6,552개를 사전에 업데이트하여 분석을 진행하였다.
- 기상연감 텍스트 자료는 해당연도의 기상과 관련한 소식을 기록한 보고서로, 구성은 10대 주요뉴스, 1부 총설, 2부 국내외 동향, 3부 분야별 업무활동으로 총 4개 분야로 구성되어있다. 본 연구의 목적은 기상과 관련된 키워드의 변화를 파악하고, 기상업무에서의 중점사항을 파악하기 위함으로 본 연구에서 사용된 텍스트는 2004년부터 2015년까지의 기상연감 10대 주요뉴스와 1부 총설이다.
- 따라서 한글 텍스트인 경우 전처리 과정에 많은 시간이 소요되고 이 작업의 수행 정도에 따라서 분석 결과의 방향과 의미가 달라질 수 있다. 우선 tm패키지를 이용하여 텍스트 내의 구두점, 공백 등 결과 해석에서 의미가 없는 자료를 제거하였다. 이후 실제로는 같은 뜻을 의미하지만 다른 형태의 단어로 쓰여진 경우, 용어를 통일하여 그 의미를 분석에 담을 수 있도록 용어를 수정하는 과정을 수행하였다.
- 본 연구에서 사용한 사전은 국립국어원에서 제공하는 세종사전(8만개), 한국정보화진흥원에서 제공하는 NIA사전(93만개), 본 연구진이 선행 연구에서 한국기상학회에서 제공한 대기과학용어집에 나온 단어들로 구축한 사전(2만개)이다. 추가적으로 기상연감과 한국기상산업진흥원 최종보고서에 등장하는 기상 관련 용어 6,552개를 사전에 업데이트하여 분석을 진행하였다.
데이터처리
- 워드 클라우드를 통해 증가 추세가 있는 단어들을 대략적으로 파악한 뒤, 회귀분석을 통해 증가추세 단어를 선별하였다. 선별기준은 회귀분석 결과 결정계수가 0.
- 전처리 과정 이후 통계 프로그램인 R (R Core Team, 2016)에서 한나눔 형태소 분석기를 바탕으로 형태소 분석을 구현해 놓은 패키지인 KoNLP (Jeon, 2016)를 활용하여 사전에 등록된 단어를 태깅(tagging)된 품사에 따라 단어를 추출하였다. 이후 추출한 단어를 tm 패키지 (Feinerer와 Hornik, 2015)를 이용하여 말뭉치(corpus)로 만들고 분석에 쓰이지 않을 단어를 제거하였다.
성능/효과
- 10대 주요뉴스를 분석한 결과, 2009년과 2010년을 제외하고 매년 “기상청”이 빈도가 가장 높게 나타났다.
- 2004년부터 2007년까지는 “기상업무 혁신”으로 사용되다가 2008년 이후에는 “기상업무 변화관리”라는 표현을 사용하게 됨을 확인하였다.
- 2004년부터 2015년까지의 단어별 빈도 합계를 살펴본 결과 “기상청”이 출현 빈도 203회로 1위였고 상위 20위까지의 단어를 살펴본 결과 서술성 명사가 차지하는 비중이 높게 나타났다.
- 결과는 Figure 3.9와 같았고, 이를 통해“장마”, “태풍”, “황사”의 영향을 많이 받음을 확인하였고 전반적으로 여름철 기상현상에 대해 민감하게 나타나는 것을 확인하였다.
- 재해와 더불어 세계적으로 이슈화 된 기후변화에 관하여 대응 정책과 감시체계를 수립하는데 반영할 수 있는 자료로 활용될 수 있다. 기상청 업무 동향으로는 업무 효율성 향상을 위한 소통이 중시되고 있음을 확인하였다. 업무 관련 소통의 현재의 정책과 제도를 보완하여 더욱 향상된 업무 개선방안을 제시할 필요성을 확인할 수 있었다.
- 기상청의 업무 중점사항의 추세와 업무 동향을 파악하기 위해 1부 총설에서 기상업무와 관련한 부분을 분석해본 결과, 10대 주요뉴스와 마찬가지로 서술성 명사의 빈도가 높게 나타났다. 특히, “추진”, “운영”, “구축”, “강화”의 빈도가 높게 나타났다.
- 마지막으로 “기후변화”는 2008년부터 등장하기 시작하여 2015년까지 높은 빈도로 등장한 것으로 보아, 세계적으로 이슈화되고 있는 기후변화 문제에 대해 우리나라도 기후변화 대응을 위한 정책과 연구를 진행하고 있음을 알 수 있다.
- 본 연구를 통해 국민과 가장 밀접한 관련을 보인 예보 분야에서 국민들의 편익과 필요를 만족하기 위해서 예보의 기간과 서비스 제공방법 등이 변화함을 알 수 있었고 최근에는 중기예보 및 미세먼지 대비 예보체계를 위한 정책을 보완 강화하는 것이 필요함을 알 수 있었다. 또한 과거에는 적었지만 최근 들어 빈도가 늘어나거나 피해 정도가 늘어나 이슈가 되었던 재해들을 파악하였고 이 자료를 이용하여 추후 과거에 미흡했던 재해에 관한 대비매뉴얼을 작성 및 보완할 수 있을 것이다.
- 분석 결과, “소통”, “창의”, “변화관리”, “빅데이터”가 회귀계수가 0 보다 큰 것으로 나타났고 이 단어들의 연도별 상대도수 그래프 Figure 3.5를 통해 이 단어들의 증가 추세를 시각적으로 확인하였다.
- 분석 결과를 살펴보았을 때 본 연구에서 사용한 텍스트 성격 상 서술성 명사가 높은 빈도로 등장하였고 종류도 다양하게 나타났다. 보통명사에서는 서술성 명사와 비서술성 명사로 품사가 구분되어 있는데,서술성 명사는 기능동사와 결합하여 문장 내에서 서술적 기능을 갖는 명사를 뜻한다.
- 기상청 업무 동향으로는 업무 효율성 향상을 위한 소통이 중시되고 있음을 확인하였다. 업무 관련 소통의 현재의 정책과 제도를 보완하여 더욱 향상된 업무 개선방안을 제시할 필요성을 확인할 수 있었다. 또한 새로운 아이디어 제안과 창의적인 업무에 대한 수요가 증가할 것으로 예상된다.
- 워드 클라우드를 통해 분석 결과를 보았을 때, “국민”, “예보”, “우리나라”가 전체적으로 높은 빈도로 나타났고 “태풍”과 “지진”은 특정 연도에만 빈도가 가장 높게 나타났다는 것을 알 수 있다.
- 이를 통해 전체적으로 이슈가 되었던 기상과 관련된 뉴스는“국민”과 “예보”에 초점이 맞춰져 있음을 알 수 있었고, “태풍”과 “지진” 같은 피해규모가 큰 기상재해는 발생연도에 이슈화가 민감하게 일어남을 알 수 있다.
후속연구
- 또한 새로운 아이디어 제안과 창의적인 업무에 대한 수요가 증가할 것으로 예상된다. 더불어 텍스트와 같은 비정형 자료의 양이 늘어나면서 여러가지 자료를 통해 새로운 정보를 습득하기 위한 딥러닝, 인공지능 머신러닝과 같은 기계학습 기법을 활용하는 것이 강조될 것으로 예상된다.
- 본 연구를 통해 국민과 가장 밀접한 관련을 보인 예보 분야에서 국민들의 편익과 필요를 만족하기 위해서 예보의 기간과 서비스 제공방법 등이 변화함을 알 수 있었고 최근에는 중기예보 및 미세먼지 대비 예보체계를 위한 정책을 보완 강화하는 것이 필요함을 알 수 있었다. 또한 과거에는 적었지만 최근 들어 빈도가 늘어나거나 피해 정도가 늘어나 이슈가 되었던 재해들을 파악하였고 이 자료를 이용하여 추후 과거에 미흡했던 재해에 관한 대비매뉴얼을 작성 및 보완할 수 있을 것이다. 재해와 더불어 세계적으로 이슈화 된 기후변화에 관하여 대응 정책과 감시체계를 수립하는데 반영할 수 있는 자료로 활용될 수 있다.
- 특히 오픈소스로 제공하는 사전에 탑재되어있지 않은 기상과 관련한 용어들을 업데이트하였다는 점에서 이후 기상관련 텍스트에서 이러한 단어들이 분석에 알맞게 추출할 수 있기 때문에 기상정책 마련이나 기상사업 추진 시 가치 있는 자산이 될 것이다. 본 연구에서 진행한 키워드 중심의 빈도분석이 추후 단어들의 군집화 및 연관성 분석을 하는 연구에서 기초자료로 활용될 수 있고 용어 사전의 지속적인 업데이트가 이루어져서 기상관련 자료 분석 시에 중요한 자료로 활용될 것이다.
- 9와 같았고, 이를 통해“장마”, “태풍”, “황사”의 영향을 많이 받음을 확인하였고 전반적으로 여름철 기상현상에 대해 민감하게 나타나는 것을 확인하였다. 이러한 자료와 결과가 주요 기상현상, 기후요소, 지역 등에 대한 상호연관성을 파악하는데 기초 자료로 활용될 수 있을 것으로 보인다.
- 또한 2014년 세월호 사고, 2015년 영종대교 추돌사고와 관련된 단어들인 “세월호”, “안개”, “추돌사고”가 처음 등장한 것으로 보아 악기상으로 인한 사고 발생에 관심이 높아진 것을 알 수 있다. 이를 통해 추후 악기상으로 인한 사고를 예방하기 위한 업무개선 및 기상정책에 활용할 수 있는 방안이 필요하다.
- 또한 과거에는 적었지만 최근 들어 빈도가 늘어나거나 피해 정도가 늘어나 이슈가 되었던 재해들을 파악하였고 이 자료를 이용하여 추후 과거에 미흡했던 재해에 관한 대비매뉴얼을 작성 및 보완할 수 있을 것이다. 재해와 더불어 세계적으로 이슈화 된 기후변화에 관하여 대응 정책과 감시체계를 수립하는데 반영할 수 있는 자료로 활용될 수 있다. 기상청 업무 동향으로는 업무 효율성 향상을 위한 소통이 중시되고 있음을 확인하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.