선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 따라서 본 연구에서는 국방 관련 기사를 자동으로 수집하여 주제를 분류하고 본문을 요약하며, 기본적인 감성 분석까지 가능한 국방 기사 자동 분석 시스템 구축 방안에 대해 제안하려고 한다.
제안 방법
- ’17년 전반기 국방 관련 기사 중 사드, 장관 후보자 관련 기사 등 4,264건에서 자주 사용된 2음절 이상의 명사, 동사, 형용사 각 3,000단어를 추출하여 ‘강력하다, 좋다, 최고’ 등 긍정적 단어와 ‘심각하다, 위험하다, 위협’ 등 부정적 단어를 구분하여 사전을 구축하였다(긍정 498단어, 부정 634단어).
- LDA 적용시 문서 토픽 분포 정도인 변수 α(설정 : 0.25)와 토픽 내 키워드 분포 정도인 β(설정 : 0.002), 샘플링 정도인 iteration(설정 : 3,000)은 연구자가 직접 설정해준 값으로 실시하였으며, 토픽과 토픽당 키워드는 실험 결과 각 10개가 가장 가독성이 좋다고 판단하여 고정 값으로 설정하였다.
- score(i), hit(pi), hit(ni)는 각각 i번째 기사의 감성 점수, 긍정 단어 출현 수, 부정 단어 출현 수이고, 기사의 긍ㆍ부정 점수는 긍ㆍ부정 단어가 출현한 전체 수에서 긍정 단어가 차지하는 비율로 계산하였으며, 분모가 0이 되는 것을 방지하기 위해 초기 값으로 hit(pi) 와 hit(ni) 모두 1을 설정하였다. 40점 미만은 부정, 40 점 이상 60점 미만은 중립, 60점 이상은 긍정으로 분류하였으며 결과는 Table 2 및 Table 3과 같다.
- 먼저 각 문장 단어별 TF-IDF 점수를 합산하여 문장의 중요 정도를 계산 후 코사인 유사도를 측정하여 각 문장간 유사도를 확인 한다. 계산된 코사인 유사도 값에 임계(Threshold)를 설정하여 각 문장을 노드로 표현한 그래프를 만들고 총 노드 수와 인접 노드 수, 연결된 차수(Degree)를 Google 검색 엔진에서 페이지의 상대적 우선 순위 결 정에 사용되는 PageRank로 계산하여 중요 문장을 최종 추출한다[16].
- 국방 관련 기사들이 어떠한 주제와 핵심 키워드들로 구성되어 있는지 분석하기 위해 전처리한 기사 제목만을 이용하여 LDA를 실시한다. Python gensim 라이브러리를 사용하였다[19].
- 국방 기사 자동 분석 시스템을 구축하기 위해 먼저 뉴스가 어떻게 현상을 바라보고 표현하는지를 이해하는 뉴스 프레이밍 기법을 설명하고, 이후 기사를 처리, 분석하기 위한 텍스트 마이닝 분야를 소개하고 추가적으로 기사 주제 분포 파악을 위한 토픽 모델링, 긍ㆍ부정 판단을 위한 감성 분석 기법, 사용자가 기사 내용을 빠르게 파악하기 위한 다중 문서 요약 등에 대해 언급한다.
- 기사의 감성이 긍정인지 부정인지를 구분하기 위한 절차로 ’17년 전반기 국방 관련 기사 중 사드 배치, 국방 장관 후보자 내정 관련 기사 등 4,264건에서 자주 언급된 명사, 동사, 형용사 3,000 단어를 긍ㆍ부정으로 분류한 감성사전을 이용하였다.
- LexRank 알고리즘은 중심성이 높은 문장들을 추출 하는 방식으로 문서를 요약한다. 먼저 각 문장 단어별 TF-IDF 점수를 합산하여 문장의 중요 정도를 계산 후 코사인 유사도를 측정하여 각 문장간 유사도를 확인 한다. 계산된 코사인 유사도 값에 임계(Threshold)를 설정하여 각 문장을 노드로 표현한 그래프를 만들고 총 노드 수와 인접 노드 수, 연결된 차수(Degree)를 Google 검색 엔진에서 페이지의 상대적 우선 순위 결 정에 사용되는 PageRank로 계산하여 중요 문장을 최종 추출한다[16].
- 문서에서 불필요한 단어를 처리해주기 위한 절차로 분석에 필요한 데이터를 얻기 위해 중요하며, 본 연구에서는 분석 효율을 향상시키기 위해 명사, 동사, 형용사 품사만을 활용하였다. 도구는 Python KoNLPy 라이브러리를 사용하였다[18].
- 본 논문에서 제안하는 국방 기사 자동 분석 시스템 은 인터넷 상의 국방 관련 기사를 자동으로 수집, 기사의 제목을 이용하여 토픽 모델링을 실시하여 기사 들을 대표하는 주제들을 파악하고, 본문을 요약 및 감성 분석을 통해 사용자가 빠르게 정보를 판단할 수 있도록 지원하는 체계이다. 전체적인 시스템 프로세스 는 Fig.
- 본 시스템에서 사용하는 문서요약은 추출 기반 (Extraction-based) 알고리즘으로 실제 기사에서 사용한 문장 중 가장 중심 점수가 높은 문장을 선택하기 때문에 어색하지 않고 문장 구조가 완전한 요약문을 제공한다.
- 본 연구에서는 군 관련 이슈에 긍ㆍ부정적인 기사였다고 판단할 수 있는 학습 데이터를 충분히 구비하지 못해 기계학습 방식을 적용하기에 제한되었고, 주식, 영화 리뷰 등 기존 감성 분석 연구와 도메인이 달라 해당 감성사전을 적용하기 어려운 점을 고려, 4,264건의 국방 기사에서 자주 언급된 명사, 동사, 형용사 각 3,000단어에서 긍ㆍ부정 감정을 나타내는 어휘를 선별하여 새로 감성사전을 구축하였다.
- 시스템 사용자가 관심 있는 기사의 내용을 빠르게 이해하는 것을 지원하기 위해 기사 본문 내용을 요약하며, Python lexrankr 라이브러리를 사용하였다.
- 웹크롤링 기술을 이용하여 인터넷에 있는 국방 관련 기사의 제목과 본문을 자동으로 수집해주며, 키워드별, 요일별로 구분하여 수집 가능하도록 구현하였다. Python에 있는 BeautifulSoup, Request 라이브러리를 사용하였다.
대상 데이터
- 6. 30.까지 기사 39,403건을 요일별로 수집하였으며 그 중 본문이 중복되는 포토기사를 제외한 32,465 건을 데이터로 설정하였다.
- 웹크롤링 기술을 이용하여 인터넷에 있는 국방 관련 기사의 제목과 본문을 자동으로 수집해주며, 키워드별, 요일별로 구분하여 수집 가능하도록 구현하였다. Python에 있는 BeautifulSoup, Request 라이브러리를 사용하였다.
이론/모형
- 국방 관련 기사들이 어떠한 주제와 핵심 키워드들로 구성되어 있는지 분석하기 위해 전처리한 기사 제목만을 이용하여 LDA를 실시한다. Python gensim 라이브러리를 사용하였다[19].
- 문서에서 불필요한 단어를 처리해주기 위한 절차로 분석에 필요한 데이터를 얻기 위해 중요하며, 본 연구에서는 분석 효율을 향상시키기 위해 명사, 동사, 형용사 품사만을 활용하였다. 도구는 Python KoNLPy 라이브러리를 사용하였다[18].
성능/효과
- 본 시스템 구축시 군이 가질 수 있는 이점은 ① 온 라인상에 게시된 수많은 군 관련 기사들을 확인하고 주제 분류 및 요약하며, 1차원적인 감성 분석까지 수행 가능하고, ② 사용자에게 근실시간으로 군에 대한 언론 보도 내용을 제공하여 빠른 결심을 보좌하며, ③ 기사 수집에서 분석까지 자동화하여 적은 인력으로도 높은 효율을 얻을 수 있다.
- 본 연구를 통해서 우리는 국방 관련 기사를 자동으로 수집하여 분석할 수 있는 시스템 구축이 가능함을 확인하였다.
- 본 연구의 의의는 ① 텍스트 마이닝의 도메인으로 국방 관련 기사를 사용함으로써 연구 영역을 확장하였고, ② 국방 기사에 적합한 감성사전을 구축하여 기본적인 감성 분석이 가능함을 확인하였으며, ③ 외국 기사가 아닌 국내 기사에 중점을 두어 활용성을 높였다.
- 토픽 모델링과 감성 분석을 위해 기사 32,465건을 KoNLPy라이브러리를 이용하여 처리한 결과 제목은 423,997개, 본문은 14,454,103개의 토큰으로 구성되어 있었으며, 그 중 2음절 이상의 명사와 동사, 형용사를 제외한 다른 품사를 제거하여 제목은 197,171개(46 %), 본문은 6,070,955개(42 %)의 토큰으로 축소되었다.
후속연구
- 데이터 분석 결과를 바탕으로 사용자의 수요에 맞는 분석 보고서를 제공하는 절차로 시스템에 의해 자동으로 작성되는 것을 지향하나 향후 연구에서 구현할 예정이다.
- 향후 기계학습을 통한 감성 분석을 할 수 있는 추가적인 연구가 필요할 것으로 판단된다. 마지막으로 ROUGE[20] 점수(Recall-Oriented Understudy for Gisting Evaluation Score) 기반의 본문 요약의 정확도 측정을 위한 추가적인 검증용 데이터 확보가 필요하다.
- 하지만 본 연구의 한계점도 분명히 존재한다. 먼저, 본 연구는 네이버에서 제공하는 인터넷 뉴스를 기반으로 수집하였기 때문에 트위터 등 SNS에 게시되는 기사까지 수집ㆍ분석 가능한 시스템 구축에 대해서는 추가적인 연구가 필요하다. 또한, 감성 분석의 경우 어휘 빈도수 기반의 기본적인 분석으로 정확한 기사 논조 분석이 어려워 사람을 통한 재분류 작업이 필요하다.
- 또한, 감성 분석의 경우 어휘 빈도수 기반의 기본적인 분석으로 정확한 기사 논조 분석이 어려워 사람을 통한 재분류 작업이 필요하다. 향후 기계학습을 통한 감성 분석을 할 수 있는 추가적인 연구가 필요할 것으로 판단된다. 마지막으로 ROUGE[20] 점수(Recall-Oriented Understudy for Gisting Evaluation Score) 기반의 본문 요약의 정확도 측정을 위한 추가적인 검증용 데이터 확보가 필요하다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.