[논문]문서의 의미론적 분석에 기반한 키워드 추출에 관한 연구

송민규; 배일주; 이수홍; 박지형

문제 정의

생각하였다. 그러나, 현재 활용할 수 있는 시소러스가 존재하지 않고, 이 연구를 위해 시소러스를 새롭게 구축하는 것은 불가능에 가까워, 이 연구에서는 단어의 사전적 의미만을 활용하고자 한다. 언어학적 기법을 적용하기 위해서는 선 처리단계로 사전 정보를 구축하여야 한다.
본 연구에서는 문서의 의미론적 분석을 위하여 통계적 기법, 문헌구조적 기법, 언어학적 기법, 통제어휘 활용 방법을 병행하여 사용하는 방법론을 제안하였다. 또한, 위의 방법을 적용할 시스템의 일부를 구현하고, 현재 시스템의 보완 및 확장을 진행하고 있다.
본 연구에서는 반자동화를 위하여 문서의준구조화를 수행 하고, 이 를 바탕으로 키 워 드를추출하고자 한다. 문서로부터 정보 추출의 자동화 및 온톨로지를 자동으로 생성하기 위해서는 키워드추출이 필수적이다.
미흡하다고 할 수 있다. 이를 보완하여 기존의 형태 분석 기반의 장점은 살리고, 의미 분석 기반의 방법을 모색하고자 하였다.

제안 방법

이 연구에서는 TF, IDF와 함께 ITF(Inverted Term Frequency), T(Title), FS(First Sentence), LS(Last Sentence)를 지표로 하여 신경망 모델을 적용하였다. TF, IDF, ITF는 그 수치로 표현하였고, T, FS, 그리고 LS 는 해당되는지의여부를 0과 1로써 표현하였다.[4]
이를 시스템화하기 위하여 네이버에서 제공하는 Open API를 활용하여 시스템을 구현하였다. [8] 해당 모듈은 Naver Open API 를 활용하여 자바와 연동하였고, 검색에 따른 결과값 중 단어의 의미만을 활용하기 위하여 파싱을 수행하였다. 구현된 시스템은 Figure 8과 같다.
문서에서 키워드를 추출한 후 추출된 키워드들과 메타데이터를 매칭하여 비교한다. 그 후 기준치보다 높은 매칭률을 보였을 때는 해당 키워드를 추가하게 된다.
[5] 이 특징은 이전 연구와 마찬가지로 문서 및 단어의 형태 분석에 기반하였다. 본 연구는 문서의 의미분석을 기반으로 하므로 “구문에 부가적인 의미를 부여하는 특정 단어와 함께 사용되는 단어”를 여섯 번째 특성으로 추가하였다. 이는 강조 표현, 접속사, 부정 표현 등 특정 표현과 함께 사용되는 단어는 그렇지 않은 단어보다 중요성이 더해진다는 점에 기인하였다.
키워드를 추출하였다. 이 연구에서는 TF, IDF와 함께 ITF(Inverted Term Frequency), T(Title), FS(First Sentence), LS(Last Sentence)를 지표로 하여 신경망 모델을 적용하였다. TF, IDF, ITF는 그 수치로 표현하였고, T, FS, 그리고 LS 는 해당되는지의여부를 0과 1로써 표현하였다.
이는 강조 표현, 접속사, 부정 표현 등 특정 표현과 함께 사용되는 단어는 그렇지 않은 단어보다 중요성이 더해진다는 점에 기인하였다. 이러한 점을 바탕으로 Figure 1과 같이네 가지 방법을 혼용한 방법론을 제안한다.
이 단계에서는 기존 연구에서 수행하던 TF와 IDF를 측정한다. 이를 바탕으로 TF X IDF Score 지표를 산출한다. 이는 단어의 사용 빈도가 높을수록, 그리고 특정 문서에서만 사용될수록 키워드일 가능성이 높다는 특성을 이용한다.
이를 보완할 수 있는 방법으로 단어의 사전적 의미를 반영하는 방법과 시소러스를 활용하는 방법을 생각하였다. 그러나, 현재 활용할 수 있는 시소러스가 존재하지 않고, 이 연구를 위해 시소러스를 새롭게 구축하는 것은 불가능에 가까워, 이 연구에서는 단어의 사전적 의미만을 활용하고자 한다.
이 연구에서는 단어의 사전적 의미를 검색할 사전으로 인터넷포탈사이트인 네이버의 국어 사전을 활용하였다. 이를 시스템화하기 위하여 네이버에서 제공하는 Open API를 활용하여 시스템을 구현하였다. [8] 해당 모듈은 Naver Open API 를 활용하여 자바와 연동하였고, 검색에 따른 결과값 중 단어의 의미만을 활용하기 위하여 파싱을 수행하였다.
이를 위하여 초기 연구에서는 회의 도메인 올 분석하고, 도메인 내에 존재하는 개념을 규명하였으며, 이를 상위, 하위 온톨로지와 각온 톨로 지의 클래스와 속성, 관계를 정의하였다. 그러나 이 온톨로지는 정적인 상태로 존재하며 변하는 상황에 대응하기에는 부족하다.
문서로부터 정보 추출의 자동화 및 온톨로지를 자동으로 생성하기 위해서는 키워드추출이 필수적이다. 이를 위하여 통계적 기법, 문헌구조적 기법, 언어학적 기법, 통제 어휘 활용 방법을 병행하여 사용하는 방법론을 제안하고, 이를 수행할 수 있는 시스템을 구현하고자 한다.
인간과 컴퓨터 간의 커뮤니케이션이 활발하게 이루어지기 위해서는 변하는 주변 환경과 정보에 따라 동적인 변화가 가능해야 하므로 온톨로지가 주변 상황과 지속적인 상호 웅답을 하면서 보완되고 확장될 수 있어야 한다. 이를 위해 반자동적인 온톨로지 수정, 확장에 대한 알고리즘과 모듈을 개발하였다. [1]

대상 데이터

월 부사, 화식 부사, 술부 부사, 정도 부사 등에 의한 강조 표현이 있고, 접두사나 접미사에 의한 강조 표현의 형태가 있다. 이 연구에서는 문학 작품을 대상으로 하는 것이 아니라, 기술 문서를 주 대상으로 하고 있다. 따라서, 기술문서에서 쉽게 찾아볼 수 없는 접두사나 접미사에 의한 강조 표현 둥은 제외시키고자 한다.

데이터처리

이러한 점을 보완하기 위하여 문서의 길이에 따른 보정 값을 적용할 필요가 있다. 통계적 기법에서는 최종적으로 보정 된 TF X IDF Score 지표를 산출한다.

이론/모형

Yasin Uzun은 핵심 알고리즘으로 특정 분류에 속할 확률을 산줄하는 방법인 Naive Bayes 를활용하였다. 그는 TF오扌 IDF를 산출한 TF X IDF Score 외에도 이전에 함께 사용되었던 단어와의 거리, 전체적인 텍스트 내에서의 단어의 위치, 문장 내에서의 단어의 위치 등을 지 표로 하여 Naive Bayes 방법을 적용하였다.
그는 TF오扌 IDF를 산출한 TF X IDF Score 외에도 이전에 함께 사용되었던 단어와의 거리, 전체적인 텍스트 내에서의 단어의 위치, 문장 내에서의 단어의 위치 등을 지 표로 하여 Naive Bayes 방법을 적용하였다.[2]
이를 위해서는 사전분석기를 구현하여야 한다. 이 연구에서는 단어의 사전적 의미를 검색할 사전으로 인터넷포탈사이트인 네이버의 국어 사전을 활용하였다. 이를 시스템화하기 위하여 네이버에서 제공하는 Open API를 활용하여 시스템을 구현하였다.
그리고 경계 기호 및 Stop-Words 로구분하는 작업도 이 단계에서 수행된다. 이러한 작업은 형태소 분석기를 활용하여 수행되는데, 이 연구에서는 포항공대 지능형 소프트웨어 연구실에서 개 발한 형태소 분석 기 POSTAG/Sejong 모듈을 활용한다. [6]

후속연구

하지만, 이 작업을 수행하고, 시스템 구현이 완성된다면 기존의 연구가 형태 분석에만 국한되어 있다는 점을 보완하여 문서의 의미를 어느 정도 반영한 키워드 추출을 할 수 있을 것으로 기대한다. 또한, 지능형 회의 공간에서의 , 회의 문서 처리, 와 , 실시간 회의 기록 처리, 서비스에 활용할 수 있다는 점에서 효율적인 도구가 될 것으로 기대된다. 추후, 활용 가능한 시소러스가 있어 시소러스에 의한 분석 방법도 추가한다면 더욱 다양한 분야에 적용할 수 있을 것으로 기대된다.
또한, 지능형 회의 공간에서의 , 회의 문서 처리, 와 , 실시간 회의 기록 처리, 서비스에 활용할 수 있다는 점에서 효율적인 도구가 될 것으로 기대된다. 추후, 활용 가능한 시소러스가 있어 시소러스에 의한 분석 방법도 추가한다면 더욱 다양한 분야에 적용할 수 있을 것으로 기대된다.
방법을 적용하기에 앞서 동음이의어의 처리 문제와 각 알고리즘을 보완하는 작업이 필요할 것이다. 하지만, 이 작업을 수행하고, 시스템 구현이 완성된다면 기존의 연구가 형태 분석에만 국한되어 있다는 점을 보완하여 문서의 의미를 어느 정도 반영한 키워드 추출을 할 수 있을 것으로 기대한다. 또한, 지능형 회의 공간에서의 , 회의 문서 처리, 와 , 실시간 회의 기록 처리, 서비스에 활용할 수 있다는 점에서 효율적인 도구가 될 것으로 기대된다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

문서의 의미론적 분석에 기반한 키워드 추출에 관한 연구
A Study on Keywords Extraction based on Semantic Analysis of Document 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

문서의 의미론적 분석에 기반한 키워드 추출에 관한 연구 A Study on Keywords Extraction based on Semantic Analysis of Document 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

문서의 의미론적 분석에 기반한 키워드 추출에 관한 연구
A Study on Keywords Extraction based on Semantic Analysis of Document 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper