[논문]동의어와 유의어 개념에 기반 한 키워드 추출기의 설계 및 구현

박은석; 박현진; 이상곤

동의어와 유의어 개념에 기반 한 키워드 추출기의 설계 및 구현
Design and Implementation of Keyword Extractor based on Synonyms and Related Terms 원문보기

박은석 (전주대학교 컴퓨터공학과 언어과학실) , 박현진 (전주대학교 컴퓨터공학과 언어과학실) , 이상곤 (전주대학교 컴퓨터공학과 언어과학실)

인간은 문서를 읽고 그 내용을 머릿속에서 개념적으로 정리하여 몇 개의 명사를 이용하여 키워드로 인지한다. 본 논문은 이러한 점에 착안하여 문서를 대표하는 키워드를 추출하는 시스템을 설계하고 구현하였다. 본 논문에서는 단어의 개별적인 개념 정보를 동의어와 유의어 사전을 통해 주요 개념어를 추출하고, 추출된 개념어들 사이의 공기 관계를 계산하여 키워드로써의 중요도를 계산하고자 한다. 이를 통해 문서를 대표할 수 있는 키워드 후보를 생성하는 생성 규칙을 자동화하고 문서를 잘 대표할 수 있는 키워드 추출기를 제안하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

생성[3]하고 이를 기억한다. 그러나 문서 내에 적절한 키워드(주제어)가 존재하는 경우는 추출이 가능하지만 존재하지 않는 경우에는 적절한 추출이 불가능하다 본 논문에서는 문서에서 적당한 키워드가 출현하지 않은 경우에도 적당한 추출이 가능하도록 단어의 개념에 기반 하여 복합어로 구성된 키워드를 추췰4] 할 수 있도록 하는 기술을 확장하여 개발하고자 한다. 다음 장에서는 본 연구의 중요 과제인 사전 구조에 대해 설명하고 3장에서는 키워드 추출 방법에 대하여 기술한다.

제안 방법

정보들을 모두 기록한다. 각 개별 사전마다 데이터 층의 정보가 서로 상이하기 때문에 데이터 층을 별도로 구성하였다.
따라서 명사 사전의 Data 층은 존재하지 않는다 한 어절에서의 명사의 검색 방법은 조사를 제거하는 방식을 사용하지 않고, 명사 사전과의 완전 일치를 우선으로 하여 검색하며, 완전한 일치(perfect match)가 이루어지지 않은 경우에는 최장 일치 검색 기술을 통해 명사를 추출하였다. 때로는 동의어 및 유의어 사전에 등록되어 있지 않아 중요한 명사의 추출이 탈락하는 경우가 발생한다.
본 연구의 지식 베이스로 구축한 사전은ⓐ 동의어와 유의어 사전, ⓑ 명사 사전, ⓒ 전문 분야별 사전 등 3가지 의사 전을 구축하였다 동/유의어 사전은 부록 Ⅰ에 샘플을 제시하였다. 문서에서는 동일한 의미로 사용되었지만 다른 형태의 형태소가 출현한 명사들의 동의어와 유의어 정보를 저장하고 있다.
첫째, 개념어 후보를 중심어로 선택하고 중심어와 공기하는 단어들을 대상으로 계산한다. 둘째, 문서에서는 중요하지만 개념어 사전에 존재하지 않는 명사를 중심어로 하고 이 단어와 공기하는 단어들과의 중요도를 계산한다.

대상 데이터

중요도 계산에 이용한 임계치(threshold)는 문서의 길이, 키워드후보의 출현 빈도 등에 의해 많이 변경된다. 이것은 향후에 계속 연구하여야 하지만 이번 연구에서는 수 차례의 실험 후 얻은 임계치 0.5를 설정하였고, 사용자의 개별적인 설정에 따라 0.3~1.5 까지의 임계치 변경을 통해 후속에 랭크되는 다른 후보어를 제시할 수 있도록 설계하였다 또한 복합 명사로 구성된 키워드는 각 구성 요소들의 순서가 문제가 되는데, "-하다", "-되다", "-시키다"가 붙을 수 있는 명사를 별도로 추출하였다 "하다"가 붙을 수 있는 단어는 총 수는 12, 767개, "되다"는 519개, "시키다"는 163 개 등 총 14, 131개가 조사되었다 따라서 이러한 명사들은 복합어 구성 시, 맨 뒤에 부착하여 복합 키워드를 생성하였다. 다시 말하면, 위의 단어 리스트에 포함되는 단어는 복합어 생성 시, 맨 뒤로 붙여 생성하여 생성된 복합어가 의미가 잘 통하도록 고려하였다.
논문의 저자가 자신의 논문에 정의한 키워드를 그대로 이용하여 시스템이 추출한 키워드와 비교하였다 참고 문헌 [8]에서 제시한 정보과학회 2000년 춘계 학술대회 논문 초록 441개와 2001년 춘계학술대회 512개 등 총 953개의 문서 집합으로 구성되어 있다. 각 초록 문서는 최대 10개의 문장으로 구성되어 있다.

후속연구

제시하는 장점이 있다. 전문 분야 사전을 이용하여 분야를 추정하고 복합어로 구성된 키워드를 추출하여 사용자의 판단에 도움을 준다 개념어들 간의 공기관계, 개념어간 거리, 중요도 계산을 적용함으로서 추출의 정확도를 향상하였다 향후에는 사전에 등록되어 있지 않은 미등록어의 중요성 측정과 지시대명사가 지시하는 명사를 파악하고, 지시어까지 고려한 공기 관계 계산 방법을 연구하여야 한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

동의어와 유의어 개념에 기반 한 키워드 추출기의 설계 및 구현
Design and Implementation of Keyword Extractor based on Synonyms and Related Terms 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

동의어와 유의어 개념에 기반 한 키워드 추출기의 설계 및 구현 Design and Implementation of Keyword Extractor based on Synonyms and Related Terms 원문보기

초록 AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

동의어와 유의어 개념에 기반 한 키워드 추출기의 설계 및 구현
Design and Implementation of Keyword Extractor based on Synonyms and Related Terms 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper