[논문]웹 문서 검색을 위한 검색어 추출과 확장에 관한 연구

윤성희

문제 정의

실험하였다. 또한 이미 구죽되어 사용되고 있는 상용의 검색 시스템에 대한 자연어 메타 검색기로서 자연어 질의문을 입력할 수 있는 사용자 환경을 제공하고. 입력 질의문의 문법적 구조를 분석하여 복합명사를 조합하고 분할한 결과를 검색어를 추출하여 검색 시스템에 제공할 수도 있다.
본 논문에서는 웹 문서 검색 시스템의 이상적 인터페이스로서 한국어 자연어 질의문을 입력하고 분석하여 검색어를 추출하고 확장하는 처리 과정을 제안하였다. 형태소 분석과 구문 분석을 비롯한 기본적인 자연어 처리 과정을 포함하며, 명사 검색어뿐만 아니라 문장의 구조가 전달하는 정확한 문법 관계를 얻기 위해 구문 분석 과정도 포함된다.
구문 분석 과정을 배제한 자연어 질의 검색 시스템은 대부분 형태소 분석, 키워드 추출, 불용어(stopwords) 제거 등의 과정을 갖지만, 통계적 색인과 검색에 비해 보다 정교한 정보 검색을 위해서는 형태소 분석 이상의 구문 분석(syntactic analysis)과 같은 고수준의 자연어 처리 기술의 도입이 필수적이다. 본 논문은 형태소 분석 및 구문 분석하는 자연어 처리 기술 기반의 질의 처리와 검색 방법을 제안한다. 색인 데이터베이스와 질의문에서 색인어 일치.
형태소 분석 및 구문 형태소 추출과 구문 트리를 순회하면서 복합명사를 분할하거나 조합하고 이형태나 축약형 검색어들을 확장하는 과정을 포함한다. 입력 질의문의 구문 분석 결과를 기반으로 검색어들 사이의 계층적 구문 구조가 전달하는 의미 관계를 획득함으로써 정확한 검색어를 추출하는 것이 목적이다. 각종 문법적 요소들의 분해가 단순히 색인어나 검색어가 되는 것이 아니며, 의미 관계가 정의되는 명사들을 인식하여 복합명사로 조합하거나 분할한다.

제안 방법

구문 트리를 순회하면서 문법 구조적으로 연관된 어휘들을 추출하여 복합명사 형태로 조합하여 색인어로 확장하며, 이들을 검색어로 다중검색한다. 구문 트리에서 두 개 이상 명사가 복합명사로 조합되어 검색어로 확장될 수 있는 구조적인 예들은 다음과 같다.
검색어를 확장한다. 또한 이형표기 용어들과 축약표기 용어들에 대해서도 질의를 확장하여 다중 검색한다.
본 연구는 동적 웹환경의 부하를 고려하여 색인 데이터베이스는 형태소 분석과 태깅 결과로 나타나는 색인어들로 색인하고, 입력 질의문에 나타나는 명사 색인어들에 대한 복합명사를 분할하고 조합한 결과로 색인 데이터베이스를 다중검색하는 방법을 우선 적용하고 실험하였다. 또한 이미 구죽되어 사용되고 있는 상용의 검색 시스템에 대한 자연어 메타 검색기로서 자연어 질의문을 입력할 수 있는 사용자 환경을 제공하고.
색인 데이터베이스와 질의문에서 색인어 일치. 불일치를 보다 정교하게 처리하기 위해 구문 트리로부터 복합명사의 조합 형태와 분할 형태로 확장하여 다중 검색어로 추출한다. 뿐만 아니라.
음역어에서 빈번하게 나타나는 이형표기의 검색어들을 질의 구문 트리로부터 추출하고 확장하여 이들을 검색어로 다중 검색한다. 빈도수 높은 이형표기 용어 집합이나 축약표기 용어 집합들이 별도의 사전으로 등록되어 처리되면 사용자의 검색 만족도를 높일 수 있다.
뿐만 아니라. 축약어들과 음역어의 이형표기들에 대해서도 마찬가지로 검색어를 확장하는 다중검색 방법을 제안한다.

대상 데이터

분할된 단일 명사들은 복합명사에 비해 특정성이 떨어지게 되지만 검색에서 재현율을 높일 수 있고, 문장에 나타나는 단어들로 명사구를 조합하게 되면 특정성이 큰 색인어를 만들게 되어 정확도를 높일 수 있다. 본 연구의 실험은 여러 실험에서 사용된 바 있는 KTSET 문서[5]들과 개인, 학과, 부서, 학교, 기관 등의 흠페이지들, 학술 내용과 시사 뉴스 등의 내용을 담은 웹 문서들을 대상으로 하였다. 제한 없는 임의의 검색자들로부터 한국어 자연어 질의문들을 수집하여 약 4,900여 질의문을 대상으로 본 연구의 방법을 실험하였다.
본 연구의 실험은 여러 실험에서 사용된 바 있는 KTSET 문서[5]들과 개인, 학과, 부서, 학교, 기관 등의 흠페이지들, 학술 내용과 시사 뉴스 등의 내용을 담은 웹 문서들을 대상으로 하였다. 제한 없는 임의의 검색자들로부터 한국어 자연어 질의문들을 수집하여 약 4,900여 질의문을 대상으로 본 연구의 방법을 실험하였다. 입력된 자연어 검색 질의문의 두드러진 특징으로 문장의 길이가 일반 문서의 문장에 비해 비교적 짧고, 복합명사들이 다양한 형태로 빈번하게 출현한다는 점을 볼 수 있었다.

이론/모형

자연어 문장을 구문 분석하는 방법은 통계적인 방법, 구문 규칙에 기반한 방법, 학습에 의한 방법 등 여러 가지가 있으나, 본 연구에서는 이미 여러 실험에서 적용된 바 있는 문맥 자유(context free) 형식 구 구조(phrase structure) 규칙을 기반으로 하는 상향식(bottom up) 분석 방법을 채택한다. 상향식 분석은 전체 문장의 구조 해석에 실패하더라도 부분적으로 완성된 중간 구조를 활용할 수 있는 큰 장점이 있기 때문에 자연어 문장의 구문 분석과 같이 완전 분석 성공률이 낮은 경우에도 유용한 레코드를 얻을 수 있다.

성능/효과

KTSET을 중심으로 문서와 질의문에서 나타나는 복합명사들의 길이에 대한 통계 자료를 참조하면 세 단어까지의 복합명사가 전체의 96.8%를 차지하며, 네 단어 이상의 복합명사는 매우 드물게 나타난다는 실험 결과가 있다. 반대로, 한국어에서 네 음절 이상의 단일어는 극히 드물기 때문에 네 음절 이상의 명사라면 복합어일 확률이 매우 높다고 본다[4].
일반 웹 문서에는 길이가 매우 긴 문장들이 많고, 문법적으로 오류를 많이 포함하는 특성에 비해 사용자의 질의문은 상대적으로 단순하기 때문인 것으로 분석된다. 각 단계의 검색어 확장 과정을 거치면서 입력 질의문에 대한 검색어의 개수는 검색어 확장을 하지 않았을 때와 비교하여 2.72배로 증가하였다.
검색 성능으로 볼 때에는 검색어 확장 과정을 전혀 거치지 않았을 때보다 재현율이 약 11.3%가량의 향상을 보였다. 특히 이형표기 용어들이나 축약표기 용어들에 대한 검색어 확장은 재현율의 향상에 크게 기여하고 있다.
그런데, 탈락과 불규칙 활용 등 변형된 어간이나 변형된 어미는 원형을 복원하지는 않고, 변형된 어간의 경우에 입력 어절에서 어간의 길이만큼 어절 단위로 절단하여 색인어로 추출한다. 결과적으로 어미, 의존명사, 조사 등의 형태소들이 색인어나 검색 키워드로 추출되면서, 형태소 분석 후 색인하는 과정이 항상 더 정확한 결과를 얻게 되는 것은 아님을 볼 수 있다. 그림 1에서 기존 웹 문서 검색 시스템에서의 자연어 질의문장의 일부와 검색 결과 문서의 내용을 보이고 있다.
관련 연구 [2]에서는 통계적인 방법과 구문 구조를 이용한 색인의 비교에서 복잡한 자연어 처리를 이용한 방법보다는 방법론이 간단한 통계적인 방법을 선호했지만 통계적 방법과 비교된 구문 구조 분석 방법은 적용 과정이 지나치게 단순하여 적절한 비교가 되지 못한다. 구를 합성하여 색인어로 사용하여 실험 집합에 대해 평균적으로 10% 정도의 정확도를 향상시켰지만 실험 집합에 따라 성능의 차이가 크고, 이용되는 요소들이 대상 도메인에 따라 반복 실험에 의해 구해져야 하는 문제점을 보였다. 관련 연구 [1]은 대규모의 문장을 처리할 수 있는 강건한 자연어 처리기를 사용하기 위해 완전 구문 분석기 대신 명사구 분석기(NP Phrase parser)를 이용하여 명사구를 합성하는 방법으로 정확도와 재현률을 향상시켰다.
기존의 여러 검색 시스템에서 위와 같은 이형표기 용어들이나 축약표기 용어들을 검색어에 포함시켜 검색을 시도하면 검색 결과 문서의 집합은 모두 상이함을 볼 수 있다. 이러한 용어들의 처리는 태깅의 결과에 적용하는 방법도 생각할 수도 있지만, 구문 구조 분석 과정에 기반하는 검색 방법에서는 형태소적 모호성과 구조적 모호성이 크게 해소된 후에 검색어를 확장하는 것이 훨씬 효율적이다.
"바보라고 불린 청년"등의 모호성을 가질 수 있다. 따라서 문법적 구조 분석의 결과를 얻은 후에 이형표기 용어나 축약표기 용어들을 추출하고 다중 검색하는 방법이 타당하다. 다음의 그림 5는 질의문 분석에 기반한 검색어 추출과 확장 과정을 보인다.
각종 문법적 요소들의 분해가 단순히 색인어나 검색어가 되는 것이 아니며, 의미 관계가 정의되는 명사들을 인식하여 복합명사로 조합하거나 분할한다. 또한 이형표기 및 축약표기 검색어들의 확장을 통해 다중 검색함으로써 웹 검색 시스템의 재현율과 정확도를 높일 수 있음을 실험 결과로 보였다.
본 연구의 방법과 같이 구문 트리의 구조에 기반한 복합명사 조합은 사용자의 검색 의도를 반영한 조합이 가능하다. 두 단어 이상의 복합명사 확장 방법은 기존의 연구 방법을 따르며, 네 단어 이상의 복합명사는 실제로 사용 빈도가 극히 낮고 오히려 검색 성능을 떨어뜨리는 경향이 있으므로 세 단어까지 조합하는 것이 효율적이다[4].
76%로 나타났으며. 분석 성능도 향상되었다. 일반 웹 문서에는 길이가 매우 긴 문장들이 많고, 문법적으로 오류를 많이 포함하는 특성에 비해 사용자의 질의문은 상대적으로 단순하기 때문인 것으로 분석된다.
제한 없는 임의의 검색자들로부터 한국어 자연어 질의문들을 수집하여 약 4,900여 질의문을 대상으로 본 연구의 방법을 실험하였다. 입력된 자연어 검색 질의문의 두드러진 특징으로 문장의 길이가 일반 문서의 문장에 비해 비교적 짧고, 복합명사들이 다양한 형태로 빈번하게 출현한다는 점을 볼 수 있었다. 입력된 질의문의 구문 형태소 처리를 거쳐 구문 분석하는 과정은 일반 문서들의 문장을 구문 분석하는 과정에 비해 성공률도 비교적 높아서 68.
입력된 자연어 검색 질의문의 두드러진 특징으로 문장의 길이가 일반 문서의 문장에 비해 비교적 짧고, 복합명사들이 다양한 형태로 빈번하게 출현한다는 점을 볼 수 있었다. 입력된 질의문의 구문 형태소 처리를 거쳐 구문 분석하는 과정은 일반 문서들의 문장을 구문 분석하는 과정에 비해 성공률도 비교적 높아서 68.76%로 나타났으며. 분석 성능도 향상되었다.
자연어 질의문의 처리는 형태소 분석 및 구문 분석 결과에 기초하여 다양한 문법적, 의미적 관계를 분석하고 유지함으로써 단순하게 형태소 분석으로부터 추출된 검색어들의 집합으로 취급할 때에는 불가능한 관계성을 파악할 수 있다. 검색어의 추출이 검색 엔진의 성능을 결정하는 기본적인 요소임에도 불구하고 정보 검색 연구 분야에서는 색인어와 색인 기법이 검색 결과에 미치는 영향이 검색 모델에 비해 매우 중요함에도 불구하고 상대적으로 중요시되지 않았던 것으로 보인다[6].

후속연구

7% 정도로 다소 높아졌으나, 일부 검색에서는 거리가 먼 명사들의 조합과 의미 없는 분할이 일어나는 경우도 간혹 나타나고 있어서 이에 대한 정밀한 분석이 필요한 것으로 보인다. 다양한 질의를 추가 수집하고, 오류 현상에 대한 유형별 분석과 대응 방법의 연구가 요구된다. 또한 메타검색기로서 적용과 검색 결과 문서의 가중치 계산에 대한 연구가 반영되는 것이 필요하며, 음역 이형태와 축약형 검색어들에 대한 통계적 수집 시스템을 구축할 필요가 있다.
다양한 질의를 추가 수집하고, 오류 현상에 대한 유형별 분석과 대응 방법의 연구가 요구된다. 또한 메타검색기로서 적용과 검색 결과 문서의 가중치 계산에 대한 연구가 반영되는 것이 필요하며, 음역 이형태와 축약형 검색어들에 대한 통계적 수집 시스템을 구축할 필요가 있다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

웹 문서 검색을 위한 검색어 추출과 확장에 관한 연구
A Study on Keyword Extraction and Expansion for Web Text Retrieval 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

웹 문서 검색을 위한 검색어 추출과 확장에 관한 연구 A Study on Keyword Extraction and Expansion for Web Text Retrieval 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

저자의 다른 논문 :

윤성희 (13)

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

웹 문서 검색을 위한 검색어 추출과 확장에 관한 연구
A Study on Keyword Extraction and Expansion for Web Text Retrieval 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper