초록

AI-Helper

중국어 문장은 영어와 한국어와 달리 단어에 대한 명확한 한계가 없기 때문에 중국어 정보검색 시스템에서는 중국어 문장에 대한 색인 작업을 각각의 글자를 기본단위로 자르는 방법을 사용하거나 또는 단어의 한계에 관한 정보가 이미 제공된 단어 사전을 이용하여 색인하는 방법을 사용하고 있다. 하지만 이 두 가지 방법은 모두 장단점이 있다. 본 논문에서는 이 두 가지 방법의 장점을 취하고 단점을 보안하는 방법으로 확장한 바이그램 분할기법을 제안하려 한다. 이 방법은 실용성이 있으며, 검색성능 향상을 도모하였다.

중국어 문장은 영어와 한국어와 달리 단어에 대한 명확한 한계가 없기 때문에 중국어 정보검색 시스템에서는 중국어 문장에 대한 색인 작업을 각각의 글자를 기본단위로 자르는 방법을 사용하거나 또는 단어의 한계에 관한 정보가 이미 제공된 단어 사전을 이용하여 색인하는 방법을 사용하고 있다. 하지만 이 두 가지 방법은 모두 장단점이 있다. 본 논문에서는 이 두 가지 방법의 장점을 취하고 단점을 보안하는 방법으로 확장한 바이그램 분할기법을 제안하려 한다. 이 방법은 실용성이 있으며, 검색성능 향상을 도모하였다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 본 논문에서는 중국어 정보검색에 있어서, 바이그램 방 식에 비해 보다 정확하게 분할하는 단어사전 기반의 최장 일치방법이 새로운 용어, 고유명사에 대한 치명적인 단점 으로 인해 실제 검색시스템에 도입하기엔 부적합한 점과, 바이그램방법의 단순한 점에 비해 검색성능이 우수하며, 실제 검색기에 많이 도입되고는 있지만 역-색인파일의 크기가 많아 검색하는데 보다 많은 시간을 소요한다는 점 을 감안하여 확장된 바이그램방법을 제안하였다.

제안 방법

• 본 논문에서 제안하고자 하는 확장된 바이그램 분할방 법의 기본 아이디어는 분할 시 단어사전과 바이그램 방법을 동시에 사용하여 분할한다. 즉 중국어 문장을 바이그 램기법으로 자르되 단어사전에 존재하는 연속된 글자리 스트는 바이그램방식이 아닌 사전 기반의 기법으로 분할 한다.
• 본 논문에서는 색인을 더욱 효과적으로 하기 위해 위의 예제에서 설명한 “ 2+2” 패턴 외에도 “ 2+1+2” 등 패 턴도 함께 처리하였다. 이런 패련들도 중국어 문장에서 臺현빈도가 많은바 “ 2+1+2” 의 예로는 “ 科學的發展” 이며.
• 본 논문에서는 위의 두 가지 분할방법의 장점을 취하고 단점을 보안하는 방법으로 확장된 바이그램(Big「am)방법을 제안한다.
• 확장된 바이그램방법의 알고리즘은 중국어 문장의 첫 글자무터 시작하여 바이그램방식으로 자르면서 이렇게 잘린 용어들을 실제 단어인지를 두 글자 사전과 비교한다. 비교를 통하여 연속된 두 글자 단어가 출현하면 앞의 단어만 정확한 단어로 보고 분할한 후 뒤의 단어는 그 다음 글자 리스트 중 연속된 단어가 뒤따르는지를 비교한다.
• 실험은 본 논문에서 제안한 방법의 유용성을 비교하기 위하여 위에서 설명한 바이그1램방법, 최장일치방법 그리고 확장된 바이그램방법 뜽 순으로 나누어 하였다. 확장 된 바이그램방법 실험에서의 “ 2+1+2” 패턴 중에 사용한 한 글자 불용어는 36개로써, 사람이 인터넷 중국어 둔 서를 직접 읽고 모은 것이다.

대상 데이터

• 본 논문에서 제안하고자 하는 확장된 바이그램방법의 검색 성능을 평가하기 위하여 NTCIR-3 [8] 중국어 컬렉 션과 중국어 질의를 실험 데이터로 사용하였다. NTCIR-3의 중국어 컬렉션은 98~99년도 대만 뉴스이며, 컬렉션의 종 문서 개수는 381, 681개이며, 컬렉션의 크기는 약 550MB로서 문서 당 평균 크기는 약 1.

이론/모형

• 본 논문에서 사용한 검색기 모델은 2-Possion모델이다. 이 모델의 수식은 다음과 같다.
• 본 실험에서 사용한 적합성 판정은 NTCIR-3 중의 Relaxed 판정 방법이다[8].

성능/효과

• 전체적인 실험결과를 살펴보면 [표 1]과 같다. [표 1]에서 알 수 있듯이 바이그램 방법과 확장돤 바이그램 방법은 모두 최장일치방법에 비해 검색 결과가 우수하다. 이것은 최장일치방법이 단어사전의 영향을 많이 받음을 알 수 있다.
• [표 1]에서 알 수 있듯이 본 논문에서 제안한 확장된 바 이그램방법은 순수한 바이그램 방법에 비해 그 검색 성능 이 조금 우수하다.
• 또한 본 논문에서 제안한 방법의 분할 후 파일 크기가 순수한 바이그램방법의 분할 후 파일 크기와 역-색인 파 일이 모두 0.7GB 정도 작다[그림 2]. 이러한 파일 크기의 차이는 직접적으로 검색하는데 걸리는 시간과 연관된 다 .
• 실험을 통하여 확장된 바이그램방법은 검색성능이 위의 두 가지 방법보다 우수하며, 또한 분할 후와 색인 후의 파 일 기가 작아 검색하는데 보다 적은 시간이 소요됨을 알 수 있다.
• 확장된 바이Z1 램방법의 장점은 정확하지 않은 용어 추 가 생성을 줄임으로써 바이그램방식에서의 역-색인파일 寻기가 큰 단점을 보안할 수 있으며, 단어사전 중 존재하 지 않는 고유명사, 외래어, 새로운 용어들은 바이그램방 식으로 잘리게 함으로써 단어사전 분할방법에서의한 글 자로 잘리는 단점을 보안할 수 있다. 또한 바이그램방식 과 단어사전방식을 결합함으로써 이 두 가지 방법의 장점 을 효과적으로 살릴 수 있다.

후속연구

• 향후 연구로는 본 논문에서 제안한 확장된 바이그램방법 의 검색성능을 보다 향상시킬 수 있는 방법을 모색하려 한다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기