[논문]한국어 영 대용어 처리를 통한 문서요약의 성능 향상

구상옥; 전명희; 김미진; 이상조

문제 정의

앞으로 요약 시스템을 보다 많은 양의 문서에 적용해 보고, 신문기사 뿐 아니라. 다른 종류의 문서에도 적용해 보고자 한다. 아울러, 보다 좋은 성능을 위한 중요 단어 또는 중요 클러스터의 결정 방법 및 가중치한계와 거리 한계를 조율(tuning)하여 최적의 수치를 얻기 위한 방법도 향후 연구해야 할 과제이다.
특허 PDA나 휴대폰 같은 휴대용 기기는 소형 인터페이스라는 특성 때문에 더욱 간결하면서도 압축적인 형태의 요약을 필요로 한다. 따라서 우리는 높은 가중치養 가지는 문장 전체를 추출하는 것이 마니라, 높은 가중치를 가지는 클러스터 자체룰 요약문으로 보고 그것읗 완전한 절의 형태로 복원하여 요약문을 생성하는 방멉읗 제안한다.
이 논문에서는 문장 내에 생략된 영 대용어를 복원하여 요약 시스템의 성능을 향상시키고자 하였다. 영 대용어 볶원은 기존에 연구된 日卜 있는 분해 및 복원 알고리즘을 이용하였고[4], 요약 시스템은 Luhn의 방법을 적용하여 구축하였다 [10L

가설 설정

다음 예문들에 나타나는 문장이 가장 높은 클러스터를 포함하는 문장이라고 가정하자.

제안 방법

평가자 B는 제목, 문서 전체 그리고 4가지 요약결과를 모두 보고, 마찬가지로 10점을 만점으로 하여 각 요약결과에 대해 점수를 부여한다. A, B 둘 다 요약의 간결성과 의미의 완결성을 기준으로 평가하도록 하였고, 日의 경우, 특히 제목의 내용과 중복되지 않으면서도, 중요한 의미를 담고 있는 요약에 좋은 점수를 주도록 당부하였다. 표 1 은 요약 결과에 대한 정확도 평가 결과 결과를 보여준다.
탐색된 영 대용어是 복원할 때에는, 접속문의 경우 접속 삭감 복원 규칙, 내포문의 경우는 관계명사구 탈락 복원 규칙 등을 사용하였다. 그리고 인용문의 경우는 주어 인칭 제약에 따른 동일 명사구 탈락규칙 등을 이용하였다.
먼저 대상 문서 내의 모든 명사의 가중치를 구하고, 명사의 가중치를 이용하여 3hn의 방법대로 모든 문장 내 클러스터률 추츌한다. 다음으로 가장 가중치가 높은 클러스터是 가지는 문장을 가져온 뒤, [4]에서 제안된 방법을 사용하여 그 문장의 문장분해정보와 영 대용어 탐색정보 養 획득한다. 마지막으로 완전한 요약문 생성을 위하여, 문장 내의 클러스터의 크기를 완전한 의미룔 표현할 수 있는 절로 확장한다.
본 논문에서 제안하는 요약문 생성방법은 다음과 같다. 먼저 대상 문서 내의 모든 명사의 가중치를 구하고, 명사의 가중치를 이용하여 3hn의 방법대로 모든 문장 내 클러스터률 추츌한다. 다음으로 가장 가중치가 높은 클러스터是 가지는 문장을 가져온 뒤, [4]에서 제안된 방법을 사용하여 그 문장의 문장분해정보와 영 대용어 탐색정보 養 획득한다.
본 논문에서는 영 대용어 복원을 통하여 문서 요약의 품질을 향상시킬 수 있음을 보여주었다. 본 논문에서 제안하는 요약 시스템에서는 보다 간결한 요약문을 획득하기 위하여 요약문을 추출할 때, 문장 대신 문장의 일부분인 문장 내 클러스터를 추출한다. 문장의 일부분이 형식적으로나 의미적으로 불완전한 경우가 많으므로, 이를 보완하기 위하여 문장분할 및 영 대용어 탐색 정보를 이용한다.
요약시스템의 성능 비교를 위해 본 연구에서는 단순히 첫 문장만을 추출하는 방법, 하나의 중요 문장을 추출하는 방법, 하나의 중요 클러스터만 추출하는 방법, 그리고 추출된 중요 클러스터를 제안된 방법으로 확장하고 생략된 성분을 복원하는 방법에 관해 모두 실험을 하였다. 요약결과에 대한 성능 평가는 2명의 평가자에 의해 다음과 같은 방법으로 평가되었다.
복합문을 활용어미에 따라 분해한 후 용언의 하위범주 정보룔 이용하여 생략된 성분인 영 대용어룔 찾는다. 탐색된 영 대용어是 복원할 때에는, 접속문의 경우 접속 삭감 복원 규칙, 내포문의 경우는 관계명사구 탈락 복원 규칙 등을 사용하였다. 그리고 인용문의 경우는 주어 인칭 제약에 따른 동일 명사구 탈락규칙 등을 이용하였다.
문장의 일부분이 형식적으로나 의미적으로 불완전한 경우가 많으므로, 이를 보완하기 위하여 문장분할 및 영 대용어 탐색 정보를 이용한다. 특히, 추출된 클러스터에 생략된 성분인 영 대용 어가 있을 경우, 이를 복원함으로써 요약문 자체가 의미적으로 보다 완결성을 가지도록 하였다. 신문기사를 대상으로 한 실험 결과 제안된 방법이 간결성과 의미의 완결성 면에서 비교적 좋은 성능을 보이는 것으로 평가되 었다.

대상 데이터

본 논문에서 제안한 요약시스템을 이용하여 130편의 신 문기사에 대해 문서 담 단 하나의 요약문 만을 추출하였다. 대상 문서는 매일 경제, 한겨레 신문에서 증권, 금윰, 부동산, 정치, 사회, 문화 별로 발췌한 것이匚卜. 실험문장 은 전체 1328문장 중 단문이 302문장이고 복합문이 1026문장이었다.
본 논문에서 제안한 요약시스템을 이용하여 130편의 신 문기사에 대해 문서 담 단 하나의 요약문 만을 추출하였다. 대상 문서는 매일 경제, 한겨레 신문에서 증권, 금윰, 부동산, 정치, 사회, 문화 별로 발췌한 것이匚卜.
대상 문서는 매일 경제, 한겨레 신문에서 증권, 금윰, 부동산, 정치, 사회, 문화 별로 발췌한 것이匚卜. 실험문장 은 전체 1328문장 중 단문이 302문장이고 복합문이 1026문장이었다. 이는 한 문서 당 평균 10개 이상의 문장을 가지고 있으며, 이 중 약 8개가 복합문이라는 것을 말해준다.

이론/모형

중요 단어(significant word)란 문장 내에서 비교적 높은 중요도를 가지는 명사들을 가리킨다. 단어의 중요도를 판단하기 위한 가중치 계산에는 녈라 알려진 TFKDF measure를 적용한다[11]. 즉 어떤 단어가 하나의 운서에서 차지하는 중요도는 □ 문서 내에서의 단어의 빈도(TF)와 전체 문서집합에서의 그 단어의 역문헌빈도(IDF) 의 곱이다.
이 논문에서는 문장 내에 생략된 영 대용어를 복원하여 요약 시스템의 성능을 향상시키고자 하였다. 영 대용어 볶원은 기존에 연구된 日卜 있는 분해 및 복원 알고리즘을 이용하였고[4], 요약 시스템은 Luhn의 방법을 적용하여 구축하였다 [10L

성능/효과

예문 3) 한국 투자신탁은 [[거래소 시장 활성화 대책이 중소형 우량주에 유리한 환경울 제공해] [( 0祯 거래소 우량 중소 형주둏의 주가 상숭에 도움이 될 것이라)]]고 덧붙였다. 예문 4) 한국 투자신탁은 [[거래소 시장 화성화 대책이 중소형 우량주에 유리한 환경을 제공해H(거래소 시장 할성화 대 핵이 거래소 우량 중소형주듷의 주가 상승에 도움이 둴 것이라)11고 덧盘였다.
본 논문에서는 영 대용어 복원을 통하여 문서 요약의 품질을 향상시킬 수 있음을 보여주었다. 본 논문에서 제안하는 요약 시스템에서는 보다 간결한 요약문을 획득하기 위하여 요약문을 추출할 때, 문장 대신 문장의 일부분인 문장 내 클러스터를 추출한다.
특히, 추출된 클러스터에 생략된 성분인 영 대용 어가 있을 경우, 이를 복원함으로써 요약문 자체가 의미적으로 보다 완결성을 가지도록 하였다. 신문기사를 대상으로 한 실험 결과 제안된 방법이 간결성과 의미의 완결성 면에서 비교적 좋은 성능을 보이는 것으로 평가되 었다.
표 1의 결과를 보면, 제안된 방법이 나머지 방법들보다 좋은 점수를 얻었으며, 특히 중요 문장만을 추출하는 방법에 비해 약 62%의 높은 성능향상을 보였다. A의 평가에서 첫 문장을 요약으로 사용하는 방법이 높은 점수를 얻었는데, 이는 첫 문장에서 제목의 문구가 그대로 반복 되는 신문기사의 특성 때문인 것으로 보여진다.

후속연구

영 대용어 복원규칙 중 접속삭감복원규칙에 의해 생략된 주어성분을 복원하면 예문 4와 같이 하나의 문장으로서 완전한 의미와 형태를 가지는 클러스터를 구할 수 있다. 마지막으로, 최종 클러 스터의 맨 끝에 나타나는 서술어의 어미를 종결어미 '■다' 로 변환하는 등의 후처리를 통하여 요약문 ''거래소 시장 활성화 대책이 거래소 우량 중소형주들의 주가 상승에 도움이 될 것이다''를 얻을 수 있다.
다른 종류의 문서에도 적용해 보고자 한다. 아울러, 보다 좋은 성능을 위한 중요 단어 또는 중요 클러스터의 결정 방법 및 가중치한계와 거리 한계를 조율(tuning)하여 최적의 수치를 얻기 위한 방법도 향후 연구해야 할 과제이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

한국어 영 대용어 처리를 통한 문서요약의 성능 향상
Efficient Summarization Using Zero Anaphora Resolution 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

한국어 영 대용어 처리를 통한 문서요약의 성능 향상 Efficient Summarization Using Zero Anaphora Resolution 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

한국어 영 대용어 처리를 통한 문서요약의 성능 향상
Efficient Summarization Using Zero Anaphora Resolution 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper