[논문]뉴스 기사의 문장 요약

최동현; 신지애; 최기선

뉴스 기사의 문장 요약
Sentence Summarization of News Articles 원문보기

최동현 (한국과학기술원 전산학과 시멘틱웹첨단연구센터) , 신지애 (한국과학기술원 전산학과 시멘틱웹첨단연구센터) , 최기선 (한국과학기술원 전산학과 시멘틱웹첨단연구센터)

텔레비전 뉴스에서 부제목을 만들거나, 문장을 PDA나 휴대폰과 같은 작은 화면에 출력하고 싶은 경우, 가능한 방법은 두 가지가 있다. 첫번째는 사람에 의해 직접 만드는 방식이다. 두번째는 자동화된 문장 요약 시스템을 사용하는 방법이다. 따라서 문장 요약 알고리즘은 그 중요성이 계속해서 커지고 있다. 본 논문에서는 구문 트리의 서브 트리가 변화할 수 있는 규칙을 제시하는 방법에 (1)공기 정보와 (2) 문법적으로 올바른 구조를 유지하기 위해 핵심적인 부분(주요 문법 구조) 및 같이 요약되어야 할 절을 표시하는 휴리스틱, (3)주어진 문장이 포함된 글의 제목 정보를 추가로 사용하여 문장 요약을 실행하였다. 본 시스템의 결과와 기존의 요약 방식을 비교하는 실험을 분야 전공자들에 의한 주관적 평가로 수행한 결과, 본 시스템의 알고리즘이 기존에 사용되던 구문서브트리 변환 방법보다 중요한 부분 및 문법적으로 올바른 부분을 많이 유지하는 요약임을 확인하였다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

먼저 주요 문법 요소를 표시한다. (본 논문에서는 여러 가지 예를 관찰하여 사람이 직접 주요 문법 요소의 목록을 제작하였다). 주요 문법 요소를 표시하기 위해 먼저 구문 분석 트리의 루트를 주요 문법 요소로 표시한 다음, 주요 문법 요소의 목록에 따라 위에서 아래로(Top-Down 방식) 표시한다.

가설 설정

조사된 항목은 다음과 같다 : 첫째, 요약된 문장이 중요한 부분을 많이 포함하고 있는가(중요도). 둘째, 요약된 문장이 문법적으로 얼마나 올바른가(문법성). 설문에 참여한 사람들에게는 세 가지 요약된 문장이 모두 컴퓨터에 의해 생성된 문장이라고 설명되었다.

제안 방법

org/의 2003년 기사에서 무작위로 47개의 문장을 추출하였다. [3]의 방법과 본 논문의 방법, 그리고 사람이 직접 요약하는 방법을 사용하여 세 가지의 각각 다른 요약된 문장을 얻어내었다. 사람이 직접 요약하는 방식은 중급 정도의 영어 능력을 가진 비원어민에 의해 이루어졌다.
[3]의 저자의 도움을 받아 [3]의 결과와 본 논문에서 사용된 방법의 결과를 비교해 보았다. 실험을 위해 http://www.
본 논문에서는 결정 트리를 이용하여 구문 트리의 서브 트리 변형 규칙을 활용하는 요약 방법[2]를 기반으로 하며, (1) 공기 정보(예: 동사 ‘expect’는 to-부정사를 필요로 한다.)와 (2)주요 문법 요소 및 같이 요약되어야 하는 절을 표시하는 휴리스틱, (3)주어진 문장이 포함된 글의 제목 정보를 사용하여 좀 더 효과적인 문장 요약을 실행하는 알고리즘을 제시한다. 본 논문은 다음과 같이 구성되어 있다: 2절에서는 문장 요약과 관련된 연구를 제시한다.
본 모듈에서는 결정 트리 생성 모듈에서 찾아낸 규칙들을 이용하여 문장을 요약한다. 그러나 찾아낸 규칙들만으로 문장을 요약하면 3.
이 외에도 노이즈-채널 모델을 적용하는 요약 방법[2][5], 최대 복잡도 모델(maximum entropy model)을 사용한 방법[7]이 있다. 본 시스템에서는 [2]의 방법을 확장하여 비주요 문법 요소를 축약하는 데 사용하였다.
이 정보를 이용하여 구문 트리의 형태에 따라 규칙을 정하는 결정 트리를 생성한다. 생성된 결정 트리와 제목 정보, 공기 정보와 휴리스틱을 이용하여 대상이 되는 문장을 요약한다.
위 두 가지 종류의 특징으로부터 157개의 세부적인 특징들을 찾아내고, 이들을 참고하여 다음에 이루어질 변환을 결정한다.
사람이 직접 요약하는 방식은 중급 정도의 영어 능력을 가진 비원어민에 의해 이루어졌다. 자연언어 처리 연구에 종사하고 있는 4명의 사람들에게 두 가지 항목에 대해서 1점부터 10점까지 점수를 주도록 하였다. 조사된 항목은 다음과 같다 : 첫째, 요약된 문장이 중요한 부분을 많이 포함하고 있는가(중요도).

대상 데이터

이 코퍼스는 1067개의 요약된 문장과 원 문장의 쌍을 가지고 있다. 구문 분석 트리를 만들기 위해 스탠포드 구문 분석기²가 사용되었다. 동사의 공기 정보 및 제목의 명사와 관련된 단어들을 얻어내기 위하여 워드넷(WordNet)³을 사용하였다.
구문 분석 트리를 만들기 위해 스탠포드 구문 분석기²가 사용되었다. 동사의 공기 정보 및 제목의 명사와 관련된 단어들을 얻어내기 위하여 워드넷(WordNet)³을 사용하였다.
[3]의 저자의 도움을 받아 [3]의 결과와 본 논문에서 사용된 방법의 결과를 비교해 보았다. 실험을 위해 http://www.benton.org/의 2003년 기사에서 무작위로 47개의 문장을 추출하였다. [3]의 방법과 본 논문의 방법, 그리고 사람이 직접 요약하는 방법을 사용하여 세 가지의 각각 다른 요약된 문장을 얻어내었다.

이론/모형

변화 규칙 결정 과정을 표현하기 위하여 결정 트리를 사용하였다. 훈련 코퍼스로 Ziff-Davis 코퍼스¹를 사용하였다. 이 코퍼스는 1067개의 요약된 문장과 원 문장의 쌍을 가지고 있다.

성능/효과

실제 사용자는 문법적으로 올바른 문장을 더 쉽게 이해할 수 있다. 따라서 기존 알고리즘에 비해 문장 요약이 실용화될 수 있는 가능성을 조금 더 높였다고 평가할 수 있다.
변환 규칙을 찾아내기 위해 사용되는 구문 트리의 형질이 바뀔 때 본 시스템의 성능이 상당히 큰영향을 받음을 알 수 있었다. 가장 효과적인 문장 요약을 가능케 하는 변환 규칙을 찾아내기 위해, 사용되는 구문 트리의 형질에 관하여 추가 연구를 진행하고 있다.
본 시스템의 출력 결과는 압축율은 높지 않으나, 기존 알고리즘에 비해 문법적으로 올바르다. [3]의 방법에서도 공기 정보를 사용하였으나 [3]의 방법보다 문법적으로 더 올바른 문장을 만들어낸 이유는 (1) [3]에서는 변환 규칙을 찾아내기 위하여 공기 정보를 사용하였지만, 본 시스템에서는 변환 규칙을 적용할 때 공기 정보를 사용하여 규칙을 찾아내는 과정에서 발생한 과훈련 (overfitting) 및 잡음 (Noise) 문제가 많이 줄었고, (2) 추가적인 휴리스틱으로 인한 성능 향상을 들 수 있다.

후속연구

변환 규칙을 찾아내기 위해 사용되는 구문 트리의 형질이 바뀔 때 본 시스템의 성능이 상당히 큰영향을 받음을 알 수 있었다. 가장 효과적인 문장 요약을 가능케 하는 변환 규칙을 찾아내기 위해, 사용되는 구문 트리의 형질에 관하여 추가 연구를 진행하고 있다.

핵심어

질문

논문에서 추출한 답변

문장 요약과 관련된 연구로는 무엇이 있는가?

문장 요약과 관련된 연구로는 비주요 문법요소에 대해서만 단어의 빈도수에 근거하여 축약하는 방법[1]과 구문 트리의 서브 트리가 변형할 수 있는 방법을 이용한 요약 방법[2]이 있다. 또한 [2]의 방법에 개체명 (named entity) 정보와 하위범주화 (subcategorization) 정보를 추가한 시도가 있다[3].

문장 요약은 어떤 작업인가?

“문장 요약”은 문장의 핵심 의미를 보존하면서길이가 짧은 다른 문장으로 변형하는 문장 단위의 축약 작업이다. 요약된 문장은 독자가 빠르고 쉽게 의미를 이해할 수 있다.

텔레비전 뉴스에서 부제목을 만들고 싶은 경우 가능한 방법 두 가지는?

텔레비전 뉴스에서 부제목을 만들거나, 문장을 PDA나 휴대폰과 같은 작은 화면에 출력하고 싶은 경우, 가능한 방법은 두 가지가 있다. 첫번째는 사람에 의해 직접 만드는 방식이다. 두번째는 자동화된 문장 요약 시스템을 사용하는 방법이다. 따라서 문장 요약 알고리즘은 그 중요성이 계속해서 커지고 있다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

뉴스 기사의 문장 요약
Sentence Summarization of News Articles 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

연구과제 타임라인

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

뉴스 기사의 문장 요약 Sentence Summarization of News Articles 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

뉴스 기사의 문장 요약
Sentence Summarization of News Articles 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper