[논문]복합 자질 정보를 이용한 통계적 한국어 채팅 문장 생성

김종환; 장두성; 김학수

doi:10.19066/cogsci.2009.20.4.002

문제 정의

이러한 문장 생성 시스템은 특정 수치로 나타낼 수 있는 측정 방법이나 다른 시스템과의 비교가 매우 어렵다. 따라서 본 논문은 시스템의 성능을 평가하기 위해 표 4와 같이 생성 문장의 완성도 수준을 3단계로 구분하여 평가했다[6].
본 논문에서 제안한 한국어 채팅 문장 생성 시스템은 보다 완성도 높은 응답 문장을 생성하는 것을 􏰂표로 한다. 이러한 문장 생성 시스템은 특정 수치로 나타낼 수 있는 측정 방법이나 다른 시스템과의 비교가 매우 어렵다.
본 논문에서는 어절 기반의 한국어 채팅 문장 생성 방법을 제안하였다. 입력된 핵심어가 포함된 어절을 말뭉치에서 찾아 해당 어절의 앞뒤에 나타나는 어절의 출현 정보를 이용하여 후보 문장들을 생성한다.
그러나 현재까지 연구된 채팅 시스템들은 특정 영역에 한정되거나 인간의 복잡하고 다양한 대화 현상을 설명하기에는 부족한 성능을 보여주었다. 이러한 문제를 해결하기 위해 본 논문에서는 입력 파라미터(parameter) 조절을 통해 자연스러운 한국어 채팅 문장을 생성하는 통계 기반의 문장 생성 방법을 제안한다.

가설 설정

인간의 대화에서 문장은 대화의 상황과 사용자의 의도에 따라 결정되며, 채팅 시스템에서는 문맥 자질과 문장 자질을 통해 이러한 현상을 구현한다. 그러므로 본 논문에서는 화행과 핵심어가 문맥 자질과 문장 자질로 결정되어 있다고 가정한다[7]. 본 논문에서는 사용자의 의도에 적합한 응답 문장의 유형을 결정하는 문맥 자질로 화행을, 대화의 흐름을 유지하는 문장 자질로 핵심어를 사용한다.

제안 방법

먼저 주어진 핵심어를 포함한 어절을 말뭉치에서 찾고, 그것의 앞뒤에 나타나는 어절의 출현 정보와 문장의 구성 성분 정보에 따라 어절을 확장하여 후보 문장들을 생성한다. 그리고 각 후보 문장의 통계 정보와 화행에 따른 자질을 고려한 언어 모델(language model)을 적용하고 각 후보 문장에 포함된 어절 간의 공기 정보(co-occurrence)를 이용하여 연관도를 측정한다. 마지막으로 문장 구성 성분 정보에 따른 가중치를 통합하여 가장 수치가 높은 문장을 응답 문장으로 선택한다.
입력된 핵심어가 포함된 어절을 말뭉치에서 찾아 해당 어절의 앞뒤에 나타나는 어절의 출현 정보를 이용하여 후보 문장들을 생성한다. 그리고 각 후보 문장의 통계 정보와 화행에 따른 자질을 고려한 언어 􏰃모델, 후보 문장 내 어절 간의 공기 정보를 이용한 연관도, 문장 구성 성분 정보에 따른 가중치를 통합하여 응답 문장을 선택한다. 어순이 자유로운 한국어의 특성으로 인해 구문 분석과 같이 높은 수준의 자연어 처리 정보 없이도 적합 문장을 얻을 수 있었다.
이와 같이 문장에서의 위치 정보에 적합한 어절만을 선택하기 때문에 문장 구성 후보 어절의 무한 확장을 막을 수 있다. 또 후보 문장의 수를 조절하기 위해 후보 문장 구성 성분, 문장의 길이, 동일 어절 비교 정보에 기초한 휴리스틱을 이용한다. 먼저 문장의 구성 성분을 확인하여 후보 문장을 제한하는 방법을 적용한다.
응답 문장의 선택을 위해 사용된 가중치의 의미는 다음과 같다. 먼저 어절 기반 언어 모델을 적용하여 통계 정보의 가중치를 계산한다. n개의 어절 E로 구성된 i번째 후보 문장 S_i=E₁E₂.
본 논문에서 제안하는 문장 생성 과정을 살펴보면 그림 1과 같다. 먼저 주어진 핵심어를 포함한 어절을 말뭉치에서 찾고, 그것의 앞뒤에 나타나는 어절의 출현 정보와 문장의 구성 성분 정보에 따라 어절을 확장하여 후보 문장들을 생성한다. 그리고 각 후보 문장의 통계 정보와 화행에 따른 자질을 고려한 언어 모델(language model)을 적용하고 각 후보 문장에 포함된 어절 간의 공기 정보(co-occurrence)를 이용하여 연관도를 측정한다.
문장별 언어 모델 통계 정보의 가중치 계산이 끝나면, 후보 문장의 적합성 판단을 위해 문장 내 어절간 연관도를 측정한다. 학습 말뭉치 내 동일 문장으로부터 생성된 어절이 많을수록 그렇지 않은 것보다 높은 가중치를 부여하기 위함이다.
그러므로 본 논문에서는 화행과 핵심어가 문맥 자질과 문장 자질로 결정되어 있다고 가정한다[7]. 본 논문에서는 사용자의 의도에 적합한 응답 문장의 유형을 결정하는 문맥 자질로 화행을, 대화의 흐름을 유지하는 문장 자질로 핵심어를 사용한다. 본 논문에서 제안하는 문장 생성 과정을 살펴보면 그림 1과 같다.
학습 말뭉치 내 동일 문장으로부터 생성된 어절이 많을수록 그렇지 않은 것보다 높은 가중치를 부여하기 위함이다. 본 논문에서는 후보 문장 어절들이 학습 말뭉치에서 같이 나타난 문장의 공기 정보를 이용한다. 후보 문장 S_i의 각 어절들의 대한 연관도는 식 (10)을 이용하여 측정한다.
그리고 응답 문장의 적합도를 향상시키기 위해 화행별 대표 용언 정보를 이용하여 식 (5)의 확률 값을 변경한다. 본 논문은 특정 영역에 국한되지 않는 말뭉치 기반이므로, 영역에 종속적이지 않은 용언을 화행의 자질로 사용한다[9]. 화행별 대표 용언은 식 (6)과 같은 카이 제곱 통계량으로 결정한다.
실험은 본 논문에서 제안한 방법으로 생성한 문장과 동일 입력으로 일반 언어 􏰃모델을 적용􏰁하여 생성한 문장을 이용했다. 일반 언어 􏰃모델은 비교 평가를 위한 기저모􏰃델(baseline model)로 바이그램 통계 수치를 적용􏰁한 언어 􏰃모델이며, 후보 문장 생성에 사용􏰁된 휴리스틱은 동일하게 적용􏰁했다.
|E_j|와 |E_k|는 각각 어절 E_j와 E_k가 나타난 문장의 수, |E_j ∩E_k|는 어절 E_j와 E_k가 동시에 나타난 문장의 수를 의미한다. 이들 후보 문장 내 어절 간의 공기 정보를 이용하여 후보 문장별 연관도에 대한 가중치를 계산한다.
또한 후보 문장이 너무 많이 생성되어 계산량이 폭발적으로 증가하는 문제가 발생할 수 있다. 이러한 문제들을 해결하기 위해 본 논문에서는 그림 2와 같이 어절의 위치 정보와, 문장 길이, 구성 성분을 이용한다.
42%를 차지했다. 이에 따라 본 논문에서는 어절이 갖는 형태소 정보를 이용하여 후보 문장의 문장 구성 요소를 확인하고, 그림 2의 예와 같이 각 성분이 2회 이상으로 조합되어 나타나는 후보 문장을 제거한다. 그리고 학습 말뭉치에서 나타나는 문장 길이의 평균(6.
본 논문에서는 어절 기반의 한국어 채팅 문장 생성 방법을 제안하였다. 입력된 핵심어가 포함된 어절을 말뭉치에서 찾아 해당 어절의 앞뒤에 나타나는 어절의 출현 정보를 이용하여 후보 문장들을 생성한다. 그리고 각 후보 문장의 통계 정보와 화행에 따른 자질을 고려한 언어 􏰃모델, 후보 문장 내 어절 간의 공기 정보를 이용한 연관도, 문장 구성 성분 정보에 따른 가중치를 통합하여 응답 문장을 선택한다.
입력된 핵심어를 포함하는 후보 문장을 생성하기 위해 형태소 분석 말뭉치를 이용한다. 형태소 분석 말뭉치에서 핵심어가 포함된 어절들을 추출하고, 그 어절을 기준으로 앞뒤에 나타나는 어절을 확장하며 후보 문장을 생성한다. 그러나 어절의 연속 출현 정보만을 이용하여 후보 문장을 생성할 경우 문장의 시작과 끝이 나타나지 않아 어절이 무한히 확장되는 문제가 발생할 수 있다.
연관도 측정이 끝나면 문장 구성 성분 조합에 따른 가중치를 적용한다. 후보 문장의 어절이 갖는 형태소 정보를 이용하여 후보 문장의 문장 구성 성분을 분석하고, 후보 문장 생성 판단에 사용된 세 가지 문장 구성 성분, 주어, 목적어, 서술어 가 후보 문장에서 어떤 조합으로 나타났는지 확인한다. 그리고 각 후보 문장의 주요 구성 성분의 조합에 따라 학습 말뭉치에서 통계적으로 얻은 정보를 이용한 표 2를 기준으로 가중치를 부여한다.

대상 데이터

로 사용했다. 또 문장 생성 실험을 위한 입력으로 학습 말뭉치에서 나타난 화행 분포에 따라 임의로 추출한 명사 100개를 핵심어로 사용하였다. 표 3은 본 논문에서 사용한 화행의 분류와 말뭉치에서의 분포를 보여준다.
어절의 통계 정보와 공기 정보, 문장 구성 성분 정보를 얻기 위해서 대화형 언어 말뭉치 43,351문장(260,362어절)을 자체 수집하고 표 3과 같이 9개의 화행을 부착하여 학습 말뭉치¹⁾로 사용했다. 또 문장 생성 실험을 위한 입력으로 학습 말뭉치에서 나타난 화행 분포에 따라 임의로 추출한 명사 100개를 핵심어로 사용하였다.

이론/모형

입력된 핵심어를 포함하는 후보 문장을 생성하기 위해 형태소 분석 말뭉치를 이용한다. 형태소 분석 말뭉치에서 핵심어가 포함된 어절들을 추출하고, 그 어절을 기준으로 앞뒤에 나타나는 어절을 확장하며 후보 문장을 생성한다.

성능/효과

어순이 자유로운 한국어의 특성으로 인해 구문 분석과 같이 높은 수준의 자연어 처리 정보 없이도 적합 문장을 얻을 수 있었다. 실험 결과에 따르면 제안한 방법은 평균 86.2%의 적합 문장 생성률을 보였다. 향후 연구로는 문장의 완성도를 보다 높일 수 있는 추가 자질에 관한 연구가 필요하며, 말뭉치에 나타나지 않은 단어로부터 문장을 생성하는 모􏰃델 개발이 필요하다.
평가 결과 기저􏰃모델인 바이그램 언어 􏰃모델은 평균 61%의 적합 문장 생성률을 보였고, 화행 자질의 특성을 고려한 언어 모􏰃델은 평균 71.6%, 본 논문에서 제안한 방법은 이보다 높은 평균 86.2%의 적합 문장 생성률을 보였다. 이는 문맥 자질로 사용된 화행 자질과 어절간 연관도 측정을 위한 공기 정보, 그리고 구성 성분 정보가 적합 문장 생성에 긍정적으로 작용했음을 알 수 있다.
한국어 문장의 기본 형식에서 가장 많이 나타나는 주성분은 주어, 목적어, 서술어로 이 세 가지 요소는 문장의 가장 기본이 되는 구성 성분이다[8]. 표 1과 같이 각 성분의 판단은 조사를 이용하여 수행했으며, 학습 코퍼스의 분석 결과 세 가지 성분이 1회 이하로 조합되어 나타난 문장의 비율이 92.42%를 차지했다. 이에 따라 본 논문에서는 어절이 갖는 형태소 정보를 이용하여 후보 문장의 문장 구성 요소를 확인하고, 그림 2의 예와 같이 각 성분이 2회 이상으로 조합되어 나타나는 후보 문장을 제거한다.

후속연구

표 7과 같이 문장 완성도에 대한 개인의 수긍 정도에 차이가 존재하며, 그 결과가 수치상에 나타나는 것으로 보인다. 이는 문장 생성 시스템의 기준이 될 만한 평가 방법이 없기 때문에 발생하는 문제로 향후 연구에서는 더 평가를 위한 명확한 방법이 필요할 것으로 생각된다.
2%의 적합 문장 생성률을 보였다. 향후 연구로는 문장의 완성도를 보다 높일 수 있는 추가 자질에 관한 연구가 필요하며, 말뭉치에 나타나지 않은 단어로부터 문장을 생성하는 모􏰃델 개발이 필요하다.

핵심어	질문	논문에서 추출한 답변
	기존의 채팅 시스템에 관한 연구로는 무엇이 있는가?	기존의 채팅 시스템에 관한 연구로는 패턴 매칭(pattern matching) 방법, 마르코프 모델(Markov model), 유전 알고리즘(genetic algorithm) 등이 있다. 패턴 매칭을 이��용한 채팅 시스템은 일반적으로 실제 사��자가 입력한 문장을 이해하고 응답하는 것이 아니라 입력 문장과 규칙의 비교를 통해 데이터베이스에 저장된 알맞은 응답을 찾아내는 방법으로 입력 문장과 응답 문장으로 이루어진 테이블을 사용��한다.
	본 논문에서 화행과 핵심어는 무엇과 무엇으로 결정되어 있다고 가정하는가?	인간의 대화에서 문장은 대화의 상황과 사��용자의 의도에 따라 결정되며, 채팅 시스템에서는 문맥 자질과 문장 자질을 통해 이러한 현상을 구현한다. 그러므로 본 논문에서는 화행과 핵심어가 문맥 자질과 문장 자질로 결정되어 있다고 가정한다[7]. 본 논문에서는 사��자의 의도에 적합한 응답 문장의 유형을 결정하는 문맥 자질로 화행을, 대화의 흐름을 유지하는 문장 자질로 핵심어를 사��한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

복합 자질 정보를 이용한 통계적 한국어 채팅 문장 생성
Statistical Generation of Korean Chatting Sentences Using Multiple Feature Information 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

저자의 다른 논문 :

연구과제 타임라인

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

복합 자질 정보를 이용한 통계적 한국어 채팅 문장 생성 Statistical Generation of Korean Chatting Sentences Using Multiple Feature Information 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

저자의 다른 논문 :

김학수 (35)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

복합 자질 정보를 이용한 통계적 한국어 채팅 문장 생성
Statistical Generation of Korean Chatting Sentences Using Multiple Feature Information 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper