화행(speech act)이란 화자의 발화를 통해 나타나는 화자의 의도를 가르키며 자연어로 된 발화를 이해하고 이에 대한 응답을 생성하기 위해 중요한 요소이다. 본 논문에서는 한국어 화행 결정의 성능을 높이기 위해 두 단계 방법을 제안한다. 첫 번째 단계는 형태소 분석결과만을 이용하여 추출된 문장자질과 이전 화행을 이용하여 추출된 문맥자질 중 정보량이 높은 자질을 선택하는 단계이다. 이 단계에서는 형태소 분석 시스템을 사용하여 전체 자질을 구성하고 문서분류 분야의 자질 선택에서 높은 성능을 보인 카이제곱 통계량을 이용하여 효과적인 자질 선택한다. 두 번째 단계는 선택된 자질과 신경망을 이용하여 화행을 분석하는 단계이다. 본 논문에서 제시한 방법은 형태소 분석 결과만을 이용하여 자동적으로 화행을 결정할 수 있는 가능성을 제시하였으며 효과적인 자질 선택을 통해 자질의 수를 감소시키고 정보량이 높은 자질을 사용하여 속도와 성능을 향상 시켰다 본 논문은 제안된 시스템을 실제 영역에서 수집되어 전사된 10,285개의 발화와 17개의 화행으로 이루어진 대화 코퍼스에 대해 실험하였다. 본 논문은 이 코퍼스에서 8,349개 발화를 학습 코퍼스로 사용하여, 실험 코퍼스의 1,936개 발화에 대해 1,709개에 대해 정확한 화행을 제시하여, 88.3%의 정확도를 보였다. 이는 자질 선택을 하지 않았을 때 보다 약 8%가 증가된 결과이다.
화행(speech act)이란 화자의 발화를 통해 나타나는 화자의 의도를 가르키며 자연어로 된 발화를 이해하고 이에 대한 응답을 생성하기 위해 중요한 요소이다. 본 논문에서는 한국어 화행 결정의 성능을 높이기 위해 두 단계 방법을 제안한다. 첫 번째 단계는 형태소 분석결과만을 이용하여 추출된 문장자질과 이전 화행을 이용하여 추출된 문맥자질 중 정보량이 높은 자질을 선택하는 단계이다. 이 단계에서는 형태소 분석 시스템을 사용하여 전체 자질을 구성하고 문서분류 분야의 자질 선택에서 높은 성능을 보인 카이제곱 통계량을 이용하여 효과적인 자질 선택한다. 두 번째 단계는 선택된 자질과 신경망을 이용하여 화행을 분석하는 단계이다. 본 논문에서 제시한 방법은 형태소 분석 결과만을 이용하여 자동적으로 화행을 결정할 수 있는 가능성을 제시하였으며 효과적인 자질 선택을 통해 자질의 수를 감소시키고 정보량이 높은 자질을 사용하여 속도와 성능을 향상 시켰다 본 논문은 제안된 시스템을 실제 영역에서 수집되어 전사된 10,285개의 발화와 17개의 화행으로 이루어진 대화 코퍼스에 대해 실험하였다. 본 논문은 이 코퍼스에서 8,349개 발화를 학습 코퍼스로 사용하여, 실험 코퍼스의 1,936개 발화에 대해 1,709개에 대해 정확한 화행을 제시하여, 88.3%의 정확도를 보였다. 이는 자질 선택을 하지 않았을 때 보다 약 8%가 증가된 결과이다.
Speech act is the speaker's intentions indicated through utterances. It is important for understanding natural language dialogues and generating responses. This paper proposes the method of two stage that increases the performance of the korean speech act decision. The first stage is to select featu...
Speech act is the speaker's intentions indicated through utterances. It is important for understanding natural language dialogues and generating responses. This paper proposes the method of two stage that increases the performance of the korean speech act decision. The first stage is to select features from the part of speech results in sentence and from the context that uses previous speech acts. We use x$^2$ statistics(CHI) for selecting features that have showed high performance in text categorization. The second stage is to determine speech act with selected features and Neural Network. The proposed method shows the possibility of automatic speech act decision using only POS results, makes good performance by using the higher informative features and speed up by decreasing the number of features. We tested the system using our proposed method in Korean dialogue corpus transcribed from recording in real fields, and this corpus consists of 10,285 utterances and 17 speech acts. We trained it with 8,349 utterances and have test it with 1,936 utterances, obtained the correct speech act for 1,709 utterances(88.3%). This result is about 8% higher accuracy than without selecting features.
Speech act is the speaker's intentions indicated through utterances. It is important for understanding natural language dialogues and generating responses. This paper proposes the method of two stage that increases the performance of the korean speech act decision. The first stage is to select features from the part of speech results in sentence and from the context that uses previous speech acts. We use x$^2$ statistics(CHI) for selecting features that have showed high performance in text categorization. The second stage is to determine speech act with selected features and Neural Network. The proposed method shows the possibility of automatic speech act decision using only POS results, makes good performance by using the higher informative features and speed up by decreasing the number of features. We tested the system using our proposed method in Korean dialogue corpus transcribed from recording in real fields, and this corpus consists of 10,285 utterances and 17 speech acts. We trained it with 8,349 utterances and have test it with 1,936 utterances, obtained the correct speech act for 1,709 utterances(88.3%). This result is about 8% higher accuracy than without selecting features.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이 실험에는 문맥자질과 문장자질을 위한 각각의 신경망이 사용되었으며, 문장자질에 의해 결정된 화행이 현재 화행으로 문맥자질을 위한 신경망에 입력되어 최종 화행이 결정된다. 본 논문에서는 대량의 문서로부터 204개의 문맥 자질을 추출하였으며, 역시 자질 선택에 따른 시스템 성능 평가를 위해 선택될 자질의 수를 감소시켜가며 실험하였다.
본 논문은 기존의 연구를 바탕으로 한국어에 적합한 자동화된 화행분석 시스템을 제안한다. 본 논문에서 제안하는 시스템은 2단계로 이루어져 있다.
제안 방법
또 본 논문에서는 자질 선택을 이용해 화행 결정에 참여하는 자질의 수를 감소시킴으로서, 시스템의 속도향상과 리소스 사용감소라는 부가적인 장점을 얻었으며, 이런 장점은 상용 시스템에서 필요로 하는 부분이다. 그리고 기존의 한국어 화행분석 연구[4, 5] 에서 사용되던 구문 정보를 사용하지 않고, 형태소 분석 결과만을 이용하여, 학습데이타 작성 시 정답화행을 부여하는 것 이외의 모든 작업을 자동화시킴으로서 기존의 다른 시스템보다 타영역으로 이식성이 좋고 일반적인 화행분석 시스템을 구성하였다.
실험 1은 우선 문장자질만을 이용하여 화행을 결정하여 보았다. 대량의 문서로부터 3, 483개의 문장 자질을 추출하였으며, 자질 선택에 따른 시스템의 성능을 알아보기 위해 선택될 자질의 수를 일정하게 감소시키며 실험하였다. 실험 2는 문장 자질과 문맥 자질을 모두 사용하여 실험하였다.
첫 번째 단계는 대량의 문서에서 추출된 자질로부터 효과적인 자질을 선택하는 단계로, 실제 상용프로그램에 응용될 수 있게 하기 위해 자연어 처리 분야에서 성능이 검증되어진형태소 분석 시스템의 결과인 단어정보와 품사 정보를 자질로 이용하였으며, 자질 선택을 위해서는 문서 분류 분야에서 가장 좋은 성능을 보인 카이제곱 [9] 을 이용하였다. 두 번째 단계는 선택된 자질과 신경망을 이용 한화행 결정 단계로, 선택된 자질의 유용성을 보이기 위해 선택될 자질의 수를 변화 시켜가며 실험하였다.
먼저 본 논문에서는 형태소 분석 시스템 [13] 을 이용해 문장자질을 생성하고, 대화 코퍼스의 각 발화에 부착된 정답 화행을 이용해 문맥 자질을 생성한다. 그리고 자질 선택 시스템을 통해 정보량이 많은 자질들이 선택된다.
본 논문에서는 대화 코퍼스에서 추출된 문장자질과 문맥 자질에 카이제곱 통계량을 부여하여 순위화 한 후상 위 순위의 자질을 선택하였다. [표 1] 은 선택된 문장자질의 예로 대표화행은 자질이 나타난 화행 중 최고의 카이제곱 통계량을 가진 것이다.
결정하였다. 본 논문에서는 선택된 자질 수 만큼으로 이루어진 입력층(input layer)과 17개의 화행으로 이루어진 출력충(output layer)을 가지며, 은닉층(hidden layer)를 가지지 않는 선형 분류기 형태의 신경망을 이용하였으며, 입력층의 각 노드 값은 자질 출현 여부에 따라 “0” 또는 “1”의 값을 주었다. 이 신경망은 식 3과 같은 vanilla backpropagation 알고리즘[16] 을 이용하여 학습되어, 사용자 입력에 대해 화행을 결정한다.
본 논문에서는 선택된 자질과 신경망을 이용하여 화행을 결정하였다. 본 논문에서는 선택된 자질 수 만큼으로 이루어진 입력층(input layer)과 17개의 화행으로 이루어진 출력충(output layer)을 가지며, 은닉층(hidden layer)를 가지지 않는 선형 분류기 형태의 신경망을 이용하였으며, 입력층의 각 노드 값은 자질 출현 여부에 따라 “0” 또는 “1”의 값을 주었다.
본 논문에서는 추출되어지는 모든 자질을 이용하는 것보다 정보량이 많은 자질만을 선택하는 것이 화행 결정 시스템의 정확도를 높일 수 있음을 보였다. 본 논문은 자질 선택의 방법으로 문서분류에서 높은 성능을 보인 카이제곱 통계량은 이용하였고, 자질 선택방법이 효과적임을 증명하기 위해 신경망을 이용한 화행분석시스템올 구성하여, 자질 선택에 따른 시스템의 정확도를 측정하여 좋은 결과를 얻었다. 또 본 논문에서는 자질 선택을 이용해 화행 결정에 참여하는 자질의 수를 감소시킴으로서, 시스템의 속도향상과 리소스 사용감소라는 부가적인 장점을 얻었으며, 이런 장점은 상용 시스템에서 필요로 하는 부분이다.
실험은 두 가지 방법으로 진행된다. 실험 1은 우선 문장자질만을 이용하여 화행을 결정하여 보았다. 대량의 문서로부터 3, 483개의 문장 자질을 추출하였으며, 자질 선택에 따른 시스템의 성능을 알아보기 위해 선택될 자질의 수를 일정하게 감소시키며 실험하였다.
대량의 문서로부터 3, 483개의 문장 자질을 추출하였으며, 자질 선택에 따른 시스템의 성능을 알아보기 위해 선택될 자질의 수를 일정하게 감소시키며 실험하였다. 실험 2는 문장 자질과 문맥 자질을 모두 사용하여 실험하였다. 이 실험에는 문맥자질과 문장자질을 위한 각각의 신경망이 사용되었으며, 문장자질에 의해 결정된 화행이 현재 화행으로 문맥자질을 위한 신경망에 입력되어 최종 화행이 결정된다.
이 연구들은 단어, 명사구 등의 정보와 문장 형태, 주동사, 시제, 부정형 여부, 보조동사로 이루어지는 구문 유형 정보, 발화자 정보, 이전화행 등의 문맥 정보 등을 자질로 이용하고, 기계학습을 통해 화행을 결정하였다. 그러나 이와 같은 기존의 연구 방법은 기계학습의 방법적인 면에 초점을 두고 진행되었는데 화행을 결정하는 데는 학습 방법뿐만 아니라, 학습에서 사용되는 자질을 선택하는 문제도 중요하다.
7, 8, 9]. 이 연구들은 대량의 문서로부터 다량의 단어 자질을 만들어 내고, 이를 상호정보(Mutual Information), 카이제곱 통계량(X’ statistics), IGdnfor mation Gain) 등을 이용해 정보량이 많은 효과적인 자질만을 선택하여, 문서 분류에 이용하였다. 이 방법은 대량의 문서로부터 뽑은 다량의 자질에 비해 선택된 적은 수의 자질만을 학습에 사용할 수 있게 하여 시스템의 속도를 증가시켰고, 또 정보량이 낮은 자질을 제거한 효과적인 자질을 학습에 이용할 수 있게 하여 시스템의 정확도도 증가시켰다.
본 논문에서 제안하는 시스템은 2단계로 이루어져 있다. 첫 번째 단계는 대량의 문서에서 추출된 자질로부터 효과적인 자질을 선택하는 단계로, 실제 상용프로그램에 응용될 수 있게 하기 위해 자연어 처리 분야에서 성능이 검증되어진형태소 분석 시스템의 결과인 단어정보와 품사 정보를 자질로 이용하였으며, 자질 선택을 위해서는 문서 분류 분야에서 가장 좋은 성능을 보인 카이제곱 [9] 을 이용하였다. 두 번째 단계는 선택된 자질과 신경망을 이용 한화행 결정 단계로, 선택된 자질의 유용성을 보이기 위해 선택될 자질의 수를 변화 시켜가며 실험하였다.
대상 데이터
대화 코퍼스는 선행된 한국어 화행분석 시스템들에서 사용된 대화 코퍼스를 이용하였다[4, 5, 14, 151. 이 코퍼스는 호텔, 비행기, 여행 예약에서 실제로 사용된 대화를 녹음후 전사한 것으로 528개 대화, 10, 285개의 발화로 구성되어 있으며, 각 발화에 대해서는 수작업을 통해 정확한 화행이 부여되어 있다, [그림 3]은 사용되어진 대화 코퍼스의 일부분으로 SP는 화자, KS는 한국어발화, SA는 부여된 화행이다.
본 논문은 기존의 연구에서 사용된 실험데이타와 동일한 2.1 절에서 언급된 대량의 코퍼스를 428개 대화, 8, 349 발화로 구성된 학습데이타와 100개의 대화, 1, 936 개의 발화로 구성된 테스트 데이타로 구성하여 사용하였다.
데이터처리
있다. 본 논문에서는 실험을 통해 좋은 성능을 보인 최대 값을 이용하는 방법을 사용하여 각 자질에 카이제곱 통계랑 올 부여하였으며, 각 자질에 부여된 카이제곱 통계량은식2와 같다.
잘 나타낸다. 본 논문에서는 자질과 화행간의 정보량을 측정하기 위해 카이제곱 통계량을 사용하였다. 카이제곱 통계량은 자질 F와 화행 S간의 비독립성을측정하는 것으로 자유도가 1인 카이제곱 분포와 비교될 수 있으며, 식!.
이론/모형
본 논문에서는 선택된 자질 수 만큼으로 이루어진 입력층(input layer)과 17개의 화행으로 이루어진 출력충(output layer)을 가지며, 은닉층(hidden layer)를 가지지 않는 선형 분류기 형태의 신경망을 이용하였으며, 입력층의 각 노드 값은 자질 출현 여부에 따라 “0” 또는 “1”의 값을 주었다. 이 신경망은 식 3과 같은 vanilla backpropagation 알고리즘[16] 을 이용하여 학습되어, 사용자 입력에 대해 화행을 결정한다.
성능/효과
본 논문에서는 학습데이타 실험에서 자질의 수가 딶아질수록 높은 결과를 얻었으나, 비학습 데이타실험에서는 전체 자질올 사용하는 것보다 선택된 자질 (2, 300개)올 사용할 때 더 좋은 성능을 얻올 수 있었다. 그러나 최소자질(200개)보다 적은 수의 자질올 사용하면 시스템의 성능이 급격히 감소함을 볼 수 있었다 이는 모든 자질올 사용하면 시스템이 그 자질에 편향되어 학습되기 때문에 오히려 비학습 데이타 실험 시 시스템의 성능을 저하 시킬 수 있어 정보량이 높은 자질 만올 선택하여 사용하는 것이 시스템 성능을 위해 필수적이며, 시스템의 성능을 위해서는 일정 수의 자질이 꼭 필요함 올 보여주고 있다.
본 논문은 자질 선택의 방법으로 문서분류에서 높은 성능을 보인 카이제곱 통계량은 이용하였고, 자질 선택방법이 효과적임을 증명하기 위해 신경망을 이용한 화행분석시스템올 구성하여, 자질 선택에 따른 시스템의 정확도를 측정하여 좋은 결과를 얻었다. 또 본 논문에서는 자질 선택을 이용해 화행 결정에 참여하는 자질의 수를 감소시킴으로서, 시스템의 속도향상과 리소스 사용감소라는 부가적인 장점을 얻었으며, 이런 장점은 상용 시스템에서 필요로 하는 부분이다. 그리고 기존의 한국어 화행분석 연구[4, 5] 에서 사용되던 구문 정보를 사용하지 않고, 형태소 분석 결과만을 이용하여, 학습데이타 작성 시 정답화행을 부여하는 것 이외의 모든 작업을 자동화시킴으로서 기존의 다른 시스템보다 타영역으로 이식성이 좋고 일반적인 화행분석 시스템을 구성하였다.
그러나 기존의 화행 결정에 대한 연구는 자질의 선택보다는 학습 알고리즘 선택에 초점이 맞추어져 왔다. 본 논문에서는 추출되어지는 모든 자질을 이용하는 것보다 정보량이 많은 자질만을 선택하는 것이 화행 결정 시스템의 정확도를 높일 수 있음을 보였다. 본 논문은 자질 선택의 방법으로 문서분류에서 높은 성능을 보인 카이제곱 통계량은 이용하였고, 자질 선택방법이 효과적임을 증명하기 위해 신경망을 이용한 화행분석시스템올 구성하여, 자질 선택에 따른 시스템의 정확도를 측정하여 좋은 결과를 얻었다.
본 논문에서는 학습데이타 실험에서 자질의 수가 딶아질수록 높은 결과를 얻었으나, 비학습 데이타실험에서는 전체 자질올 사용하는 것보다 선택된 자질 (2, 300개)올 사용할 때 더 좋은 성능을 얻올 수 있었다. 그러나 최소자질(200개)보다 적은 수의 자질올 사용하면 시스템의 성능이 급격히 감소함을 볼 수 있었다 이는 모든 자질올 사용하면 시스템이 그 자질에 편향되어 학습되기 때문에 오히려 비학습 데이타 실험 시 시스템의 성능을 저하 시킬 수 있어 정보량이 높은 자질 만올 선택하여 사용하는 것이 시스템 성능을 위해 필수적이며, 시스템의 성능을 위해서는 일정 수의 자질이 꼭 필요함 올 보여주고 있다.
이 연구들은 대량의 문서로부터 다량의 단어 자질을 만들어 내고, 이를 상호정보(Mutual Information), 카이제곱 통계량(X’ statistics), IGdnfor mation Gain) 등을 이용해 정보량이 많은 효과적인 자질만을 선택하여, 문서 분류에 이용하였다. 이 방법은 대량의 문서로부터 뽑은 다량의 자질에 비해 선택된 적은 수의 자질만을 학습에 사용할 수 있게 하여 시스템의 속도를 증가시켰고, 또 정보량이 낮은 자질을 제거한 효과적인 자질을 학습에 이용할 수 있게 하여 시스템의 정확도도 증가시켰다.
결과이다. 전체 문맥 자질을 사용했을 때 보다, 적절한 문맥자질(40 개)를 사용했을 때 최고의 성능을 얻었으며, 실험 1에서 가장 높은 성능을 보인 2, 300개의 문장자질을 사용할 때 보다 실험 1에서 사용된 300개의 문장자질을 사용하였올 때 높은 성능을 얻었다. 이것은 많은 수의 자질을 사용한 학습이 학습데이타에 편향된 결과(overfitting problem)> 가져와 그것에서 발생할 수 있는 오류를 문맥자질을 사용하여 수정하기 어렵다는 사실에 기인한다.
후속연구
그러나 본 논문에서 제시한 시스템은 여행과 관련된 예약이라는 제한된 영역에서 수행되어, 일반성을 증명하기 위해서는 다른 영역들을 대상으로 한 실험이 필요하다. 또 사용되어진 화행도 기존의 연구에서 정의한 화행을 사용하였는데, 이 화행 중에는 영역에 특화되어진 화행도 존재하여, 보다 일반적인 화행 분석 시스템을 구성하기 위해서는 화행에 대한 개정의가 필요하며, 이를 위해서는 다양한 영역에 대한 대화 코퍼스를 구성 및 분석이 필요하다.
참고문헌 (16)
Lambert, L. and S. Caberry. A Tripatite Plan-Based Model of Dialogue. In Proceedings of ACL , 1991. pp. 47-54
Chu-Carroll, J. and S. Carberry. Response Generation in Collaborative Negotiation. ACL-95, 1995
Kim, jin Ah, et al. A response generation in dialogue system based on dialogue flow diagrams. In Proceedings of NLPHS, 1995
Choi, Won Seug, Jeong-Mi Cho, and Jungyun Seo. Analysis System of Speech Acts and Discourse Structures Using Maximum Entropy Model. In Proceedings of the 37th Annual Meeting of the Association for computational Lin guistics, 1999, pp. 230-237
Lee, Songwook, and Jungyun Seo. Korean Speech Act Analysis Using Decision Tree. In Proceedings of the Conference on Hangul and Korean Language Information Processing, 1999. pp. 377-381
Lweis, D.D. and M. Ringuette, 1994. Comparison of two learning algorims for text categorization. In Proceedings of the Third Annual Symposium on Document Analysis and Information Retrieval (SDAIR'94), 1994
Schutze, H., D.A. Hull, and J.O. Pedersen. A comparison of classifiers and document representations for the routing problem. In 18th Annual international ACM SIGIR conference on Research and Development in Information Retrieval (SIGIR 95), 1995
Wiener, E., J.O. Pedersen and A.S. Weigend. A neural network approach to topic spotting. In Proceedings of the Fourth Annual Symposium on Document Analysis and Information Retrieval (SDAIR'95), 1995
Yang, Yiming and Jan O. Pedersen. A comparative study on Feature selection in text categorization. In proceedings of the 14th Inter national conference on Machine Learning, 1997
Samuel, K., S. Carberry, and K. Vijay-Shanker. Dialogue Act Tagging with Transformation-Based Learning. In Proceddings of the $17^{th}$ International Conference on computational Linguistics and the 36th Annual Meeting of the Association for computational Linguistics, 1998. pp 1150-1156
Samuel, K., S. Carberry, and K. Vijay-Shanker. An Investigation of Transformation-Based Learning in Discourse. Machine Learning: Proceedings of the $15_{th}$ International Conference. 1998
Samuel, K. and S. Carberry and K. Vijay-Shanker. Automatically Selecting Useful Phrases for Dialogue Act Tagging. In Proceedings of the Fourth Conference of the Pacific Association for Computational Linguistics, 1999
Jae-hoon Kim, Jungyun Seo, Gilchang Kim, Estimating Membership Functions in a Fuzzy Network Model for Part-Of-Speech Tagging, Journal of Intelligent and Fuzzy Systems, Vol. 4, pp.309-320, 1996
Lee, Jae-won, Jungyun Seo, Gilchang Kim. A dialogue analysis Model with statistical speech act processing for Dialogue Machine Translation, Proceedings of Spoken Language Translation (Workshop in conjunction with (E)ACL 97, page 10-15, 1997
Lee, Hyunjung, Jae-Won Lee, Jungyun Seo. Speech Act Analysis Model of Korean Utterances for Automatic Dialog Translation, Journal of Korea Information Science Society (B): Software and Applications, 25(10) : 1433-1552, 1998
Rumelhart, D.E. and J.L. McClelland. Parallel Distributed Processing, volume 1. MIT Press. 1986
※ AI-Helper는 부적절한 답변을 할 수 있습니다.