선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 모델 6은 기존 연구 결과로서의 모델 A에 실제 이후 화행을 적용한 것으로, 이후 화행을 정확하게 추정할 수 있다면 현재 화행을 결정하는데 도움이 된다는 사실을 해당 실험결과를 통해 알 수 있었다. 그럼 실제 이후 화행이 아닌 3장에서 제안한 방법을 통하여 추정된 화행들을 상위 순위부터 하나씩 추가해가면서 성능을 평가해보자.
- 본 논문에서는 이러한 직관을 바탕으로 화행의 종류에 따라 그에 알맞은 확률 모델을 단계별로 적용하는화행별 순차 처리 방법을 제시한다. 먼저 기존 연구의 방법론 올 모델A, 모델 A에 이후 발화의 후보 화행을 적용한 것을 모델 B, 그리고 모델 B에 이전 발화의 문장 자질을 적용한 것을 모델 C라고 중卜자.
- 이전 발화에 대한 정보를 화행으로만 한정할 경우 나타날 수 있는 문제점들을 보완하기 위해, 본 논문에서는 이전 발화의 문장 자질을 현재 발화의 화행 결정에 함께 사용함으로써 발화의 다양성을 반영한 화행 결정 모델을 구현하였다. 이전 화행을 결정하는데 사용했던 문장 자질은 잠재적으로 해당 발화의 후보 화행 정보를 포함하고 있으며 발화 자체에 대한 특성을 가지고 있기 때문에 실제 화행 정보와 함께 유용하게 사용할 수 있다.
- 실제 연구 분야에서도 특정도 메인에 한정된 화행 분석은 비교적 높은 성능을 보인 반면, 도메인에 독립적인 화행 분석은 상당히 낮은 성능을 보였다[5-7丄 이는 화행 분석의 한계성을 나타냄과 동시에 이에 대한 더 많은 연구가 요구됨을 뜻한다. 화행의 종류를 결정하는 것도 화행 분석의 성능에 영향음미치지만 도메인에 독립적인 화행을 결정하는 것 또한 대화 처리 분야의 큰 이슈로서 연구되고 있으므로 본 논문에서는 이에 대한 언급을 따로 하지 않겠다[8丄
가설 설정
- 하지만 기존에 연구된 모든 방법론들은 화행을 결정하기 위해 이전 화행과 현재 발화에서 추출할 수 있는 정보만을 사용하였다. 그러므로 본 논문에서는 이전 화행과 현재 발화의 문장 자질올 사용하여 평가한 실험 결과를 기존 연구에 대한 성능으로써 가정하였다.
제안 방법
- 먼저 기존 연구의 방법론 올 모델A, 모델 A에 이후 발화의 후보 화행을 적용한 것을 모델 B, 그리고 모델 B에 이전 발화의 문장 자질을 적용한 것을 모델 C라고 중卜자. 각 모델에 대해서 화행 결정을 위한 학습을 수행한 후, 입력된 발화에 대해서 모델 A를 적용한다. 모델 A를 통해서 'Offer' 나 'Sug既st'로 판단된 발화는 이후 처리를 생략하고 그 외의 화행으로 판단된 발화에 대해서는 모델 B를 적용한다, 보델 통해서 'Introducing-oneself'나 'Opening'으로 판단된 발화는 역시 이후 처리를 생략하고 나머지 화행으로 판단된 발화는 최종적으로 모델 C를 적용한다.
- 97%의 성능을 보였다. 그러나 본 평가 데이타는 그 양이 매우 적은 편이므로 앞에서 소개한 10~fold cross validation방법을 그대로 적용하되 적용할 상위 후보 화행 수는 4개로 설정하고 이후 실험을 수행하도록 하였다.
- 하지만 위 실험은 held-out 데이타를 사용하여 평가한 것이 야니기때문에 이후 실험에서 사용할 후보 화행 수를 결정하는데 이 타로서는 활용할 수 없다. 그러므로 본 논문에서는 전체 실험 데이타의 70%를 학습 데이타로, 20%를 held-out 데이타로, 10%를 평가 데이타로 설정하여 재실험하였다.
- 후보 화행을 추정하는 과정을 자세히 설명하면, 먼저 대화 코퍼스의 형태소 분석 결과와 화자 정보를 추출하여 '화자 변경 정보'를 포함한 '이전 발화의 단어/품사 + '현재 발화의 단어/품사' + '다음 화행으로 이루어진 트라이그램(trigram) 데이타를 만든다. 그리고 각각의 트라이그램 데이타에 대한 카이제곱 통계량을 구하여 순위화한 후, 구하고자 하는 화행의 이전 발화와 현재 발화의 단어/품사 정보와 일치하는 트라이그램 데이타를 통계량이 큰 것부터 선택하여 해당 데이타의 마지막 항목인 다음 화행 정보를 후보 화행으로서 결정한다. 표 3은 대화 코퍼스로부터 추출된 트라이그램 데이타와 카이제곱 통계량의 일부를 기록한 것이다.
- 또한 이전 발화의 화행 정보뿐만 아니라 이전 화행을 결정하는데 사용했던 문장 자질을 현재 발화의 화행 결정에 추가적으로 사용함으로써 이전 발화의 화행 결정을 통해 소실된 정보들의 활용을 최대화하였다. 그리고 화행의 종류에 따라 그에 알맞은 확률 모델을 단계별로 적용하여 최적의 성능음 발휘하도록 하였다.
- 하지만 본 논문에서는 현재 발화 이후의 발화에 대한 후보 화행을 추정하여 이를 현재 발화의 화행을 결정하는데 사용함으로써 기존 연구 결과에 대한 성능 향상을 꾀했다. 또한 이전 발화의 화행 정보뿐만 아니라 이전 화행을 결정하는데 사용했던 문장 자질을 현재 발화의 화행 결정에 추가적으로 사용함으로써 이전 발화의 화행 결정을 통해 소실된 정보들의 활용을 최대화하였다. 그리고 화행의 종류에 따라 그에 알맞은 확률 모델을 단계별로 적용하여 최적의 성능음 발휘하도록 하였다.
- 본 논문에서는 위와 같은 문장 자질과 문맥 자질, 그리고 17개의 화행을 사용하며, 특히 단서 단어에 대해서는 실험에 사용된 대화 코퍼스의 형태소 분석 결과로부터 추출된 단어/품사 정보를 수식 3의 카이제곱 통계량을 사용하여 순위화한 후, 해당 발화에 존재하는 최상위단어/품사 정보를 선택하도록 하였다.
- 대화 에이전트를 구현할 수 있다. 본 논문은 대화 처리 분야에서 중요한 위치를 차지하고 있는 화행분석에 대하여 다루었으며, 현재 발화 이후에 나타날 수 있는 후보 화행들을 추정하고, 이전 발화의 문장 자질을 이전 화행과 함께 사용하며, 화행의 종류에 따라 그에 알맞은 확률 모델을 단계별로 적용함으로써 기존의 연구 방법과 차별화를 둠과 동시에 성능 향상을 꾀했다. 실제로, 제안한 방법을 통해 얻어진 결과는 기존의 결과보다 6.
- 본 방법론은 이전 발화의 화행 정보로부터 얻을 수 없는 희박한 화행 흐름과 대화 패턴 정보를 제공해주거나 이전 화행 정보를 강화해주는 역할을 수행한다. 그러나 이전 화행이 현재 화행을 결정하는데 충분한 정보M 제공할 경우, 또는 유용한 문장 자질 자체가 존재하지 않을 경우에는 기존의 방법과 동일한 성능을 보이거나 오히려 성능 감소를 초래할 수 있다.
- 실험은 앞에서 소개한 각각의 자질 정보가 화행 결정에 어떠한 영향을 미치는지 확인하고 기존의 방법과 제안한 방법에 대한 비교 성능 평가를 수행하기 위해 그림 7과 같은 순서로 진행하였다. 그림 7에서 $는 1번째 발화의 화행을, Fi는 1번째 발화의 문장 자질을, ne 현재 발화 위치를 의미한다.
- 앞에서도 언급했듯이 문장 자질은 기존 연구에서 사용된 문장 형태, 본용언, 보조용언, 시제, 부정형 여부, 단서 단어를 사용하였고, 특히 단서 단어에 대해서는 대화 코퍼스의 형태소 분석 결과에서 추출된 단어/품사 정보와 이에 대웅하는 화행 정보로 이루어진 바이그램을 활용하였다. 즉, 표 4와 같이 바이그램 결과들을 카이제곱 통계량을 통해 순위화한 후, 분석하고자 하는 발화에 존재하는 최상위 단어/품사 정보를 찾아 이에 해당하는 화행 정보를 화행 결정에 참고하도록 하였다.
- 활용하였다. 즉, 표 4와 같이 바이그램 결과들을 카이제곱 통계량을 통해 순위화한 후, 분석하고자 하는 발화에 존재하는 최상위 단어/품사 정보를 찾아 이에 해당하는 화행 정보를 화행 결정에 참고하도록 하였다. 이밖에도 발화간의 화자 변경 정보를 문장 자질과 함께 사용하여 현재 화행을 결정하는데 도움을 주었다.
대상 데이터
- 본 논문에서는 실제 사용자와 항공 예약 전문가 간의 대화 내용을 기록한 SRI ATIS Collectione]의 일부를 번역 및 정제한 코퍼스를 사용한다. SRI ATIS Collectione 컴퓨터와 사람간의 대화'와 '사람과 사람간의 대화'를 비교 분석하기 위해 활용되기도 하였던 대화 스크립트(script) 이다[4].
이론/모형
- 실제 실험은 자바(Java)기반 기계학습 알고리즘 툴인 웨카(Weka)를 활용하여 학습 및 성능 평가를 수행하였다[14]. 그리고 실험 데이타들의 수가 비교적 적은 편이므로 학습 데이타와 평가 데이타를정적으로 분리하지 않고 총 실험 데이타의 10%를 평가데이타로 하고 남은 90%를 학습 데이타로 하여 성능평가를 수행한 후, 같은 방식으로 평가 데이타와 학습데이타를 순차적으로 갱신하여 전체 성능 평가를 수행하는 10-fold cross validation방법을 사용하였다.
- 그림 7에서 $는 1번째 발화의 화행을, Fi는 1번째 발화의 문장 자질을, ne 현재 발화 위치를 의미한다. 본 실험은 문장 자질, 문맥 자질, 후보 화행, 정답 화행 정보를 대화 코퍼스로부터 추출하고 이를 데이타화하여 입력 자질이 많은 경우에도 안정적인 성능을 보이는 SVM(Support Vector Machine)기법을 적용하였다. 실제 실험은 자바(Java)기반 기계학습 알고리즘 툴인 웨카(Weka)를 활용하여 학습 및 성능 평가를 수행하였다[14].
- 본 실험은 문장 자질, 문맥 자질, 후보 화행, 정답 화행 정보를 대화 코퍼스로부터 추출하고 이를 데이타화하여 입력 자질이 많은 경우에도 안정적인 성능을 보이는 SVM(Support Vector Machine)기법을 적용하였다. 실제 실험은 자바(Java)기반 기계학습 알고리즘 툴인 웨카(Weka)를 활용하여 학습 및 성능 평가를 수행하였다[14]. 그리고 실험 데이타들의 수가 비교적 적은 편이므로 학습 데이타와 평가 데이타를정적으로 분리하지 않고 총 실험 데이타의 10%를 평가데이타로 하고 남은 90%를 학습 데이타로 하여 성능평가를 수행한 후, 같은 방식으로 평가 데이타와 학습데이타를 순차적으로 갱신하여 전체 성능 평가를 수행하는 10-fold cross validation방법을 사용하였다.
- 이렇게 정제된 코퍼스는 총 1479개의 발화와 18개의 대화로 구성되어 있으며 각 발화에 대한 문장 자질과 형태소 분석 결과, 그리고 정답 화행이 부여되어있다. 형태소 분석 결과는 포항공과대학교 지식 및 언어공학 연구실에서 개발한 형태소 분석기 (KoMAX 사용하였다. 실험 데이타의 세부 정보는 표 5 와 같다.
성능/효과
- Held-out 데이타를 사용한 결과, 상위 후보 화행 4개를 사용했을 경우에 최적의 성능을 보였다 실제로 평가데이타에 대하여 후보 화행을 사용하지 않았을 경우 93.92%의 성능을 보인 반면, 상위 후보 화행을 4개 사용했을 경우에는 97.97%의 성능을 보였다. 그러나 본 평가 데이타는 그 양이 매우 적은 편이므로 앞에서 소개한 10~fold cross validation방법을 그대로 적용하되 적용할 상위 후보 화행 수는 4개로 설정하고 이후 실험을 수행하도록 하였다.
- 즉, 1개나 2개의 후보 화행을 선택하기보다는 좀 더 많은 후보 화행을 선택하는 것이 성능 향상에 도움이 되며, 특정 양을 초과하여 후보 화행을 선택할 경우 성능에 부정적인 영향을 미친다는 것을 알 수 있었다. 또한 1개의 정확한 이후 화행만을 현재화행 결정에 사용하기보다는 추정돤 여러 후보 화행을 적용하는 것이 효과적임을 알 수 있었다. 하지만 위 실험은 held-out 데이타를 사용하여 평가한 것이 야니기때문에 이후 실험에서 사용할 후보 화행 수를 결정하는데 이 타로서는 활용할 수 없다.
- 여기서 Cl, C2를 현재 발화 이후의 발화에 대한 추정된 화행이라고 할 때 현재 화행으로서 가장 적절할 것은 引이 될 것이다. 또한 본 그림을 통해서 이후 화행을 정확하게 추정하는 것 이외에도 2개 이상의 화행을 추정하는 것이 현재 화행을 결정하는데 보다 도움이 됨을 알 수 있다.
- 화행에 대해서만 좋은 성능을 보였다. 모델 2는 2개의 이전 화행을 사용하여 현재 발화의 화행을 결정하였기 때문에 모델1보다 전반적으로 높은 성능을 보였다. 하지만 대화의 흐름에 의존적인 'Openi臨과 'Closing'만이 끄게 올랐을 뿐 'Correct1, 'Reject', 'Promise', 'Offer'와 같은 문장 자질에도 크게 영향을 받는 화행에 대해서는 효과를 보지 못했다.
- 하지만 대화의 흐름에 의존적인 'Openi臨과 'Closing'만이 끄게 올랐을 뿐 'Correct1, 'Reject', 'Promise', 'Offer'와 같은 문장 자질에도 크게 영향을 받는 화행에 대해서는 효과를 보지 못했다. 모델 3은 현재 문장 자질만을 가지고 성능을 평가한 것으로 이전 화행에 의존적인 '*, Acknowledge ’Response'와 같은 화행을 제외한 나머지 화행에 대해서 비교적 좋은 성능을 보였다. 모델 4는 1개의 이전 화행과 현재 문장 자질을 가지고 성능을 평가하였는데 모델 3보다 매우 높은 성능을 보였으며, 2개의 이전 화행을 현재 문장 자질과 함께 사용한
- 하지만 'Opening'과 'Closing' 같은 대화의 흐름에 보다 의존적인 화행에 대해서는 오히려 성능이 떨어지는 결과를 보였다. 모델 6은 기존 연구 결과로서의 모델 A에 실제 이후 화행을 적용한 것으로, 이후 화행을 정확하게 추정할 수 있다면 현재 화행을 결정하는데 도움이 된다는 사실을 해당 실험결과를 통해 알 수 있었다. 그럼 실제 이후 화행이 아닌 3장에서 제안한 방법을 통하여 추정된 화행들을 상위 순위부터 하나씩 추가해가면서 성능을 평가해보자.
- 모델 7은 실제 이전 화행을 적용했을 때(모델 A) 보다향상된 성능을 가져왔으며 이는 이전 발화의 문장 자질이 이전 화행보다 유용한 정보로 활용될 수 있는 가능성을 보여준다. 물론 이전 화행에 의존적인 'Inlxo-ducing-oneself, 'Opening', 'Acknowledge'와 같은 화행에 대해서는 성능이 감소되는 결과를 보였다.
- 화행을 선택하여 실험에 반영한 것이다. 본 모델은 모델 2보다 향상된 성능을 보였고 특히 기존 모델에서 효과를 보지 못했던 화행인 'Correct', 'Promise', 'Offer' 의 성능이 향상되었다. 하지만 'Opening'과 'Closing' 같은 대화의 흐름에 보다 의존적인 화행에 대해서는 오히려 성능이 떨어지는 결과를 보였다.
- 본 실험결과를 통해 알 수 있듯이, 현재 발화에 대 한화행 결정은 제안한 방법론을 단독으로 적용했을 때보다 두 가지 방법론을 함께 적용했을 경우, 보다 높은 성능을 보였으며 현재 문장 자질에 영향을 많이 받거나 이전 문장 자질 정보가 존재하지 않는 몇몇 화행에 대해서는 성능 하락을 보였다. 모델 D는 이러한 문제점을 보완한 순차 처리 방법을 적용한 것이다.
- 본 논문은 대화 처리 분야에서 중요한 위치를 차지하고 있는 화행분석에 대하여 다루었으며, 현재 발화 이후에 나타날 수 있는 후보 화행들을 추정하고, 이전 발화의 문장 자질을 이전 화행과 함께 사용하며, 화행의 종류에 따라 그에 알맞은 확률 모델을 단계별로 적용함으로써 기존의 연구 방법과 차별화를 둠과 동시에 성능 향상을 꾀했다. 실제로, 제안한 방법을 통해 얻어진 결과는 기존의 결과보다 6.35% 향상된 97.97%의 성능을 보였으며 이는 현재 화행 결정에 대한 이후 화행의 유용성과 다양한 대화 패턴을 나타낼 수 있는 문장 자질의 명확성에 의한 것으로 판단된다. 또한 본 방법론은 언어에 의존적이지 않기 때문에 다른 언어의 화행 분석에도 활용될 수 있을 것이다.
- 모델 D는 이러한 문제점을 보완한 순차 처리 방법을 적용한 것이다. 제안한 방법을 통해 얻어진 최종 성능 평가 결과는 기존의 실험 결과보다 6.35% 향상된 97.97%의 정확도를 보였다.
- 성능을 보였다. 즉, 1개나 2개의 후보 화행을 선택하기보다는 좀 더 많은 후보 화행을 선택하는 것이 성능 향상에 도움이 되며, 특정 양을 초과하여 후보 화행을 선택할 경우 성능에 부정적인 영향을 미친다는 것을 알 수 있었다. 또한 1개의 정확한 이후 화행만을 현재화행 결정에 사용하기보다는 추정돤 여러 후보 화행을 적용하는 것이 효과적임을 알 수 있었다.
- 이러한 성능 향상은 통계 기반 모델을 구현하기 위해 갖추어야 할 기본적인 정보들을 모두 사용하였기 때문임과 동시에, 실험 데이타 자체의 특성 때문이라고 할 수 있겠다. 즉, 본 실험에서 사용된 코퍼스 자체가 항공 예약이라는 특정 도메인에 한정되어있고 비교적 적은 양의 발화로 인해 대화의 흐름 및 각 발화에서 사용된 문장 자질의 양이 한정되어 있어서 이와 같은 높은 성능이 나타난 것으로 판단된다.
- 표 11은 기존의 화행 결정 방법(모델A)과 제안한 방법(모델 B)의 성능을 비교한 것으로 전체 정확도는 3.65% 향상되었고 몇 가지 화행을 제외한 나머지 화행에 대해서도 전반적인 성능 향상을 보였다. 특히 기존의 방법은 'Promise'를 'Infom으로 'Ask-confirm'올 'Askif'로 잘못 판단하는 경우가 대부분이었으나 제안한 방법을 통해서 이를 구분하기 위한 단서를 보다 많이 제공함으로써 각 화행의 성능이 서로 향상되는 결과를 가져올 수 있었다.
- 표 9의 실험결과를 살펴보면 현재 발화의 화행을 결정하기 위해 후보 화행을 추가할 경우 서로 중복될 수 있는 6개 또는 8개의 후보 화행을 선택하였을 때 가장 높은 성능을 보였다. 즉, 1개나 2개의 후보 화행을 선택하기보다는 좀 더 많은 후보 화행을 선택하는 것이 성능 향상에 도움이 되며, 특정 양을 초과하여 후보 화행을 선택할 경우 성능에 부정적인 영향을 미친다는 것을 알 수 있었다.
- 기존의 연구에서는 이전 발화의 화행과 현재 발화의 문장 자질을 사용하여 규칙 기반 및 통계 기반의 연구가 진행되었다. 하지만 본 논문에서는 현재 발화 이후의 발화에 대한 후보 화행을 추정하여 이를 현재 발화의 화행을 결정하는데 사용함으로써 기존 연구 결과에 대한 성능 향상을 꾀했다. 또한 이전 발화의 화행 정보뿐만 아니라 이전 화행을 결정하는데 사용했던 문장 자질을 현재 발화의 화행 결정에 추가적으로 사용함으로써 이전 발화의 화행 결정을 통해 소실된 정보들의 활용을 최대화하였다.
후속연구
- 향후에는 대용량 대화 코퍼스를 사용하여 제시한 방법론의 유용성을 검증하고 이후 화행을 보다 정확하게 추정할 수 있는 방법론이 모색되어야 할 것이다. 그리고 입력된 발화로부터 추출할 수 있는 정보들을 보다 유용하게 활용할 수 있도록 문장 자질의 개선도 수행되어야 할 것이다.
- 하지만 실제 대화에서 현재 발화 이후의 화행을 정확하게 알 수 있는 방법은 없다. 다만 다음 화행으로서 추정되는 상위 후보 화행들을 활용하여 현재 화행을 결정하는데 도움을 줄 수 있을 것이다. 즉, 후보 화행들과 연결이 가장 자연스러운 화행이 현재 화행으로서 가능성이 높다는 것이다,
- 97%의 성능을 보였으며 이는 현재 화행 결정에 대한 이후 화행의 유용성과 다양한 대화 패턴을 나타낼 수 있는 문장 자질의 명확성에 의한 것으로 판단된다. 또한 본 방법론은 언어에 의존적이지 않기 때문에 다른 언어의 화행 분석에도 활용될 수 있을 것이다.
- 것을 보여준다[4]. 실제 연구 분야에서도 특정도 메인에 한정된 화행 분석은 비교적 높은 성능을 보인 반면, 도메인에 독립적인 화행 분석은 상당히 낮은 성능을 보였다[5-7丄 이는 화행 분석의 한계성을 나타냄과 동시에 이에 대한 더 많은 연구가 요구됨을 뜻한다. 화행의 종류를 결정하는 것도 화행 분석의 성능에 영향음미치지만 도메인에 독립적인 화행을 결정하는 것 또한 대화 처리 분야의 큰 이슈로서 연구되고 있으므로 본 논문에서는 이에 대한 언급을 따로 하지 않겠다[8丄
- 있다. 이러한 사실들은 본 논문의 실험결과와 기존 연구의 실험 결과를 직접 비교하는데 있어서 한계점을 가져온다. 하지만 기존에 연구된 모든 방법론들은 화행을 결정하기 위해 이전 화행과 현재 발화에서 추출할 수 있는 정보만을 사용하였다.
- 에이전트의 화행이 'Accept'일 때 이후 사용자의 화행이 'Accept'일 수는없으므로 이러한 사실을 통해 에이전트의 화행이 'Accept'가 아닌 'Offer'라는 것을 알 수 있다. 이럼게현재 발화 이후의 발화에 대한 화행 정보를 알고 있다면 화행을 결정하는데 있어서 본 정보가 유용하게 사욤될 수 있다. 하지만 실제 대화에서 현재 발화 이후의 화행을 정확하게 알 수 있는 방법은 없다.
- 다시 말하면, 한정된 자원으로 인한 대용량 대화 코퍼스에서의 성능 평가를 수행하지 못해 제시한 방법론에 대한 보편적인 효용성을 보일 수 없었다. 향후에는 대용량 대화 코퍼스를 사용하여 제시한 방법론의 유용성을 검증하고 이후 화행을 보다 정확하게 추정할 수 있는 방법론이 모색되어야 할 것이다. 그리고 입력된 발화로부터 추출할 수 있는 정보들을 보다 유용하게 활용할 수 있도록 문장 자질의 개선도 수행되어야 할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.