선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
가설 설정
- 예제 기반 챗봇은 더 유사한 발화를 찾을수록 더 적절한 응답이 될 것이라는 가정을 한다. 따라서 어떠한 기준으로 입력된 사용자 발화와 가장 유사한 예제 발화를 찾을 것인가는 매우 중요한 문제이다.
- 정확률은 테스트 발화에 대해 9만개의 예제 데이터베이스에 유사한 발화가 있다고 가정하며 절대적인 수치보다는 각 방법을 비교하는데 의미가 있다. 유사도 점수는 전체 테스트 쿼리에 대해서 서로 다른 방법들이 얼마나 더 유사한 발화를 찾는가를 평가하기 위한 것으로서 이것 역시 절대적인 수치보다는 각 방법을 비교하는데 의미가 있다.
제안 방법
- 3장에서 제시한 각 자질의 유용성과 SVM Rank[8]를 통한 유사도 학습 방법의 효과를 평가하기 위해 테스트 집합에서 실제 9만개의 예제 데이터베이스를 대상으로 유사 발화를 검색하고 시스템 응답을 생성하여 유사 발화의 정확도와 사용자 만족도(답변 적정도)를 평가하였다. 본 장에서는 먼저 학습 데이터 구축 등 실험 환경에 대해 살펴보고 실험 결과를 소개한 후 이에 대한 분석을 하도록 한다.
- 본 논문에서는 예제 기반 챗봇에서 가장 중요한 기술 중 하나인 유사 발화 검색을 위한 새로운 방법을 제안하였고 제안하는 방법은 발화 간 유사성을 파악하는데 유용한 자질들을 추출하고 기계학습을 이용하여 선별한 자질을 활용한 방법이다.
- 본 연구에서는 이를 위해 최근 정보 검색에서 많이 사용하는 기계학습 기법 중 하나인 랭킹 학습을 이용하였다. 본 연구에서 사용한 SVM 기계 학습은 자동으로 자질 간의 관계를 파악 하여 비슷한 경향성을 가진 자질끼리는 가중치를 배분하여 상대적으로 적은 가중치를 할당해 주고, 경향성이 확연히 다르고 유사함의 여부를 분류하는데 있어 명시적인 자질이라면 높은 가중치를 할당해 준다. 여기에 더하여 랭킹 학습은 단순히 유사 한지 여부보다 매우 유사한 발화 쌍의 자질과 덜 유사한 발화 쌍의 자질 간 차이까지 고려하여 가중치를 결정하기 때문에 가장 유사한 발화를 찾는데 유용한 방법이라고 볼 수 있다.
- 본 연구에서는 3.1장에서 분석한 발화의 어휘적, 의미적 정보를 이용하여 기계 학습에 이용되는 자질을 만든다. 자질은 크게 어휘적 자질(Lexical feature)과 의미적 자질(Semantic feature)로 나눌 수 있다.
- 표 3은 학습 데이터를 만들기 위한 발화 간 유사도 기준과 그 기준에 따른 학습 데이터의 예이다. 본 연구에서는 유사한 정도를 0-2까지 3단계로 태깅(tagging) 하였다.
- 3장에서 제시한 각 자질의 유용성과 SVM Rank[8]를 통한 유사도 학습 방법의 효과를 평가하기 위해 테스트 집합에서 실제 9만개의 예제 데이터베이스를 대상으로 유사 발화를 검색하고 시스템 응답을 생성하여 유사 발화의 정확도와 사용자 만족도(답변 적정도)를 평가하였다. 본 장에서는 먼저 학습 데이터 구축 등 실험 환경에 대해 살펴보고 실험 결과를 소개한 후 이에 대한 분석을 하도록 한다.
- 먼저 대화 예제 데이터베이스의 각 예제는 전처리와 형태소 분석, 키워드 분석, 시제, 문형, 긍부정, 양태, 술어, 논항 등 의미 분석이 미리 수행되어 저장된다. 사용자가 발화를 입력하면 전처리 과정을 거쳐 교정되고, 자연어 분석 모듈은 형태소 분석 및 구문 분석을 수행하고 시제, 긍부정, 양태 등 발화의 의미를 분석한다. 그 다음<사용자 입력 발화, 예제 발화> 쌍에 대해 자질 추출기가 기계 학습에서 사용될 자질 값을 계산한다.
- 응답에 대한 또 다른 평가로서 표 9와 같이 기본적이거나 무의미한 응답 반복(repetition)[9]의 비율을 평가하였다. Word class by Exact는 단어 클래스를 이용한 일반화를 통해 매칭 비율이 향상되어 무의미한 반복이 줄어들긴 하였으나, 대부분 기존 연구에서 사용하는 완전 매칭은 채팅 시스템에서 유사 발화가 반 이상 검색이 안되어서 무의미한 응답을 반복하였다.
- 따라서 비율이 1:1 이 되는 만큼만 부정적인 예를 사용하도록 하였다. 이렇게 구축된 학습 데이터에 자질을 분석하여 추가한 후 기계학습을 통해 자질의 가중치를 결정한다.
- 이러한 N개의 <입력 발화-데이터베이스> 쌍에 대해 사람이 직접 학습 데이터를 구축한다. 평가자는 하나의 발화에 대해 샘플 데이터베이스상의 모든 발화를 대상으로 유사도를 평가한다. 그러면 총 N*M개의 입력발화-예제 발화 유사도 평가 집합이 생성될 수 있지만 생성된 학습 데이터에는 부정적인 예(negative example)가 너무 많으므로 기계학습에 이용하기에는 적당하지 않다.
- 가중치 학습을 위한 학습데이터는 입력 발화와 샘플 데이터베이스 쌍으로 구성되는데 입력 발화는 예제 데이터베이스에 사용되지 않은 발화 10,000개 중 무작위로 160개를 추출하였다. 하나의 입력 발화 당 3,000개로 구성된 샘플 데이터베이스는 실제 9만개의 전체 예제 데이터베이스에서 임의적으로 샘플링 하여 구축하였다. 3.
대상 데이터
- 하나의 입력 발화 당 3,000개로 구성된 샘플 데이터베이스는 실제 9만개의 전체 예제 데이터베이스에서 임의적으로 샘플링 하여 구축하였다. 3.2장에서 설명한 방식을 통해 최종적으로 총 4,851개의 발화 쌍이 학습데이터로 추출되었다.
- 가중치 학습을 위한 학습데이터는 입력 발화와 샘플 데이터베이스 쌍으로 구성되는데 입력 발화는 예제 데이터베이스에 사용되지 않은 발화 10,000개 중 무작위로 160개를 추출하였다. 하나의 입력 발화 당 3,000개로 구성된 샘플 데이터베이스는 실제 9만개의 전체 예제 데이터베이스에서 임의적으로 샘플링 하여 구축하였다.
- 이런 이유로 각 예제 발화와 이에 대한 답변은 서로 적절한 질문과 응답쌍이라고 가정한다. 전체 데이터 크기는 동일한 예제를 제외한 91,128개로 구성되어 있다.
데이터처리
- 평가 데이터는 예제 데이터베이스에 사용되지 않은 발화 10,000개 중 무작위로 추출한 150개 테스트 발화에 대해 학습한 가중치를 기반으로 검색한 유사 발화와 답변을 앞서 3.2장의 유사도 기준과 [9]의 사용자 만족도 기준에 따라 3명의 실제 사용자가 평가하여 평균값을 측정하였다.
이론/모형
- 예제 기반 챗봇의 특성 상 예제 데이터베이스의 모든 발화 중 사용자 입력 발화에 대해 가장 유사한 1개를 찾아 이에 대한 답변을 내주므로 유사한가 아닌가를 분류하기 보다는 유사한 발화들끼리도 어떤 발화가 더 유사한지 판별하는 것이 중요하다. 그래서 표-3과 같이 유사한 발화 쌍들끼리도 2점, 1점이라는 유사한 정도를 나눔으로써 발화 간 랭크를 정하고 이를 기준으로 서로 짝지어 랭킹 학습하는 Pairwise Rank 방식을 이용한다.
- 편집거리는 정규화된 편집거리(normalized edit distance)[5] 계산 방법을 사용하여 발화 간 어휘적으로 얼마나 유사한지 비교할 수 있다. 마지막으로 의미적 거리를 고려한 편집거리에서 의미적 거리는 품사가 일반 명사(NNG)와 고유 명사(NNP)인 형태소에 대해서만 한글 워드넷[7]을 이용하여 [6]의 방법에 따라 계산한다.
- 본 연구에서 사용한 기계학습 방법은 랭킹 학습 기법이다. 예제 기반 챗봇의 특성 상 예제 데이터베이스의 모든 발화 중 사용자 입력 발화에 대해 가장 유사한 1개를 찾아 이에 대한 답변을 내주므로 유사한가 아닌가를 분류하기 보다는 유사한 발화들끼리도 어떤 발화가 더 유사한지 판별하는 것이 중요하다.
- 본 연구에서는 이를 위해 최근 정보 검색에서 많이 사용하는 기계학습 기법 중 하나인 랭킹 학습을 이용하였다. 본 연구에서 사용한 SVM 기계 학습은 자동으로 자질 간의 관계를 파악 하여 비슷한 경향성을 가진 자질끼리는 가중치를 배분하여 상대적으로 적은 가중치를 할당해 주고, 경향성이 확연히 다르고 유사함의 여부를 분류하는데 있어 명시적인 자질이라면 높은 가중치를 할당해 준다.
- 품사 별 키워드 매칭 비율 방법은 품사 간 매칭된 형태소의 개수에서 전체 형태소 개수만큼 나누어 정규화 함으로써 얼마나 서로 매칭되는지 비교할 수 있다. 편집거리는 정규화된 편집거리(normalized edit distance)[5] 계산 방법을 사용하여 발화 간 어휘적으로 얼마나 유사한지 비교할 수 있다. 마지막으로 의미적 거리를 고려한 편집거리에서 의미적 거리는 품사가 일반 명사(NNG)와 고유 명사(NNP)인 형태소에 대해서만 한글 워드넷[7]을 이용하여 [6]의 방법에 따라 계산한다.
성능/효과
- 유사 발화 검색의 기존 연구와 다양한 자질을 사용하는 방법 및 SVM을 통해 학습을 한 경우에 대한 비교 실험 결과는 표 6과 같다. NED by SVM, SEM by SVM, All by SVM을 비교해 볼 때 어휘적 자질 또는 의미적 자질 만을 각각 사용하는 것 보다 의미적, 어휘적 자질을 동시에 고려하는 것이 성능이 좋았다. 어휘적 자질의 가중치가 높게 나타났지만 어휘적 자질로 구별할 수 없는 것을 의미적 자질을 이용함으로써 더 잘 구별할 수 있었으며, 의미적 자질이 동일할 때에는 형태 적 자질이 가장 유사한 것을 찾는데 결정적인 역할을 했다.
- 첫째, 다양한 어휘적, 의미적 자질들을 동시에 고려하고 결합하는데 있어 매우 효과적인 방법이다. 둘째, 발화 간 유사한 정도를 측정함으로써 예제 데이터베이스에 유사한 발화들이 매우 많은 경우 혹은 매우 적은 경우 등 어떠한 상황에서든지 가장 유사한 발화를 선택할 수 있는 분별력을 가지게 된다. 셋째, 예제 데이터베이스의 특성을 자동으로 반영하므로 데이터베이스의 크기와 발화의 분포에 대해 매우 견고한 기준이 된다.
- 어휘적 자질의 가중치가 높게 나타났지만 어휘적 자질로 구별할 수 없는 것을 의미적 자질을 이용함으로써 더 잘 구별할 수 있었으며, 의미적 자질이 동일할 때에는 형태 적 자질이 가장 유사한 것을 찾는데 결정적인 역할을 했다. 또한 Key by Exact, Key + SEM by Exact, Word class by Exact, All by SVM 방법들을 비교해 보면 기존의 완전 매칭이 위험할 수 있음을 알 수 있다. 기존 방법은 한정된 자질에 대해서 모두 매칭이 되거나 하나도 매칭이 안 되는 경우에는 대안을 찾을 수 없었다.
- 실험을 통해 단순히 어휘적인 자질 만이 아니라 다양한 의미적 자질을 동시에 고려하는 것이 유사 발화 검색의 정확도를 향상시킴을 알 수 있었고, 완전 매칭보다는 기계 학습 방법을 이용하여 각 자질에 최적의 가중치를 적용하고 자연스럽게 이완 매칭이 되도록 하는 방식이 정확도 뿐 아니라 예제의 활용도 측면에서 성능 향상이 크다는 것을 알 수 있었다. 또한 이러한 유사 발화 검색의 성능 향상이 응답 성능 향상에 매우 직접적으로 연관된다는 것을 응답 평가를 통해 알 수 있었다.
- 완전 매칭은 유사 발화를 찾지 못하는 경우가 많아 전체적으로 랭킹 학습 방법에 비해 응답 성능도 낮다. 또한 학습 방법을 사용하면서도 의미적, 어휘적 자질을 동시에 고려한 제안하는 방법이 발화 유사도, 답변 적정도 모두 가장 좋은 성능을 보였다. 마지막으로 발화 유사도가 높을수록 사용자 만족도가 높아짐을 볼 수 있는데 앞서 말한 예제 기반 챗봇의 가정이 참임을 알 수 있다.
- 또한 학습 방법을 사용하면서도 의미적, 어휘적 자질을 동시에 고려한 제안하는 방법이 발화 유사도, 답변 적정도 모두 가장 좋은 성능을 보였다. 마지막으로 발화 유사도가 높을수록 사용자 만족도가 높아짐을 볼 수 있는데 앞서 말한 예제 기반 챗봇의 가정이 참임을 알 수 있다.
- 특히 채팅 시스템의 경우 목적 지향적 시스템과 달리 정확한 응답이 아니더라도 대화를 중단하는 것 보다는 가능하면 이어가는 것이 중요하므로 유사 발화 검색에서도 이러한 점이 고려되어야 한다. 셋째, 발화 간 유사도를 측정하는 기준은 보유하고 있는 예제 데이터베이스의 특성이 반영되어야 한다. 만약 데이터 베이스의 크기가 매우 크고 유사한 발화들이 매우 많이 분포하고 있다면 단순화된 패턴 매칭만으로는 분별력이 없어지게 된다.
- 둘째, 발화 간 유사한 정도를 측정함으로써 예제 데이터베이스에 유사한 발화들이 매우 많은 경우 혹은 매우 적은 경우 등 어떠한 상황에서든지 가장 유사한 발화를 선택할 수 있는 분별력을 가지게 된다. 셋째, 예제 데이터베이스의 특성을 자동으로 반영하므로 데이터베이스의 크기와 발화의 분포에 대해 매우 견고한 기준이 된다.
- 실험을 통해 단순히 어휘적인 자질 만이 아니라 다양한 의미적 자질을 동시에 고려하는 것이 유사 발화 검색의 정확도를 향상시킴을 알 수 있었고, 완전 매칭보다는 기계 학습 방법을 이용하여 각 자질에 최적의 가중치를 적용하고 자연스럽게 이완 매칭이 되도록 하는 방식이 정확도 뿐 아니라 예제의 활용도 측면에서 성능 향상이 크다는 것을 알 수 있었다. 또한 이러한 유사 발화 검색의 성능 향상이 응답 성능 향상에 매우 직접적으로 연관된다는 것을 응답 평가를 통해 알 수 있었다.
- NED by SVM, SEM by SVM, All by SVM을 비교해 볼 때 어휘적 자질 또는 의미적 자질 만을 각각 사용하는 것 보다 의미적, 어휘적 자질을 동시에 고려하는 것이 성능이 좋았다. 어휘적 자질의 가중치가 높게 나타났지만 어휘적 자질로 구별할 수 없는 것을 의미적 자질을 이용함으로써 더 잘 구별할 수 있었으며, 의미적 자질이 동일할 때에는 형태 적 자질이 가장 유사한 것을 찾는데 결정적인 역할을 했다. 또한 Key by Exact, Key + SEM by Exact, Word class by Exact, All by SVM 방법들을 비교해 보면 기존의 완전 매칭이 위험할 수 있음을 알 수 있다.
- Word class by Exact는 단어 클래스를 이용한 일반화를 통해 매칭 비율이 향상되어 무의미한 반복이 줄어들긴 하였으나, 대부분 기존 연구에서 사용하는 완전 매칭은 채팅 시스템에서 유사 발화가 반 이상 검색이 안되어서 무의미한 응답을 반복하였다. 제안하는 방법은 이완 매칭(relaxed matching)을 이용해 한정된 양의 데이터베이스 내에서 예제를 최대한 활용하여 모든 사용자 발화에 대해 가능한 답변을 내줌으로써 기존 매칭 방법의 문제점을 해결함을 볼 수 있었다.
후속연구
- 향후에는 사용자 발화와 예제 발화간의 관계 뿐 아니라 답변의 정보까지 고려할 것이다. 또한 기계 학습을 통한 유사도의 임계값을 설정하는 문제 및 검색 속도의 향상을 위한 자동화 방법 등을 연구하여 좀 더 완벽한 챗봇을 개발할 것이다.
- 향후에는 사용자 발화와 예제 발화간의 관계 뿐 아니라 답변의 정보까지 고려할 것이다. 또한 기계 학습을 통한 유사도의 임계값을 설정하는 문제 및 검색 속도의 향상을 위한 자동화 방법 등을 연구하여 좀 더 완벽한 챗봇을 개발할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.