선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이로써 사용자가 한 발화에 대하여 명사, 동사, 형용사, 조사 등 품사 정보를 알 수 있다. 따라서 본 논문에서 제안한 모델에 발화 단위 형태소 분석 결과를 입력으로 한다.
- 본 논문에서는 심층학습 기반의 모델인 CNN과 RNN(Recurrent Neural Networks)을 결합한 화행분석시스템을 제안한다. CNN을 통해 발화 자체의 연속성 정보를 반영하고자 하였으며, RNN은 화자간 상호 작용을 포착하기 위해 적용되었다.
제안 방법
- 본 논문에서는 심층학습 기반의 모델인 CNN과 RNN(Recurrent Neural Networks)을 결합한 화행분석시스템을 제안한다. CNN을 통해 발화 자체의 연속성 정보를 반영하고자 하였으며, RNN은 화자간 상호 작용을 포착하기 위해 적용되었다. 이전 화행 및 발화자 정보를 추가적으로 사용하기 위해 계층구조의 어텐션 매커니즘을 이용한다.
- 하지만 CNN만 사용하여서 화행 분석을 할 경우 이전발화와의 상호작용을 자질로써 사용기에는 한계가 있다[3]. 따라서 발화의 연속성과 화자간 상호작용을 사용하여 화행 분석을 하기위해 CNN에 RNN 결합한 모델을 제안한다.
- 본 논문에서는 이전 연구들을 확장하여 CNN과 RNN 구조를 결합함으로써 발화 단위와 대화 단위의 정보를 모두 활용하였다. 또한 단위 별 정보들을 효과적으로 활용하기 위하여 계층 구조의 어텐션 매커니즘을적용시켰다.
- 본 논문에서는 이전 연구들을 확장하여 CNN과 RNN 구조를 결합함으로써 발화 단위와 대화 단위의 정보를 모두 활용하였다. 또한 단위 별 정보들을 효과적으로 활용하기 위하여 계층 구조의 어텐션 매커니즘을적용시켰다.
대상 데이터
- 5를 사용하였다. RNN cell로는 LSTM cell을 사용하였다. Train은 Epoch 100으로 진행하였으며 early stopping을 이용하였다.
- 본 논문에서는 실험을 위하여 총 31,604개의 발화와 14개의 화행으로 구성되어 있는 호텔 예약 및 일정 관리말뭉치를 사용하였다. 아래 표는 14개의 화행 태그 종류 및 개수를 나타낸다.
- 아래 표는 14개의 화행 태그 종류 및 개수를 나타낸다. 실험 과정 중 학습 데이터로는 20,226개의 발화를 사용하였고, 검증 데이터로는 5,057개의 발화를 사용하였고 평가 데이터로는 6,321개의 발화를 사용하였다.
데이터처리
- Train은 Epoch 100으로 진행하였으며 early stopping을 이용하였다. Mini-batch크기는 128로 실험하였고 모든 실험 성능 평가는 정확도를 이용하였다.
이론/모형
- 실험 환경은 입력 발화 문장을 형태소 단위로 입력하였다. 이 때 동아대학교에서 개발한 형태소분석기[8]를 이용하여 64차원의 워드 임베딩을 사용하였다. CNN의 filter size는 3,4,5로 지정하였고 각 filter 당 feature map 개수는 32개로 지정하였으며 drop-out은 0.
- CNN을 통해 발화 자체의 연속성 정보를 반영하고자 하였으며, RNN은 화자간 상호 작용을 포착하기 위해 적용되었다. 이전 화행 및 발화자 정보를 추가적으로 사용하기 위해 계층구조의 어텐션 매커니즘을 이용한다.
성능/효과
- 4행의 CNN-RNN + 이전 화행 어텐션 모델은 발화단위에서 발화 문장내 단어와 이전 화행과의 어텐션을계산한 결과를 CNN의 입력으로 사용한 것이다. CNN-RNN +이전 화행 모델과 CNN-RNN + 이전 화행 어텐션 모델을 비교하면, 단순히 입력 자질로 이전 화행 정보를 넣어주었을 때 보다 어텐션으로 이전 화행 정보를 반영하였을 때 성능이 더 많이 향상하는 것을 확인 할 수 있었다. 따라서 본 논문에서 제안하는 발화 단위어텐션은 이전 화행 정보를 효과적으로 반영하는 방법이라는 것을 실험적으로 증명하였다.
- CNN-RNN 기반의 화행분석 시스템은 88.48%의 성능을 내었으며, 계층 구조 어텐션 매커니즘을 추가하여 3.24%의 성능 향상을 얻었다. 최종적으로 본 논문에 제안한 화행분석 시스템은 91.
- 이로써 발화자 정보 또한 화행 분석에 의미 있는 정보임을 알 수 있었다. 결과적으로 해당 실험은 계층 구조 어텐션을 통해 발화 단위 정보와 대화 단위정보를 적용하는 것이 화행 분석의 성능을 향상시키는데에 효과적임을 보여준다.
- CNN-RNN +이전 화행 모델과 CNN-RNN + 이전 화행 어텐션 모델을 비교하면, 단순히 입력 자질로 이전 화행 정보를 넣어주었을 때 보다 어텐션으로 이전 화행 정보를 반영하였을 때 성능이 더 많이 향상하는 것을 확인 할 수 있었다. 따라서 본 논문에서 제안하는 발화 단위어텐션은 이전 화행 정보를 효과적으로 반영하는 방법이라는 것을 실험적으로 증명하였다.
- 본 논문은 발화 속 연속성 및 화자간 상호작용을 효과적으로 이용할 수 있는 계층적 어텐션 매커니즘기반 화행 분석 모델을 통하여 성능이 향상됨을 보였다. 또한 이전 화행이 화행 예측에 중요한 정보라는 것을 실험적으로 확인했으며 본 논문에서 제안한 계층구조어텐션으로 적용하였을 때 가장 높은 향상을 보였다. 향후 연구에서는 문맥 정보 외 시간 정보를 처리하는어텐션 매커니즘을 추가하여 연구를 진행할 예정이다.
- 표 3은 이전 화행 어텐션 매커니즘 적용 모델과 계층구조 어텐션 매카니즘 적용 모델(그림 2)의 실험 결과를 나타낸다. 발화자 정보를 이용하는 대화단위 어텐션을추가 하였을 때는 이전 화행 정보만을 사용한 발화단위어텐션 결과보다 1.53%p 향상된 91.72%의 정확도를 보였다. 이로써 발화자 정보 또한 화행 분석에 의미 있는 정보임을 알 수 있었다.
- 본 논문은 발화 속 연속성 및 화자간 상호작용을 효과적으로 이용할 수 있는 계층적 어텐션 매커니즘기반 화행 분석 모델을 통하여 성능이 향상됨을 보였다. 또한 이전 화행이 화행 예측에 중요한 정보라는 것을 실험적으로 확인했으며 본 논문에서 제안한 계층구조어텐션으로 적용하였을 때 가장 높은 향상을 보였다.
- 24%의 성능 향상을 얻었다. 최종적으로 본 논문에 제안한 화행분석 시스템은 91.72% 정확도를 얻었다
- 표 1은 이전 화행 정보를 넣지 않은 SVM, CNN, CNN-RNN 모델 기반의 화행 분석 성능을 비교한 결과이다. 통계기반의 SVM은 심층 학습 기법 CNN보다 3.24%p 높은 84.81%를 보였으며, CNN과 RNN을 결합한 CNN-RNN 모델의 경우 SVM보다 4.03%p 높고 CNN보다 6.91%p 향상된 88.84% 정확도를 보였다. 이는 CNN과 RNN의 결합으로 발화 자체의 연속성과 화자간 상호 작용이 시스템에 반영되었기 때문이다.
- 표 2의 행1~3 모델들은 표1에서 비교한 각 모델에 이전 발화의 화행 정보를 입력 자질에 추가한 것이다. 표 1과 비교하여 보면 모든 모델에서 이전 화행을 추가하였을 때 성능이 향상되었다. 이로써 이전 화행 정보가 화행을 예측하는데 중요한 정보라는 것을 알 수 있었다.
후속연구
- 또한 이전 화행이 화행 예측에 중요한 정보라는 것을 실험적으로 확인했으며 본 논문에서 제안한 계층구조어텐션으로 적용하였을 때 가장 높은 향상을 보였다. 향후 연구에서는 문맥 정보 외 시간 정보를 처리하는어텐션 매커니즘을 추가하여 연구를 진행할 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.