[논문]발화 의도 예측 및 슬롯 채우기 복합 처리를 위한 한국어 데이터셋 개발

한승규; 임희석

doi:10.15207/jkcs.2021.12.1.057

초록
AI-Helper

사람의 발화 내용을 이해하도록 하는 언어 인식 시스템은 주로 영어로 연구되어 왔다. 본 논문에서는 시스템과 사용자의 대화 내용을 수집한 말뭉치를 바탕으로 언어 인식 시스템을 훈련시키고 평가할 때 사용할 수 있는 한국어 데이터셋을 개발하고, 관련 통계를 제시한다. 본 데이터셋은 식당 예약이라는 고정된 주제 안에서 사용자의 발화 의도와 슬롯 채우기를 해야 하는 데이터셋이다. 본 데이터셋은 6857개의 한국어 문장으로 이루어져 있으며, 표기된 단어 슬롯의 종류는 총 7개이다. 본 데이터셋에서 표기된 발화의 종류는 총 5개이며, 문장의 발화 내용에 따라 최대 2개까지 동시에 기입되어 있다. 영어권에서 연구된 모델을 본 데이터셋에 적용시켜 본 결과, 발화 의도 추측 정확도는 조금 하락하였고, 슬롯 채우기 F1 점수는 크게 차이나는 모습을 보였다.

Abstract ▼ AI-Helper

Spoken language understanding, which aims to understand utterance as naturally as human would, are mostly focused on English language. In this paper, we construct a Korean language dataset for spoken language understanding, which is based on a conversational corpus between reservation system and its...

Spoken language understanding, which aims to understand utterance as naturally as human would, are mostly focused on English language. In this paper, we construct a Korean language dataset for spoken language understanding, which is based on a conversational corpus between reservation system and its user. The domain of conversation is limited to restaurant reservation. There are 7 types of slot tags and 5 types of intent tags in 6857 sentences. When a model proposed in English-based research is trained with our dataset, intent classification accuracy decreased a little, while slot filling F1 score decreased significantly.

주제어

표/그림 (7)

표 Table 1. Example conversation of original corpus
표 Table 2. Statistics of slot tags in the dataset
표 Table 3. Example of each intent in the dataset
표 Table 4. Example of multi-intent sentence in the dataset
표 Table 5. Statistics of intents in the dataset
그림 Fig. 1. Architecture of model of [11].
표 Table 6. Results of model of [11] in each dataset.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

비해 그 수가 상대적으로 적다. 따라서 본 논문에서는 한국어로도 다양한 자연언어처리 연구를 할 수 있는 기반이 되는 양질의 한국어 데이터셋을 구축하였다. 3 장에서 데이터셋을 구축하기 위해 원본 대화 내역을 수정 보완한 내역과 그 통계를 제시하였다.
이용하여 연구를 해왔다. 본 논문에서는 한국어로 발화 의도 및 슬롯 채우기를 수행할 때 사용할 수 있는 한국어 데이터셋을 제시하였다. 본 데이터셋의 6857개의 문장에는 5가지 발화 의도 중 최대 2개가 부착되었고, 단어별 슬롯의 종류는 7가지 중 하나로 표기되어 있다.

제안 방법

Macro F1은 이를 여러 항 가운데서 분류를 수행하는 모델의 성능 평가에도 사용할 수 있도록 확장한 것이다. F1 점수를 계산할 때 사용되는 정밀도(precision)과 재현율 (recall)을 각 분류 항마다 계산하고, 모든 분류의 정밀도와 재현율의 평균을 이용하여 F1 점수를 계산한다. 평균값을 이용하여 최종 점수를 계산하기 때문에 분류해야 하는 데이터의 분포가 고르지 않더라도 그 차이를 완화할 수 있어 불균형한 데이터셋의.
따라서 본 논문에서는 자체적으로 기준을 설정하여 발화 의도를 다섯 가지 종류로 구분하였고, 이를 각 문장에 표기하였다. 각 의도와 예시를 Table 3.
‘예약 도구’ 라는 태그는 등장 빈도가 적절히 높았고 전화와 앱 등 다양한 도구들이 언급되었지만, 실제로 이 데이터셋을이용하여 서비스를 구축할 경우 예약 도구는 이 서비스 자체가 되므로 표기하는 의미가 없기에 삭제하였다. 따라서 필수 태그 여섯가지(위치, 음식종류, 식당이름, 날짜, 시간, 인원)와, 부가 정보 중 필수 태그와 비율이 가장 비슷했던 가격 정보만을 남기고 나머지 태그는 태그 정보를 삭제한 후 일반 글자로 다시 환원하였다. 처리 후데이터셋 내의 태그 통계 정보를 Table 2.
위에서 구축한 데이터셋을 검증하기 위하여, 발화 의도와 슬롯 채우기를 동시에 수행하는 모델을 찾아 실험을 진행한다. 다양한 모델 중에서 선정한 모델은 관련 연구에서 언급했던 [11]에서 제시한 모델로, Fig.
위 모델은 영어로 학습된 모델이기에 최초 BERT 논문에서 공개했던 사전 학습 모델을 사용한다. 하지만 이것을 그대로 한국어에 적용하기에는 무리가 있으므로 한국어 데이터셋으로 실험할 때는 이를 KoBERT로 대체하여 실험하였다.

대상 데이터

진행한다. 다양한 모델 중에서 선정한 모델은 관련 연구에서 언급했던 [11]에서 제시한 모델로, Fig.1에서 그 구조를 확인할 수 있다. 이 모델은 최근 자연 언어처리에서 표준적인 언어 모델로 자리잡은 BERT를 이용한 것으로, 사전 학습된 BERT에 전이 학습 기법을 이용하여 훈련한다.
본 논문에서는 한국어로 발화 의도 및 슬롯 채우기를 수행할 때 사용할 수 있는 한국어 데이터셋을 제시하였다. 본 데이터셋의 6857개의 문장에는 5가지 발화 의도 중 최대 2개가 부착되었고, 단어별 슬롯의 종류는 7가지 중 하나로 표기되어 있다. 본 논문에서 구축한 데이터셋을 영어로 연구된 모델에 학습시킨 결과, 발화 의도 추측 정확도는 조금 하락하였고 슬롯 채우기 F1 점수는 큰 차이를 보였다.
시스템은 예약을 수행하기 위해 방문하는 날짜와 시간, 방문 인원을 확인한다. 본 말뭉치에는 약 306건의 대화가 기록되어 있고, 문장 수로는 총 10300문장이다.
평가 지표를 사용한다. 예측한 슬롯을 평가하기 위한 평가 지표는 Macro F1이다. 원론적인 F1 점수는 참/ 거짓을 예측하는 모델의 성능을 평가할 때 사용된다.

이론/모형

본 논문에서 만들고자 하는 데이터셋은 [15]의 말뭉치를 바탕으로 한다. 해당 논문에서 수집한 문장들은 가상의 대화형 식당 예약 시스템과 사용자가 대화한 내역을수집한 것이다.
토큰화하는 과정에서 단어가 여러 토큰으로 나뉘었을 경우, 최종적으로 단어 단위에서 슬롯 채우기를 할 때에는 이 토큰들 중 가장 앞 토큰만을 사용하여 결정한다. 원본 모델은 Loss 역전파를 위하여 cross-entropy loss만을 사용하지만, 여기서는 발화 의도가 최대 2개일 수있으므로 발화 의도에 한해서 Binary Cross-entropy를 이용한다. 최종 Joint Loss는 두 Loss의 합으로 한다.
최종 Joint Loss는 두 Loss의 합으로 한다. 위 모델은 영어로 학습된 모델이기에 최초 BERT 논문에서 공개했던 사전 학습 모델을 사용한다. 하지만 이것을 그대로 한국어에 적용하기에는 무리가 있으므로 한국어 데이터셋으로 실험할 때는 이를 KoBERT로 대체하여 실험하였다.
이 모델은 문장을 토큰화 할 때 Sentencepiece를 사용한다. 토큰화하는 과정에서 단어가 여러 토큰으로 나뉘었을 경우, 최종적으로 단어 단위에서 슬롯 채우기를 할 때에는 이 토큰들 중 가장 앞 토큰만을 사용하여 결정한다.

성능/효과

본 데이터셋의 6857개의 문장에는 5가지 발화 의도 중 최대 2개가 부착되었고, 단어별 슬롯의 종류는 7가지 중 하나로 표기되어 있다. 본 논문에서 구축한 데이터셋을 영어로 연구된 모델에 학습시킨 결과, 발화 의도 추측 정확도는 조금 하락하였고 슬롯 채우기 F1 점수는 큰 차이를 보였다. 영어 데이터셋으로 좋은 성능을 낸 모델이 곧바로 한국어 문장에서 좋은 성능을 내지 못하는 만큼 한국어를 잘 처리하기 위한 모델을 따로 설계해야 할 필요가 있고, 이를 위해서는 본 논문에서 제시한 것과 같은 한국어 데이터셋이 필요함을 알 수 있다.
여섯 가지이다. 부착된 태그들을 분석한 결과, 부가정보로 분류된 태그들 대부분이 필수 정보에 비해 등장 빈도가 굉장히 낮았다. 또한, 부가 정보의 경우 날짜나 식당과 같이 같은 분류로 묶이는 서로 다른 내용이 아니라, 하나의 똑같은 대상을 설명하는 다른 방식들이 하나의 태그로 분류되어 있는 경우도 있었다.

후속연구

예정이다. 또한, 이번 연구에서 제시한 한국어 데이터셋을 바탕으로 더 높은 성능의 한국어 발화 이해를 수행하는 모델을 제작하는 것도 계획하고 있다.
본 논문에서 구축한 데이터셋은 구어체 문장에 관한 것으로, 사용자와 대화를 하거나, 사용자의 음성을 인식하여 명령을 처리하는 다양한 시스템에서 그 바탕이 되는 내용 이해를 위한 모델을 학습시킬 때 필요한 것이다.
본 논문에서 구축한 데이터셋을 영어로 연구된 모델에 학습시킨 결과, 발화 의도 추측 정확도는 조금 하락하였고 슬롯 채우기 F1 점수는 큰 차이를 보였다. 영어 데이터셋으로 좋은 성능을 낸 모델이 곧바로 한국어 문장에서 좋은 성능을 내지 못하는 만큼 한국어를 잘 처리하기 위한 모델을 따로 설계해야 할 필요가 있고, 이를 위해서는 본 논문에서 제시한 것과 같은 한국어 데이터셋이 필요함을 알 수 있다.
이번에 구축한 데이터셋은 총 문장수가 타 데이터셋에비해 부족한 측면이 있으므로, 이를 보강하기 위한 추가수집 및 정제를 수행하는 후속 연구를 계속할 예정이다. 또한, 이번 연구에서 제시한 한국어 데이터셋을 바탕으로 더 높은 성능의 한국어 발화 이해를 수행하는 모델을 제작하는 것도 계획하고 있다.

참고문헌 (15)

S. Yu, N. Kulkarni, H. Lee, & J. Kim. (2017). Syllable-level neural language model for agglutinative language. arXiv preprint, arXiv:1708.05515.
Y. Kim. (2014). Convolutional neural networks for sentence classification. arXiv preprint, arXiv:1408.5882.
Z. Zhao & Y. Wu. (2016). Attention-based convolutional neural networks for sentence classification. INTERSPEECH, 705-709.
S. Hochreiter & J. Schmidhuber, (1997). Long short-term memory. Neural computation, 9(8), 1735-1780.

상세보기
K. Yao, B. Peng, Y. Zhang, D. Yu, G. Zweig, & Y. Shi. (2014). Spoken language understanding using long short-term memory neural networks. 2014 IEEE Spoken Language Technology Workshop (SLT), 189-194.
Y. B. Kim, S. Lee, & K. Stratos. (2017). Onenet: Joint domain, intent, slot prediction for spoken language understanding. IEEE Automatic Speech Recognition and Understanding Workshop(ASRU), 547-553.
Z. Huang, W. Xu, and K. Yu. (2015). Bidirectional lstm-crf models for sequence tagging. arXiv preprint, arXiv:1508.01991.
B. Liu & I. Lane. (2016). Attention-based recurrent neural network models for joint intent detection and slot filling. arXiv preprint, arXiv:1609.01454.
J. Devlin, M. W. Chang, K. Lee, & K. Toutanova. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint, arXiv:1810.04805.
A. Vaswani, et al. (2017). Attention is all you need. In Advances in neural information processing systems, 5998-6008.
Q. Chen, Z. Zhuo, & W. Wang. (2019). Bert for joint intent classification and slot filling. arXiv preprint, arXiv:1902.10909.
SKT-Brain. (2019). KoBERT, GitHub[Online], https://github.com/SKTBrain/KoBERT
J. Oh, S. Jo, Y. Lim, & Y.S. Choi. (2018). Improving Utterance Intent Classification via Hierarchical Attention-based Recurrent Neural Network. The Korean Institute of Information Scientists and Engineers, 575-577.
K. Park, S. Na, J. Shin, & Y. Kim. (2019). BERT for Korean Natural Language Processing: Named Entity Tagging, Sentiment Analysis, Dependency Parsing and Semantic Role Labeling. The Korean Institute of Information Scientists and Engineers, 584-586.
A. So, K. Park, & H. Lim. (2018). A study on building korean dialogue corpus for restaurant reservation and recommendation. Annual Conference on Human and Language Technology, 630-632.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

발화 의도 예측 및 슬롯 채우기 복합 처리를 위한 한국어 데이터셋 개발
Development of Korean dataset for joint intent classification and slot filling 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (7)

표/그림 (7)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

발화 의도 예측 및 슬롯 채우기 복합 처리를 위한 한국어 데이터셋 개발 Development of Korean dataset for joint intent classification and slot filling 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (7) 모든 표/그림 보기

표/그림 (7) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

참고문헌 (15)

이 논문을 인용한 문헌

저자의 다른 논문 :

임희석 (82)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

발화 의도 예측 및 슬롯 채우기 복합 처리를 위한 한국어 데이터셋 개발
Development of Korean dataset for joint intent classification and slot filling 원문보기

초록
AI-Helper

표/그림 (7)

표/그림 (7)

AI 본문요약
AI-Helper