선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 발화 주제 다중 분류 task를 CNN(Convolutional Neural Network)을 이용하여 수행하여 보고, 발화 주제 분류 task를 수행할 때 multi-label task를 다루기 위한 방법론과 cost function에 따른 성능을 비교한다.
- 본 연구에서는 multi-label classification task에 적합한 방법과, 해당 방법과 함께 사용하였을 때 우수한 성능을 보이는 cost function을 확인하기 위하여, Convolutional Neural Network를 사용하였다.
제안 방법
- Cluster 방법론을 사용한 모델을 평가할 때에는 각 cluster이 나타내는 발화주제들로 모두 치환하여 평가하였다. 가령 “아이유 노래 틀어줘”라는 발화를 $media로 분류하였을 때 해당 결과를 music, radio, news, control, audioclip, broadcast로 치환하여, 소개한 지표들로 평가하였다.
- 입력 문장을 음절 단위로 나누고, 각 음절에 해당하는 품사 정보를 합쳐 하나의 token으로 사용하였다. Neural network의 입력으로는 token을 기준으로 별도의 pretraining을 수행하지 않은 100 차원의 word embedding과, Naver DB를 조회하여 얻은 type 정보를 16차원으로 embedding 하여 사용하였다. 데이터를 전 처리하였을 때 총 10회 미만으로 등장한 word token과, feature label 은 unknown word로 치환하여 학습하였으며, 사용한 word token들의 사전 크기는 3274, feature label의 개수는 3313종이다.
- Multi-label 방법과 cluster 방법에 대해 앞서 설명한 cost function들을 적용하여 실험하였다. Sigmoid-CE, MSE을 이용해서 양쪽 방법론의 성능을 측정하나, softmax-CE는 multi-label 방법에서는 사용할 수 없는 cost이므로 (3.2 cost function) Cluster 방법에 대해서만 성능을 측정하였다. 사용한 convolution layer의 window size는 각각 3, 4, 5 로 하였고, 각 convolution layer 의 filter 개수는 표3에 명시한 대로 64개와 128 개씩 두어 평가하였다.
- 이때 하나의 발화에 대하여, 각 주제가 모두 일치할 경우에만 정답과 일치한다고 평가한 지표를, 표 3에 exact match 로 나타내었고, 한 발화에 대하여, 정답 주제들과, 예측 주제들을 xor 연산하여 합한 값을 전체 주제의 개수로 나누어 오류 비율을 나타낸 hamming error를 표3에서 Hamming으로 나타내었다. precision, recall, F1은 모두 macro 형식으로 측정하였다. 표3에서 epoch는 모델의 cost가 수렴하여 학습을 종료한 epoch을 의미한다.
- 가령 “아이유 노래 틀어줘”라는 발화를 $media로 분류하였을 때 해당 결과를 music, radio, news, control, audioclip, broadcast로 치환하여, 소개한 지표들로 평가하였다.
- 본 연구에서는 총 세가지 cost function을 비교하여 보았다. Cross entropy cost function은 multi-class classification에 주로 쓰이는 함수로 다음 그림2의 수식으로 나타낼 수 있다.
- 2 cost function) Cluster 방법에 대해서만 성능을 측정하였다. 사용한 convolution layer의 window size는 각각 3, 4, 5 로 하였고, 각 convolution layer 의 filter 개수는 표3에 명시한 대로 64개와 128 개씩 두어 평가하였다. CNN layer 출력에 0.
- 시스템을 평가할 때에는 cluster 방법론을 사용하여 예측하더라도, 해당 cluster에 포함된 각 주제로 분리하여 평가하였다. 이때 하나의 발화에 대하여, 각 주제가 모두 일치할 경우에만 정답과 일치한다고 평가한 지표를, 표 3에 exact match 로 나타내었고, 한 발화에 대하여, 정답 주제들과, 예측 주제들을 xor 연산하여 합한 값을 전체 주제의 개수로 나누어 오류 비율을 나타낸 hamming error를 표3에서 Hamming으로 나타내었다.
- $local은 local과 transportation을 동시에 표현한 cluster, $temp는 control과 weather, $cycletime은 alarm, control, reminder, memo, $domestic은 sport, news, transportation, local, weather 발화 주제를 함께 나타내는 cluster이다. 실험에 사용된 cluster들은 말뭉치 제작 단계에서 발견한 실생활에 사용할 수 있다 판단한 발화들을 기준으로, 조합 가능한 다중 발화 주제를 산정하여 만들었다.
- 연구에 사용된 모델은 [3]에서 소개된 모델을 기반으로 하여 입력으로 추가적인 입력을 사용할 수 있도록 그림1과 같이 수정한 모델로, 2개의 projection layer를 이용하여, 두 종류의 토큰을 입력으로 사용한다. 하나는 lexicon이며 음절을 그대로 사용할 경우 음절 자체가 갖는 중의성을 줄이기 위하여, 음절 단위로 품사를 부착한 lexicon을 사용하였고, 다른 하나는 형태소 단위로 사전을 조회하여 얻은 type 정보를 첫번째 입력과 align 하고 BIO tag를 추가하여 만든 feature이다[4].
- 입력 받은 문장의 품사를 분석하여 “알/PROPER”과 같이 각 음절에 “/”을 경계로 부착한 다. 음절과 품사가 부착된 형태의 token을 one-hot representation으로 하여 projection한다. 입력 문장을 각 DB에 조회하면, “알루미늄=[singer, song, metal]”, “루미=[singer]”, “미=[singer]”,“틀=[singer, song]”, “어=[song]”를 확인할 수 있다.
- 입력 문장을 음절 단위로 나누고, 각 음절에 해당하는 품사 정보를 합쳐 하나의 token으로 사용하였다. Neural network의 입력으로는 token을 기준으로 별도의 pretraining을 수행하지 않은 100 차원의 word embedding과, Naver DB를 조회하여 얻은 type 정보를 16차원으로 embedding 하여 사용하였다.
대상 데이터
- Neural network의 입력으로는 token을 기준으로 별도의 pretraining을 수행하지 않은 100 차원의 word embedding과, Naver DB를 조회하여 얻은 type 정보를 16차원으로 embedding 하여 사용하였다. 데이터를 전 처리하였을 때 총 10회 미만으로 등장한 word token과, feature label 은 unknown word로 치환하여 학습하였으며, 사용한 word token들의 사전 크기는 3274, feature label의 개수는 3313종이다.
- 본 연구에서 사용한 말뭉치는 사내에서 다수의 연구원이 구축한 구어체의 발화 말뭉치로, 각 발화에 대해 적절한 도메인이 모두 기록되어 있는 multi-labeled 말뭉치이다. 총 14개의 도메인에 대해 33032 발화로 이루어져 있고, domain 별 발화의 개수는 다음 표1과 같다.
- 또한 batch size를 64로 고정하고, adam[5] 알고리즘을 이용하여 network를 학습하였으며, validation set을 바탕으로 learning rate decay를 사용하였다. 전체 발화를8:1:1로 나누어 24644발화를 학습에 사용하고, 3219발화를 validation set으로 사용하였으며, 3219발화로 성능을 평가하였다.
데이터처리
- 시스템을 평가할 때에는 cluster 방법론을 사용하여 예측하더라도, 해당 cluster에 포함된 각 주제로 분리하여 평가하였다. 이때 하나의 발화에 대하여, 각 주제가 모두 일치할 경우에만 정답과 일치한다고 평가한 지표를, 표 3에 exact match 로 나타내었고, 한 발화에 대하여, 정답 주제들과, 예측 주제들을 xor 연산하여 합한 값을 전체 주제의 개수로 나누어 오류 비율을 나타낸 hamming error를 표3에서 Hamming으로 나타내었다. precision, recall, F1은 모두 macro 형식으로 측정하였다.
이론/모형
- Multi-label 방법과 cluster 방법에 대해 앞서 설명한 cost function들을 적용하여 실험하였다. Sigmoid-CE, MSE을 이용해서 양쪽 방법론의 성능을 측정하나, softmax-CE는 multi-label 방법에서는 사용할 수 없는 cost이므로 (3.
- 각 cost function을 평가할 때 cluster 방법을 사용한 경우에는 Network의 출력 값을 argmax 하여 사용하였고, multi-label 방법은 threshold(0.5)를 넘긴 출력들만 사용하여 평가하였다.
- 5 확률의 dropout을 주었고, weight decay는 사용하지 않았다. 또한 batch size를 64로 고정하고, adam[5] 알고리즘을 이용하여 network를 학습하였으며, validation set을 바탕으로 learning rate decay를 사용하였다. 전체 발화를8:1:1로 나누어 24644발화를 학습에 사용하고, 3219발화를 validation set으로 사용하였으며, 3219발화로 성능을 평가하였다.
성능/효과
- 실험 결과 전반적으로 multi-label 방법을 사용 하였을 때 큰 성능 하락을 보였다. Cluster 방법을 사용하고, sigmoid를 output layer의 activation 함수로 사용, cross entropy 함수를 cost function으로 사용하였을 때 모든 metric에서 가장 우수한 score를 보였다.
- 실험 결과 전반적으로 multi-label 방법을 사용 하였을 때 큰 성능 하락을 보였다. Cluster 방법을 사용하고, sigmoid를 output layer의 activation 함수로 사용, cross entropy 함수를 cost function으로 사용하였을 때 모든 metric에서 가장 우수한 score를 보였다.
- 실험에서 multi-label 방법과 cluster 방법론 간의 명료한 수준의 성능 차이를 발견하였다. 다만 현실 세계에서 실제로 입력으로 나타날 발화의 주제들이 cluster로 미리 정의되어 있지 않다면, cluster 방법론을 사용한 시스템은, 발화의 주제를 제대로 추론하지 못한다.
후속연구
- 추후 기회가 된다면 모델이 cluster의 계층 관계를 학습할 수 없는 cluster방법론의 문제점을 개선하여, 발화의 주제를 여러 계층에 거처 표현하여 정의하고, 분류하는 방법인 hierarchy[2]를 이용하여 발화 주제 다중 분류 연구를 진행하고자 한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.