온톨로지 지식 기반 특성치를 활용한 Bidirectional LSTM-CRF 모델의 시퀀스 태깅 성능 향상에 관한 연구 Improving Bidirectional LSTM-CRF model Of Sequence Tagging by using Ontology knowledge based feature원문보기
본 연구는 질의 응답(QA) 시스템에서 사용하는 개체명 인식(NER)의 성능을 향상시키기 위하여 시퀀스 태깅 방법론을 적용한 새로운 방법론을 제안한다. 사용자의 질의를 입력 받아 데이터베이스에 저장된 정답을 추출하기 위해서는 사람의 언어를 컴퓨터가 알아들을 수 있도록 구조화 질의어(SQL)와 같은 데이터베이스의 언어로 전환하는 과정이 필요한데, 개체명 인식은 사용자의 질의에서 데이터베이스에 포함된 클래스나 데이터 명을 식별하는 과정이다. 기존의 데이터베이스에서 질의에 포함된 단어를 검색하여 개체명을 인식하는 방식은 동음이의어와 문장성분 구를 문맥을 고려하여 식별하지 못한다. 다수의 검색 결과가 존재하면 그들 모두를 결과로 반환하기 때문에 질의에 대한 해석이 여러 가지가 나올 수 있고, 계산을 위한 시간복잡도가 커진다. 본 연구에서는 이러한 단점을 극복하기 위해 신경망 기반의 방법론을 사용하여 질의가 가지는 문맥적 의미를 반영함으로써 이러한 문제를 해결하고자 했고 신경망 기반의 방법론의 문제점인 학습되지 않은 단어에 대해서도 문맥을 통해 식별을 하고자 하였다. Sequence Tagging 분야에서 최신 기술인 Bidirectional LSTM-CRF 모델을 도입함으로써 신경망 모델이 가진 단점을 해결하였고, 학습되지 않은 단어에 대해서는 온톨로지 기반 특성치를 활용하여 문맥을 반영한 추론을 사용하였다. 음악 도메인의 온톨로지(Ontology)지식베이스를 대상으로 실험을 진행하고 그 성능을 평가하였다. 본 연구에서 제안한 방법론인 L-Bidirectional LSTM-CRF의 성능을 정확하게 평가하기 위하여 학습에 포함된 단어들뿐만 아니라 학습에 포함되지 않은 단어들도 포함한 질의를 평가에 사용하였다. 그 결과 L-Bidirectional LSTM-CRF 모형을 재학습 시키지 않아도 학습에 포함되지 않은 단어를 포함한 질의에 대한 개체명 인식이 가능함을 확인하였고, 전체적으로 개체명 인식의 성능이 향상됨을 확인할 수 있었다.
본 연구는 질의 응답(QA) 시스템에서 사용하는 개체명 인식(NER)의 성능을 향상시키기 위하여 시퀀스 태깅 방법론을 적용한 새로운 방법론을 제안한다. 사용자의 질의를 입력 받아 데이터베이스에 저장된 정답을 추출하기 위해서는 사람의 언어를 컴퓨터가 알아들을 수 있도록 구조화 질의어(SQL)와 같은 데이터베이스의 언어로 전환하는 과정이 필요한데, 개체명 인식은 사용자의 질의에서 데이터베이스에 포함된 클래스나 데이터 명을 식별하는 과정이다. 기존의 데이터베이스에서 질의에 포함된 단어를 검색하여 개체명을 인식하는 방식은 동음이의어와 문장성분 구를 문맥을 고려하여 식별하지 못한다. 다수의 검색 결과가 존재하면 그들 모두를 결과로 반환하기 때문에 질의에 대한 해석이 여러 가지가 나올 수 있고, 계산을 위한 시간복잡도가 커진다. 본 연구에서는 이러한 단점을 극복하기 위해 신경망 기반의 방법론을 사용하여 질의가 가지는 문맥적 의미를 반영함으로써 이러한 문제를 해결하고자 했고 신경망 기반의 방법론의 문제점인 학습되지 않은 단어에 대해서도 문맥을 통해 식별을 하고자 하였다. Sequence Tagging 분야에서 최신 기술인 Bidirectional LSTM-CRF 모델을 도입함으로써 신경망 모델이 가진 단점을 해결하였고, 학습되지 않은 단어에 대해서는 온톨로지 기반 특성치를 활용하여 문맥을 반영한 추론을 사용하였다. 음악 도메인의 온톨로지(Ontology) 지식베이스를 대상으로 실험을 진행하고 그 성능을 평가하였다. 본 연구에서 제안한 방법론인 L-Bidirectional LSTM-CRF의 성능을 정확하게 평가하기 위하여 학습에 포함된 단어들뿐만 아니라 학습에 포함되지 않은 단어들도 포함한 질의를 평가에 사용하였다. 그 결과 L-Bidirectional LSTM-CRF 모형을 재학습 시키지 않아도 학습에 포함되지 않은 단어를 포함한 질의에 대한 개체명 인식이 가능함을 확인하였고, 전체적으로 개체명 인식의 성능이 향상됨을 확인할 수 있었다.
This paper proposes a methodology applying sequence tagging methodology to improve the performance of NER(Named Entity Recognition) used in QA system. In order to retrieve the correct answers stored in the database, it is necessary to switch the user's query into a language of the database such as S...
This paper proposes a methodology applying sequence tagging methodology to improve the performance of NER(Named Entity Recognition) used in QA system. In order to retrieve the correct answers stored in the database, it is necessary to switch the user's query into a language of the database such as SQL(Structured Query Language). Then, the computer can recognize the language of the user. This is the process of identifying the class or data name contained in the database. The method of retrieving the words contained in the query in the existing database and recognizing the object does not identify the homophone and the word phrases because it does not consider the context of the user's query. If there are multiple search results, all of them are returned as a result, so there can be many interpretations on the query and the time complexity for the calculation becomes large. To overcome these, this study aims to solve this problem by reflecting the contextual meaning of the query using Bidirectional LSTM-CRF. Also we tried to solve the disadvantages of the neural network model which can't identify the untrained words by using ontology knowledge based feature. Experiments were conducted on the ontology knowledge base of music domain and the performance was evaluated. In order to accurately evaluate the performance of the L-Bidirectional LSTM-CRF proposed in this study, we experimented with converting the words included in the learned query into untrained words in order to test whether the words were included in the database but correctly identified the untrained words. As a result, it was possible to recognize objects considering the context and can recognize the untrained words without re-training the L-Bidirectional LSTM-CRF mode, and it is confirmed that the performance of the object recognition as a whole is improved.
This paper proposes a methodology applying sequence tagging methodology to improve the performance of NER(Named Entity Recognition) used in QA system. In order to retrieve the correct answers stored in the database, it is necessary to switch the user's query into a language of the database such as SQL(Structured Query Language). Then, the computer can recognize the language of the user. This is the process of identifying the class or data name contained in the database. The method of retrieving the words contained in the query in the existing database and recognizing the object does not identify the homophone and the word phrases because it does not consider the context of the user's query. If there are multiple search results, all of them are returned as a result, so there can be many interpretations on the query and the time complexity for the calculation becomes large. To overcome these, this study aims to solve this problem by reflecting the contextual meaning of the query using Bidirectional LSTM-CRF. Also we tried to solve the disadvantages of the neural network model which can't identify the untrained words by using ontology knowledge based feature. Experiments were conducted on the ontology knowledge base of music domain and the performance was evaluated. In order to accurately evaluate the performance of the L-Bidirectional LSTM-CRF proposed in this study, we experimented with converting the words included in the learned query into untrained words in order to test whether the words were included in the database but correctly identified the untrained words. As a result, it was possible to recognize objects considering the context and can recognize the untrained words without re-training the L-Bidirectional LSTM-CRF mode, and it is confirmed that the performance of the object recognition as a whole is improved.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
, 2013). 추가적으로 본 논문에서는 학습되지 않은 단어에 대해서는 온톨로지 기반 특성치를 활용하여 신경망 기반 방법론의 문제점을 해결하고자 하였다. 예를 들어 학습되지 않았던 ‘이미자’라는 새로운 단어가 포함된 질의 ‘이미자가 부른 곡 장르는?’에 대해서 ‘이미자’개체가 가수 이름으로 정확히 판별하는 것을 목표로 한다.
제안 방법
2장에서는 신경망 모델을 이용한 개체명 인식과 관련된 연구를 살펴 본다. 또한, CRF모델과 Bidirectional LSTM모델, 그리고 두 모델을 결합한 Bidirectional LSTM-CRF모델을 살펴 본다.
또한, 사용자가 정의한 함수를 변수로 사용할 수 있는 CRF의 특성을 사용하여 데이터의 형태에 맞는 feature를 적용할 수 있었다. 본 연구에서는 새로운 feature로 온톨로지 지식 기반의 특성치를 사용하였다. 그 결과 L-Bidirectional LSTM-CRF 모형을 재학습 시키지 않아도 학습에 포함되지 않은 단어를 포함한 질의에 대한 개체명 인식이 가능함을 확인하였고, 전체적으로 개체명 인식의 성능이 향상됨을 확인할 수 있었다.
학습시키지 않은 단어가 들어올 때를 대비해 온톨로지 기반 특성치로 온톨로지 지식베이스로부터 획득한 개체명 인식 Tag 정보를 Lucene index DB에 저장하였고, 이를 활용한 신경망 모델을 본 연구에서는 새롭게 제안하였다.
대상 데이터
데이터는 SKT 음악 온톨로지를 사용하였다. 총 사용자 질의 문장 수와 토큰 수는 다음[Table 1]과 같다.
실험 데이터는 SKT Music ontology를 사용했다. 식별 Tag는 MusicArtist, Track, Genre,MusicGroup, MusicAlbum, Person, MusicActivity,Country, Instrumental, Organization으로 총 10개를 사용하였고, 식별되지 않는 것은 Other(O)로 표현하였다.
실험 환경은 리눅스(linux)에서 파이선(python) 언어로 Pytorch 라이브러리를 사용하였다. 변수 설정은 Learning rate : 0.
데이터처리
Test는 Viterbi decoding으로 진행하였다. 디코딩 때 나올 output y 시퀀스는 가장 큰 스코어 S값을 갖는다는 것을 고려해 \(y^{*}=\underset{\tilde{y} \in Y_{X}}{\operatorname{argmax}} s(X, \tilde{y})\)를 구하였다.
이론/모형
개체명 인식 방법론의 성능을 평가하는 기준으로 Accuracy와 F1 score를 사용하였다. Accuracy는 전체 결과 중 실제 정답과 같은 판단이 나온 비율을 의미하고, Precision이 실험 결과가 True라고 한 것 중에 실제 True의 비율이며 Recall이 실제 True인 것 중에서 실험 결과도 True라고 한 것의 비율일 때 F1 score는 Precision과 Recall을 기반으로 표현한 것이다.
성능/효과
본 연구에서는 새로운 feature로 온톨로지 지식 기반의 특성치를 사용하였다. 그 결과 L-Bidirectional LSTM-CRF 모형을 재학습 시키지 않아도 학습에 포함되지 않은 단어를 포함한 질의에 대한 개체명 인식이 가능함을 확인하였고, 전체적으로 개체명 인식의 성능이 향상됨을 확인할 수 있었다.
기존 온톨로지에서 인덱스 기반으로 개체명 인식을 하던 방법으로는 문맥을 고려하지 못했던 문제가 있었다. 문맥을 고려한 태깅 연구 중 CRF와 Bidirectional LSTM을 결합한 방법이 데이터 특성상 단어 임베딩(Word Embedding)으로성능향상에 한계가 있고 장기기억 문제를 해결할 수 있지만 최근 입력에 편향될 수 있는 LSTM 기반 모델을 보완하는데 적합하다고 판단하였다. 따라서 실험을 통해서는 동음이의어와 청킹의 경우 문맥을 반영한 Tag 인식이 가능한 것을 확인하였다.
본 연구에서 제안한 L-Bidirectional LSTM-CRF 방법론이 기존 연구 방법에 비해 전반적으로 좋은 성능을 보이나 기존의 Bidirectional LSTM-CRF에 비해 동음이의어를 처리하는 성능이 부족했다. 이는 본 연구의 가설이 학습시킨 질의들이 가지는 개체명의 패턴을 기준으로 모르는 단어의 패턴을 추론할 수 있는 feature를 삽입하는 성질 때문이다.
또한, 문장성분 구를 위해 Tag의 첫 번째 Tag에는 B-를 추가하고, 이 후 Tag에는 I-를추가하여 청킹을 처리하였다. 실험 결과는 이러한 지식기반의 질의에 대해 기존 인덱스를 기반으로 개체명 인식을 하던 방법보다 Bidirectional LSTM-CRF모델이 문맥적 의미를 반영하여 나은 성능을 보였다. 또한, 학습되지 않은 단어가 포함된 질의에 대해서는 새롭게 제안된 모델을 통해 문맥적 의미를 반영한 추론이 가능했다.
전체 Test set에 대한 성능을 평가한 결과[Table 9]로 Base의 정확도는 0.898이 나왔고, Bidirectional LSTM-CRF모델의 정확도가 0.888이 나왔으며 Lucene Tag Feature를 추가한 Bidirectional LSTM-CRF모델의 정확도가 0.909로 더 나은 성능을 보였다.
후속연구
따라서 본 연구에서 제안한 L-Bidirectional LSTM-CRF 방법론을 다양한 분야의 온톨로지 지식베이스에 적용하여 개체명 인식 문제를 해결하는데 활용할 수 있을 것으로 보인다.
Training Data에 많이 포함되어 있을수록 그 가중치가 선형적으로 증가하는 성질을 가지고 있기 때문에 학습시키지 않은 단어의 개체명을 잘 찾을 수 있지만 반대로 더 많이 나온 개체명에 대한 가중치가 다른 개체명을 가지는 동음이의어의 선택을 막는 것을 알 수 있다. 향후 연구에서는 전반적인 성능을 유지하면서 동음이의어도 잘 찾아낼 수 있도록 가중치를 적용하는 방식을 다양화하여 실험해 볼 필요가 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
언어를 임베딩하는 방법에는 무엇이 있는가?
자연어 처리의 기본 과정은 사람의 언어를 기계가 이해할 수 있는 형태로 먼저 전환하는 것인데, 이를 임베딩이라고 한다. 언어를 임베딩하는과정은 크게 세가지로, 서로 다른 단어를 임의의 숫자의 조합으로 표현하는 방식과 문자열을 인식해서 식별하는 방법, 뜻을 가지는 단어 단위로 식별하는 방법이 있다. 문자열을 인식해서 단어를 식별하는 모델은 딕셔너리를 사용하지 않을 수 있고 단어를 임베딩하는 것에 비해 의미 보다는 형태상 유사성을 잘 반영한다(Zhang et al.
Word2vec과 같은 임베딩 모델은 단어를 어떻게 나타내는가?
2016). Word2vec으로 대표되는 단어를 임베딩하는 모델은 단어의 모양이 아닌 문맥 속에서 단어의 의미를 벡터로 표현한다(Mikolov et al..
Bidirectional LSTM의 장점은?
, 2013). 과거와 미래의 정보를 사용하여 단어의 Tag를 예측할 수 있을 뿐만 아니라, 문장 내의 Tag 시퀀스 정보도 고려할 수 있다. Bidirectional LSTM의 구조는 다음의 [Figure 3]과 같다.
참고문헌 (12)
HUANG, Zhiheng; XU, Wei; YU, Kai. "Bidirectional LSTM-CRF Models for Sequence Tagging." Named entity recognition with bidirectional LSTM-CNNs. arXiv preprint arXiv:1511.08308, 2015.
LAMPLE, Guillaume, et al. "Neural Architectures for Named Entity Recognition." Neural architectures for named entity recognition. arXiv preprint arXiv:1603.01360, 2016.
MIKOLOV, Tomas, et al. "Efficient estimation of word representations in vector space." arXiv preprint arXiv:1301.3781, 2013.
KIM, Yoon, et al. "Character-aware neural language models." arXiv preprint arXiv:1508.06615, 2015.
ZHOU, Jie; XU, Wei. "End-to-end learning of semantic role labeling using recurrent neural networks." In: ACL (1). 2015. p. 1127-1137.
GRAVES, Alex; MOHAMED, Abdel-rahman; HINTON, Geoffrey. "Speech recognition with deep recurrent neural networks." In: Acoustics, speech and signal processing (icassp), 2013 ieee international conference on. IEEE, 2013. p. 6645-6649.
GRAVES, Alex; SCHMIDHUBER, Jurgen. "Framewise phoneme classification with bidirectional LSTM and other neural network architectures." Neural Networks, 2005, 18.5: 602-610.
LING, Wang, et al. "Finding Function in Form: Compositional Character Models for Open Vocabulary Word Representation." In: Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. 2015. p. 1520-1530.
LAFFERTY, John; MCCALLUM, Andrew; PEREIRA, Fernando CN. "Conditional random fields: Probabilistic models for segmenting and labeling sequence data". Proceedings of ICML. 2001.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.