[논문]Highway BiLSTM-CRFs 모델을 이용한 한국어 의미역 결정

배장성; 이창기; 김현기

Highway BiLSTM-CRFs 모델을 이용한 한국어 의미역 결정
Korean Semantic Role Labeling with Highway BiLSTM-CRFs 원문보기

배장성 (강원대학교) , 이창기 (강원대학교) , 김현기 (한국전자통신연구원)

Long Short-Term Memory Recurrent Neural Network(LSTM RNN)는 순차 데이터 모델링에 적합한 딥러닝 모델이다. Bidirectional LSTM RNN(BiLSTM RNN)은 RNN의 그래디언트 소멸 문제(vanishing gradient problem)를 해결한 LSTM RNN을 입력 데이터의 양 방향에 적용시킨 것으로 입력 열의 모든 정보를 볼 수 있는 장점이 있어 자연어처리를 비롯한 다양한 분야에서 많이 사용되고 있다. Highway Network는 비선형 변환을 거치지 않은 입력 정보를 히든레이어에서 직접 사용할 수 있게 LSTM 유닛에 게이트를 추가한 딥러닝 모델이다. 본 논문에서는 Highway Network를 한국어 의미역 결정에 적용하여 기존 연구 보다 더 높은 성능을 얻을 수 있음을 보인다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 Highway Network를 BiLSTM RNN 모델에 적용하여 문장 전체의 정보를 사용한다. 또한 현재의 의미역 태그를 결정하기 위해 인접한 의미역 태그 정보를 활용하고자 한다. 이를 위해 출력 레이블의 인접성 정보를 바탕으로 현재 레이블을 추측할 수 있는 Conditional Random Field(CRFs)를 이용하여 output layer를 식 (4)와 같이 확장하였다.

제안 방법

실험에 사용한 한국어 word embedding(단어 표현)은word2vector[10]를 이용하여 구한 것을 사용하였다. feature embedding은 랜덤으로 초기화한 값을 사용하였고, 또한 Projection layer와 히든레이어에 Dropout[11]을 적용하였다. 성능 지표는 정확도와 재현율의 조화평균인 F1 지표를 사용하였으며, 본 논문에서 제시하고 있는 성능은 의미역 결정 문제의 논항 인식 및 분류(Argument Identification and Classification)에 해당한다.

대상 데이터

본 논문에서는 Highway BiLSTM-CRFs 모델을 기존 연구와 비교하기 위하여 기존 연구에서 사용한 Korean PropBank[9]를 학습 말뭉치로 사용하였으며, 기존 연구와 동일한 학습데이터, 평가 데이터를 구성하였다. 표 1은 본 논문에서 사용하는 한국어 의미역 결정 자질과 그 예제를 나타낸다.
실험에 사용한 한국어 word embedding(단어 표현)은word2vector[10]를 이용하여 구한 것을 사용하였다. feature embedding은 랜덤으로 초기화한 값을 사용하였고, 또한 Projection layer와 히든레이어에 Dropout[11]을 적용하였다.

이론/모형

Highway BiLSTM-CRFs 모델의 학습을 위해 Stochastic Gradient Descent(SGD)를 이용하여 −log p(y|x) 를 최소화 하였고, BackPropagation Through Time(BPTT) 알고리즘을 이용하였다.
(x,y)는 의미역 태그 열𝑦의 점수이다. log𝑃(y|x)를 구하기 위해 forward 알고리즘을 이용하며, 최적의 태그 열을 구하기 위해 Viterbi search 알고리즘을 적용한다. 그림 4는 Highway BiLSTMCRFs 모델을 나타낸다.
는 비선형 변환을 거치지 않은 정보와 비선형 변환을 거친 정보를 얼마나 사용할지 정하는 역할을 하게 된다. 본 논문에서는 Highway Network를 BiLSTM RNN 모델에 적용하여 문장 전체의 정보를 사용한다. 또한 현재의 의미역 태그를 결정하기 위해 인접한 의미역 태그 정보를 활용하고자 한다.
[7,8]은 비선형 변환을 거친 입력 정보를 사용하는 LSTM RNN 모델에 비선형 변환을 거치지 않은 정보를 사용할 수 있게끔 LSTM 유닛에 게이트를 추가한 딥러닝 모델이다. 본 논문에서는 [7,8]의 모델을 한국어 의미역 결정에 적용한다.
feature embedding은 랜덤으로 초기화한 값을 사용하였고, 또한 Projection layer와 히든레이어에 Dropout[11]을 적용하였다. 성능 지표는 정확도와 재현율의 조화평균인 F1 지표를 사용하였으며, 본 논문에서 제시하고 있는 성능은 의미역 결정 문제의 논항 인식 및 분류(Argument Identification and Classification)에 해당한다. 평가의 단위는 어절 단위이며, Micro average를 사용한다.
또한 현재의 의미역 태그를 결정하기 위해 인접한 의미역 태그 정보를 활용하고자 한다. 이를 위해 출력 레이블의 인접성 정보를 바탕으로 현재 레이블을 추측할 수 있는 Conditional Random Field(CRFs)를 이용하여 output layer를 식 (4)와 같이 확장하였다.

성능/효과

표 2는 모델 별 한국어 의미역 결정 실험 결과이다. BiLSTM-CRFs 모델이 78.17의 성능을 보였고, HighwayBiLSTM-CRFs 모델이 78.84로 BiLSTM-CRFs 모델보다 0.67%더 높은 성능을 보였다. 앞선 두 모델의 성능차이를 통해 비선형 변환을 거치지 않은 입력 정보를 조절 하는 게이트가 성능 향상에 도움이 되는 것으로 유추할 수 있다.
추가적으로 각 모델에 히든레이어를 한 층 더 쌓아 실험을 진행하였는데, 실험 결과 Stacked BiLSTM-CRFs에서는 성능 향상이 있었으나 Stacked Highway BiLSTM-CRFs 모델에서는 경미한 성능 하락이 있었다. 또한 Highway Network와 유사하게 입력 정보를 가중치 연산 없이 히든레이어의 입력으로 사용하는 Residual Network[12]를 BiLSTM-CRFs에 적용하였으나, 실험 결과 가장 낮은 성능을 보였는데 Highway Network와 달리 가중치 연산이 없고, 입력 차원의 크기와 히든레이어의 크기가 같아야 하는 제한으로 인해 단어 정보 및 여러 자질 정보를 사용하는 의미역 결정에는 맞지 않는다고 생각한다.
이를 통해 비선형 변환을 거치지 않은 입력 정보가 한국어 의미역 결정 성능 향상에 도움이 됨을 알 수 있었다. 또한 Residual Network를 적용한 결과 입력 정보를 가중치 없이 히든레이어의 입력으로 사용하는 것이 한국어 의미역 결정의 성능 향상에는 도움이 되지 않는다는 것을 알 수 있었다.
본 논문에서는 BiLSTM-CRFs 모델에 Highway Network를 적용하였고, 한국어 의미역 결정에서 기존 연구보다 좋은 성능을 얻었다. 이를 통해 비선형 변환을 거치지 않은 입력 정보가 한국어 의미역 결정 성능 향상에 도움이 됨을 알 수 있었다.
Highway Network[7,8]는 비선형변환을 거친 정보를 사용하는 LSTM 유닛에 비선형 변환을 거치지 않은 정보를 일부 선택하여 볼 수 있게 설계된 딥러닝 모델이다. 본 논문에서는 Highway Network를 한국어 의미역 결정에 적용하여 기존 연구보다 더 좋은 성능을 나타냄을 보인다.
본 논문에서는 BiLSTM-CRFs 모델에 Highway Network를 적용하였고, 한국어 의미역 결정에서 기존 연구보다 좋은 성능을 얻었다. 이를 통해 비선형 변환을 거치지 않은 입력 정보가 한국어 의미역 결정 성능 향상에 도움이 됨을 알 수 있었다. 또한 Residual Network를 적용한 결과 입력 정보를 가중치 없이 히든레이어의 입력으로 사용하는 것이 한국어 의미역 결정의 성능 향상에는 도움이 되지 않는다는 것을 알 수 있었다.
앞선 두 모델의 성능차이를 통해 비선형 변환을 거치지 않은 입력 정보를 조절 하는 게이트가 성능 향상에 도움이 되는 것으로 유추할 수 있다. 추가적으로 각 모델에 히든레이어를 한 층 더 쌓아 실험을 진행하였는데, 실험 결과 Stacked BiLSTM-CRFs에서는 성능 향상이 있었으나 Stacked Highway BiLSTM-CRFs 모델에서는 경미한 성능 하락이 있었다. 또한 Highway Network와 유사하게 입력 정보를 가중치 연산 없이 히든레이어의 입력으로 사용하는 Residual Network[12]를 BiLSTM-CRFs에 적용하였으나, 실험 결과 가장 낮은 성능을 보였는데 Highway Network와 달리 가중치 연산이 없고, 입력 차원의 크기와 히든레이어의 크기가 같아야 하는 제한으로 인해 단어 정보 및 여러 자질 정보를 사용하는 의미역 결정에는 맞지 않는다고 생각한다.

핵심어

질문

논문에서 추출한 답변

Long Short-Term Memory Recurrent Neural Network는 무엇인가?

Long Short-Term Memory Recurrent Neural Network(LSTM RNN)는 순차 데이터 모델링에 적합한 딥러닝 모델이다. Bidirectional LSTM RNN(BiLSTM RNN)은 RNN의 그래디언트 소멸 문제(vanishing gradient problem)를 해결한 LSTM RNN을 입력 데이터의 양 방향에 적용시킨 것으로 입력 열의 모든 정보를 볼 수 있는 장점이 있어 자연어처리를 비롯한 다양한 분야에서 많이 사용되고 있다.

BiLSTM RNN은 어떤 장점이 있는가?

Long Short-Term Memory Recurrent Neural Network(LSTM RNN)는 순차 데이터 모델링에 적합한 딥러닝 모델이다. Bidirectional LSTM RNN(BiLSTM RNN)은 RNN의 그래디언트 소멸 문제(vanishing gradient problem)를 해결한 LSTM RNN을 입력 데이터의 양 방향에 적용시킨 것으로 입력 열의 모든 정보를 볼 수 있는 장점이 있어 자연어처리를 비롯한 다양한 분야에서 많이 사용되고 있다. Highway Network는 비선형 변환을 거치지 않은 입력 정보를 히든레이어에서 직접 사용할 수 있게 LSTM 유닛에 게이트를 추가한 딥러닝 모델이다.

의미역 결정이 다양한 자연어처리 시스템의 성능 향상을 위한 입력 정보로 사용되는 예로는 무엇이 있는가?

의미역 결정은 각 서술어의 의미와 그 논항들의 의미역을 결정하여 “누가, 무엇을,어떻게, 왜” 등의 의미 관계를 찾아내는 자연어처리의 한 응용이며 정보 추출, 질의 응답과 같은 다양한 자연어처리 시스템의 성능 향상을 위한 입력 정보로 사용될 수 있다. 예를 들어 의미역으로부터 시간 및 공간 정보, 사건의 주체와 같이 문장이 가지는 의미 등을 파악해 질의 응답 시스템이 필요로 하는 정보를 제공할 수 있다. 최근 의미역 결정 연구에는 Recurrent Neural Network(RNN)와 같은 딥러닝 모델을 이용한 연구가 주로 이루어 지고 있다[1,2,3].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Highway BiLSTM-CRFs 모델을 이용한 한국어 의미역 결정
Korean Semantic Role Labeling with Highway BiLSTM-CRFs 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Highway BiLSTM-CRFs 모델을 이용한 한국어 의미역 결정 Korean Semantic Role Labeling with Highway BiLSTM-CRFs 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Highway BiLSTM-CRFs 모델을 이용한 한국어 의미역 결정
Korean Semantic Role Labeling with Highway BiLSTM-CRFs 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper