초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문은 형태소 분석 및 품사 태깅을 위해 seq2seq 주의집중 모델을 이용하는 접근 방법에 대하여 기술한다. seq2seq 모델은 인코더와 디코더로 분할되어 있고, 일반적으로 RNN(recurrent neural network)를 기반으로 한다. 형태소 분석 및 품사 태깅을 위해 seq2seq 모델의 학습 단계에서 음절 시퀀스는 인코더의 입력으로, 각 음절에 해당하는 품사 태깅 시퀀스는 디코더의 출력으로 사용된다. 여기서 음절 시퀀스와 품사 태깅 시퀀스의 대응관계는 주의집중(attention) 모델을 통해 접근하게 된다. 본 연구는 사전 정보나 자질 정보와 같은 추가적 리소스를 배제한 end-to-end 접근 방법의 실험 결과를 제시한다. 또한, 디코딩 단계에서 빔(beam) 서치와 같은 추가적 프로세스를 배제하는 접근 방법을 취한다.

본 논문은 형태소 분석 및 품사 태깅을 위해 seq2seq 주의집중 모델을 이용하는 접근 방법에 대하여 기술한다. seq2seq 모델은 인코더와 디코더로 분할되어 있고, 일반적으로 RNN(recurrent neural network)를 기반으로 한다. 형태소 분석 및 품사 태깅을 위해 seq2seq 모델의 학습 단계에서 음절 시퀀스는 인코더의 입력으로, 각 음절에 해당하는 품사 태깅 시퀀스는 디코더의 출력으로 사용된다. 여기서 음절 시퀀스와 품사 태깅 시퀀스의 대응관계는 주의집중(attention) 모델을 통해 접근하게 된다. 본 연구는 사전 정보나 자질 정보와 같은 추가적 리소스를 배제한 end-to-end 접근 방법의 실험 결과를 제시한다. 또한, 디코딩 단계에서 빔(beam) 서치와 같은 추가적 프로세스를 배제하는 접근 방법을 취한다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 본 연구는 사전(dictionary) 정보나 자질 정보와 같은 추가적 리소스를 배제한 end-to-end 접근 방법만을 고려한다. 또한 본 연구는 일반적으로 사용되고 있는 디코딩 단계에서의 빔 (beam) 서치를 배제한 접근 방법을 검토해 본다.
• 본 논문은 사전정보, 자질정보, 디코딩 프로세스를 배제한 상태에서 end-to-end 접근 방법인 seq2seq 주의집중 모델이 형태소 분석 및 태깅에 활용 가능한지 검토해 보았다. 구어체 영역의 경우, 입출력 학습 데이터 작업만으로 쉽게 실 영역에서 활용 가능한 형태소 분석 및태거를 확보할 수 있다고 판단되었다.
• SVM의 특성상 복잡한 자질 구조를 갖고 있고, 학습 데이터 이외의 명사 사전을 이용한 것으로 기술되고 있다. 본 연구는 내부 학습 데이터만을 이용한 접근 방법을 제시하는데, 이는 seq2seq모델에 사전 정보를 결합하는 접근 방법이 쉽지 않다는 데도 기인한다. 해당 문제는 향후 연구과제로 남겨둔다.

제안 방법

• 를 이용하여 구현하였다. RNN은 LSTM으로 구현하였다. 학습 형상은 텐서플로우 제공 예제와 동일하게 하였고, LSTM 레이어의 개수와 모델 사이즈, 시퀀스 사이즈를 변경하여 테스트해 보았다.
• 기호를 제외한 영어 대소문자, 한자 등은 대표 문자로 변환하였다. 각 구성문 장의 길이는 공백을 포함한 음절 시퀀스 50개로 제한하였고, 강제적으로 분할하여 문장을 구성하였다.
• 여기서 음절 시퀀스와 품사 태깅 시퀀스는 서로 독립되어 있는데, 대응관계의 모델링을 위해 주의집중(attention) 모델을 이용한다. 본 연구는 사전(dictionary) 정보나 자질 정보와 같은 추가적 리소스를 배제한 end-to-end 접근 방법만을 고려한다. 또한 본 연구는 일반적으로 사용되고 있는 디코딩 단계에서의 빔 (beam) 서치를 배제한 접근 방법을 검토해 본다.
• 이에 대한 기초연구는 기계번역에 처음 적용되었다[5]. 여기서 입력 문장과 번역 문장의 쌍에 대하여 입력 문장에 대한 LSTM (Long Short-Term Memory) 인코더와 번역 문장에 대한 LSTM 디코더를 학습하는 접근 방법을 제시하였다. 이는 새로운 입력 문장을 인코더를 통해 문장 임베딩을 하고 해당 임베딩 값을 디코더의 입력으로 하여 번역 문장을 생성하는 end-to-end 접근 방법이다.
• 입출력 유형 테스트는 소규모 평가셋으로 진행하였다. 구어체 트위터 형태소 분석 코퍼스를 이용하였는데, 12만 어절로 구성되어 있다.
• RNN은 LSTM으로 구현하였다. 학습 형상은 텐서플로우 제공 예제와 동일하게 하였고, LSTM 레이어의 개수와 모델 사이즈, 시퀀스 사이즈를 변경하여 테스트해 보았다.

대상 데이터

• 구어체 트위터 형태소 분석 코퍼스를 이용하였는데, 12만 어절로 구성되어 있다. 2만 6천 문장의 학습 문장과 2천 9백 문장의 테스트 문장으로 구성되었고, 개발 셋은 학습 문장의 10%로 선택하였다. 표1은 유형별 성능 결과를 기술한다.
• 표2는 실험 결과로 음절단위, 문장단위 기준의 평가를 진행하였다. seq2seq 주의 집중 모델은 3-레이어, 64사이즈의 LSTM으로 인코더, 디코더를 구성하였다. 실험 결과는 기존 연구 결과들 [2][3]의 성능인 세종 평가셋 음절 단위 성능인 98.
• 입출력 유형 테스트는 소규모 평가셋으로 진행하였다. 구어체 트위터 형태소 분석 코퍼스를 이용하였는데, 12만 어절로 구성되어 있다. 2만 6천 문장의 학습 문장과 2천 9백 문장의 테스트 문장으로 구성되었고, 개발 셋은 학습 문장의 10%로 선택하였다.
• 실험 환경은 텐서플로우의 seq2seq 라이브러리¹⁾를 이용하여 구현하였다. RNN은 LSTM으로 구현하였다.
• 첫 번째 평가 셋은 세종 형태소 분석 코퍼스 110만 어절을 워드 분할 형식으로 변환하였고, 총 10만 4천 문장의 학습데이터, 1만1천 문장의 개발데이터, 1만2천 문장의 평가 데이터로 랜덤하게 선택하여 구성하였다. 두 번째 평가셋은 트위터, 이메일, 인터넷 게시판 등에서 추출한 구어체 문장으로 구성된 91만 어절을 워드 분할 형식의 형태소 분석 코퍼스로 변환하였고, 문장 개수는 세종 평가 셋과 유사하게 하였다.

이론/모형

• 본 연구는 신경망에 기반한 seq2seq 학습 알고리즘을 이용한다. 이에 대한 기초연구는 기계번역에 처음 적용되었다[5].
• 최근 관련 연구 동향으로는 음절 단위와 품사 정보를 결합하고 기계학습을 통해 형태소 분석과 품사 태깅을 통합하여 진행하는 접근 방법들이 주로 보고되고 있다[1][2][3]. 본 연구는 음절 기반 형태소 분석 및 품사 태깅을 위해 seq2seq 주의 집중 모델을 이용한다. seq2seq 모델은 인코더과 디코더로 구성되어 있고, 일반적으로 RNN(recurrent neural network)를 기반으로 한다.
• 학습 단계에서 음절 시퀀스를 인코더의 입력으로 하고, 각 음절에 해당하는 품사 태깅 시퀀스는 디코더의 출력으로 진행한다. 여기서 음절 시퀀스와 품사 태깅 시퀀스는 서로 독립되어 있는데, 대응관계의 모델링을 위해 주의집중(attention) 모델을 이용한다. 본 연구는 사전(dictionary) 정보나 자질 정보와 같은 추가적 리소스를 배제한 end-to-end 접근 방법만을 고려한다.

성능/효과

• 구어체 수준의 영역에는 95.77%의 음절 정확도와 문장 정확도 60.7% 수준의 결과를 보였다. 또한 사전 정보와 같은 외부자질을 활용하지 않은 결과라 개선의 여지가 충분한 접근 방법이라 보고, 현 상태에서 후처리를 보완한다면 어느 정도 활용 가능성을 확인할 수 있었다.
• 7% 수준의 결과를 보였다. 또한 사전 정보와 같은 외부자질을 활용하지 않은 결과라 개선의 여지가 충분한 접근 방법이라 보고, 현 상태에서 후처리를 보완한다면 어느 정도 활용 가능성을 확인할 수 있었다.
• 셀사이즈 64, 임베딩 64, 2-레이어 LSTM을 이용한 seq2seq주의 집중 모델을 이용한 결과에서 유형1이 비교적 좋은 결과를 보였다. 여기서 유형2는 디코더에서 생성된 시퀀스에서 스페이스를 배제한 결과이다.
• seq2seq 주의 집중 모델은 3-레이어, 64사이즈의 LSTM으로 인코더, 디코더를 구성하였다. 실험 결과는 기존 연구 결과들 [2][3]의 성능인 세종 평가셋 음절 단위 성능인 98.02% 수준에 못 미치는 결과인 94.32% 를 보였고, 유사한 구조를 지닌 [4]의 문장 단위 평가 60.62%에 비해 부족한 결과인 43.5%를 보였다. 평가셋 자체가 동일하지 않지만 [4]와의 차이점인 디코더 출력 시퀀스에 음절 시퀀스 정보를 포함하고, 이를 이용한 디코더 빔서치 프로세스의 타당성을 확인할 수 있었다.
• 5%를 보였다. 평가셋 자체가 동일하지 않지만 [4]와의 차이점인 디코더 출력 시퀀스에 음절 시퀀스 정보를 포함하고, 이를 이용한 디코더 빔서치 프로세스의 타당성을 확인할 수 있었다.

후속연구

• 구어체 영역의 경우, 입출력 학습 데이터 작업만으로 쉽게 실 영역에서 활용 가능한 형태소 분석 및태거를 확보할 수 있다고 판단되었다. 향후 추가적 작업으로 seq2seq 모델의 인코더 단계나 디코더 단계에서 사전정보와 자질정보 등의 활용 가능한 리소스를 모델에 통합하는 접근 방법 연구 등이 가능하리라 본다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

질의응답

핵심어	질문	논문에서 추출한 답변
seq2seq 모델	seq2seq 모델은 어떻게 분할되어 있는가?	본 논문은 형태소 분석 및 품사 태깅을 위해 seq2seq 주의집중 모델을 이용하는 접근 방법에 대하여 기술한다. seq2seq 모델은 인코더와 디코더로 분할되어 있고, 일반적으로 RNN(recurrent neural network)를 기반으로 한다. 형태소 분석 및 품사 태깅을 위해 seq2seq 모델의 학습 단계에서 음절 시퀀스는 인코더의 입력으로, 각 음절에 해당하는 품사 태깅 시퀀스는 디코더의 출력으로 사용된다.
seq2seq 모델	seq2seq 모델은 일반적으로 무엇을 기반으로 하고 있는가?	본 논문은 형태소 분석 및 품사 태깅을 위해 seq2seq 주의집중 모델을 이용하는 접근 방법에 대하여 기술한다. seq2seq 모델은 인코더와 디코더로 분할되어 있고, 일반적으로 RNN(recurrent neural network)를 기반으로 한다. 형태소 분석 및 품사 태깅을 위해 seq2seq 모델의 학습 단계에서 음절 시퀀스는 인코더의 입력으로, 각 음절에 해당하는 품사 태깅 시퀀스는 디코더의 출력으로 사용된다.
seq2seq 모델	seq2seq 모델의 학습 단계에서 음절 시퀀스와 품사 태깅 시퀀스의 대응관계는 무엇을 통해 접근하게 되는가?	형태소 분석 및 품사 태깅을 위해 seq2seq 모델의 학습 단계에서 음절 시퀀스는 인코더의 입력으로, 각 음절에 해당하는 품사 태깅 시퀀스는 디코더의 출력으로 사용된다. 여기서 음절 시퀀스와 품사 태깅 시퀀스의 대응관계는 주의집중(attention) 모델을 통해 접근하게 된다. 본 연구는 사전 정보나 자질 정보와 같은 추가적 리소스를 배제한 end-to-end 접근 방법의 실험 결과를 제시한다.

질의응답 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기