[논문]seq2seq 주의집중 모델을 이용한 형태소 분석 및 품사 태깅

정의석; 박전규

seq2seq 주의집중 모델을 이용한 형태소 분석 및 품사 태깅
Word Segmentation and POS tagging using Seq2seq Attention Model 원문보기

정의석 (한국전자통신연구원, 음성처리연구실) , 박전규 (한국전자통신연구원, 음성처리연구실)

본 논문은 형태소 분석 및 품사 태깅을 위해 seq2seq 주의집중 모델을 이용하는 접근 방법에 대하여 기술한다. seq2seq 모델은 인코더와 디코더로 분할되어 있고, 일반적으로 RNN(recurrent neural network)를 기반으로 한다. 형태소 분석 및 품사 태깅을 위해 seq2seq 모델의 학습 단계에서 음절 시퀀스는 인코더의 입력으로, 각 음절에 해당하는 품사 태깅 시퀀스는 디코더의 출력으로 사용된다. 여기서 음절 시퀀스와 품사 태깅 시퀀스의 대응관계는 주의집중(attention) 모델을 통해 접근하게 된다. 본 연구는 사전 정보나 자질 정보와 같은 추가적 리소스를 배제한 end-to-end 접근 방법의 실험 결과를 제시한다. 또한, 디코딩 단계에서 빔(beam) 서치와 같은 추가적 프로세스를 배제하는 접근 방법을 취한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 사전(dictionary) 정보나 자질 정보와 같은 추가적 리소스를 배제한 end-to-end 접근 방법만을 고려한다. 또한 본 연구는 일반적으로 사용되고 있는 디코딩 단계에서의 빔(beam) 서치를 배제한 접근 방법을 검토해 본다.
본 논문은 사전정보, 자질정보, 디코딩 프로세스를 배제한 상태에서 end-to-end 접근 방법인 seq2seq 주의집중 모델이 형태소 분석 및 태깅에 활용 가능한지 검토해보았다. 구어체 영역의 경우, 입출력 학습 데이터 작업만으로 쉽게 실 영역에서 활용 가능한 형태소 분석 및 태거를 확보할 수 있다고 판단 되었다.
SVM의 특성상 복잡한 자질 구조를 갖고 있고, 학습 데이터 이외의 명사 사전을 이용한 것으로 기술 되고 있다. 본 연구는 내부 학습 데이터만을 이용한 접근 방법을 제시하는데, 이는 seq2seq모델에 사전 정보를 결합하는 접근 방법이 쉽지 않다는 데도 기인한다. 해당 문제는 향후 연구과제로 남겨둔다.

제안 방법

를 이용하여 구현하였다. RNN은 LSTM으로 구현하였다. 학습 형상은 텐서플로우 제공 예제와 동일하게 하였고, LSTM레이어의 개수와 모델 사이즈, 시퀀스 사이즈를 변경하여 테스트해 보았다.
기호를 제외한 영어 대소문자, 한자 등은 대표 문자로 변환하였다. 각 구성문장의 길이는 공백을 포함한 음절 시퀀스 50개로 제한하였고, 강제적으로 분할하여 문장을 구성하였다.
여기서 음절 시퀀스와 품사 태깅 시퀀스는 서로 독립되어 있는데, 대응관계의 모델링을 위해 주의집중(attention) 모델을 이용한다. 본 연구는 사전(dictionary) 정보나 자질 정보와 같은 추가적 리소스를 배제한 end-to-end 접근 방법만을 고려한다. 또한 본 연구는 일반적으로 사용되고 있는 디코딩 단계에서의 빔(beam) 서치를 배제한 접근 방법을 검토해 본다.
이에 대한 기초연구는 기계번역에 처음 적용되었다[5]. 여기서 입력 문장과 번역 문장의 쌍에 대하여 입력 문장에 대한 LSTM (Long Short-Term Memory) 인코더와 번역 문장에 대한 LSTM 디코더를 학습하는 접근 방법을 제시하였다. 이는 새로운 입력 문장을 인코더를 통해 문장 임베딩을 하고 해당 임베딩 값을 디코더의 입력으로 하여 번역 문장을 생성하는 end-to-end 접근 방법이다.
입출력 유형 테스트는 소규모 평가셋으로 진행하였다. 구어체 트위터 형태소 분석 코퍼스를 이용하였는데, 12만 어절로 구성되어 있다.
RNN은 LSTM으로 구현하였다. 학습 형상은 텐서플로우 제공 예제와 동일하게 하였고, LSTM레이어의 개수와 모델 사이즈, 시퀀스 사이즈를 변경하여 테스트해 보았다.

대상 데이터

구어체 트위터 형태소 분석 코퍼스를 이용하였는데, 12만 어절로 구성되어 있다. 2만 6천 문장의 학습 문장과 2천 9백 문장의 테스트 문장으로 구성되었고, 개발 셋은 학습 문장의 10%로 선택하였다. 표1은 유형별 성능 결과를 기술한다.
표2는 실험 결과로 음절단위, 문장단위 기준의 평가를 진행하였다. seq2seq 주의 집중 모델은 3-레이어, 64사이즈의 LSTM으로 인코더, 디코더를 구성하였다. 실험 결과는 기존 연구 결과들 [2][3]의 성능인 세종 평가셋 음절 단위 성능인 98.
입출력 유형 테스트는 소규모 평가셋으로 진행하였다. 구어체 트위터 형태소 분석 코퍼스를 이용하였는데, 12만 어절로 구성되어 있다. 2만 6천 문장의 학습 문장과 2천 9백 문장의 테스트 문장으로 구성되었고, 개발 셋은 학습 문장의 10%로 선택하였다.
실험 환경은 텐서플로우의 seq2seq 라이브러리¹⁾를 이용하여 구현하였다. RNN은 LSTM으로 구현하였다.
첫 번째 평가 셋은 세종 형태소 분석 코퍼스 110만 어절을 워드 분할 형식으로 변환하였고, 총 10만 4천 문장의 학습데이터, 1만1천 문장의 개발데이터, 1만2천 문장의 평가 데이터로 랜덤하게 선택하여 구성하였다. 두 번째 평가셋은 트위터, 이메일, 인터넷 게시판 등에서 추출한 구어체 문장으로 구성된 91만 어절을 워드 분할 형식의 형태소 분석 코퍼스로 변환하였고, 문장 개수는 세종 평가 셋과 유사하게 하였다.

이론/모형

본 연구는 신경망에 기반한 seq2seq 학습 알고리즘을 이용한다. 이에 대한 기초연구는 기계번역에 처음 적용되었다[5].
최근 관련 연구 동향으로는 음절 단위와 품사 정보를 결합하고 기계학습을 통해 형태소 분석과 품사 태깅을 통합하여 진행하는 접근 방법들이 주로 보고 되고 있다[1][2][3]. 본 연구는 음절 기반 형태소 분석 및 품사 태깅을 위해 seq2seq 주의 집중 모델을 이용한다. seq2seq 모델은 인코더과 디코더로 구성되어 있고, 일반적으로 RNN(recurrent neural network)를 기반으로 한다.
학습 단계에서 음절 시퀀스를 인코더의 입력으로 하고, 각 음절에 해당하는 품사 태깅 시퀀스는 디코더의 출력으로 진행한다. 여기서 음절 시퀀스와 품사 태깅 시퀀스는 서로 독립되어 있는데, 대응관계의 모델링을 위해 주의집중(attention) 모델을 이용한다. 본 연구는 사전(dictionary) 정보나 자질 정보와 같은 추가적 리소스를 배제한 end-to-end 접근 방법만을 고려한다.

성능/효과

구어체 수준의 영역에는 95.77%의 음절 정확도와 문장정확도 60.7% 수준의 결과를 보였다. 또한 사전 정보와 같은 외부자질을 활용하지 않은 결과라 개선의 여지가 충분한 접근 방법이라 보고, 현 상태에서 후처리를 보완한다면 어느 정도 활용 가능성을 확인할 수 있었다.
7% 수준의 결과를 보였다. 또한 사전 정보와 같은 외부자질을 활용하지 않은 결과라 개선의 여지가 충분한 접근 방법이라 보고, 현 상태에서 후처리를 보완한다면 어느 정도 활용 가능성을 확인할 수 있었다.
셀사이즈 64, 임베딩 64, 2-레이어 LSTM을 이용한 seq2seq주의 집중 모델을 이용한 결과에서 유형1이 비교적 좋은 결과를 보였다. 여기서 유형2는 디코더에서 생
seq2seq 주의 집중 모델은 3-레이어, 64사이즈의 LSTM으로 인코더, 디코더를 구성하였다. 실험 결과는 기존 연구 결과들 [2][3]의 성능인 세종 평가셋 음절 단위 성능인 98.02% 수준에 못 미치는 결과인 94.32%를 보였고, 유사한 구조를 지닌 [4]의 문장 단위 평가 60.62%에 비해 부족한 결과인 43.5%를 보였다. 평가셋 자체가 동일하지 않지만 [4]와의 차이점인 디코더 출력시퀀스에 음절 시퀀스 정보를 포함하고, 이를 이용한 디코더 빔서치 프로세스의 타당성을 확인할 수 있었다.
5%를 보였다. 평가셋 자체가 동일하지 않지만 [4]와의 차이점인 디코더 출력시퀀스에 음절 시퀀스 정보를 포함하고, 이를 이용한 디코더 빔서치 프로세스의 타당성을 확인할 수 있었다.

후속연구

구어체 영역의 경우, 입출력 학습 데이터 작업만으로 쉽게 실 영역에서 활용 가능한 형태소 분석 및 태거를 확보할 수 있다고 판단 되었다. 향후 추가적 작업으로 seq2seq 모델의 인코더 단계나 디코더 단계에서 사전정보와 자질정보 등의 활용 가능한 리소스를 모델에 통합하는 접근 방법 연구 등이 가능하리라 본다.

핵심어

질문

논문에서 추출한 답변

seq2seq 모델은 어떻게 구성되어 있는가?

본 연구는 음절 기반 형태소 분석 및 품사 태깅을 위해 seq2seq 주의 집중 모델을 이용한다. seq2seq 모델은 인코더과 디코더로 구성되어 있고, 일반적으로 RNN(recurrent neural network)를 기반으로 한다. 학습 단계에서 음절 시퀀스를 인코더의 입력으로 하고, 각 음절에 해당하는 품사 태깅 시퀀스는 디코더의 출력으로 진행한다.

한국어 연속어 음성인식이나 기계번역에서 사용되는 언어모델은 형태소 단위의 단어 분할을 통해 기본 어휘를 결정하는 이유는?

한국어 연속어 음성인식이나 기계번역에서 사용되는 언어모델은 형태소 단위의 단어 분할을 통해 기본 어휘를 결정한다. 이는 언어모델의 N-gram 희소성 문제에 기인한다. 또한 단어 분할된 어휘들의 시퀀스를 어절 단위로 복원 시킬 때 품사 태깅 기술을 이용하여 접근할 수 있다.

seq2seq 모델은 무엇을 기반으로 하는가?

본 연구는 음절 기반 형태소 분석 및 품사 태깅을 위해 seq2seq 주의 집중 모델을 이용한다. seq2seq 모델은 인코더과 디코더로 구성되어 있고, 일반적으로 RNN(recurrent neural network)를 기반으로 한다. 학습 단계에서 음절 시퀀스를 인코더의 입력으로 하고, 각 음절에 해당하는 품사 태깅 시퀀스는 디코더의 출력으로 진행한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

seq2seq 주의집중 모델을 이용한 형태소 분석 및 품사 태깅
Word Segmentation and POS tagging using Seq2seq Attention Model 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

seq2seq 주의집중 모델을 이용한 형태소 분석 및 품사 태깅 Word Segmentation and POS tagging using Seq2seq Attention Model 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

seq2seq 주의집중 모델을 이용한 형태소 분석 및 품사 태깅
Word Segmentation and POS tagging using Seq2seq Attention Model 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper