[논문]SNS 텍스트의 비정규토큰 분석 성능 향상을 위한 의존명사 내포 어형의 LGG 기반 패턴문법 사전

최성용; 신동혁; 황창회; 유광훈; 남지순

문제 정의

SNS 텍스트에서는 문법적 제약에 대한 인식이 느슨함으로 인하여 다양한 비표준적 표현이 나타나며, 이는 자연어 처리 결과의 전반에 오류를 야기하게 된다. 본 연구는 이러한 비정형 텍스트에 대한 문제를 처리하기 위해, 의존명사 내포 비정규토큰에 대한 패턴 분석과 고빈도의 29가지 의존명사에 대한 LGG 기반 후처리 사전을 구축하였다. 그 적용 성능을 평가한 결과, 정확률 91.
표 1에서 나타난 원문 훼손 문제는 통계적으로 계산된 각각의 경계 정보를 원문에 반영함으로써 자주 등장하는 어절의 경계가 우선순위로 텍스트에 반영되어 발생하는 현상이다. 본 연구는 이러한 전처리의 위험을 줄이기 위해, 후처리 사전을 구성함으로써 문법 규칙을 준수한 어절에 대한 자동 분석이 이루어진 이후에, 사전 정보를 활용하여 미분석된 어절을 인식하고자 하였다.
본 연구는 현대 소셜미디어 플랫폼의 사용자 생성문(User-Generated Text)으로부터 나타나는 비정규토큰의 인식율을 높이기 위해, 특히 고빈도로 나타나는 ‘의존명사 내포 비정규토큰’ 유형에 대한 패턴문법 사전을 구축하고 그 성능을 평가하는 것을 목표로 한다.
이러한 문제의식을 토대로 본 연구에서는 미분석된 어절에서 나타나는 의존명사의 문맥 패턴을 분석하고, 이 특성을 반영한 후처리 사전으로서 LGG기반 패턴문법 사전을 구축하여, 미분석어 유형 중 가장 중요한 유형의 하나라 판단되는 의존명사 내포 비정규토큰의 분석율을 향상시키고자 하였다. 현재 본 연구에서 구축하는 패턴 문법 사전은 이를 바탕으로 보다 정교한 부분파싱을 위한 언어자원으로도 사용될 수 있다는 점에서, 향후 한국어 자연어 처리 연구에 기여하는 바가 클 것이라 판단한다.
이러한 점에서 다양한 활용 형태를 모두 다루면서도 정확한 대상만을 처리하기 위해, 본 연구에서는 실질적으로 SNS 텍스트에 나타나는 의존명사 내포 어절의 특성을 살펴보고 이에 대한 패턴을 반영한 후처리 사전을 구성하였다. 이는 선행연구에서 나타난 형태, 의미 정보의 부재 및 정확성의 한계를 극복한다는 점과 기존에 다루지 않았던 SNS 텍스트의 특성을 반영한다는 점에서 의의가 있다.

제안 방법

을 사용하였다. 1차적으로 DECO 사전을 통해 분석되지 않은 미분석어를 추출한 후, 그림 1과 같은 LGG⁴⁾를 구축하여 전체 미분석어 내에서 의존명사 형태를 포함한 후보군을 선별하였다.
우선 SNS 텍스트에서 의존명사 내포 미분석어의 실질적인 문맥(context)을 살펴보기 위해, 미분석어 내에서 의존명사의 형태를 포함한 후보군을 분리하였다. 그리고 의존명사 내포 후보군 어절 내의 공기어의 양상을 분석하고 패턴화하였다. 그 후에 사전의 정보를 이용하여 형태 및 의미의 제약을 반영한 패턴을 LGG에 표상함으로써 전체적인 후처리용 패턴문법 사전 구축 과정이 마무리된다.
본 연구에서 비정규토큰 처리를 위해 분석한 패턴은 모두 후처리 사전 방식으로 구성된다. 이는 일반적으로 언어처리 단계에서 전처리(Preprocessing) 과정을 통해서 띄어쓰기를 원문에 반영하는 방식에 문제점이 나타나기 때문이다.
를 대상으로 하였다. 언어학 전공자 3인이 의존명사를 내포한 비정규토큰이 출현하는 200여개의 문장을 선별하였으며, 이를 교차 점검하여 태그셋 정보를 입력한 정답지를 구성하였다. 이러한 과정을 거친 뒤에, 본 연구에서 구축한 후처리용 패턴문법 사전을 원문 텍스트에 적용하고 태깅된 정보와 정답지를 비교하였다.
SNS 텍스트는 띄어쓰기를 정상적으로 유지하는 정형화된 텍스트와는 다른 양상을 보이므로, 이러한 특성을 명확히 반영하기 위해서 다음과 같은 일련의 과정을 수행하였다. 우선 SNS 텍스트에서 의존명사 내포 미분석어의 실질적인 문맥(context)을 살펴보기 위해, 미분석어 내에서 의존명사의 형태를 포함한 후보군을 분리하였다. 그리고 의존명사 내포 후보군 어절 내의 공기어의 양상을 분석하고 패턴화하였다.
이러한 의존명사의 모든 분포를 고려하기 위해 다른 위치에 나타나는 미분석 어절의 경우에 대해서도 용례를 추출하고 패턴을 분석하였다. 이때 각각의 후보군 용례마다 1/10 이상의 미분석어를 랜덤으로 점검하였다. 전체 후보군은 8만 4천여 개가 추출되었으며, 실제 점검은 1만여 개, 이 중 실제 의존명사 내포 어절은 1천 5백여 개(15%)가량이 검토되었다.
언어학 전공자 3인이 의존명사를 내포한 비정규토큰이 출현하는 200여개의 문장을 선별하였으며, 이를 교차 점검하여 태그셋 정보를 입력한 정답지를 구성하였다. 이러한 과정을 거친 뒤에, 본 연구에서 구축한 후처리용 패턴문법 사전을 원문 텍스트에 적용하고 태깅된 정보와 정답지를 비교하였다. 그 평가 결과는 표 5와 같다.
이러한 의존명사의 모든 분포를 고려하기 위해 다른 위치에 나타나는 미분석 어절의 경우에 대해서도 용례를 추출하고 패턴을 분석하였다. 이때 각각의 후보군 용례마다 1/10 이상의 미분석어를 랜덤으로 점검하였다.
이를 위하여 SNS 텍스트에서 형태소 분석에 실패하는 고빈도 의존명사 내포 어절의 패턴을 분석하고 이를 LGG(Local Grammar Graph) 프레임[1][2]을 통해 패턴문법 사전을 구축하여, UNITEX 플랫폼[3]에서 코퍼스 분석에 직접 적용할 수 있는 유한상태트랜스듀서(FST)로 변환하였다.
이상의 분석 과정을 통해 낮은 빈도로 실현되는 의존명사 유형을 제외하고 총 29가지의 의존명사⁸⁾ LGG 후처리 사전을 구축하였다. 앞서 언급하였듯이 극히 한정된 고빈도의 의존명사에서 사실상 현재의 비정규토큰 현상 대부분이 관찰되기 때문이다.
여기서 의존명사 “후”는 과거, 현재의 의미를 나타나는 관형형 어미 “-은/는”과 어울리며 “시”는 앞으로의 일이나 가정의 의미를 나타내는 관형형 어미 “-을”로 한정된다. 이와 같은 방식으로 개별 의존명사와 공기하는 단어의 의미와 형태 분석을 진행하였다.
표 2와 같은 용례 추출 결과를 토대로 선행어의 형태와 의미 등을 고려하여 어절 내의 패턴을 분석하였다. 예를 들어, 표 2에서 “집회철회하는등”은 의존명사 “등”을 기준으로 명사와 용언의 관형형 순으로 선행어가 실현되었는데, 여기서 현재의 의미를 나타내는 “- 는”이외의 관형형 어미는 공기하기 어려운 것을 관찰할 수 있다.

대상 데이터

보편적인 자원으로서의 활용성을 확인하기 위해 성능평가에는 기존 SESAC 코퍼스에 포함되지 않은 다른 도메인의 SNS 텍스트¹¹⁾를 대상으로 하였다. 언어학 전공자 3인이 의존명사를 내포한 비정규토큰이 출현하는 200여개의 문장을 선별하였으며, 이를 교차 점검하여 태그셋 정보를 입력한 정답지를 구성하였다.
본 연구는 위와 같은 미분석어 유형 중 띄어쓰기 문제와 관련한 의존명사 내포 어절을 대상으로 진행하였다. 미분석어의 실태 파악을 위해 무작위로 비정규토큰이 포함된 SNS 텍스트 1,000여 문장을 분석한 결과, 이 중 51%가 띄어 써야할 단어를 붙여 쓴 유형으로 나타났다.
본 연구에서는 SESAC에서 표준 문법 규정에서 어긋난 표현을 추출하기 위해, DECO 한국어 전자사전²⁾[10]과 유니텍스(UNITEX) 플랫폼³⁾을 사용하였다. 1차적으로 DECO 사전을 통해 분석되지 않은 미분석어를 추출한 후, 그림 1과 같은 LGG⁴⁾를 구축하여 전체 미분석어 내에서 의존명사 형태를 포함한 후보군을 선별하였다.

이론/모형

본 연구에서는 의존명사 내포 비정규토큰의 언어 패턴을 확인하기 위해 한국외국어대학교 DICORA 연구센터에서 MUSE 프로젝트1)의 일환으로 구축된 “문장층위 감성 주석 코퍼스(SESAC, Sentence-level Sentiment-Annotated Corpora: SESAC)”를 이용하였다.
현재 의존명사에 ‘명사’가 선행하는 경우는 품사만으로는 선행어의 특성을 확정하기 어렵기 때문에, DECO 사전 내의 의미 태그셋9)을 이용하여 명사의 범주를 한정하였다.

성능/효과

본 연구는 이러한 비정형 텍스트에 대한 문제를 처리하기 위해, 의존명사 내포 비정규토큰에 대한 패턴 분석과 고빈도의 29가지 의존명사에 대한 LGG 기반 후처리 사전을 구축하였다. 그 적용 성능을 평가한 결과, 정확률 91.28%과 재현율 89%, 조화 평균 90.13% 등을 보이며 본 연구의 접근 방법론과 자원의 실효성을 입증하였다.
본 연구는 위와 같은 미분석어 유형 중 띄어쓰기 문제와 관련한 의존명사 내포 어절을 대상으로 진행하였다. 미분석어의 실태 파악을 위해 무작위로 비정규토큰이 포함된 SNS 텍스트 1,000여 문장을 분석한 결과, 이 중 51%가 띄어 써야할 단어를 붙여 쓴 유형으로 나타났다. 여기서 의존명사 내포 유형이 전체 미분석어의 20.
표 5에서 볼 수 있듯이 정확률과 재현율, 조화평균 모두에서 90% 내외의 유의미한 평가 결과를 획득하였다. 재현율은 현재 구축한 29가지의 의존명사 내포 패턴문법 사전이 SNS 텍스트에 나타나는 대부분 유형을 포함하고 있다는 것을 보이며, 또한 조사 및 용언의 활용 형태를 명확하게 인식하고 있다는 점을 보인다. 정확률의 경우는 전반적으로 의존명사 내포 어절의 특성이 후처리 사전에 적절하게 반영되었다는 점을 보이나, 다음과 같이 중의적으로 분석될 수 있는 일부 형태들은 정답지와 차이를 보이는 것을 확인할 수 있었다.
이때 각각의 후보군 용례마다 1/10 이상의 미분석어를 랜덤으로 점검하였다. 전체 후보군은 8만 4천여 개가 추출되었으며, 실제 점검은 1만여 개, 이 중 실제 의존명사 내포 어절은 1천 5백여 개(15%)가량이 검토되었다. 후보군에 비해 실제 분포가 낮은 이유는 미분석어 내에 의존명사와 동형어 부류가 포함된 단어 혹은 어미가 실현되었기 때문이다.
특히 전처리 단계에서 도입하기 어려운 어휘소와 문법소의 형태 및 의미 정보를 후처리 단계에서 DECO 전자사전과 연동하여 활용함으로써 한국어에서 나타나는 다양한 어절의 형태를 인식하고 의존명사의 문법적인 제약을 반영한 언어적 자원을 구축할 수 있었다. 그리고 이를 후처리로 적용함으로써 전처리에서 발생할 수 있는 원문 훼손을 미연에 방지하고 정확성 문제를 개선하였다는 점에서 자연어 처리 전반에 기여하는 바가 크다고 판단한다.

후속연구

그리고 이를 후처리로 적용함으로써 전처리에서 발생할 수 있는 원문 훼손을 미연에 방지하고 정확성 문제를 개선하였다는 점에서 자연어 처리 전반에 기여하는 바가 크다고 판단한다.
이들은 본 연구에서 무작위로 검토한 의존명사 내포 비정규토큰 어절의 98%의 유형을 포함한다는 점에서 의의가 있다. 또한 DECO 전자사전의 어휘 표제어 정보와 활용형 정보를 이용하여 언중들이 표현할 수 있는 다양한 어휘와 활용 형태를 인식할 수 있도록 구성되었기 때문에 미분석어 인식을 위한 대폭적인 개선이 가능할 것으로 기대된다.
이러한 중의적 형태를 해결하기 위해서는 문맥에 대한 제약을 부여하거나, 의존명사가 내포된 미분석어 외의 유형에 대한 특성도 검토되어야 할 것이다. 이는 추후 연구를 기대한다.
“일본지진터에는”의 경우도 용언 “지지다”의 관형형이 의존명사 “터”와 결합한 것으로 분석됨으로써, 명사 “지진”과 명사 “터”의 결합이 올바르게 분석되지 못한 결과를 보인다. 이러한 중의적 형태를 해결하기 위해서는 문맥에 대한 제약을 부여하거나, 의존명사가 내포된 미분석어 외의 유형에 대한 특성도 검토되어야 할 것이다. 이는 추후 연구를 기대한다.
향후 연구에서는 의존명사 내포 어절 이외의 비정규토큰 유형에 대해서 언어적 패턴을 분석하고 자원을 확장하는 것이 필요하다. 현재 구축된 언어자원은 언어 변화가 지속적이고 생산적인 SNS 텍스트를 분석하는 데에 있어, 유연하고 효과적으로 사전 및 문법의 보완과 확장이 가능한 프레임에 기반하고 있다는 점에서 기존의 규칙기반 접근법이나 통계기반 접근법에 비해 보다 탁월한 접근법을 제시하고 있다고 판단된다.
이러한 문제의식을 토대로 본 연구에서는 미분석된 어절에서 나타나는 의존명사의 문맥 패턴을 분석하고, 이 특성을 반영한 후처리 사전으로서 LGG기반 패턴문법 사전을 구축하여, 미분석어 유형 중 가장 중요한 유형의 하나라 판단되는 의존명사 내포 비정규토큰의 분석율을 향상시키고자 하였다. 현재 본 연구에서 구축하는 패턴 문법 사전은 이를 바탕으로 보다 정교한 부분파싱을 위한 언어자원으로도 사용될 수 있다는 점에서, 향후 한국어 자연어 처리 연구에 기여하는 바가 클 것이라 판단한다.

핵심어	질문	논문에서 추출한 답변
	SNS 텍스트에서 많이 나타나는 유형은?	본 연구는 SNS 텍스트에서 형태소 분석기로 분석되지 않는 비정규토큰 유형 중 고빈도로 나타나는 의존명사 내포 어형의 형태소를 인식할 수 있는 LGG 기반 패턴문법 사전 구축과 그 성능을 평가하는 것을 목표로 한다. SNS 텍스트에서는 기존의 정형화된 텍스트와 달리, 띄어쓰기 오류로 인한 미분석어가 매우 높은 빈도로 나타나는데, 특히 의존명사를 포함한 유형이 20% 이상을 차지하며 가장 빈번한 것으로 나타났다. 이에 본 연구에서는 의존명사를 내포한 비정규토큰의 띄어쓰기 오류 문제를 효과적으로 처리하기 위해, 부분 문법 그래프(Local Grammar Graph: LGG) 프레임에 기반한 패턴문법 사전을 구축하였다.
	SNS 텍스트에서 발견되는 표준 문법 규정을 지키지 않은 비정형 표현의 예는?	(1) a. 10% 할인된 가격에 즐길수있어요. b. 처음엔 빠졌던데 다시 돌아가는중이에요 ㅠㅠ. c. 블로그 보고 왔는데 초밥은 매력 없네욤ㅎㅎㅎ. d. 화이링~ 우리 선수들 힘내세요!!!!.
	의존명사를 내포한 비정규토큰의 띄어쓰기 오류 문제를 효과적으로 처리하기 위해 구축한것은?	SNS 텍스트에서는 기존의 정형화된 텍스트와 달리, 띄어쓰기 오류로 인한 미분석어가 매우 높은 빈도로 나타나는데, 특히 의존명사를 포함한 유형이 20% 이상을 차지하며 가장 빈번한 것으로 나타났다. 이에 본 연구에서는 의존명사를 내포한 비정규토큰의 띄어쓰기 오류 문제를 효과적으로 처리하기 위해, 부분 문법 그래프(Local Grammar Graph: LGG) 프레임에 기반한 패턴문법 사전을 구축하였다. 이를 SNS 코퍼스에 적용하여 성능을 평가한 결과, 정확률 91.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

SNS 텍스트의 비정규토큰 분석 성능 향상을 위한 의존명사 내포 어형의 LGG 기반 패턴문법 사전
LGG-based Phrase-Pattern Dictionaries of Non-Standard Tokens that contain Bound Nouns in Social Media Texts 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

SNS 텍스트의 비정규토큰 분석 성능 향상을 위한 의존명사 내포 어형의 LGG 기반 패턴문법 사전 LGG-based Phrase-Pattern Dictionaries of Non-Standard Tokens that contain Bound Nouns in Social Media Texts 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

SNS 텍스트의 비정규토큰 분석 성능 향상을 위한 의존명사 내포 어형의 LGG 기반 패턴문법 사전
LGG-based Phrase-Pattern Dictionaries of Non-Standard Tokens that contain Bound Nouns in Social Media Texts 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper