[논문]음절 및 형태소 정보를 이용한 띄어쓰기 일관성 검사

이재성

doi:10.5392/jkca.2010.10.5.010

문제 정의

띄어쓰기 일관성 검사는 간단한 어휘 수준 검사로부터 점점 어려운 단계인 유형 수준 검사, 의미 수준 검사로 진행해 갈 수 있을 것이다. 그러나, 본 논문에서는 현재의 여건과 관련 기술 수준 한계로 인해, 실용적으로 사용가능한 단계인 어휘 수준의 띄어쓰기 일관성 검사에 대해서 구현하고 평가한다.
본 논문에서는 띄어쓰기 일관성 검사를 어휘 수준, 유형 수준, 의미 수준의 3수준으로 제시하였고, 그 첫 수준인 어휘 수준으로 띄어쓰기 일관성 검사를 하기 위한 방법을 제안하고 구현하여 평가하였다. 제안한 모델 중 ‘동일어간 음절후보 일치’ 모델은 재현율을 중시할 경우 사용할 수 있고, ‘형태소 일치’ 모델은 재현율 및 정확률을 모두 고려할 경우 사용할 수 있을 것이다.
본 논문에서는 음절 정보와 형태소 정보를 이용하여 띄어쓰기 일관성을 쉽게 검사할 수 있는 방법을 제안하고 실험한다. 이어 2장에서는 기존의 띄어쓰기 교정 시스템 및 자동 띄어쓰기 시스템을 살펴보고, 3장에서는 띄어쓰기 일관성 검사를 하는 정도에 따라 3가지 수준을 제안하고 설명하며, 4장에서는 어휘 수준의 띄어쓰기 일관성 검사 방법을 설명하고 그에 따른 3가지 처리 모델을 제안한다.
이 보조용언의 어간은 어미 변화에 의해 바뀌기는 하지만 변화되는 음절의 갯수가 한정적이다. 본 논문에서는 이들 중 어미 변화에 의해 보조용언의 첫 음절이 바뀌는 경우를 조사하여 [표 2]와 같이 정리하였다. 이 표에서 나타난 바와 같이 같은 어간이지만 활용형으로 나타날 수 있는 음절들을 ‘동일어간 음절후보’라고 정의한다.
본 논문에서는 효율적인 탐색을 위해 비일관적 띄어쓰기 후보들을 간단한 문자열 비교 방법으로 먼저 찾아내고 이 후보들만을 대상으로 형태소 분석을 하는 효율적인 방법을 제안한다. 이 방법은 기본적으로 빈칸을 중심으로 좌우 어절의 일부를 추출하여 탐색키로 사용하는 방법이다.

제안 방법

규칙에 의한 방법은 한 어절 혹은 두 어절에 대해 형태소 분석을 한 후, 미리 규칙으로 만들어 놓은 붙띄오류(붙여 쓸 것을 띄어 쓴 오류)와 띄붙오류(띄어 쓸 것을 붙여 쓴 오류) 유형을 분석하여 이를 근거로 올바른 띄어쓰기를 제시한다. 만약 형태소 분석에 실패할 경우, 그 어절을 분리하여 복합어로 분리하거나 부분 문자열에 대한 형태소 분석을 시도하여 오류 유형을 분석한다[9].
모델 평가는 크게 사례와 그룹에 대한 결과로 나누어 수행했다. 앞에서 설명했듯이 사례는 비일관적으로 띄어 쓴 어절을 포함한 각각의 부분 문자열을 나타내며, 그룹은 서로 상충되는 띄어쓰기를 하고 있는 각 사례들의 집합을 나타낸다.
모델은 탐색키를 이용하여 검색하는 방법과 후처리 방법에 따라 3가지로 나누었다. 첫 번째는 ‘어휘 일치 모델’이며 T1으로 약칭한다.
즉, (1)에서 (6)의 예에서 보듯이 띄어쓰기의 비일관성이 나타나는 복합어나 보조용언을 사용한 경우, 대개 앞 어절은 변화가 없는 반면 뒷 어절의 한 글자는 대개 같고 그 이후는 어미나 조사 등이 붙어 변화할 수 있기 때문이다. 물론 뒷 어절의 한 글자도 (5)의 예처럼 변화할 수 있기 때문에 이를 고려하여 3가지 모델을 다음 절에 제안한다.
본 논문에서 제시한 방법은 비일관성 띄어쓰기의 가능성이 있는 부분을 보기 쉽게 저자에게 제공하고 저자가 판단하여 수정할 수 있도록 한다. 또한, 필요하면 어휘 및 형태소 정보를 이용하여 가능성이 높은 부분만을 선별하여 검사할 수 있도록 한다.
띄어쓰기 일관성 검사는 여러 수준으로 이루어 질 수 있다. 본 논문에서는 크게 어휘 수준, 유형 수준, 의미 수준의 3단계 처리 수준을 이론적으로 제안한다.
비교 대상이 되는 두 어절에 대한 형태소 분석 결과는 품사와 어휘수준에서 동시에 비교한다. 즉, 형태소가 명사나 동사와 같은 품사일 경우에는 어휘까지도 같아야 하며, 그 이외의 형태소들은 품사가 같으면 두 어절이 같은 것으로 판별한다.
실험을 위해 국립국어원에서 구축한 말뭉치 중 일부를 분야별로 뽑고[14], 또 학회 논문지에 실린 최근의 논문 중 임의로 5편을 뽑아 텍스트 파일로 변환하여 [표 3]과 같이 테스트 문서 집합을 만들었다. 실험의 편의상 책이나 소설 및 논문의 크기를 약 5,000어절 전후의 단편집 혹은 단편 소설로 선정했다.
앞에서 설명했듯이 사례는 비일관적으로 띄어 쓴 어절을 포함한 각각의 부분 문자열을 나타내며, 그룹은 서로 상충되는 띄어쓰기를 하고 있는 각 사례들의 집합을 나타낸다. 이 둘의 평가는 다시 각각에 대한 정확률과 재현율 및 F값으로 나누어 계산하였다. 사례에 대한 정확률과 재현율은 (식1), (식2)에, 그룹에 대한 정확률과 재현율은 (식3), (식4)에 나타냈다.
[그림 3]은 Tm모델을 수행하고 그 결과를 출력한 예이다. 이 예에서 보듯이 비일관적으로 나타난 띄어쓰기 부분을 중심으로 좌우 문맥 정보와 파일 이름을 표시하여 사용자가 최종 판단을 할 수 있도록 했다. 각각의 한 줄은 ‘비일관적 띄어쓰기의 사례’ (약칭하여 ‘사례’)로 정의하며, 같은 띄어쓰기가 요구되는 사례들은 점선(중앙에 별표 포함)으로 구분하였고, 이렇게 구분된 집합을 ‘비일관적 띄어쓰기 그룹’(약칭하여 ‘그룹’)으로 정의한다.
통계에 의한 방법은 과도한 형태소 분석을 피하기 위해 통계 정보를 이용하여 대략 어절을 분리하는 방법이다. 이를 위해 단어 내와 단어 경계에서 음절 사이의 분리 횟수나 어절 사이의 분리 횟수를 통계적으로 계산하여 분리에 이용하거나, 조사, 어미 등의 음절 특성을 이용하여 어절을 분리한다. 대부분의 통계적 방법은 통계자료의 부족 등으로 정확성의 한계가 있기 때문에 복합적 방법의 전단계로 활용한다.
탐색키로 찾아낸 후보군은 비일관적으로 띄어 쓴 모든 어절을 포함해야 한다. 이를 위해 탐색키는 여러 가지로 정의하여 사용할 수 있지만, 본 논문에서는 탐색키를 빈칸 앞쪽의 어절과 뒤쪽 어절의 첫 글자로 정하였다. 즉, (1)에서 (6)의 예에서 보듯이 띄어쓰기의 비일관성이 나타나는 복합어나 보조용언을 사용한 경우, 대개 앞 어절은 변화가 없는 반면 뒷 어절의 한 글자는 대개 같고 그 이후는 어미나 조사 등이 붙어 변화할 수 있기 때문이다.
정답 사례 집합 작성시 Tc모델을 이용하였다. 즉, 이론적으로 Tc는 모든 가능한 비일관적인 띄어쓰기 사례를 추출할 수 있으므로 Tc에서 찾아 낸 비일관적인 띄어쓰기 중 올바른 것을 수작업으로 선택하고 그룹별로 정리하여 정답 사례 집합을 작성했다.
평가를 위해 테스트 문서 집합에 대해 정답 사례 집합을 수작업으로 작성하였다*. 정답 사례 집합 작성시 Tc모델을 이용하였다.

대상 데이터

실험의 편의상 책이나 소설 및 논문의 크기를 약 5,000어절 전후의 단편집 혹은 단편 소설로 선정했다. 또, 가능하면 다양한 분야(기록, 교육, 인문, 과학, 예술 등)와 다양한 저자의 책이나 소설로 선정했다. 작문은 대학생들의 비교적 짧은 작문들이며, 뉴스기사도 신문에 난 짧은 기사를 모아 총 어절수가 25,000개 정도가 되도록 했다.
실험을 위해 국립국어원에서 구축한 말뭉치 중 일부를 분야별로 뽑고[14], 또 학회 논문지에 실린 최근의 논문 중 임의로 5편을 뽑아 텍스트 파일로 변환하여 [표 3]과 같이 테스트 문서 집합을 만들었다. 실험의 편의상 책이나 소설 및 논문의 크기를 약 5,000어절 전후의 단편집 혹은 단편 소설로 선정했다. 또, 가능하면 다양한 분야(기록, 교육, 인문, 과학, 예술 등)와 다양한 저자의 책이나 소설로 선정했다.

이론/모형

실험은 앞 장에서 설명한 3가지 모델을 구현하고 이에 대해 평가했다. 이 중 Tm모델은 공개적으로 사용가능한 형태소 분석기[15]를 사용하였다. [그림 3]은 Tm모델을 수행하고 그 결과를 출력한 예이다.
평가를 위해 테스트 문서 집합에 대해 정답 사례 집합을 수작업으로 작성하였다*. 정답 사례 집합 작성시 Tc모델을 이용하였다. 즉, 이론적으로 Tc는 모든 가능한 비일관적인 띄어쓰기 사례를 추출할 수 있으므로 Tc에서 찾아 낸 비일관적인 띄어쓰기 중 올바른 것을 수작업으로 선택하고 그룹별로 정리하여 정답 사례 집합을 작성했다.

성능/효과

사례에 대한 평가 결과를 보면 T1 모델은 Tc보다 재현율은 낮지만, 정확률이 약간 더 높아 F값이 Tc보다 약간 높았다. Tm 모델은 재현율은 93.2%로 Tc에 비해 상대적으로 낮지만, 정확률이 93.2%로 비교적 높아 F값은 93.2%이며, 이는 81.2%와 80.0%를 보인 다른 모델에 비해 현저하게 우수한 것이다. 즉, 단순한 음절 정보만을 사용한 T1, Tc모델보다, 형태소 정보를 사용한 Tm모델이 훨씬 우수함을 알 수 있다.
즉, 단순한 음절 정보만을 사용한 T1, Tc모델보다, 형태소 정보를 사용한 Tm모델이 훨씬 우수함을 알 수 있다. 그룹에 대한 평가 결과도 대체적으로 사례 평가 결과와 유사했지만, 사례 평가와 다르게 Tc의 F값이 T1의 F값보다 높았다. 이는 T1이 같은 그룹에 속한 ‘비일관적 띄어쓰기 사례’들을 다른 그룹으로 나누어 넣은 경우가 많아 그룹 재현율이 상대적으로 낮게 나왔기 때문이다.
[표 4]에서 보듯이 실제 문서 길이가 긴 책, 소설, 논문류에서 비일관적 띄어쓰기가 많이 나왔다. 논문류에서 29어절당 1개씩 오류가 나타나 테스트 분야 중 가장 높은 오류율을 보였다. 예외적으로 뉴스기사류의 경우, 짧은 글임에도 비일관적인 띄어쓰기가 비교적 많았다.
띄어쓰기 일관성은 한 문서 내에서의 일관성만을 검사하였으며, 각 실험모델의 평가 결과는 [표 5]와 같다. 사례에 대한 평가 결과를 보면 T1 모델은 Tc보다 재현율은 낮지만, 정확률이 약간 더 높아 F값이 Tc보다 약간 높았다. Tm 모델은 재현율은 93.
또 Tc모델은 Tm모델의 전단계로 형태소 분석 대상수를 줄여주는 모델이다. 실제 실험 데이터의 총어절수는 128,245개이었고, Tc모델이 비일관성 후보로 제시한 사례수는 3,792개에 불과해 형태소 분석 대상 어절수를 원어절수의 3%로 줄여 주어 Tm 모델이 보다 효율적으로 처리할 수 있었다.
실험에 사용한 데이터 중 각 분야별로 일부를 뽑아 대략 Tm모델의 오류 유형을 분석해 본 결과, 찾아 내야 할 것을 못 찾아 낸 오류(누락 오류)가 80%, 틀리게 찾아 낸 오류(거짓추출 오류)가 20%정도이었다.
0%를 보인 다른 모델에 비해 현저하게 우수한 것이다. 즉, 단순한 음절 정보만을 사용한 T1, Tc모델보다, 형태소 정보를 사용한 Tm모델이 훨씬 우수함을 알 수 있다. 그룹에 대한 평가 결과도 대체적으로 사례 평가 결과와 유사했지만, 사례 평가와 다르게 Tc의 F값이 T1의 F값보다 높았다.
특히, ‘형태소 일치 모델’은 음절 정보 및 형태소 정보를 이용하여, 비용이 많이 드는 형태소 분석 대상 어절수를 원래 어절수의 3%로 대폭 줄였으며, 실험 결과 사례 재현율과 정확률이 모두 93.2%로 우수한 성능을 보였다.

후속연구

이를 문서 교정 시스템에 이용하면 효율적으로 띄어쓰기 일관성을 검사하고 수정할 수 있으므로 보다 품질 높은 문서를 작성할 수 있을 것이다. 또한 색인어나 번역 단위를 통일하기 위해 정보검색 시스템이나 자동번역기 등에서 전처리기로도 활용할 수 있을 것이다.
) [그림 3]은 ‘기업 간’과 ‘기업 간’, ‘품질 요구사항’과 ‘품질요구사항’ 등이 일관성 없이 띄어 쓴 사례를 찾아 낸 것을 보여준다. 이 프로그램이 더 유용하게 사용될 수 있도록 하려면 각 사례에 실제 나타난 텍스트 위치로 하이퍼 링크를 연결하여 편집이 쉽도록 개선할 수도 있을 것이다.
2%로 우수한 성능을 보였다. 이를 문서 교정 시스템에 이용하면 효율적으로 띄어쓰기 일관성을 검사하고 수정할 수 있으므로 보다 품질 높은 문서를 작성할 수 있을 것이다. 또한 색인어나 번역 단위를 통일하기 위해 정보검색 시스템이나 자동번역기 등에서 전처리기로도 활용할 수 있을 것이다.

핵심어	질문	논문에서 추출한 답변
	한국어 문장에서 띄어쓰기는 어떤 역할을 하는가?	한국어 문장에서 띄어쓰기는 가독성을 높여주며 의미 전달을 명확히 할 수 있도록 한다. 올바른 띄어쓰기를 위해 국립국어원에서는 한글 맞춤법을 정하고 이를 모든 저자들이 지키도록 하고 있다.
	같은 어절이나 단어에 대해 띄어쓰기의 일관성이 없는 경우가 있는 이유는 무엇인가?	그러나 띄어쓰기 규칙의 일부에서는 복수 규칙을 허용하고 있고, 이 때문에 같은 어절이나 단어에 대해 띄어쓰기의 일관성이 없는 경우가 있다. 다음은 한글 맞춤법의 띄어쓰기 규칙 중 복수 규칙을 허용하는 경우이다[1][2].
	규칙에 의한 방법의 문제점은 무엇인가?	만약 형태소 분석에 실패할 경우, 그 어절을 분리하여 복합어로 분리하거나 부분 문자열에 대한 형태소 분석을 시도하여 오류 유형을 분석한다[9]. 이런 방법의 문제점은 형태소 분석기의 한계가 그대로 이 방법에 영향을 미친다는 점이다. 즉, 형태소 분석기 자체의 오류와 미등록어에 대한 처리 한계 등이 성능 향상의 한계가 된다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

음절 및 형태소 정보를 이용한 띄어쓰기 일관성 검사
Word Spacing Consistency Check using Syllable and Morpheme Information 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (16)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

음절 및 형태소 정보를 이용한 띄어쓰기 일관성 검사 Word Spacing Consistency Check using Syllable and Morpheme Information 원문보기

초록 AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (16)

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

원문 URL 링크

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

음절 및 형태소 정보를 이용한 띄어쓰기 일관성 검사
Word Spacing Consistency Check using Syllable and Morpheme Information 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper