[논문]음소의 분류 체계를 이용한 한글 편집 거리 알고리즘

노강호; 박근수; 조환규; 장소원

문제 정의

다음에는 본 논문에서 제안한 GrpS派과 KorED의결과를 비교해보도록 하자. KorED의 편집거리가 15인 경우와 GrpSim의 유사도가 1인 경우를 보면 &는 95.
본 논문에서는 기존 논문에서 제안한 한글 편집거리를 개선한 새로운 편집거리를 제안하였다. 이를 위하여 먼저 한글 음소 분류체계를 이용하여 음소 간에 존재하는 유사성을 적용하였다.
서로 같은 그룹에 속한 음소들은 다른 그룹에 속한 음소들보다 더 가까운 관계에 있다고 말할 수 있다. 본 논문에서는 이와 같은 특징을 이용하여 좀 더 한글에 적합한 편집거리를 정의하였다.
또한 삽입, 삭제, 치환만을 고려한 편집 거리 알고리즘을 확장하여 음소와 음절이 일치하는 경우까지 고려하면 더 좋은 결과를 얻을 수 있다. 본 논문에서는 한글 음소 분류체계를 이용한 유사도 점수를 정의하고 그것을 구하는 알고리즘을 제시하였다.

가설 설정

'일반통계학'과 '일방통행'간의 유사도 점수를 위의 점화식을 이용하여 구해보았다. 계산을 위하여, Ms = Ns = Is = 3, &纭 = &珏 = 02户 = 4, = 1이라고 가정하였다. 아래 표와 같이 점화식을 이용하여 구한 두 문자열의 유사도는 2Ms+3Mp-M, \p—N₂p-"s = 3&\ 된다.

제안 방법

예제 1. '일반통계학'과 '일방통행'간의 유사도 점수를 위의 점화식을 이용하여 구해보았다. 계산을 위하여, Ms = Ns = Is = 3, &纭 = &珏 = 02户 = 4, = 1이라고 가정하였다.
GrpS'm에 대해서는 음소와 음절에 대한 match, mismatch, indel에 대한 변수의 값을 정하기 위하여, match, mismatch, indel의 유사도 점수를 나타내는 변수들인 Ms, N$ Is, Mp, N\p, N₂P, 4의 값을 각각 0 에서 10까지 바꾸어 가면서, 가장 좋은 결과를 보이는변수값을 찾는 실험을 진행하였다. 평가 기준은 &가 96% 이상일 때, 즉 유사 단어를 %% 이상의 확률로 구분해 낼 때의 Py7\ 작을수록 좋은 방법이라고 판단하였다.
A, B)= NXa, 4와 3의 대응되는 초성, 중성, 종성 중에서 최소 하나 이상의 위치의 값이 같은 경우, .冲은 서로 다른 음소의 개수를 나타냄 본 논문에서는 한국어에서의 음소들을 음소의 특성에 따라 몇 개의 그룹으로 구분한 후, 같은 그룹에 속하는 음소와 그렇지 않은 음소에 대하여 서로 다른 점수를 부여하는 방법을 사용한다. 영어에 대해서도 알파벳이 가지는 특징을 고려하여 알파벳을 여러가지 그룹으로 구분한 후, 서로 다른 거리를 부여하는 방법이 알려져 있다[5].
것으로 나누어 2가지로 정의할 수 있다. 기존 알고리즘이 음소와 음절이 서로 다른 경우를 모두 동일하게 처리하였던 것에 비하여, 본 논문에서 제안하는 알고리즘에서는 서로 같은 그룹에 속한 음소와 다른 그룹에 속한 음소에 서로 다른 점수를 부여하게 된다.
즉, 현대 한국어의 화자들 간에는 특정 지역을 제외하고는 'H'와 의 음가가 중화되었으므로 표기상으로도 혼동되는 경우가 많다. 다음으로 현대국어에서 발음에서의 경제성을 이유로 일어나고 있는 음운변화 현상을 고려하였다. 예를 들어 너1', '니'의 ' 丨 ' 로의 단모음화 현상이 일반적으로 이루어지고 있는데, , 베다~비다, , '희망~히망, 의 발음이 구별되지 못하는 것이 그러한 예들이다[8-口丄
다음으로는 음절을 음소 단위로 구분한 후, 대응되는 음소들 간에 존재히는 삽입, 삭제, 치환의 횟수를 계산하는 방법을 생각할 수 있는데, 이를 PhoElM음소 기반의 편집 거리) 알고리즘이라고 정의하였다. 다음으로는 이들 알고리즘을 개선하여, 한글의 음절과 음소의 특징을 이용한 편집거리 알고리즘인 KorED를 제안하고 있다.
즉 제일 왼쪽에 있는 편집 거리는 SylED, PhoED, KorED의 결과를 보기 위한 값이며, 제일 오른쪽 열의 유사도는 Grp&m 에 대한 유사도 점수를 나타낸다. 먼저 SylED와 PhoED의 실험결과를 살펴보자. SylED 에서 편집거리가 18인 경우와 /辛。政)에서 편집거리가 15인 경우느 Px는 96.
먼저 욕설 데이터의 단어쌍들을 특정 비율로 유사하다고 판별하는 편집거리 또는 유사도 점수를 구한 후, 그에 따른 실험 데이터 1에서의 &값을 살펴보았다
새로운 편집거리를 정의하고, 실험을 진행하기 위하여 기존 분류체계의 일부를 수정하였다. 먼저 자음 중에서성문음 ‘亏’을 연구개음과 같은 그룹으로 편성하였다.
그리고 모음의 그룹화 작업을 위해 몇 가지 기준을 추가로 도입하였다. 우선 동일 그룹에 속한 음소간의 거리값을 최소화하려는 목표 하에 혼동 가능성이 크다고 간주되는모음들끼리 동일 그룹으로 묶는 작업을 시행하였다. 여기에서 '혼동 가능성이 크다는 표현은 음운론적 특성이 유사하면 할수록 서로 중화되거나 혼동되어 섞여 사용되는 경향이 크다는 연구 결과에 기반한 것으로, 한국어 음운론 분야에서 이루어진 모음동화 현상에 대한 연구 결과를 고려하였다.
점수를 정의하도록 중]자*. 음절도 음소의 경우처럼 match, mismatch, inde}의 3가지 경우로 나누어 생각하였다. 음절-match는 음절을 이루는 음소가 모두 같은 경우로 양수인 必를 부여하였다.
2가지 종류의 음소가 존재한다. 음절은 자음과 모음의 조합에 따라 여러 형태가 존재할 수 있으나, 본 논문에서는 C, V, CV, CVC의 4가지 형태를 고려하였다. 논문 [4]에서는 3가지의 한글 편집거리 알고리즘을 설명하고 있다.
이 데이터는 욕설 단어와 그것의 변종 단어들을 포함하고 있는데, 이를 이용하여 (욕설, 변종단어) 형태의 단어쌍으로 이루어진 데이터를 만들었다. 데이터를 만들 때에, 욕설 단어가 숫자나 특수 기호가 포함하고 있거나, '개새 F 1 '와 같이 하나의 음절이 여러 개의 음절로 나뉘어 있는 형태는 포함시키지 않았다[13].
개선한 새로운 편집거리를 제안하였다. 이를 위하여 먼저 한글 음소 분류체계를 이용하여 음소 간에 존재하는 유사성을 적용하였다. 그리고 기존 논문이 음소, 음절의 삽입, 삭제, 치환만을 고려한 것에 비하여, match 인 경우까지를 고려한 유사도 점수를 정의하였다.
아래의 표는 조음 위치에 따라 양순음, 치조음, 경구개음, 연구개음, 성문음의 5가지로 구분하는 방법을 보여준다. 조음 방법을 따라 파열음, 마찰음’ 유음, 비음 등으로 구분하는 방법이 있으나, 본 논문에서는 첫 번째 구분 방법을 기준으로 편집 거리를 정의하였다.

대상 데이터

본 논문에서 제시한 방법이 단어간의 유사성을 적절히 판단함을 알아보기 위하여 두 가지 실험을 진행하였다 먼저 [4]의 논문에서 사용한 것과 동일한 데이터를 이용하여, 첫 번째 실험을 진행하였다[7丄 이 데이터는 (가까이, 가까히), (강낭콩, 강남콩), (덥다, 더웁다)와 같이 실생활에서 사람들이 헷갈리기 쉬운 689쌍의 단어 쌍을 포함하고 있다. 실험을 위해서 이 데이터를 이용하여 다음과 같은 두 가지 종류의 단어쌍의 집합을 구성하였다.
실험 데이터는 한국콘텐츠진홍원의 비속어 데이터를 이용하였다. 이 데이터는 욕설 단어와 그것의 변종 단어들을 포함하고 있는데, 이를 이용하여 (욕설, 변종단어) 형태의 단어쌍으로 이루어진 데이터를 만들었다.

성능/효과

비교해보도록 하자. KorED의 편집거리가 15인 경우와 GrpSim의 유사도가 1인 경우를 보면 &는 95.8%와 95.7%로 거의 동일하지만 에러 확률인 与는 GgSim이 0.6%로 KorED의 각각 3.7%보다 현저히 좋은 결과를 보여주고 있다. 险广时의 편집거리가 9인 경우와 GrpSim의 유사도가 9인 경우에도 7』는 階.
다음의 표는 가능한 모든 조합 중에서 좋은 결과를 보였던 5가지 조합을 보여주고 있다. 그 중에서도 Ms, Ns, Is, Mp, Nlp, mp, 如이 각각 4, 9, 5, 1, 3, 2, 1일 때에 가장 나은 결과를 보였으며, 유사 단어를 96.03%로 구분해 낼 때의 에러 확률이 0.84%로 매우 정확한 결과를 나타내었다.
그러나 한글 음소 분류체계를 이용하면, 음소들을 발음할 때의 혀의 높이나 입의 모양둥에 따라 특성이 비슷한 음소들로 이루어진 여러 그룹으로 구분할 수 있으며, 이를 이용하면 한글의 특징을 더 정확히 반영한 편집 거리를 정의할 수 있다. 또한 삽입, 삭제, 치환만을 고려한 편집 거리 알고리즘을 확장하여 음소와 음절이 일치하는 경우까지 고려하면 더 좋은 결과를 얻을 수 있다. 본 논문에서는 한글 음소 분류체계를 이용한 유사도 점수를 정의하고 그것을 구하는 알고리즘을 제시하였다.
때의 马값을 보여주고 있다. 먼저 욕설 데이터를 90%로 구분해 낼 때의 결과를 보면' 욕설 데이터를 구분해내는 값은 모두 92% 정도로 비슷하였으나, 는 GrpSim 이 2.5%로 PhoED 나 KorED의 6.2%, 4.1%에 비하여 현저히 좋은 결과를 보여주었다. 욕설 데이터를 睛%로 구분해내는 경우에도 Grp&m의 Fy가 6.
새로운 알고리즘은 기존의 알고리즘보다 더 좋은 결과를 보여주었다. 유사 단어에 대한 실험에서는 유사단어가 아닌 단어를 유사단어로 잘못 판단할 확률이 1/3 이하로 줄어들었으며, 비속어 데이터에 대한 실험에서도 에러 확률이 절반 가까이 감소하였음을 확인할 수 있었다.
1%에 비하여 현저히 좋은 결과를 보여주었다. 욕설 데이터를 睛%로 구분해내는 경우에도 Grp&m의 Fy가 6.3%로 다른 알고리즘의 47.0%, 14.3%, 121%에 비하여 매우 좋은 결과를 보여주었다.
보여주었다. 유사 단어에 대한 실험에서는 유사단어가 아닌 단어를 유사단어로 잘못 판단할 확률이 1/3 이하로 줄어들었으며, 비속어 데이터에 대한 실험에서도 에러 확률이 절반 가까이 감소하였음을 확인할 수 있었다.
찾는 실험을 진행하였다. 평가 기준은 &가 96% 이상일 때, 즉 유사 단어를 %% 이상의 확률로 구분해 낼 때의 Py7\ 작을수록 좋은 방법이라고 판단하였다. 다음의 표는 가능한 모든 조합 중에서 좋은 결과를 보였던 5가지 조합을 보여주고 있다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

음소의 분류 체계를 이용한 한글 편집 거리 알고리즘
Edit Distance Problem for the Korean Alphabet with Phoneme Classification System 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

성능/효과

참고문헌 (13)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

음소의 분류 체계를 이용한 한글 편집 거리 알고리즘 Edit Distance Problem for the Korean Alphabet with Phoneme Classification System 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

성능/효과

참고문헌 (13)

이 논문을 인용한 문헌

저자의 다른 논문 :

박근수 (40) 조환규 (80) 장소원 (1)

관련 콘텐츠

원문 보기

원문 URL 링크

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

음소의 분류 체계를 이용한 한글 편집 거리 알고리즘
Edit Distance Problem for the Korean Alphabet with Phoneme Classification System 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper