선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서 한국어 음차표기에 따른 여러 발생 가능한 이형태들을 생성하기 위한 확률 문맥 의존 치환 기법 (PCSR)을 제안하였다. 실제 사용되고 있는 문서 에서 추출한 이형태 리스트로부터 치환 규칙을 자동 적으로 학습하고, 이를 이용하여 실험한 결과, 문맥 정보와 지역 및 전역 확률 정보를 사용하면 실제로 사용되는 이형태를 초기에 생성해 낼 수 있음을 보였다.
- 본 논문에서는 단일어 정보검색 시스템에서 입력된 '음차표기 외래어'(이하 '외래어'로 약칭함)를 보다 실제 사용할 가능성이 있는 다양한 이형태로 확장하기 위한 방법을 제시한다. 이 방법은 사람들이 혼동하여 쓰는 외래어 이형태에는 일정한 패턴이 있다고 가정하고, 이를 본 논문에서 제안한 “확률 문맥 의존 치환 방법 (Probability Context Sensitive Rewriting, 이하 PCSR)"으로 학습시켜 실험함으로써 검증한다.
- 본 논문에서는 하나의 외래어에서 그와 같은 의미의 이형태 외래어를 생성하는 방법에 대해 논의하며, 외래어가 사용된 실제 용례를 근거로 사람들이 혼동하여 표기하기 쉬운 이형태 외래어를 확률 순서로 생성할 수 있는 방법을 제안한다. 이를 위해 문맥 정보를 이용한 확률 치환 규칙 (JYdsabilistic Context Sensitive Rewriting)을 이용한다.
제안 방법
- 그러나, 주어진 한글 외래어로부터 자동으로 다양한 이형태의 외래어를 생성하는 연구는 현재까지 조사한 바로는 거의 없었다. 따라서, 유사한 기존 연구들인 "영어에서 외래어로 표기하면서 동시에 다양한 외래어 이형태를 생성할 수 있는 방법들”을 살펴보고, 이 방법들을 본 논문에서 제안한 방법과 비교한다.
- 제시한다. 이 방법은 사람들이 혼동하여 쓰는 외래어 이형태에는 일정한 패턴이 있다고 가정하고, 이를 본 논문에서 제안한 “확률 문맥 의존 치환 방법 (Probability Context Sensitive Rewriting, 이하 PCSR)"으로 학습시켜 실험함으로써 검증한다.
- 좌 문맥과 우 문맥이 사실상 없다. 그러나 처음 글자와 마지막 글자는 그 위치에 의해 생성 확률에 더 영향을 줄 수도 있으므로, 이를 고려하여 단어 앞과 뒤에 각각 문맥을 나타내는 기호를 주가하여 규칙 학습에 사용하였다. (15는 컷과 '커트에서 추출한 치환 패턴이다.
- 각 식의 우변은 이형태 쌍으로부터 추출한 치환 패턴이다. 변이가 일어나는 문자열(이 예에서는 1개의 자소)을 중심으로 하여 각각 왼쪽과 오른쪽의 자소를 나타냄으로써 좌우 문맥정보를 나타내었고 콜론(:)을 통하여 각 자소를 구분하였다.
- 그러나 전이 관계를 통해 유도된 규칙의 경우, 확률도 새로 유도해서 계산해야 하나, 그에 따른 부정확성이 발생할 수 있다. 본 논문에서는 보다 간단하게 실제적으로 사용할 수 있도록, 전이 관계를 이용한 유도 규칙은 무시하고, 실제 나타난 치환 패턴 규칙만을 고려하여 확률을 계산하였다. 즉, (11)에서 (12), (13) 뿐만 아니라 (14)도 치환 패턴으로 만들어내고, 실제 나타난 횟수를 이용하여 확률을 계산하였다.
- 예를 들어 '인터내셔날'이라는 단어가 '인터네셔날'과 '인터내셔널로 바뀔 경우, '내'가 '네로 바뀌는 것이 먼저인지 '날'이 '널로 바뀌는 것이 우선인지를 결정하여 더 가능성 있는 단어를 판단하는 요소이다. 본 연구에서는 지역 요소와 전역 요소를 곱하여 치환확률을 계산하였다. 즉, 앞에서 정의한 (1), (2), (3), (4) 식에 대한 확률은 각각 아래 식 (5), (6), (7), ⑻ 과 같이 계산된다.
- 비교를 위해, 확률 정보와 문맥 정보를 모두 사용하지 않은 방법으로 문맥 자유 치환 방법 (CFR: Context Free Rewriting) 과, 확률 정보는 사용하지 않고 좌우 1 글자 문맥 정보만 사용한 문맥 의존 치환 방법 (CSR: Context Sensitive Rewriting)을 추가하여 다른 기법들과의 성능을 비교하였다. 실험은 제 3장에서 기술된 각기 법을 이용하여 학습 데이터와 미학습 데이터에 대해서 수행하였다.
- 평가는 재현율, 즉, 테스트 데이터로 선정한 데이터 중 몇 %를 생성 프로그램이 찾아 내는가로 계산하였다. 생성 프로그램은 확률 순위에 따라 단어를 생성하므로 30개까지 만을 생성하여 전체 성능과 각 단계별 변화 과정을 측정하였다.
- 실험은 제 3장에서 기술된 각기 법을 이용하여 학습 데이터와 미학습 데이터에 대해서 수행하였다. 설명의 편리를 위해 각 기법의 약어를 이용하였다. 즉, 식⑸의 확률적 좌우문맥 의존 치환 기법인 Plre PCSRS.
- 이 과정에서 다양한 외래어 이형태를 처리하기 위해 다양한 외래어 표기들을 유한 상태 그래프(finite state graph)로 표기하여 저장하였다. 이 과정은 역으로 하나의 이형태를 찾은 후, 이를 확장하여 가능한 모든 이형태를 생성할 수도 있다.
- 따라서 실제 사용될 가능성이 있는 외래어가 생성되기 보다는 너무 많은 불필요한 외래어가 생성되어 실제 시스템에서 전처리기로 사용하기에는 비효율적이었다. 이 논문에서 제안하는 PCSR 기법은 이형태 목록으로부터 규칙을 자동으로 학습하고 실제 사용되는 이형태를 확률 순으로 조정하여 보다 효과적으로 생성할 수 있도록 하였다.
- 수 있다. 이 연구에서는 병렬 트라이 구조 사전을 만들어 두고, 영어 혹은 외래어(한국어)에 대한 엔트리를 검색한 후, 그 병렬 트라이에서 해당되는 외래어나 원어(영어)를 찾아낸다. 사전에는 한 가지 외래어 표기가 들어 있으므로 다양한 외래어 표기를 인식할 수도 없고, 또 생성해 낼 수도 없다.
- 이 장에서는 좌우 문맥 정보에 기반하여 이형태를 치환하여 생성하는 확률 규칙(PCSR)을 제안한다. 먼저 문맥 의존 치환(CSR: Context Sensitive Rewriting) 규칙은 다음 식 (1)과 같이 정의될 수 있다.
- 이형태 쌍은 단어들로 되어 있으므로, 이 단어에서 치환이 일어난 문자열들의 패턴을 찾아 좌우 문맥을 포함하여 출력한다. 이 치환 패턴은 수동으로 추출할 수도 있지만, 빠르고 정확하게 처리하기 위해 본 연구에서는 문자 정렬프로그램[20]을 수정하여 이형태 쌍으로부터 자동으로 출력되도록 하였다. 이러한 치환 패턴 목록을 이용하여 식⑸, (6), (7), (8), ⑼를 기반으로 치환 규칙의 확률을 계산할 수 있다.
- 사전에는 한 가지 외래어 표기가 들어 있으므로 다양한 외래어 표기를 인식할 수도 없고, 또 생성해 낼 수도 없다. 이런 문제를 해결하기 위해 표준화되지 않은 다양한 외래어 이형태를 처리하여 인식할 수 있도록 혼동 자소 쌍에 대한 치환 테이블을 만들어 두었다. 즉, 혼동되는 자소가 치환 테이블에 존재하는 경우 대응되는 자소를 치환함으로써 이형태가 생성된다.
- 특히, 문맥정보를 사용하지 않고 치환할 경우, 생성의 정확성도 떨어질 뿐만 아니라 더 쉽게 무한 루프에 빠질 수 있다. 이를 위해 본 연구에서는 추가 치환은 좌우 문맥을 고려한 경우에만 이루어지도록 했고, 또, 같은 위치의 문맥에서 1번 이상 반복되지 않도록 제한하였다.
- 방법을 사용하였다. 주어진 영어 및 외래어 단어 쌍으로부터 자동으로 발음 단위로 정렬(alignment)을 한 후, 이를 통계적으로 학습하여 외래어 표기를 할 수 있도록 하였다. 이 과정에서 하나의 영어 발음 단위가 확률적으로 여러 한글 발음 단위로 표기 될 수 있기 때문에 이를 확률적으로 조절하여 다양한 음차 표기를 우선순위에 따라 생성해 낼 수 있다.
- 또, 같은 방법으로, 학습에 사용한 데이터 중에서 27개 (전체의 약 10%) 그룹을 임의로 뽑고 각 그룹에서 한 단어를 임의로 추출하여 학습 데이터(seen data) 테스트에 사용하였다. 평가는 재현율, 즉, 테스트 데이터로 선정한 데이터 중 몇 %를 생성 프로그램이 찾아 내는가로 계산하였다. 생성 프로그램은 확률 순위에 따라 단어를 생성하므로 30개까지 만을 생성하여 전체 성능과 각 단계별 변화 과정을 측정하였다.
대상 데이터
- 실험을 위해 전체 그룹에서 27개 그룹(약 10%)을임의로 추출하고 각 그룹에서 다시 임의로 한 단어씩을 추출하여 미학습 데이터(unseen data) 테스트용으로 사용하였고, 나머지 90%를 학습 데이터로 사용하였다. 또, 같은 방법으로, 학습에 사용한 데이터 중에서 27개 (전체의 약 10%) 그룹을 임의로 뽑고 각 그룹에서 한 단어를 임의로 추출하여 학습 데이터(seen data) 테스트에 사용하였다. 평가는 재현율, 즉, 테스트 데이터로 선정한 데이터 중 몇 %를 생성 프로그램이 찾아 내는가로 계산하였다.
- 실험 데이터는 KTSET 2.0121]에서 추출한 외래어 이형태 모음을 사용하였다. 이 모음은 2개 이상의 변이가 있는 단어들만 모은 것이며 전체 둥가 외래어 그룹 수는 277개이고, 변이 단어들의 평균 개수는 2.
- 성능을 비교하였다. 실험은 제 3장에서 기술된 각기 법을 이용하여 학습 데이터와 미학습 데이터에 대해서 수행하였다. 설명의 편리를 위해 각 기법의 약어를 이용하였다.
- 18개이다. 실험을 위해 전체 그룹에서 27개 그룹(약 10%)을임의로 추출하고 각 그룹에서 다시 임의로 한 단어씩을 추출하여 미학습 데이터(unseen data) 테스트용으로 사용하였고, 나머지 90%를 학습 데이터로 사용하였다. 또, 같은 방법으로, 학습에 사용한 데이터 중에서 27개 (전체의 약 10%) 그룹을 임의로 뽑고 각 그룹에서 한 단어를 임의로 추출하여 학습 데이터(seen data) 테스트에 사용하였다.
이론/모형
- 방법을 제안한다. 이를 위해 문맥 정보를 이용한 확률 치환 규칙 (JYdsabilistic Context Sensitive Rewriting)을 이용한다.
성능/효과
- 여기에서도 마찬가지로 PCSR-M 방법이 초기에서부터 거의 최고 성능을 나타내었다. 30개 생성시 각방 법의 성능은 PCSR-M 84.2, PCSR-R 79.7, PCSR-L 75.3, PCFR 74.7, PCSR 71.7, CSR 70.0, CFR 32.2를 각각 나타내었다.
- 전체적으로 통합된 PCSR-M이 초기에서 부터 나중까지 가장 성능이 우수하였다. 30개 생성시, 각 방법의 재현율은 PCSR-M이 75.0, PCSR-R과 PCFR이 69.4, PCSR-Le 63.9, PCSR 및 CSR 은 50.0, CFRe 278이었다.
- 반면에 CFRe 처음부터 완만하게 증가했으며, 전체적인 성능도 다른 방법에 비해 떨어졌다. 30개까지 생성했을 때 PCSR-M과 PCSRe 93.3, PCSR-R과 CSRe 90.0, PCSR-Le 86.7, PCFRe 80.0, CFRe 36.7로 나타났다.
- 문맥정보를 많이 사용하는 CSR이나 PCSRe 초기에 재현율이 높다가 나중에 완만하게 증가했으며, 문맥정보를 사용하지 않는 PCFRe 초기에 재현율이 낮았지만, 나중에까지 지속적으로 증가하였다. CSRe PCSR과 거의 비슷한 수준으로 재현율을 나타낸 반면, CFRe PCFR에 비해 매우 낮은 재현율을 보였다. 전체적으로 통합된 PCSR-M이 초기에서 부터 나중까지 가장 성능이 우수하였다.
- 하지만, 이와는 다르게 [그림 5] 에서 보면 PCSR이 PCFR보다는 평균적으로 초기에 훨씬 더 성능이 좋다. PCSR-Me 실제 정답 이형태 3개를 1, 3, 7번에서 모두 생성하여 다른 모든 방법에 비해 재현율이 비교적 빨리 올라갔고, 전체적인 성능도 우수하였다.
- 즉, 1, 2번 생성시 정답이 형태를 생성하였다. PCSR의 경우도 정답 가능성이 있는 이형태들을 확률적으로 계산하여 우선 생성함으로써 CSR에 비해 더 빠르게 정답을 찾아내었다. 실제로 CSR에서 생성되었던 이형태가 확률 순서에 의해 재 정렬되어 재현율이 높아진 것을 볼 수 있다.
- 표1의 PCSR-M의 결과에 대해 실제 인터넷[22, 23]에서 같은 의미로 쓰인 단어가 사용되는지 검색하였다. 검색 첫 페이지 문서에서만 정답 외에 추가로 '인타내셔날', '인처내셔날', '인터나셔날' 등이 실제 사용되고 있음을 확인했다.
- 따라서 실제 사용될 가능성이 있는 외래어가 생성되기 보다는 너무 많은 불필요한 외래어가 생성되어 실제 시스템에서 전처리기로 사용하기에는 비효율적이었다. 이 논문에서 제안하는 PCSR 기법은 이형태 목록으로부터 규칙을 자동으로 학습하고 실제 사용되는 이형태를 확률 순으로 조정하여 보다 효과적으로 생성할 수 있도록 하였다.
- 충분히 많은 양의 학습 데이터가 있을 경우, 이 방법들이 우수할 수 있지만, 현실적으로 모든 경우에 대한 충분히 많은 학습데이터를 만들기는 어렵다. 따라서, 데이터 희귀성을 처리할 수 있도록 보완된 PCSR-M 방법이 필요하며, 실험 결과 항상 우수한 결과를 나타냈다.
- 즉, 1'가'ㅏ', ', '', 7' 등으로 치환되는 규칙을 사용하여 규칙의 순서대로 생성된 것이다. 따라서, 생성 하는 각각의 경우에 따라, 규칙의 적용순서가 성능에 영향을 미칠 수도 있지만, 모든 경우에 따라 규칙 적용순서를 동적으로 변경할 수 있는 구조가 없으므로 전체적인 평균 성능은 떨어진다. 이 경우에도 가능성이 있는 이형태를 생성했지만, 실제 사용한 이형태(정답) 를 10개 내에서는 하나도 찾지 못했다.
- 이 결과에서 보면, 확률이나 문맥 정보를 사용한 방법 (PCSR-M, PCSR-R, PCSR-L, PCFR, PCSR, CSR) 이 그렇지 않은 방법(CFR)보다 훨씬 성능이 뛰어났다. 또, 문맥을 많이 사용한 방법 (PCSR, CSR)이 초기에는 빠르게 재현율이 증가하다가 나중에는 문맥을 적게 사용하는 방법(PCSR-R, PCSR-L, PCFR)보다 성능이 떨어졌다. 여기에서도 마찬가지로 PCSR-M 방법이 초기에서부터 거의 최고 성능을 나타내었다.
- (PCSR)을 제안하였다. 실제 사용되고 있는 문서 에서 추출한 이형태 리스트로부터 치환 규칙을 자동 적으로 학습하고, 이를 이용하여 실험한 결과, 문맥 정보와 지역 및 전역 확률 정보를 사용하면 실제로 사용되는 이형태를 초기에 생성해 낼 수 있음을 보였다. 실험 결과 가장 우수한 성능을 나타내는 PCSR-M 방법은 5개 생성 시 약 67%, 10개 생성시 약 71%, 20개 생성시 약 81%, 30개 생성시 약 84%를 생성하여 실제 사용되는 이 형태를 효과적으로 찾아내었다.
- 실제 사용되고 있는 문서 에서 추출한 이형태 리스트로부터 치환 규칙을 자동 적으로 학습하고, 이를 이용하여 실험한 결과, 문맥 정보와 지역 및 전역 확률 정보를 사용하면 실제로 사용되는 이형태를 초기에 생성해 낼 수 있음을 보였다. 실험 결과 가장 우수한 성능을 나타내는 PCSR-M 방법은 5개 생성 시 약 67%, 10개 생성시 약 71%, 20개 생성시 약 81%, 30개 생성시 약 84%를 생성하여 실제 사용되는 이 형태를 효과적으로 찾아내었다. 이는 기존의 치환 테이블 방법[9]이나 유한 상태 그래프 방법[10]의 문제를 해결한 것으로, 보다 실제 사용될 가능성이 있는 이형태를 초기에 생성해 냄으로써 효과적인 검색을 가능하게 하고, 또, 미등록 외래어에 대해서도 처리도 가능하다.
- 현장에서 사용되는 데이터에 대해 평가를 할 경우, 일반적으로 학습데이터의 성능과 미학습 데이터에 대한 성능의 평균으로 수렴된다고 보면, 각 방법의 성능을 쉽게 비교할 수 있다. 이 결과에서 보면, 확률이나 문맥 정보를 사용한 방법 (PCSR-M, PCSR-R, PCSR-L, PCFR, PCSR, CSR) 이 그렇지 않은 방법(CFR)보다 훨씬 성능이 뛰어났다. 또, 문맥을 많이 사용한 방법 (PCSR, CSR)이 초기에는 빠르게 재현율이 증가하다가 나중에는 문맥을 적게 사용하는 방법(PCSR-R, PCSR-L, PCFR)보다 성능이 떨어졌다.
- 실제로 CSR에서 생성되었던 이형태가 확률 순서에 의해 재 정렬되어 재현율이 높아진 것을 볼 수 있다. 이 예에서는 PCFR이 1, 2 번에서 정답을 미리 생성하여 PCSR보다 조금 빠르게 재현율이 높아졌다. 하지만, 이와는 다르게 [그림 5] 에서 보면 PCSR이 PCFR보다는 평균적으로 초기에 훨씬 더 성능이 좋다.
- 나타낸 것이다. 전체적으로 비교적 완만하게 재현률이 증가했고, 학습데이터에 대한 실험에 비해 성능이다소 떨어졌다. 문맥정보를 많이 사용하는 CSR이나 PCSRe 초기에 재현율이 높다가 나중에 완만하게 증가했으며, 문맥정보를 사용하지 않는 PCFRe 초기에 재현율이 낮았지만, 나중에까지 지속적으로 증가하였다.
- CSRe PCSR과 거의 비슷한 수준으로 재현율을 나타낸 반면, CFRe PCFR에 비해 매우 낮은 재현율을 보였다. 전체적으로 통합된 PCSR-M이 초기에서 부터 나중까지 가장 성능이 우수하였다. 30개 생성시, 각 방법의 재현율은 PCSR-M이 75.
후속연구
- 일반적으로 문맥정보가 많이 들어간 항(a)의 가중치를 높이면 초기에 조금 더 재현율이 높고, 반대로 문맥정보가 적게 들어간 항(6)에 가중치를 많이 두면, 후반에 재현율이 약간 높아졌다. 따라서, 응용 분야에 맞게 파라미터를 조절하면 보다 효율적으로 외래어 이형태를 생성할 수 있을 것이다. PCSR-M(4114)의 경우, 5개 생성시 약 67.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.