[논문]한의학 고문헌 텍스트 분석을 위한 비지도학습 기반 단어 추출 방법 비교

오준호

doi:10.14369/jkmc.2019.32.3.047

한의학 고문헌 텍스트 분석을 위한 비지도학습 기반 단어 추출 방법 비교
Comparison of Word Extraction Methods Based on Unsupervised Learning for Analyzing East Asian Traditional Medicine Texts 원문보기

大韓韓醫學原典學會誌 = The journal of Korean medical classics, v.32 no.3, 2019년, pp.47 - 57

Abstract ▼ AI-Helper

Objectives : We aim to assist in choosing an appropriate method for word extraction when analyzing East Asian Traditional Medical texts based on unsupervised learning. Methods : In order to assign ranks to substrings, we conducted a test using one method(BE:Branching Entropy) for exterior boundary value, three methods(CS:cohesion score, TS:t-score, SL:simple-ll) for interior boundary value, and six methods(BExSL, BExTS, BExCS, CSxTS, CSxSL, TSxSL) from combining them. Results : When Miss Rate(MR) was used as the criterion, the error was minimal when the TS and SL were used together, while the error was maximum when CS was used alone. When number of segmented texts was applied as weight value, the results were the best in the case of SL, and the worst in the case of BE alone. Conclusions : Unsupervised-Learning-Based Word Extraction is a method that can be used to analyze texts without a prepared set of vocabulary data. When using this method, SL or the combination of SL and TS could be considered primarily.

주제어

표/그림 (6)

그림 Concept Diagram of word extraction based on unsupervised learning
그림 Concept Diagram for comparison of word extraction methods
표 Top 10 substring list
표 Miss rates when using single measure
표 Miss rates when using combination of two measures
표 Example of word extraction result

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 앞서 소개한 4가지 방법과 이들을 조합한 6가지 방법, 총 10가지 방법을 사용하여 《동의보감》 텍스트를 분절하였다. 각각의 방법으로 분절된 《동의보감》 텍스트와 표점으로 분절된 기존의 텍스트를 비교하여 얼마나 오류가 있는지 확인해 보았다.
마지막으로 본 연구에서 수행한 비지도학습 기반의 단어 추출 방법이 가지는 몇 가지 문제점에 대해 검토해 보기로 하자. 첫 번째는 문자열의 길이가 짧을수록 더 높은 점수를 부여받기 쉽다는 점이다.
본 연구는 평가용 데이터를 확보할 수 없는 상태에서 텍스트가 분절된 지점이 《동의보감》 표점 부분과 위배되는지만 검토하였다. 그러므로 분절되지 않아야 할 곳에서 분절되었는지에 대해서는 적절하게 평가할 수 없다는 한계를 지닌다.
본 연구에서는 한의학 고문헌에 비지도학습 기반의 몇 가지 용어 추출 방법을 적용하고 그 성능을 비교해 보았다. 이를 위해 학습용 데이터로 한국한의학연구원에서 구축한 17,842,632자 규모의 한의학 고문헌 텍스트를 사용하였고, 실험용 데이터로는 870,540자 규모의 《동의보감》 텍스트 데이터를 사용하였다.
치료 대상이 되는 병증과 치료 방법이 되는 방제, 본초, 경혈 등의 용어들이 내용의 대부분을 이루고 있기 때문에 이에 대한 고려도 필요하다. 이에 본 연구는 한의학 고문헌 텍스트를 분석할때 제기되는 단어 추출에 대한 문제를 다루어 보고자 한다.
이런 상황에서 한의학 고문헌 텍스트를 분석할 때 용어집 없이 단어를 추출하는 비지도학습 기반의 토큰 추출 방법이 대안이 될 있다. 이에 본 연구에서는 비지도학습 기반의 단어 추출 방법에 적용할 수 있는 몇 가지 방법을 수행하고 그 결과를 비교하였다.
이러한 한계는 단어 추출 방식을 변경함으로써 어느 정도 극복할 수 있다. 텍스트를 분절할 때, 추출점수가 높은 문자열부터 단어로 추출하는 것이 아니라 길이가 긴 문자열부터 단어로 추출하는 방식을 이용하는 것이다. 용어집에 [“補中益氣湯”, “補中益氣”, “補中”, “益氣”]가 모두 있다면, 위의 예시에서는 “補中益氣湯”이 추출되고, 본문 가운데 효능 설명에서는 “補中”이나 “益氣”가 추출될 것이다.

제안 방법

이를 《동의보감》 전체 표점으로 나누어 전체 표점 에서 표점과 위배된 비율(MR: Miss Rate)을 계산하 였다. 과도하게 분절된 경우에는 이를 보정해 주어야 하므로, 분절된 수량을 가중치로(S: Segments) 곱하여 최종 결과를 수치로 표현하였다.
분절이 많아질수록 오류는 줄어들 게 된다. 따라서 분절 개수를 가중치로 주어 이를 보정하였다. (MR)과 (S)를 곱한 결과값은 SL, CSxSL, BExSL, TSxSL, BExTS, BExCS, CSxTS, TS, CS, BE의 순으로 높아졌다.
먼저 《동의보감》에서 추출한 문자열을 위의 10 가지 방법에 따라 추출점수를 매겨 순위를 결정하였다. 각각의 방법에서 추출점수가 가장 높은 상위 10 종의 문자열을 제시해 보면 다음과 같다.
결과 검증을 위해서는 219,475건의《동의보감》 표점 정보를 이용하였다. 본 연구에 순위 부여에 필요한 점수를 계산하기 위해 외부경계값을 이용한 방법 1가지(BE:Branching Entropy)와내부경계값을 이용한 방법 3가지(CS:cohesion score, TS:t-score, SL:simple-ll), 그리고 이들을 조합한 방법 6가지 방법(BExSL, BExTS, BExCS,CSxTS, CSxSL, TSxSL)으로 테스트를 진행하였다.
본 연구에서는 앞서 소개한 4가지 방법과 이들을 조합한 6가지 방법, 총 10가지 방법을 사용하여 《동의보감》 텍스트를 분절하였다. 각각의 방법으로 분절된 《동의보감》 텍스트와 표점으로 분절된 기존의 텍스트를 비교하여 얼마나 오류가 있는지 확인해 보았다.
하지만 현재 객관적으로 인정받은 텍스트 분절 혹은 단어 추출에 대한 데이터는 존재하지 않는다. 본 연구에서는 차선책으로 《동의보감》 의 표점 정보를 이용하였다. 본 연구에 사용한 《동 의보감》 텍스트의 표점은 219,475건이며, 표점과 표점 사이에 평균 3.
본고에서는 먼저 여러 가지 점수 측정 방법으로 《동의보감》 텍스트를 분절한 다음, 《동의보감》 표점과 위배되는 부분의 수(M: Miss)를 측정하였다. 이를 《동의보감》 전체 표점으로 나누어 전체 표점 에서 표점과 위배된 비율(MR: Miss Rate)을 계산하 였다.
점수를 부여하는 방법에 따라 cohesion score, t-score, simple-ll 등으로 나눌 수 있다. 본연구에서는 외부경계값을 이용한 방법 1가지와 내부경계값을 이용한 방법 3가지, 그리고 이들을 2가 지씩 조합한 방법 6가지로 테스트를 진행하였다.
《동의보감》 텍스트의 표점 정보를 이용하면 다음과 같이 텍스트 분절 성능을 평가할 수 있다. 여러 방법으로 텍스트를 분절(ⓐ)하고, 이 분절 부분을 《동의보감》 텍스트에서 표점으로 분절된 부분(ⓑ) 과 비교한다. 이때 ⓑ의 개수는 고정되어 있으므로, ⓐ가 ⓑ에 위배되는 개수가 적을수록 오류가 적은 방법이라고 할 수 있다.
본고에서는 먼저 여러 가지 점수 측정 방법으로 《동의보감》 텍스트를 분절한 다음, 《동의보감》 표점과 위배되는 부분의 수(M: Miss)를 측정하였다. 이를 《동의보감》 전체 표점으로 나누어 전체 표점 에서 표점과 위배된 비율(MR: Miss Rate)을 계산하 였다. 과도하게 분절된 경우에는 이를 보정해 주어야 하므로, 분절된 수량을 가중치로(S: Segments) 곱하여 최종 결과를 수치로 표현하였다.
문자열에 순위가 부여되면 주어진 텍스트에서 순위가 높은 문자열부터 단어로 추출하게 된다. 추출된 결과와 본래 텍스트의 표점 부분을 비교하였을 때 표점 부분에서 텍스트가 분절되지 않은 부분, 즉 오류가 일어난 경우를 관찰하였다. 본 연구에 사용 한 《동의보감》 텍스트의 표점은 219,475건인데, 방법에 따라 대략 2만 7천건에서 2만 9천건 정도의 오류를 나타냈다.

대상 데이터

한자 기준 870,540자 크기의 데이터이다. 검증용 데이터는 성능평가를 위한 데이터이다. 따라서 데이터에 텍스트 분절에 대한 참값(ground truth)이 포함되어 있어야 한다.
이를 위해 학습용 데이터로 한국한의학연구원에서 구축한 17,842,632자 규모의 한의학 고문헌 텍스트를 사용하였고, 실험용 데이터로는 870,540자 규모의 《동의보감》 텍스트 데이터를 사용하였다. 결과 검증을 위해서는 219,475건의《동의보감》 표점 정보를 이용하였다. 본 연구에 순위 부여에 필요한 점수를 계산하기 위해 외부경계값을 이용한 방법 1가지(BE:Branching Entropy)와내부경계값을 이용한 방법 3가지(CS:cohesion score, TS:t-score, SL:simple-ll), 그리고 이들을 조합한 방법 6가지 방법(BExSL, BExTS, BExCS,CSxTS, CSxSL, TSxSL)으로 테스트를 진행하였다.
추출된 결과와 본래 텍스트의 표점 부분을 비교하였을 때 표점 부분에서 텍스트가 분절되지 않은 부분, 즉 오류가 일어난 경우를 관찰하였다. 본 연구에 사용 한 《동의보감》 텍스트의 표점은 219,475건인데, 방법에 따라 대략 2만 7천건에서 2만 9천건 정도의 오류를 나타냈다. 이를 정리하면 아래와 같다.
본 연구에서는 차선책으로 《동의보감》 의 표점 정보를 이용하였다. 본 연구에 사용한 《동 의보감》 텍스트의 표점은 219,475건이며, 표점과 표점 사이에 평균 3.966자가 포함되어 있다.
실험용 데이터로는 데이터의 완성도가 좋고 인지도가 높은 《동의보감》 원문을 사용하였다. 한자 기준 870,540자 크기의 데이터이다.
본 연구에서는 한의학 고문헌에 비지도학습 기반의 몇 가지 용어 추출 방법을 적용하고 그 성능을 비교해 보았다. 이를 위해 학습용 데이터로 한국한의학연구원에서 구축한 17,842,632자 규모의 한의학 고문헌 텍스트를 사용하였고, 실험용 데이터로는 870,540자 규모의 《동의보감》 텍스트 데이터를 사용하였다. 결과 검증을 위해서는 219,475건의《동의보감》 표점 정보를 이용하였다.
학습용 데이터는 문자열의 특성을 도출해야 하므로 크기가 크고 해당 분야의 특성을 잘 담고 있는 데이터일 필요가 있다. 이에 본 연구에서는 학습용 데이터로 한국한의학연구원에서 구축하고 있는 한의학 고문헌 텍스트를 사용하였다.⁶⁾ 이 데이터는 한자 (漢字) 기준으로 17,842,632자 규모이다.
실험용 데이터로는 데이터의 완성도가 좋고 인지도가 높은 《동의보감》 원문을 사용하였다. 한자 기준 870,540자 크기의 데이터이다. 검증용 데이터는 성능평가를 위한 데이터이다.

성능/효과

따라서 분절 개수를 가중치로 주어 이를 보정하였다. (MR)과 (S)를 곱한 결과값은 SL, CSxSL, BExSL, TSxSL, BExTS, BExCS, CSxTS, TS, CS, BE의 순으로 높아졌다. 이를 기준으로 하면, SL을 사용하였을 때 결과가 가장 좋았고, BE를 단독으로 사용하였을 때 결과가 가장 좋지 않았다.
¹⁾ 한국은 현재 한국한의학연구원에서 854만여자 규모 79종의 의서를 온라인 웹서비스〈한의학고전DB〉 를 통해 공개하고 있다.²⁾ 중국의 성과에 비하면 크게 미치지 못하는 분량이지만 자료의 양이 꾸준히 늘어나고 있다.
이를 보면, TSxSL, BExTS, SL, BExSL, BExCS, CSxSL, TS, CSxTS, BE, CS 순으로 높아졌다. TS 와 SL를 조합하여 곱한 값을 사용하였을 때 오류가 가장 적었고, CS를 단독으로 사용하였을 때 오류가 가장 컸다.
그 결과 표점이 서로 위배된 비율(MR)을 기준으로 한 경우, TS와 SL를 조합하여 곱한 값을 사용하였을 때 오류가 가장 적었고, 분절된 텍스트의 수를 가중치로 적용한 기준을 사용한 경우, SL을 사용하였을 때 결과가 가장 좋았다.
표점 위배 비율(MR)에서 나타나듯 각각의 방법들 사이에 현저한 차이가 있다고 보기 어렵다. 그러나 상대적으로 비교하였을 때, 위배 비율(MR) 면에서 TS와 SL을 조합한 방법이 가장 우수했고, 가중치를 추가한 결과에서는 SL이 가장 좋은 성능을 나타냈다. 그러므로 SL 혹은 TSxSL을 가장 먼저 고려해 볼 수 있다.
(MR)과 (S)를 곱한 결과값은 SL, CSxSL, BExSL, TSxSL, BExTS, BExCS, CSxTS, TS, CS, BE의 순으로 높아졌다. 이를 기준으로 하면, SL을 사용하였을 때 결과가 가장 좋았고, BE를 단독으로 사용하였을 때 결과가 가장 좋지 않았다.
위배 비율이 낮을수록 오류가 적다고 해석할 수 있다. 이를 보면, TSxSL, BExTS, SL, BExSL, BExCS, CSxSL, TS, CSxTS, BE, CS 순으로 높아졌다. TS 와 SL를 조합하여 곱한 값을 사용하였을 때 오류가 가장 적었고, CS를 단독으로 사용하였을 때 오류가 가장 컸다.

후속연구

1] 에서도 이를 확인할 수 있다. 그러므로 용어집이 구비되지 않은 상태에서 텍스트 분석을 수행해야 할 때, 어느 정도의 오류가 용인되거나 후처리를 할 수 있는 상황이라면 본 연구에서 수행한 비지도학습 기반의 단어 추출 방법을 적용할 수 있을 것으로 보인다.
먼저 한의학 고문헌 텍스트 분석에서 비지도 학습 기반의 단어 추출 방법을 적용할 수 있을까. [Table.
이상의 결과에서 검토해야 할 점은, 용어집이 구비되지 않은 경우 텍스트 분석에서 비지도학습 기반의 단어 추출 방법을 적용할 수 있는가, 있다면 어떤 방법을 사용해야 하는가, 마지막으로 이 방법에서 극복되어야 할 점은 무엇인가 하는 점이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	한의학 고문헌은 무엇인가?	한의학 고문헌은 전통사회에서 만들어진 동아시아 전통의학 문헌을 가리킨다. 이 문헌들은 의술을 배우고 연구하는 목적으로 오랜 시간동안 전승되며 읽혀 왔다.
	문헌의 내용을 디지털 텍스트로 구축하면 얻을 수 있는 이점은 무엇인가?	현대에 이르러 출판 및 연구의 편의를 위해 이들 문헌 속 내용이 디지털 형태로 다시 만들어지고 있다. 문헌의 내용을 디지털 텍스트로 구축하면 방대한 분량을 작은 저장 공간에 담을 수 있을 뿐만 아니라 검색과 열람에도 용이하다. 동아시아 전통의학에서 가장 많은 서적을 보유하고 있는 중국은 이미 상당한 양의 디지털 텍스트를 구비하고 있다.
	텍스트와 같은 비정형 데이터의 분석 기법이 발전하며 데이터 분석을 위한 자원으로 각광받는다. 이를 위해 어떠한 노력이 필요한가?	그러나 이를 위해서는 많은 준비가 요구된다. 텍스트를 분석하기 위해서는 분석 대상이 될 데이터가 디지털 형태로 마련되어야 하며, 목적에 맞는 적절한 분석 방법과 모델이 개발되어야 한다. 이미 분석 방법과 모델에 대한 연구는 정보학, 컴퓨터공학, 수학 등 다양한 학문 영역에서 연구 되고 있다.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증