[논문]필기 한자 고문서의 디지털 라이브러리화를 위한 입력 시스템 개발

장만대; 김민수; 이택헌; 김진형; 곽희규

필기 한자 고문서의 디지털 라이브러리화를 위한 입력 시스템 개발
Development of Input System for Digitalizing Handwritten Hanja Historical Documents 원문보기

장만대 (한국과학기술원 전자전산학과) , 김민수 (한국과학기술원 전자전산학과) , 이택헌 (한국과학기술원 전자전산학과) , 김진형 (한국과학기술원 전자전산학과) , 곽희규 ((주)동방 SnC)

본 논문에서는 필기 한자로 쓰여진 고문서를 보다 효율적으로 디지털 라이브러리화하기 위한 입력 방법을 제안한다. 제안한 입력 방법은, 문자 인식 방법과 수작업을 병행하는 방법으로서, 인식 및 기각 방법을 사용하여 유사한 글자들을 자동 군집화한 후, 수작업으로 교정 및 검증을 거쳐 최종 입력하는 방식이다. 한국학 고문서인 승정원일기를 대상으로 한 실험에서, 제안한 방법이 높은 정확률과 낮은 기각 비율을 보임으로써, 기존의 수작업 입력 방법을 대체할 경우 상당한 시간 및 노동력의 절감을 가져올 것으로 기대한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

향후 연구로는 첫째, 마할라노비스 거리의 임계값을 적용하여 훈련 과정에서 배제된 한자에 대해 기각할 수 있는 방법을 고려하고자 한다. 둘째, 언어 모델을 이용하여 기각 시스템을 완전히 없앨 수 있는 가능성을 검토하고자 한다.
본 논문에서는 기존의 수작업만을 통한 필기 한자 고문 서의 입력 방법에 문자 인식 기법을 결합하여 좀더 효율적인 입력 방법을 제안하였다.
이 시스템은 유클리디언 거리 기반 시스템의 인식 및 기 각 방법에 대한 단점을 개선하기 위해 제안된다.

가설 설정

이 때, 마할라노비스 거리를 구하기 위한 각 모델의 공 분산은 모두 같다고 가정 하였다.

제안 방법

필기체 한자 인식기의 성능이 아직 실용적인 단계에 미치지 못하고 있을 뿐 아니라[U, 원본의 노후화 로 인해 저하된 화질의 개선, 독특한 한자들의 처리 등 인 식 이외에도 해결해야 할 문제가 산적해 있기 때문이다 (그림 1). 따라서, 현실적인 절충안으로서, 입력된 영상을 문자 인식 기법을 통해 각 문자별로 자동으로 군집화한 후, 해당 군집 별로 한자의 입력 작업을 수행하는 방법을 제안한다. 단, 군집 내에 오분류된 글자들은 사람이 수작 업으로 제거하고, 정분류된 글자만을 일괄적으로 자동 입 력한다.
또한, 유클리디언 거리 기반 기각 방법은 각 모델의 특정 임계값을 가지고 기각 여부를 판단하였다. 유클리디 언 거리 기반 기각 시스템의 임계 값 설정 방법은 신뢰도 가 95%이라 하고, 특정 그룹으로 모인 글자가 100개라고 할 때, 글자들을 거리가 작은 것부터 차례로 정렬하고, 5%에 해당하는 5번째까지 오분류된 글자들은 받아들인 후, 6번째 오분류된 글자에 대해 그 글자 바로 앞에 있는 글자가 가지는 거리를 그 모델의 임계 값으로 설정한다.
본 논문에서는 자동 군집화와 자동 기각을 함으로써, 수 작업에 의한 시간 및 비용을 절감시켜줄 수 있는 시스템을 두 가지 제안하고 서로 비교해 본다.
유클리디언 거리 기반 시스템에서는 유사도를 측정하기 위하여 유클리디언 거리 정합을 인식 방법으로 사용하였다. 이 시스템에서는 식(1)과 같이 유사도 비교를 위해 특 징 간의 상관 관계 및 분포를 반영할 수 있는 마할라노비 스 거리 정합 방법으로 거리 계산 방법을 변경하였다.

대상 데이터

기각 방법 개선에 관한 실험 결과는 (그림6) 과 같다. 기각시스템에서 사용한 훈련 데이터는 2, 568클 래스에 대해 클래스 당 최대 300자를 사용했으며, 테스트 데이터는 5, 599클래스로 이뤄진 승정원 일기 문서 200장 (77, 597자)을 가지고 실험하였다.
본 연구를 위해 사용된 실험 데이터는 승정원일기 29책 3, 897장(약1474000자)이며, 인식을 위한 훈련 데이터 는 1, 066클래스에 대해 클래스 당 100자로 훈련 시킨 것과 2, 568클래스를 클래스 당 최대 300자로 훈련시킨 것으로 나누어 실험하였다. 테스트를 위하여 사용된 데이터 는 1,000장(약 400, 000자)의 문서, 5, 599클래스를 200 장씩 나누어 5번에 걸쳐 실험하였다.
여기서 (1)은 유클리디언 거리와 1, 066개로 훈련시킨 모델을 이용한 것이고 (2)는 마할라노비스 거리와 1, 066 개로 훈련된 모델을 이용하였고, (3)은 마할라노비스 거 리와 2, 568개의 모델을 이용하였다. (1)과 (2)의 Total을 비교해 볼 때, 마할라노비스 거리를 이용한 것이 유클리 디언 거리를 이용한 것보다 약 3% 성능 이 개선된 것을 알 수 있다.
본 연구를 위해 사용된 실험 데이터는 승정원일기 29책 3, 897장(약1474000자)이며, 인식을 위한 훈련 데이터 는 1, 066클래스에 대해 클래스 당 100자로 훈련 시킨 것과 2, 568클래스를 클래스 당 최대 300자로 훈련시킨 것으로 나누어 실험하였다. 테스트를 위하여 사용된 데이터 는 1,000장(약 400, 000자)의 문서, 5, 599클래스를 200 장씩 나누어 5번에 걸쳐 실험하였다. 실험 결과는 [표 1] 과 같다.

이론/모형

유클리디언 거리 기반 시스템에서는 유사도를 측정하기 위하여 유클리디언 거리 정합을 인식 방법으로 사용하였다. 이 시스템에서는 식(1)과 같이 유사도 비교를 위해 특 징 간의 상관 관계 및 분포를 반영할 수 있는 마할라노비 스 거리 정합 방법으로 거리 계산 방법을 변경하였다.

성능/효과

여기서 (1)은 유클리디언 거리와 1, 066개로 훈련시킨 모델을 이용한 것이고 (2)는 마할라노비스 거리와 1, 066 개로 훈련된 모델을 이용하였고, (3)은 마할라노비스 거 리와 2, 568개의 모델을 이용하였다. (1)과 (2)의 Total을 비교해 볼 때, 마할라노비스 거리를 이용한 것이 유클리 디언 거리를 이용한 것보다 약 3% 성능 이 개선된 것을 알 수 있다. 또한, 훈련 클래스 수를 1, 066개에서 2, 568 개로 늘렸을 때, 추가로 약 4% 증가 했음을 알 수 있다.
제안한 방법은 유클리디언 거리 기반의 인식 및 기각방 법과 마할라노비스 거리 기반의 인식 및 기각 방법을 사 용하였는데 전자는 처리 속도가 빠른 반면 정확률이 떨어 지며, 후자는 전자보다 높은 정확률과 낮은 기각 개수를 가지지만 처리 속도가 느린 것을 알 수 있었다.

후속연구

두 방법을 통한 장, 단점과 작업환경에서의 시간 및 비 용 측면 등을 고려하여, 제안된 시스템을 적절히 적용하 면 기존의 수작업으로만 입력하던 방법을 효율적으로 개 선할 수 있을 것으로 기대한다.
향후 연구로는 첫째, 마할라노비스 거리의 임계값을 적용하여 훈련 과정에서 배제된 한자에 대해 기각할 수 있는 방법을 고려하고자 한다. 둘째, 언어 모델을 이용하여 기각 시스템을 완전히 없앨 수 있는 가능성을 검토하고자 한다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

필기 한자 고문서의 디지털 라이브러리화를 위한 입력 시스템 개발
Development of Input System for Digitalizing Handwritten Hanja Historical Documents 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

필기 한자 고문서의 디지털 라이브러리화를 위한 입력 시스템 개발 Development of Input System for Digitalizing Handwritten Hanja Historical Documents 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

가설 설정

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

필기 한자 고문서의 디지털 라이브러리화를 위한 입력 시스템 개발
Development of Input System for Digitalizing Handwritten Hanja Historical Documents 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper