[논문]문서 데이터 정보화를 위한 지능형 문서처리 플랫폼에 관한 연구

허희도; 강동구; 김영수; 전삼현

doi:10.7236/jiibc.2024.24.1.89

[국내논문] 문서 데이터 정보화를 위한 지능형 문서처리 플랫폼에 관한 연구
A Study on the Intelligent Document Processing Platform for Document Data Informatization

The journal of the institute of internet, broadcasting and communication : JIIBC, v.24 no.1, 2024년, pp.89 - 95

허희도 (숭실대학교 IT정책경영학과) , 강동구 (숭실대학교 IT정책경영학과) , 김영수 (숭실대학교 IT정책경영학과) , 전삼현 (숭실대학교 IT정책경영학과)

초록
AI-Helper

요즘 기업의 경쟁력은 조직이 축적한 조직의 지식들을 모든 조직원들이 잘 공유하고 활용하는 능력에 달려있다. 이것을 증명이라도 하듯이 지금 세상은 LLM(거대언어모델)의 기반의 생성형 AI 기술을 이용한 쳇GPT서비스에 대해 집중하고 있다. 하지만, 쳇GPT 서비스를 업무에 적용하기에는 아직 환각성 문제가 많아 어려운 상태이다. 이 문제를 해결하기 위해 sLLM(경량거대언어모델) 기술이 대안으로 제시되고 있다. sLLM을 구성하기 위해서는 기업데이터가 필수적으로 필요하다. 기업데이터는 조직의 ERP Data와 조직이 보존하고 있는 기업의 오피스 문서 지식 데이터이다. ERP Data는 sLLM과 직접 연결하여 활용할 수 있으나 오피스 문서는 파일 형태로 저장되어 있어서 데이터 형태로 변환하여야 sLLM과 연결하여 활용할 수 있다. 뿐만 아니라 파일 형태로 저장되어져 있는 오피스 문서들을 조직을 지식 정보로 활용하기에는 기술적 제약 사항이 너무 많다. 본 연구는 오피스 문서를 파일 형태가 아닌 DB 형태로 저장하는 방법을 제시함으로서 기업이 기 축적 된 오피스 문서를 조직의 지식 시스템으로 잘 활용할 수 있게 하고, 기업의 sLLM에 오피스 문서를 데이터 형태로 제공하여 AI 기술과 접목하여 기업 경쟁력을 향상 시키는데 기여하고자 한다.

Abstract ▼ AI-Helper

Nowadays, the competitiveness of a company depends on the ability of all organizational members to share and utilize the organizational knowledge accumulated by the organization. As if to prove this, the world is now focusing on ChetGPT service using generative AI technology based on LLM (Large Language Model). However, it is still difficult to apply the ChetGPT service to work because there are many hallucinogenic problems. To solve this problem, sLLM (Lightweight Large Language Model) technology is being proposed as an alternative. In order to construct sLLM, corporate data is essential. Corporate data is the organization's ERP data and the company's office document knowledge data preserved by the organization. ERP Data can be used by directly connecting to sLLM, but office documents are stored in file format and must be converted to data format to be used by connecting to sLLM. In addition, there are too many technical limitations to utilize office documents stored in file format as organizational knowledge information. This study proposes a method of storing office documents in DB format rather than file format, allowing companies to utilize already accumulated office documents as an organizational knowledge system, and providing office documents in data form to the company's SLLM. We aim to contribute to improving corporate competitiveness by combining AI technology.

주제어

표/그림 (7)

표 표 1. 주요연구 부문 Table 1. Major Research Areas
그림 그림 1. 문서 요소 메타데이터 시각화 구조도 Fig. 1. Document Element Metadata Visualization Structure Diagram
그림 그림 2. Graph DB Connector 예상 구성도 Fig. 2. Graph DB Connector Expected Configuration
그림 그림 3. 의미기반 데이터 저장소 예상 구성도 Fig. 3. Semantic data stores Expected Configuration
그림 그림 4. 학술자원 도메인에서의 스키마 구축 예시 Fig. 4. Example of schema building in the Academic Resources domain
그림 그림 5. 지식 그래프생성 아키텍쳐 Fig. 5. Knowledge Graph Generation Architecture
그림 그림 6. AI 기술 융합 서비스 예상 구성도 Fig. 6. AI Technology Convergence Service Expected Configuration

AI 본문요약
AI-Helper

제안 방법

(2) 1차 생성된 메타데이터 자동 생성 모델의 성능 고도화를 고려해야 하므로 학습 데이터를 추가 구축하여 기존 메타데이터 자동 생성 모델 학습을 계속적으로 고도화 시킴으로 Parameter Tuning을 통해 기 생성 된 모델의 성능을 개선 할 수 있도록 한다.
(2) 의미 기반 데이터 저장소 기술 관련 연구로 의미기반 데이터를 저장하기 위한 DB(데이터베이스)를 구축하고, 고가용성을 위한 클러스터링 연구와 의미기반 데이터 저장소의 성능 최적화를 위해 TmaxData사의 Tibero7(RDBMS)의 TAC로 구축한다.
본 연구에서는 오피스 기술을 활용하여 클라우드 환경에서 다중 사용자의 동시 편집을 지원하고 다양한 포맷의 문서를 호환하며 임베딩(Embedidng)을 통해 타 어플리케이션으로 확장성을 제공하고, AI기술을 활용하여 문서로부터 메타데이터를 자동 생성하고, 문서 전체의 메타데이터와 외부 데이터 기반 지식 그래프를 구축하여 검색 및 추천 가능하도록 설계하고, 문서 표준을 국제 기준에 맞추어 ODF, OOXML 기반으로 표준 개선사항을 도출하고, 상용 문서 포맷과 연동/호환되는 기술을 적용하고, AST(Abstract Syntax Tree)기술을 활용하여 프로그램 분석 컴파일을 하고 엘리먼트 트리(Element Tree)문서의 데이터를 DB로 저장할 수 있도록 하는 연구 내용을 기술하였다. 이에 필요한 관련 연구 기술을 표1과 같이 정의해 보았다.
웹 편집기에서 사용되는 View, 표, 차트 등을 모듈화하여 현재 웹어플리케이션에 종속적인 컴포넌트가 아닌 JS(자바스크립트)가 수행될 수 있는 환경이라면 어디서든 동작할 수 있는 독립적 모듈로 설계했다. 웹 어플리케이션의 모듈화를 통해 웹오피스 뿐만 아니라 다른 어플리케이션에서도 정보공유 및 편집을 할 수 있도록 컴포넌트의 기능을 제공할 수 있도록 설계했다.
웹 어플리케이션의 모듈화를 통해 웹오피스 뿐만 아니라 다른 어플리케이션에서도 정보공유 및 편집을 할 수 있도록 컴포넌트의 기능을 제공할 수 있도록 설계했다. 활용성이 높은 표, 차트 등의 기능부터 모듈화하여 이후 문서 편집기 전체를 다른 사이트에 임베딩(Embedding) 될 수 있도록 설계했다. 모듈에서 변경 사항이 원본 문서의 내용을 수정할 수 있도록 Client buffer 및 전송 로직 모듈화가 이루어지도록 설계했다.

성능/효과

(3) 메타 데이터 자동 생성 모델의 실시간 서비스를 위해 모델 경량화 기술이 필수적이다. 이에 Knowledge, Distillation, Pruning, Quantization 등을 활용하여 기존에 개발한 대규모 모델을 경량화하고 연속적인 Tuning을 통해 실시간 서비스를 제공하며 성능 저하를 최소화 할수 있도록 한다.
(4) 특정 도메인에서의 스키마 구축은 지식 그래프를 구성하는데 중요한 요소가 되며 문서 간의 의미 정보를 잘 추출할 수 있도록 설계 되어져야 한다. 학술 자원 도메인을 샘플로 문서 의미 정보를 추출하는 설계 예시는 그림 4와 같다.

후속연구

(2) 의미 기반의 데이터 저장을 효율적으로 하기 위해서는 DB 구조 개선이 필요하고 고가용성을 보장하기 위한 클러스터링 기술 연구와 이미 기반 데이터 저장소의 성능 최적화를 위한 기술 연구가 필수적이다. 이에 의미기반 데이터 저장소의 예상 구조도를 그림 3과 같이 제시한다.
(2) 저장 된 문서 데이터와 외부의 지식 데이터가 하나의 지식으로 통합되어 최종 사용자들에게 서비스될 수 있다면 새로운 지식 서비스의 혁신적인 연구가 될 것이다. 이에 문서 데이터와 외부의 지식 데이터 효율적으로 서비스 되기 위한 필요한 예상 구성도를 그림 5와 같이 제시한다.
그리고 문서 규격의 고도화를 지향하는 최초의 연구로 기술 및 시장 선점 글로벌 기업인 마이크로소프트, Google 등의 기술격차 해소를 통한 글로벌 시장 진출 기반을 마련하고 해외 종속적인 문서 관리 및 언어 처리 시장을 극복하고 자체 기술 기반 산업 영역을 확대함으로써 기존 글로벌 선두업체와의 기술격차를 해소하고, 기술 의존도를 탈피한 자체 기술을 확보하는데 기여 할 것이라고 예상된다.
데이터의 생성‧수집 단계에서부터 표준화된 메타데이터 기반의 문서 작성 및 DB화는 문서의 의미나 관계를 자동으로 기계가 해석 가능한 문서의 범위를 확대하고 표준화함으로써 범용 문서 제작까지 적용 가능할 것으로 예상된다.
또한, 본 연구는 제4차 산업혁명 기술 요소인 AI, 빅데이터, 클라우드와 Office 기술의 동반 성장에 기여할 것이다. 하지만 문서의 내용을 더욱 잘 이해하고 이후 처리가 쉽도록 지원하기 위해서는 문서중앙화 솔루션과 AI 기술을 융합하는 것이 중요하다.
본 연구를 더욱 발전시켜, AI 기반 예측 분석 및 추천 기술을 적용하여 지능형 문서처리 플랫폼 기반의 클라우드 오피스 시장을 활성화 한다면 경제적, 산업적 측면에서는 사무 프로세스 비용 절감 및 업무 생산성을 100배 이상 증대하는 효과가 예상된다.
이에 본 연구는 클라우드 오피스 기반의 데이터 정보화 환경을 구축할 수 있도록 도움을 주고, 데이터 기반의 의사결정을 할 수 있는 환경을 제공하고, 지능형 문서 데이터 통합 관리체계 마련하고 문서를 데이터 정보로 활용하고, AI 기술을 적용하여 여러 문서들의 중요한 정보와 지식들을 통합된 형태로 서비스 받을 수 있도록 할 것이다.
하지만 문서의 내용을 더욱 잘 이해하고 이후 처리가 쉽도록 지원하기 위해서는 문서중앙화 솔루션과 AI 기술을 융합하는 것이 중요하다. 향후 문서 중앙화 솔루션과 기존 작성된 문서를 파일과 DB로 동시에 저장할 수 있는 기술과 AI가 문서를 바로 이해 할 수 있는 연구가 더욱 필요하다.

참고문헌 (4)

Lee Jun-Hee, 2005, DBPIA : Design of an ECM System for Ubiquitous Knowledge Management DOI:https://www-dbpia-co-kr-ssl.openlink.ssu.ac.kr/pdf/pdfView.do?nodeIdNODE00685139？
Kim Myong-Ok, 2000, DBPIA : Metadata-based Document Management Model DOI:https://www-dbpia-co-kr-ssl.openlink.ssu.ac.kr/pdf/pdfView.do?nodeIdNODE10491192？
Yoo Kee-dong, 2012, Cloud storage-based intelligent archiving system applying automatic document summarization. DOI:https://koreascience.kr/article/JAKO201223659810823.pdf？
Lee Yong-Bae, 2011, DBPIA : Design and Implementation of a Preprocessing Tool lite-DOM for the Information Analysis of Digital Documents. DOI:https://www-dbpia-co-kr-ssl.openlink.ssu.ac.kr/pdf/pdfView.do?nodeIdNODE01746498

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증