[논문]금융 특화 딥러닝 광학문자인식 기반 문서 처리 플랫폼 구축 및 금융권 내 활용

김동영; 김두형; 곽명성; 손현수; 손동원; 임민기; 신예지; 이현정; 박찬동; 김미향; 최동원

doi:10.13088/jiis.2023.29.1.143

금융 특화 딥러닝 광학문자인식 기반 문서 처리 플랫폼 구축 및 금융권 내 활용
Deep Learning OCR based document processing platform and its application in financial domain 원문보기

지능정보연구 = Journal of intelligence and information systems, v.29 no.1, 2023년, pp.143 - 174

김동영 (금융AI센터, KB국민은행) , 김두형 (금융AI센터, KB국민은행) , 곽명성 (금융AI센터, KB국민은행) , 손현수 (금융AI센터, KB국민은행) , 손동원 (금융AI센터, KB국민은행) , 임민기 (금융AI센터, KB국민은행) , 신예지 (금융AI센터, KB국민은행) , 이현정 (금융AI센터, KB국민은행) , 박찬동 (금융AI센터, KB국민은행) , 김미향 (금융AI센터, KB국민은행) , 최동원 (금융AI센터, KB국민은행)

초록
AI-Helper

인공지능의 발전과 함께 딥러닝을 활용한 인공지능 광학문자인식 기법 (Artificial Intelligence powered Optical Character Recognition, AI-OCR) 의 등장은 기존의 이미지 처리 기반 OCR 기술의 한계를 넘어 다양한 형태의 이미지로부터 여러 언어를 높은 정확도로 읽어낼 수 있는 모델로 발전하였다. 특히, AI-OCR은 인력을 통해 대량의 다양한 서류 처리 업무를 수행하는 금융업에 있어 그 활용 잠재력이 크다. 본 연구에서는 금융권내 활용을 위한 AI-OCR 모델의 구성과 설계를 제시하고, 이를 효율적으로 적용하기 위한 플랫폼 구축 및 활용 사례에 대해 논한다. 금융권 특화 딥러닝 모델을 만듦에 있어 금융 도메인 데이터 사용은 필수적이나, 개인정보보호법 이하 실 데이터의 사용이 불가하다. 이에 본 연구에서는 딥러닝 기반 데이터 생성 모델을 개발하였고, 이를 활용하여 AI-OCR 모델 학습을 진행하였다. 다양한 서류 처리에 있어 유연한 데이터 처리를 위해 단계적 구성의 AI-OCR 모델들을 제안하며, 이는 이미지 전처리 모델, 문자 탐지 모델, 문자 인식 모델, 문자 정렬 모델 및 언어 처리 모델의 선택적, 단계적 사용을 포함한다. AI-OCR 모델의 배포를 위해 온프레미스(On-Premise) 및 프라이빗 클라우드(Private Cloud) 내 GPU 컴퓨팅 클러스터를 구성하고, Hybrid GPU Cluster 내 컨테이너 오케스트레이션을 통한 고효율, 고가용 AI-OCR 플랫폼 구축하여 다양한 업무 및 채널에 적용하였다. 본 연구를 통해 금융 특화 AI-OCR 모델 및 플랫폼을 구축하여 금융권 서류 처리 업무인 문서 분류, 문서 검증 및 입력 보조 시스템으로의 활용을 통해 업무 효율 및 편의성 증대를 확인하였다.

Abstract ▼ AI-Helper

With the development of deep learning technologies, Artificial Intelligence powered Optical Character Recognition (AI-OCR) has evolved to read multiple languages from various forms of images accurately. For the financial industry, where a large number of diverse documents are processed through manpower, the potential for using AI-OCR is great. In this study, we present a configuration and a design of an AI-OCR modality for use in the financial industry and discuss the platform construction with application cases. Since the use of financial domain data is prohibited under the Personal Information Protection Act, we developed a deep learning-based data generation approach and used it to train the AI-OCR models. The AI-OCR models are trained for image preprocessing, text recognition, and language processing and are configured as a microservice architected platform to process a broad variety of documents. We have demonstrated the AI-OCR platform by applying it to financial domain tasks of document sorting, document verification, and typing assistance The demonstrations confirm the increasing work efficiency and conveniences.

주제어

표/그림 (5)

그림 <그림 1> 금융권 특화 딥러닝 문서 처리 시스템의 모델 구성 A. 이미지 생성 모델을 통해 민감정보를 사용하지 않는 학습 데이터 생성 및 이를 이용한 문서 처리 모델들의 학습을 진행한다. B.학습된 모델들을 이용하여 문서 이미지로부터 필요한 데이터를 추출한다. C. 단계별 처리 결과 예시로 금융문서, 이미지 전처리 모델의 결과, 문자 탐지 모델의 결과 (모델 결과 및 Segmentation 결과), 문자 인식 모델 결과, 문자 정렬 모델 결과 및 언어 처리 모델 결과 예시이다.
그림 <그림 2> 학습데이터 생성 모델 A. 학습데이터의 생성은 1. 디지털 양식 생성, 2. 비확률적 노이즈 추가, 및 3. 스타일 전의를 통해 이루어 진다. B. 스타일 전의 모델은 생성된 디지털 양식과 이에 대한 출력물을 금융권에서 사용하는 스캐너 및 팩스 등으로부터 얻은 데이터를 이용하여 학습된다. C. 디지털 양식 생성, 비확률적 노이즈 추가 및 스타일 전의 처리에 따른 결과 예시 이미지이다.
그림 <그림 3> 마이크로서비스구조 문서 처리 플랫폼 문서처리 플랫폼은 데이터 처리 로직 및 모델을 가지는 독립적인 서비스로 구성되며 CPU 또는 GPU 자원을 사용할수 있다. 플랫폼 내 서비스는 gRPC 로 통신한다. 문서 처리 서비스내 공통적으로 사용 가능한 이미지 전처리, 문자탐지, 문자 인식, 문자 정렬, NER, 기계독해 등의 서비스는 사용량에 따라 스케일 가능한 레플리카로 서비스하며 (공통 서비스 영역) 업무 특성에 따라 격리된 서비스가 필요할 경우 전용 영역을 지정하여 서비스한다. 문서처리 시스템은 컨테이너 오케스트레이션 하에 하이브리드 GPU클러스터에서 서비스 되며 이는 보안 인터페이스 시스템 (API Gateway 및 비동기 처리 시스템) 과 REST API통신하여 금융권 메인 프레임, 레거시 및 클라우드 서비스로 연결된다.
그림 <그림 4> 금융 특화 Hybrid GPU Cluster 및 MLOps 시스템 A. 금융 특화 hybrid GPU Cluster 구성으로 on-premise kubernetes cluster 와 Priviate Cloud kubernetes cluster들로 구성된다. B. 서비스에 목적과 용도에 따라 개발 시스템 (Dev. System) 과 연계된 git 기반의 Deployment System 을 통해 배포된다. 개발시스템은 개발환경과 밀접하게 연계된 데이터 저장소, 실험 저장소 및 모델 저장소를 이용해 MLOps 를 구현하였다. C. 문서 처리 플랫폼을 CPU 클러스터 및 GPU 클러스터 사용에 따른 문자 탐지(Detector) 및 문자 인식(Recognizer), 그리고 전체 문서 처리 시간 비교이다. 그래프는 평균(bar)및 표준편차(red error bar)를 표기한다.
그림 <그림 5> 문서 처리 플랫폼 적용 효과 A. 법인고객 확인 서류 사전 점검 서비스 적용 전(Conventional) 및 문서 처리 플랫폼 적용 후(AI-OCR)의 업무 처리시간 비교 그래프이다(p=2.25×10^-17). B. 외환 거래 신청서 처리에 있어 초보자(Beginner), 숙련자(Expert), 및 문서 처리플랫폼 적용 후(AI-OCR)의 입력 시간 비교이다(*p=2.09×10^-4, **p=8.31×10^-5, n.s. p= 0.1014). C. 문서 처리 플랫폼을 통한 외환 거래 신청서 처리시 정상처리(Pass), 실패(Fails), 및 서류 오류(Wrong Writing) 비율이다. D. 계좌 촬영 이체 서비스 및 E. 쿠폰 등록 서비스에 대한 사람 입력 시간(Conventional) 문서 처리 플랫폼 적용 후(AI-OCR)의 입력 시간 비교이다(D. p=2.03×10^-09, E. p=3.44×10^-13). 모든 box 그래프는 중앙값(Red lines), 25%(Box) 및 최소/최대 범위(Black lines)를 나타낸다.

참고문헌 (54)

김동규, 이동욱, 박장원, 오성우, 권성준, 이인용,？최동원. (2022), KB-BERT: 금융 특화 한국어 사전학습 언어모델과 그 응용, 지능정보연구 28(2), 191-206.

원문보기 상세보기
이정선, 서보일, 권영욱. (2021), 인공지능이 의사결정에 미치는 영향에 관한 연구: 인간과？인공지능의 협업 및 의사결정자의 성격 특성을 중심으로, 지능정보연구 27(3), 231-252.

원문보기 상세보기
최은주, 이준영, 한인구. (2020), 딥러닝 오픈소스？프레임워크의 사례연구를 통한 도입 전략도출, 지능정보연구 26(4), 27-65.

원문보기 상세보기
Abdollahi Vayghan, L., Saied, M. A., Toeroe, M.,？& Khendek, F. (2019). Microservice Based？Architecture: Towards High-Availability for？Stateful Applications with Kubernetes. 2019？IEEE 19th International Conference on？Software Quality, Reliability and Security？(QRS), 176-185. https://doi.org/10.1109/QRS.2019.00034
Akyurek, E., Dayanik, E., & Yuret, D. (2019).？Morphological Analysis Using a Sequence？Decoder. Transactions of the Association for？Computational Linguistics, 7, 567-579. https://doi.org/10.1162/tacl_a_00286

상세보기
Al-Badr, B., & Mahmoud, S. A. (1995). Survey and？bibliography of Arabic optical text recognition.？Signal Processing, 41(1), 49-77. https://doi.org/10.1016/0165-1684(94)00090-M

상세보기
Appalaraju, S., Jasani, B., Kota, B. U., Xie, Y., &？Manmatha, R. (2021). DocFormer: End-to-End？Transformer for Document Understanding.？2021 IEEE/CVF International Conference on？Computer Vision (ICCV), 973-983. https://doi.org/10.1109/ICCV48922.2021.00103
Armenise, V. (2015). Continuous Delivery with Jenkins:？Jenkins Solutions to Implement Continuous？Delivery. 2015 IEEE/ACM 3rd International？Workshop on Release Engineering, 24-27. https://doi.org/10.1109/RELENG.2015.19
Atienza, R. (2021). Vision Transformer for Fast and？Efficient Scene Text Recognition (pp. 319-334). https://doi.org/10.1007/978-3-030-86549-8_21
Baek, J., Kim, G., Lee, J., Park, S., Han, D., Yun,？S., Oh, S. J., & Lee, H. (2019). What Is？Wrong With Scene Text Recognition Model？Comparisons? Dataset and Model Analysis.
Baek, Y., Lee, B., Han, D., Yun, S., & Lee, H. (2019).？Character Region Awareness for Text Detection.？2019 IEEE/CVF Conference on Computer Vision？and Pattern Recognition (CVPR), 9357-9366. https://doi.org/10.1109/CVPR.2019.00959
Bartz, C., Yang, H., & Meinel, C. (2017). STN-OCR:？A single Neural Network for Text Detection？and Text Recognition.
Bisong, E. (2019). Kubeflow and Kubeflow Pipelines.？In Building Machine Learning and Deep？Learning Models on Google Cloud Platform？(pp. 671-685). Apress. https://doi.org/10.1007/978-1-4842-4470-8_46
Bookstein, F. L. (1989). Principal warps: thin-plate？splines and the decomposition of deformations.？IEEE Transactions on Pattern Analysis and？Machine Intelligence, 11(6), 567-585. https://doi.org/10.1109/34.24792

상세보기
Chauhan, R., Ghanshala, K. K., & Joshi, R. C.？(2018). Convolutional Neural Network (CNN)？for Image Detection and Recognition. 2018？First International Conference on Secure Cyber？Computing and Communication (ICSCCC),？278-282. https://doi.org/10.1109/ICSCCC.2018.8703316
Chen, A., Chow, A., Davidson, A., DCunha, A.,？Ghodsi, A., Hong, S. A., Konwinski, A.,？Mewald, C., Murching, S., Nykodym, T.,？Ogilvie, P., Parkhe, M., Singh, A., Xie, F.,？Zaharia, M., Zang, R., Zheng, J., & Zumar, C.？(2020). Developments in MLflow. Proceedings？of the Fourth International Workshop on Data？Management for End-to-End Machine Learning,？1-4. https://doi.org/10.1145/3399579.3399867
Cortes Rios, J. C., Kopec-Harding, K., Eraslan, S.,？Page, C., Haines, R., Jay, C., & Embury, S.？M. (2019). A Methodology for Using GitLab？for Software Engineering Learning Analytics.？2019 IEEE/ACM 12th International Workshop？on Cooperative and Human Aspects of Software？Engineering (CHASE), 3-6. https://doi.org/10.1109/CHASE.2019.00009
Creswell, A., White, T., Dumoulin, V., Arulkumaran,？K., Sengupta, B., & Bharath, A. A. (2018).？Generative Adversarial Networks: An Overview.？IEEE Signal Processing Magazine, 35(1), 53-65.？https://doi.org/10.1109/MSP.2017.2765202

상세보기
Dieleman, S., Willett, K. W., & Dambre, J. (2015).？Rotation-invariant convolutional neural networks？for galaxy morphology prediction. Monthly？Notices of the Royal Astronomical Society,？450(2), 1441-1459. https://doi.org/10.1093/mnras/stv632

상세보기
Dosovitskiy, A., Beyer, L., Kolesnikov, A.,？Weissenborn, D., Zhai, X., Unterthiner, T.,？Dehghani, M., Minderer, M., Heigold, G.,？Gelly, S., Uszkoreit, J., & Houlsby, N.？(2020). An Image is Worth 16×16 Words:？Transformers for Image Recognition at Scale.
Ganis, M. D., Wilson, C. L., & Blue, J. L. (1998).？Neural network-based systems for handprint？OCR applications. IEEE Transactions on？Image Processing, 7(8), 1097-1112. https://doi.org/10.1109/83.704304

상세보기
Gatys, L. A., Ecker, A. S., & Bethge, M. (2016).？Image Style Transfer Using Convolutional？Neural Networks. 2016 IEEE Conference on？Computer Vision and Pattern Recognition？(CVPR), 2414-2423. https://doi.org/10.1109/CVPR.2016.265
Girshick, R., Donahue, J., Darrell, T., & Malik, J.？(2014). Rich Feature Hierarchies for Accurate？Object Detection and Semantic Segmentation.？2014 IEEE Conference on Computer Vision？and Pattern Recognition, 580-587. https://doi.org/10.1109/CVPR.2014.81
Gos, K., & Zabierowski, W. (2020). The Comparison？of Microservice and Monolithic Architecture.？2020 IEEE XVIth International Conference？on the Perspective Technologies and Methods？in MEMS Design (MEMSTECH), 150-153.？https://doi.org/10.1109/MEMSTECH49584.2020.9109514
Graves, A., Fernandez, S., Gomez, F., & Schmidhuber,？J. (2006). Connectionist temporal classification.？Proceedings of the 23rd International Conference？on Machine Learning - ICML '06, 369-376. https://doi.org/10.1145/1143844.1143891
Hewage, N., & Meedeniya, D. (2022). Machine Learning？Operations: A Survey on MLOps Tool Support.？https://doi.org/10.48550/arXiv.2202.10169
Hochreiter, S., & Schmidhuber, J. (1997). Long？Short-Term Memory. Neural Computation,？9(8), 1735-1780. https://doi.org/10.1162/neco.1997.9.8.1735

상세보기
Howard, J., & Ruder, S. (2018). Universal Language？Model Fine-tuning for Text Classification.？Proceedings of the 56th Annual Meeting of？the Association for Computational Linguistics？(Volume 1: Long Papers), 328-339. https://doi.org/10.18653/v1/P18-1031
Huang, Z., Chen, K., He, J., Bai, X., Karatzas, D.,？Lu, S., & Jawahar, C. v. (2019). ICDAR2019？Competition on Scanned Receipt OCR and？Information Extraction. 2019 International？Conference on Document Analysis and Recognition？(ICDAR), 1516-1520. https://doi.org/10.1109/ICDAR.2019.00244
Kim, D., Kwak, M., Won, E., Shin, S., & Nam, J.？(2020). TLGAN: document Text Localization？using Generative Adversarial Nets.
Kim, G., Hong, T., Yim, M., Nam, J., Park, J., Yim,？J., Hwang, W., Yun, S., Han, D., & Park, S.？(2022). OCR-Free Document Understanding？Transformer (pp. 498-517). https://doi.org/10.1007/978-3-031-19815-1_29
Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2017).？ImageNet classification with deep convolutional？neural networks. Communications of the ACM,？60(6), 84-90. https://doi.org/10.1145/3065386

상세보기
Lample, G., Ballesteros, M., Subramanian, S.,？Kawakami, K., & Dyer, C. (2016). Neural？Architectures for Named Entity Recognition.
Landau, H. J. (1967). Sampling, data transmission,？and the Nyquist rate. Proceedings of the IEEE,？55(10), 1701-1706. https://doi.org/10.1109/PROC.1967.5962

상세보기
Lecun, Y., Bottou, L., Bengio, Y., & Haffner, P.？(1998). Gradient-based learning applied to？document recognition. Proceedings of the？IEEE, 86(11), 2278-2324. https://doi.org/10.1109/5.726791

상세보기
Li Deng. (2012). The MNIST Database of Handwritten？Digit Images for Machine Learning Research？[Best of the Web]. IEEE Signal Processing？Magazine, 29(6), 141-142. https://doi.org/10.1109/MSP.2012.2211477

상세보기
Li, J., Xu, Y., Lv, T., Cui, L., Zhang, C., & Wei,？F. (2022). DiT: Self-supervised Pre-training？for Document Image Transformer.
Liu, X., Shen, Y., Duh, K., & Gao, J. (2018).？Stochastic Answer Networks for Machine？Reading Comprehension. Proceedings of the？56th Annual Meeting of the Association for？Computational Linguistics (Volume 1: Long？Papers), 1694-1704. https://doi.org/10.18653/v1/P18-1157
Luo, X., Han, Z., Yang, L., & Zhang, L. (2022).？Consistent Style Transfer. ArXiv:2201.02233？(2022).
Luong, M.-T., Pham, H., & Manning, C. D. (2015).？Effective Approaches to Attention-based Neural？Machine Translation.
Mori, S., Suen, C. Y., & Yamamoto, K. (1992).？Historical review of OCR research and？development. Proceedings of the IEEE, 80(7),？1029-1058. https://doi.org/10.1109/5.156468

상세보기
Ramadoni, Utami, E., & Fatta, H. al. (2021). Analysis？on the Use of Declarative and Pull-based？Deployment Models on GitOps Using Argo？CD. 2021 4th International Conference on？Information and Communications Technology (ICOIACT), 186-191. https://doi.org/10.1109/ICOIACT53268.2021.9563984
Redmon, J., Divvala, S., Girshick, R., & Farhadi, A.？(2016). You Only Look Once: Unified, Real-Time？Object Detection. 2016 IEEE Conference on？Computer Vision and Pattern Recognition？(CVPR), 779-788. https://doi.org/10.1109/CVPR.2016.91
Riazi, M. S., Darvish Rouani, B., & Koushanfar,？F. (2019). Deep Learning on Private Data.？IEEE Security & Privacy, 17(6), 54-63.？https://doi.org/10.1109/MSEC.2019.2935666

상세보기
Ronneberger, O., Fischer, P., & Brox, T. (2015).？U-Net: Convolutional Networks for Biomedical？Image Segmentation (pp. 234-241). https://doi.org/10.1007/978-3-319-24574-4_28
Shelhamer, E., Long, J., & Darrell, T. (2017).？Fully Convolutional Networks for Semantic？Segmentation. IEEE Transactions on Pattern？Analysis and Machine Intelligence, 39(4),？640-651. https://doi.org/10.1109/TPAMI.2016.2572683

상세보기
Sherstinsky, A. (2020). Fundamentals of Recurrent？Neural Network (RNN) and Long Short-Term？Memory (LSTM) network. Physica D: Nonlinear？Phenomena, 404, 132306. https://doi.org/10.1016/j.physd.2019.132306

상세보기
Simonyan, K., & Zisserman, A. (2014). Very Deep？Convolutional Networks for Large-Scale Image？Recognition.
Singh, A., Bacchuwar, K., & Bhasin, A. (2012). A？Survey of OCR Applications. International？Journal of Machine Learning and Computing,？314-318. https://doi.org/10.7763/IJMLC.2012.V2.137
Subramani, N., Matton, A., Greaves, M., & Lam, A.？(2020). A Survey of Deep Learning Approaches？for OCR and Document Understanding.
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit,？J., Jones, L., Gomez, A. N., Kaiser, L., &？Polosukhin, I. (2017). Attention Is All You？Need.
xie, xuemei, Cao, G., Yang, W., Liao, Q., Shi, G., &？Wu, J. (2018). Feature-fused SSD: fast detection？for small objects. In H. Yu & J. Dong (Eds.),？Ninth International Conference on Graphic？and Image Processing (ICGIP 2017) (p. 236).？SPIE. https://doi.org/10.1117/12.2304811
Xu, Y., Li, M., Cui, L., Huang, S., Wei, F., & Zhou,？M. (2020). LayoutLM: Pre-training of Text？and Layout for Document Image Understanding.？Proceedings of the 26th ACM SIGKDD？International Conference on Knowledge Discovery？& Data Mining, 1192-1200. https://doi.org/10.1145/3394486.3403172
Zhu, J.-Y., Park, T., Isola, P., & Efros, A. A.？(2017). Unpaired Image-to-Image Translation？Using Cycle-Consistent Adversarial Networks.？2017 IEEE International Conference on Computer？Vision (ICCV), 2242-2251. https://doi.org/10.1109/ICCV.2017.244

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증