[논문]딥러닝을 통한 문서 내 표 항목 분류 및 인식 방법

이동석; 권순각

doi:10.9717/kmms.2020.24.5.651

딥러닝을 통한 문서 내 표 항목 분류 및 인식 방법
Methods of Classification and Character Recognition for Table Items through Deep Learning 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.24 no.5, 2021년, pp.651 - 658

이동석 (AI Grand ICT Research Center, Dong-eui University) , 권순각 (Dept. of Computer Software Engineering, Dong-eui University)

Abstract ▼ AI-Helper

In this paper, we propose methods for character recognition and classification for table items through deep learning. First, table areas are detected in a document image through CNN. After that, table areas are separated by separators such as vertical lines. The text in document is recognized through a neural network combined with CNN and RNN. To correct errors in the character recognition, multiple candidates for the recognized result are provided for a sentence which has low recognition accuracy.

주제어

표/그림 (10)

그림 Fig. 1. (a) Flow of proposed method and (b) structure of Faster R-CNN for detecting table area.
그림 Fig. 2. Example of train images for table detection.
그림 Fig. 3. Table detection results.
그림 Fig. 4. Table section detection. (a) original document image, (b) detecting table contour, (c) extracting table section areas, and (d) document image with table outline removed.
그림 Fig. 5. Generated trained images for text recognition.
그림 Fig. 6. Result of text recognition for table.
그림 Fig. 7. Document images for simulation.
표 Table 1. Accuracy of table detection.
표 Table 2. Accuracy of character recognition in table.
표 Table 3. Accuracy of character recognition in document.

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 딥러닝 신경망을 통해 표 항목 내의 문자를 인식하고, 이를 통해 문서를 디지털화하는 방법을 제안한다. 먼저 스캔 된 문서 이미지 파일에 대해 컨볼루션 신경망(CNN, Convolution Neural Network)을 통해 표 영역을 검출한다.

제안 방법

먼저 문서 이미지에서 CNN을 통해 표영역을 검출하고, 외곽선 검출을 통해 항목에 대한영역을 검출했다. 그 후 CNN과 RNN이 결합된 신경망을 통해 표 내부의 항목별 문자를 인식하였다. 그후 규격화된 텍스트 파일로 결과를 저장하였다.
먼저 스캔 된 문서 이미지 파일에 대해 컨볼루션 신경망(CNN, Convolution Neural Network)을 통해 표 영역을 검출한다. 그 후 표 영역 내 수직선과 수평선의 구분자로 분리된 각 영역을 검출한 후, 각각의 영역에 대해 컨볼루션 신경망과 순환 신경망(RNN, Recurrent Neural Network) 이결합된 신경망을 통해 문자를 인식한다. 이때 인식된 결과의 후보가 여러 나올 경우나 정확도가 낮은 문장 인식 결과에 대해서는 사용자에게 인식 결과 후보와 원 이미지를 보여줌으로써 잘못된 인식으로 인한 처리 실수를 방지한다.
본 논문에서는 문서 처리를 자동화하기 위해 표가 포함된 문서에 대해 딥러닝 신경망을 통해 항목 별 내용을 분류하고 항목 내 문자를 인식하는 방법을 제안하였다. 먼저 문서 이미지에서 CNN을 통해 표영역을 검출하고, 외곽선 검출을 통해 항목에 대한영역을 검출했다. 그 후 CNN과 RNN이 결합된 신경망을 통해 표 내부의 항목별 문자를 인식하였다.
본 논문에서는 딥러닝 신경망을 통해 표 항목 내의 문자를 인식하고, 이를 통해 문서를 디지털화하는 방법을 제안한다. 먼저 스캔 된 문서 이미지 파일에 대해 컨볼루션 신경망(CNN, Convolution Neural Network)을 통해 표 영역을 검출한다. 그 후 표 영역 내 수직선과 수평선의 구분자로 분리된 각 영역을 검출한 후, 각각의 영역에 대해 컨볼루션 신경망과 순환 신경망(RNN, Recurrent Neural Network) 이결합된 신경망을 통해 문자를 인식한다.
본 논문에서는 문서 처리를 자동화하기 위해 표가 포함된 문서에 대해 딥러닝 신경망을 통해 항목 별 내용을 분류하고 항목 내 문자를 인식하는 방법을 제안하였다. 먼저 문서 이미지에서 CNN을 통해 표영역을 검출하고, 외곽선 검출을 통해 항목에 대한영역을 검출했다.

대상 데이터

신경망의 학습을 위해 Fig.2와 같은 표가 포함된 500개의 문서 이미지를 사용하였다. 학습 데이터에는 표가 포함된 문서 이미지와, 경계박스의 좌표들을 학습했다.
학습 데이터에는 표가 포함된 문서 이미지와, 경계박스의 좌표들을 학습했다. 학습에서의 Epoch는 총 100회를 적용하였다. Fig.

데이터처리

검출된 표 영역에서 문자 인식의 정확도를 측정하였다. 이 때 문자 인식 정확도는 식 (1)과 같이 전체문자와 정확하게 인식된 문자의 개수의 비율로 측정하였다.

성능/효과

이때 표 항목 분류를 수행하지 않고 문자 인식을 했을 때는 정확도가 통상 문서를 인식할 때보다 떨어졌는데, 표의 항목을 구분하는 세로 줄과 같은 구분자가 별도의 문자로 인식되어 전체적인 문장의 인식률이 저하되었다. 반면 표 항목분류를 수행한 후 문자 인식을 수행한 결과는 문자인식 정확도가 약 7% 증가하였다. 이는 표 항목 분류를 통해 의미가 다른 표 항목이 같은 문장으로 인식되지 않고, 별개로 인식이 수행되어 시계열을 처리하는 신경망인 RNN의 성능이 좋아졌기 때문이다.
본 논문에서 제안한 표 검출 방법의 정확도를 측정한 결과는 Table1과 같다. 이때 총 19개의 표 중에 18개의 표를 검출하여 94.7%의 검출 정확도를 보여 CNN신경망을 통해서 표가 거의 정확하게 검출이 된 것을 보인다.

후속연구

제안된 방법을 통해 OCR로 인식한 문서의 내용을 항목 별로 처리할 수 있게 되어 문서 처리의 자동화가 원활해질 수 있을 것이다. 또한 문서 처리업무의 자동화를 달성할 수 있게 되어 업무 효율의 증가와 문서 처리 작업의 오류를 줄일 수 있을 것으로 기대한다.
이때 인식 결과로 여러 결과가 나온다면 인식률 상위 3개의 후보를 제시하여 사용자가 판단할 수 있도록 했다. 제안된 방법을 통해 OCR로 인식한 문서의 내용을 항목 별로 처리할 수 있게 되어 문서 처리의 자동화가 원활해질 수 있을 것이다. 또한 문서 처리업무의 자동화를 달성할 수 있게 되어 업무 효율의 증가와 문서 처리 작업의 오류를 줄일 수 있을 것으로 기대한다.

참고문헌 (19)

Korean Import and Export Logistics Process Vol 5(2016), https://www.nlic.go.kr/nlic/WhsBordPdfSch.action (accessed May 28, 2021).
S. Ren, K. He, R. Girshick, and J. Sun, "Faster R-CNN: Towards Real-time Object Detection with Region Proposal Networks," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 39, No. 6, pp. 1137-1149, 2017.

상세보기
K. He, G. Gkioxari, P. Dollar, and R. Girshick, "Mask R-CNN," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 42, No. 2, pp. 386-397, 2020.

상세보기
B. Shi, M. Yang, X. Wang. P. Lyu, C. Yao, and X. Bai, "ASTER: An Attentional Scene Text Recognizer with Flexible Rectification," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 41, No. 9, pp. 2035-2048, 2019.

상세보기
T. He, Z. Tian, W. Huang, C. Shen, Y. Qiao, and C. Sun, "An End-to-End TextSpotter with Explicit Alignment and Attention," Proceeding of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 5020-5029, 2018.
S. M. Gang and J. J. Lee, "Coreset Construction for Character Recognition of PCB Components Based on Deep Learning," Journal of Korea Multimedia Society, Vol. 24, No. 3, pp. 382-395, 2021.
Y. Lecun, L. Bottou, Y. Bengio, and P. Haffner, "Gradient-based Learning Applied to Document Recognition," Proceedings of the IEEE, Vol. 86, No. 11, pp. 2278-2324, 1998.

상세보기
A. Krizhevsky, I. Sutskever, and G. E. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks," Communications of the ACM, Vol. 60, No. 6, pp. 84-90, 2017.

상세보기
P. Soviany and R. T. Ionescu, "Optimizing the Trade-off between Single-Stage and TwoStage Deep Object Detectors using Image Difficulty Prediction," Proceeding of the International Symposium on Symbolic and Numeric Algorithms for Scientific Computing, pp. 209-214, 2018.
R. Girshick, J. Donahue, T. Darrell, and J. Malik, "Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation," Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 580-587, 2014.
R. Girshick, "Fast R-CNN," Proceeding of the IEEE International Conference on Computer Vision, pp. 1440-1448, 2015.
J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, "You Only Look Once: Unified, RealTime Object Detection," Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 779-788, 2016.
J. Redmon and A. Farhadi, "YOLO9000: Better, Faster, Stronger," Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 6517-6525, 2017.
W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Y. Fu, and A. C. Berg, "SSD: Single Shot MultiBox Detector," Proceeding of the European Conference on Computer Vision, pp. 21-37, 2016.
B. Shi, X. Bai, and C. Yao, "An End-to-End Trainable Neural Network for Image-Based Sequence Recognition and Its Application to Scene Text Recognition," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 39, No. 11, pp. 2298-2304, 2017.

상세보기
J. Wang and X. Hu, "Gated Recurrent Convolution Neural Network for OCR," Proceeding of the International Conference on Neural Information Processing Systems, pp. 334-343, 2017.
Z. Cheng, P. Bai, Y. Xu, G. Zheng, S. Pu, and S. Zhou, "Focusing Attention: Towards Accurate Text Recognition in Natural Images," Proceeding of the IEEE International Conference on Computer Vision, pp. 5076-5084, 2017.
K. He, X. Zhang, S. Ren and J. Sun, "Deep Residual Learning for Image Recognition," Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 770-778, 2016.
Vocabulary List for Learning Korean(2003), https://www.korean.go.kr/front/etcData/etcDataView.do?mn_id46&etc_seq71 (accessed May 28, 2021).

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증