[논문]문서 처리 자동화를 위한 다양한 표 유형에서 표 구조 인식 방법

이동석; 권순각

doi:10.9717/kmms.2022.25.5.695

Abstract ▼ AI-Helper

In this paper, we propose the method of a table structure recognition in various table types for document processing automation. A table with items surrounded by ruled lines are analyzed by detecting horizontal and vertical lines for recognizing the table structure. In case of a table with items sep...

In this paper, we propose the method of a table structure recognition in various table types for document processing automation. A table with items surrounded by ruled lines are analyzed by detecting horizontal and vertical lines for recognizing the table structure. In case of a table with items separated by spaces, the table structure are recognized by analyzing the arrangement of row items. After recognizing the table structure, the areas of the table items are input into OCR engine and the character recognition result output to a text file in a structured format such as CSV or JSON. In simulation results, the average accuracy of table item recognition is about 94%.

Keyword

표/그림 (10)

그림 Fig. 1. Various table types. (a) ruling lines surrounding table items, (b) boxes surrounding table item contents, and (c) items separated by spaces and line break.
그림 Fig. 2. Table item detection when items are surrounded by lines. (a) original table image, (b) detecting table contour, and (c) detecting table item areas.
그림 Fig. 3. Detection of table items by RLSA[18]. (a) original image, (b) table detection by RLSA in vertical and horizontal directions, and (c) items detection by RLSA in horizontal direction.
그림 Fig. 4. Finding items in same column by three points.
그림 Fig. 5. Structuring items in table.
그림 Fig. 6. Recognition result for table image. (a) original image and (b) Character recognition result in CSV format.
그림 Fig. 7. Document images with table (a) table items surrounded by lines and (b) table items separated by spaces.
그림 Fig. 8. Table item recognition results for table items surrounded by lines. (a) by detecting lines and (b) by analyzing arrangement of row.
그림 Fig. 9. Table item recognition results for table items separated by spaces.
표 Table 1. Accuracy of table item detection.

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 표가 포함된 서류 영상에 대해 다양한 표 형태에서 표 항목을 인식하는 방법과, 이를 통한 문서 처리 자동화 방법을 제안하였다. 먼저 선분 기반 표 항목 검출 방법과 항목 구조 분석 기반 표 항목 검출 방법을 적용하여 다양한 표 형식에서 도표 항목을 검출할 수 있도록 하였다.

제안 방법

공백으로 항목이 분리된 경우에는 문자의 정렬 형태를 기준으로 각 항목 영역을 검출한다. 줄 단위로 단어 또는 문장 블록을 검출하고, 줄 단위로 같은 문장의 배치가 반복되면 이를 하나의 표로 검출하고, 각각의 영역을 표 내부 항목으로 검출하는 것이다. 그 후 항목 영역별로 문자 인식을 수행하여 표 내부항목별 문자 인식 결과를 구조화된 텍스트 파일 형태로 출력한다.
줄 단위로 단어 또는 문장 블록을 검출하고, 줄 단위로 같은 문장의 배치가 반복되면 이를 하나의 표로 검출하고, 각각의 영역을 표 내부 항목으로 검출하는 것이다. 그 후 항목 영역별로 문자 인식을 수행하여 표 내부항목별 문자 인식 결과를 구조화된 텍스트 파일 형태로 출력한다.
Forczmański[15]는 CNN를 사용한 객체 검출을 통해 표를 검출하는 방법을 제안하였다. 우표, 로고, 텍스트 블록, 표 등의 항목을 라벨링한 문서 이미지 데이터 셋을 통해 객체 검출 신경망을 학습시켰다.S. R.
먼저 선분 기반 표 항목 검출 방법과 항목 구조 분석 기반 표 항목 검출 방법을 적용하여 다양한 표 형식에서 도표 항목을 검출할 수 있도록 하였다. 그 후 표 항목영역을 OCR에 입력하여 인식 결과를 구조화된 텍스트 파일 형태로 출력하였다. 제안된 방법을 통해 서류 영상의 구조를 유지한 디지털화를 수행할 수 있게 되어 문서 처리 자동화를 원활하게 수행할 수 있다.

이론/모형

해당 딥러닝 네트워크는 단일 객체 검출 모델인 VGG-19를 사용하여 객체의 시각적 특징을 추출한 후, 두 개의 디코더 구조를 통해 결과들을 출력한다.
1(a)-(b)의 경우를 검출하기 위해 선분 검출기반의 방법[4]을 사용한다. 먼저 Canny 알고리즘을 통해 영역 내 외곽선을 검출하고, Douglas-Peucker 알고리즘을 적용하여 외곽선을 이루는 꼭짓점을 검출한다. 연결된 하나의 외곽선에서 꼭짓점이 4개일 경우, 해당 외곽선을 표를 이루는 구분자로 검출한다.
공백으로 항목들이 구분된 표에 대해서는 항목 간 간격을 분석하여 표 및 항목을 분석하는 방법을 사용한다[18]. 이를 위해 먼저 실행 길이 평활 알고리즘 (RLSA, Run-lengthsmoothingalgorithm)[19]를 통해 문서 이미지를 이진화한다. 이는 문서 내 흰색 화소에 대해 만약 수직 또는 수평 방향으로 임의의 거리 l화소거리 이내에 글자를 구성하는 화소가 존재한다면 해당 화소를 255로 변환하여 이진화한다.
표 항목 내 문자 인식은 DocTr[3]을 사용한다. 해당 엔진에 각각의 표 내부 항목 영역의 영상을 입력하여 인식 결과를 얻는다.

성능/효과

7(b)의 표 유형들은 선분 검출 기반의 방법으로는 표를 검출하지 못한다. 제안한 항목 간격 분석 방법을 통해 표를 인식한 결과 항목들이 잘 인식됨을 보인다.
본 논문에서 제안한 표 항목 검출의 정확도를 측정한 결과는 Table1과 같다. 이때 총 353개의 항목 중 정상적으로 인식된 항목은 335개로 약 94%의 검출 적중률을 보인다.
본 논문에서는 표가 포함된 서류 영상에 대해 다양한 표 형태에서 표 항목을 인식하는 방법과, 이를 통한 문서 처리 자동화 방법을 제안하였다. 먼저 선분 기반 표 항목 검출 방법과 항목 구조 분석 기반 표 항목 검출 방법을 적용하여 다양한 표 형식에서 도표 항목을 검출할 수 있도록 하였다. 그 후 표 항목영역을 OCR에 입력하여 인식 결과를 구조화된 텍스트 파일 형태로 출력하였다.
그 후 표 항목영역을 OCR에 입력하여 인식 결과를 구조화된 텍스트 파일 형태로 출력하였다. 제안된 방법을 통해 서류 영상의 구조를 유지한 디지털화를 수행할 수 있게 되어 문서 처리 자동화를 원활하게 수행할 수 있다. 이를 통해 서류 처리 업무 효율이 증가하고, 실수로 인한 손실을 줄일 수 있을 것이다.

후속연구

제안된 방법을 통해 서류 영상의 구조를 유지한 디지털화를 수행할 수 있게 되어 문서 처리 자동화를 원활하게 수행할 수 있다. 이를 통해 서류 처리 업무 효율이 증가하고, 실수로 인한 손실을 줄일 수 있을 것이다.

참고문헌 (21)

B. Shi, M. Yang, X. Wang. P. Lyu, C. Yao, and X. Bai, "ASTER: An Attentional Scene Text Recognizer with Flexible Rectification," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 41, No. 9, pp. 2035-2048, 2019.

상세보기
T. He, Z. Tian, W. Huang, C. Shen, Y. Qiao and C. Sun, "An End-to-End TextSpotter with Explicit Alignment and Attention," Proceeding of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 5020-5029, 2018.
H. Feng, Y. Wang, W. Zhou, J. Deng, and H. Li, "DocTr: Document Image Transformer for Geometric Unwarping and Illumination Correction," Proceeding of ACM International Conference on Multimedia, pp. 273-281, 2021.
D.S. Lee and S.K. Kwon, "Methods of Classification and Character Recognition for Table Items through Deep Learning," Journal of Korea Multimedia Society, Vol. 24, No. 5, pp. 651-658, 2021.
B. Shi, X. Bai, and C. Yao, "An End-to-End Trainable Neural Network for Image-Based Sequence Recognition and Its Application to Scene Text Recognition," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 39, No. 11, pp. 2298-2304, 2017.

상세보기
J. Wang and X. Hu, "Gated Recurrent Convolution Neural Network for OCR," Proceeding of International Conference on Neural Information Processing Systems, pp. 334-343, 2017.
Z. Cheng, P. Bai, Y. Xu, G. Zheng, S. Pu, and S. Zhou, "Focusing Attention: Towards Accurate Text Recognition in Natural Images," Proceeding of IEEE International Conference on Computer Vision, pp. 5076-5084, 2017.
D. Bahdanau, K. Cho, and Y. Bengio, "Neural Machine Translation by Jointly Learning to Align and Translate," Proceeding of International Conference on Learning Representations, pp. 1-15, 2015.
A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin, "Attention is All you Need," Proceeding of Neural Information Processing Systems, pp. 5998-6008, 2017.
B. Gatos, D. Danatsas, I. Pratikakis and S. J. Perantonis, "Automatic Table Detection in Document Images," Proceeding of International Conference on Advances in Pattern Recognition, pp. 612-621, 2005.
F. Shafait and R. Smith, "Table Detection in Heterogenous Documents," Proceeding of International Workshop on Document Analysis Systems, pp. 65-72, 2010.
T. Kasar, P. Barlas, S. Adam and C. Chatelain, "Learning to Detect Tables in Scanned Document Images Using Line Information," Proceeding of International Conference on Document Analysis and Recognition, pp. 1185-1189, 2013.
S. Mandal, S.P. Chowdhury, A.K. Das, and B. Chanda, "A Simple and Effective Table Detection System from Document Images," International Journal of Document Analysis and Recognition, Vol. 8, No. 2, pp. 172-182, 2006.
T.T. Anh, N.I. Seop, and K.S. Hyung, "A Hybrid Method for Table Detection from Document Image," Proceeding of Asian Conference on Pattern Recognition, pp. 131-135, 2015,
P. Forczmanski, A. Smolinski, A. Nowosielski, and K. Malecki, "Segmentation of Scanned Documents Using Deep-learning Approach," Proceeding of International Conference on Computer Recognition Systems, pp. 141-152, 2019.
S.R. Qasim, H. Mahmood, and F. Shafait, "Rethinking Table Recognition using Graph Neural Networks," Proceeding of International Conference on Document Analysis and Recognition, pp. 142-147, 2019.
S.S. Paliwal, V.D.R. Rahul, M. Sharma, and L. Vig, "TableNet: Deep Learning Model for End-to-end Table Detection and Tabular Data Extraction from Scanned Document Images," Proceeding of International Conference on Document Analysis and Recognition, 2019, pp. 128-133, 2019.
M.D. Ajij, S. Pratihar, D.S. Roy, and T. Hanne, "Robust Detection of Tables in Documents Using Scores from Table Cell Cores," SN Computer Science, Vol. 3, No. 161, pp. 1-19, 2022.
K.Y. Wong, R.G. Casey, and F.M. Wahl, "Document Analysis System," IBM Journal of Research and Development, Vol. 26, No. 6, pp. 647-656, 1982.

상세보기
M. Li, L. Cui, S. Huang, F. Wei, M. Zhou, and Z. Li, "TableBank: A Benchmark Dataset for Table Detection and Recognition," Proceeding of Conference on Language Resources and Evaluation, pp. 1918-1925, 2020.
Public Administration Documents for OCR (2020), https://aihub.or.kr/aidata/30724 (accessed May 25, 2022.

이 논문을 인용한 문헌

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 문서 처리 자동화를 위한 다양한 표 유형에서 표 구조 인식 방법
Structure Recognition Method in Various Table Types for Document Processing Automation 원문보기

Abstract ▼ AI-Helper

Keyword

표/그림 (10)

표/그림 (10)

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

참고문헌 (21)

이 논문을 인용한 문헌

저자의 다른 논문 :

활용도 분석정보

활용도 Top5 논문

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 문서 처리 자동화를 위한 다양한 표 유형에서 표 구조 인식 방법 Structure Recognition Method in Various Table Types for Document Processing Automation 원문보기

Abstract ▼ AI-Helper

Keyword

표/그림 (10) 모든 표/그림 보기

표/그림 (10) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

성능/효과

후속연구

참고문헌 (21)

이 논문을 인용한 문헌

저자의 다른 논문 :

이동석 (22) 권순각 (63)

활용도 분석정보

활용도 Top5 논문 더보기

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 문서 처리 자동화를 위한 다양한 표 유형에서 표 구조 인식 방법
Structure Recognition Method in Various Table Types for Document Processing Automation 원문보기

표/그림 (10)

표/그림 (10)

AI 본문요약
AI-Helper

활용도 Top5 논문