[논문]OCR 기반 스마트 가계부 구현

채성은; 정기석; 이정열; 노영주

doi:10.7236/jiibc.2018.18.6.269

OCR 기반 스마트 가계부 구현
Development of Smart Household Ledger based on OCR 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.18 no.6, 2018년, pp.269 - 276

채성은 (한국산업기술대학교 컴퓨터공학부) , 정기석 (한국산업기술대학교 컴퓨터공학부) , 이정열 (한국산업기술대학교 컴퓨터공학부) , 노영주 (한국산업기술대학교 컴퓨터공학부)

초록
AI-Helper

OCR(광학문자인식)은 컴퓨터 분야에 적용된 지 20년의 역사가 되었고, 자동차 번호판 인식을 통한 주차관리 등 여러 분야에서 응용되어왔다. 본 OCR 기반 스마트 가계부 앱 개발연구에서도 이 기술을 이용하였다. 스마트폰 기반 가계부에서 구매 내역을 수기로 일일이 기입하는 불편을 개선하고자 카메라로 영수증을 촬영해서 구입 목록을 자동으로 정리할 수 있도록 하였다. 이 과정에서 기존의 OCR 기술만으로 영수증의 이미지 문자를 판독하면 인식률이 떨어져서 영상처리기술을 이용하여 영수증 사진의 대비를 조절하는 방법으로 영수증의 문자 인식률을 89%에서 92.5%로 향상하였다.

Abstract ▼ AI-Helper

OCR(Optical Character Recognition) using computers has been developed for 20 years and applied to various fields such as parking management based on the recognition of license plates of cars. This technology was also used in the development of our smart OCR-based household ledger. In order to improve filling the purchase history into a smartphone based household account book, we can take pictures of receipts with the smarphone camera and automatically organize the purchase list. In this process, the recognition rate of the characters of the receipt image is not high enough with OCR technology. We could improve the rate by applying the image processing technology and adjusting the contrast of the receipt image. The rate improved from 89% to 92.5%.

주제어

표/그림 (12)

그림 그림 1. RECPIC 어플리케이션 화면 예 Fig. 1. Example of RECPIC application screen
표 표 1. 유사 어플리케이션과의 비교 Table 1. Comparison with similar applications
그림 그림 2. 가계부 입력 화면 예 Fig. 2. Ledger entry screen
그림 그림 3. 공유 가계부 생성 화면 예 Fig. 3. Shared Ledger Creation Screen
그림 그림 4. OCR 자동 인식 결과 Fig. 4. OCR automatic recognition result
그림 그림 5. 문자 메시지 분석 및 추가화면 Fig. 5. Text message analysis and additional screen
그림 그림 6. SmaRed 시스템 구성도 Fig. 6. System Diagram of SmaRed
그림 그림 7. 브로드캐스트 리시버를 활용한 가계부 지출 내역 기입 Fig. 7. Filling out the expenditure history of the household ledger using the broadcast receiver
그림 그림 8. 영상처리 과정 Fig. 8. Image processing procedure
그림 그림 9. 이미지 보정 후 텍스트 인식률 비교 그래프 Fig. 9. Text recognition rate comparison graph after image correction
그림 그림 10. 이미지 보정 후 OCR 인식 수행 시간 비교 그래프 Fig. 10. OCR recognition time comparison graph after image correction
그림 그림 11. 이미지 보정 후 텍스트 인식 결과 비교 예 Fig. 11. Comparison of text recognition results after image correction

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 시중에 출시된 수동 입력식 가계부와 차별화되는 OCR 기반의 가계부 어플리케이션을 개발하였다. 이 과정에서 기존 인식률이 떨어지는 OCR 판독 결과를 개선하기 위해 영상처리 기술을 적용하였고, 평균적으로 3% 이상을 개선할 수 있었다.

제안 방법

가계부의 입력을 편리하게 할 수 있도록 영수증 OCR 기능을 추가하였다. 그림 4는 OCR 처리를 거쳐 영수증 품목과 금액을 인식한 결과화면의 예이다.
논문 따르면 문자 인식률을 높이기 위해 원본 이미지에서 배경과 글자간의 원활한 분리를 위해 이진화 작업을 수행한 후, 작업 후 발생한 불필요한 노이즈를 제거하기 위해 저주파 통과필터(LPF)를 적용하였다. 그리고 수평선 혹은 외곽선과 같이 글자 인식에 방해되는 선들을 제거하기 위해 대각선 Edge 검출에 강한 Sobel 연산을 적용하여 경계선을 제거하였다.
2. 공유 기능

기존 가계부 어플리케이션과 차별화 되는 점으로 가계부의 공유 기능을 구현하였다.
그림 5는 문자메시지함에서 카드 사용내역을 불러들여와 추가 버튼을 통해 가계부에 추가하는 화면의 예이다. 기존에 수신되었던 문자메시지함에서 카드 승인내역을 조회하여 가계부에서 추가 버튼을 누르면 가계부에 추가되도록 하였고, 브로드캐스트 리시버 기능으로 실시간으로 도착하는 문자메시지도 알림으로 가계부에 추가하는 기능을 추가하였다.
에 따르면 처방 전 사진의 OCR 인식률을 개선하기 위하여, 사전에 사진의 명도를 조절하는 방법을 적용하였다. 논문 따르면 문자 인식률을 높이기 위해 원본 이미지에서 배경과 글자간의 원활한 분리를 위해 이진화 작업을 수행한 후, 작업 후 발생한 불필요한 노이즈를 제거하기 위해 저주파 통과필터(LPF)를 적용하였다. 그리고 수평선 혹은 외곽선과 같이 글자 인식에 방해되는 선들을 제거하기 위해 대각선 Edge 검출에 강한 Sobel 연산을 적용하여 경계선을 제거하였다.
본 개발에서는 해당 인식률을 추가적으로 높이기 위하여 OCR 엔진에 입력하기 이전에 영상처리 기술을 추가적으로 적용하였다. 사전 영상처리로 노이즈를 제거한 영수증 사진을 OCR로 처리하여 영수증에 있는 품목과 금액을 인식토록 하였다.
본 연구개발에서는 영수증의 카메라 이미지를 분석하여 유의미한 문자를 추출하여 사용하는 방법을 적용한다. 따라서 OCR 기술을 응용한다.
따라서 OCR 기술을 응용한다. 본 연구에서 개발한 SmaRed 가정용 가계부에서는 이를 활용하여 입력의 편의성을 개선하였다. 개발은 접근성이 높은 스마트폰 어플리케이션을 지향하였다.
이러한 편의성을 가지고 단순히 수기로 입력하는 것이나 영수증을 촬영한다고 해도 구매 내역이 자동화되어 올라가는 것이 아닌 오퍼레이터 수기입력 방식을 개선하였다. 비용이 많이 드는 기존의 가계부 입력 방식에서 OCR을 활용한 개선된 입력방식을 도입하였다.
사용자는 가계부 기록 전 OCR 메뉴 선택을 통해 영수증사진을 카메라 및 갤러리에서 업로드하고 서버에서 업로드 된 사진을 OCR로 처리한다. 처리된 데이터는 영수증에서 한글문자 ‘금액’ 뒤에서부터 문자를 파싱하여 지출 항목과 금액을 추출한다.
본 개발에서는 해당 인식률을 추가적으로 높이기 위하여 OCR 엔진에 입력하기 이전에 영상처리 기술을 추가적으로 적용하였다. 사전 영상처리로 노이즈를 제거한 영수증 사진을 OCR로 처리하여 영수증에 있는 품목과 금액을 인식토록 하였다.
안드로이드 운영체제 자체적으로 내장되어 있는 브로드캐스트 리시버를 활용하여 스마트폰 SMS에 신용/체크카드 사용 내역이나 입금 내역이 수신되면 가계부 어플리케이션에서 이 SMS를 읽어와 이 메시지 내용을 파싱하여 가계부에 저장시키는 기능을 구현하였다.
영수증의 원천 영상을 OCR로 프로세싱하기 전에 영상처리 라이브러리 OpenCV^[12]를 적용하였다. 안드로이드 환경에서 C++를 대상으로 한 라이브러리를 바로 사용할 수 없어 NDK(Native Development Kit)를 사용하여 C++언어를 이용해 영상처리를 구현하였다.
이 엔진은 이미 오랜 기간에 걸쳐서 개발되어서 영문뿐만 아니라 한글에 대한 인식률이 좋고 활용을 위한 인터페이스가 잘 정의되어 있다. 엔진의 한글 영수증 문자인식을 실험해 보았다. 그 결과 인식률은 89% 이었다.
영수증 사진의 OCR 인식을 시행하기 앞서서 그림 8의 영상처리를 시행하여 기존 인식률을 개선시켜 가계부에 구매내역 기입을 편리할 수 있게 구현하였다.
기존에 사용되었던 가계부 스마트폰 어플리케이션은 많은 항목을 입력할 경우, 직접 항목들을 일일이 입력해야 하는 불편함이 있었다. 이러한 입력의 불편함을 해결하기 위해 OCR 기술을 사용하여 가계부 항목을 보다 간편하게 입력할 수 있도록 하였다. 이 어플리케이션을 통해 사용자는 가정, 회사 또는 특수한 모임에서도 영수증 자동인식 기능을 통해 간편하게 재무를 관리하고 공유할 수 있도록 하였다.
이러한 편의성을 가지고 단순히 수기로 입력하는 것이나 영수증을 촬영한다고 해도 구매 내역이 자동화되어 올라가는 것이 아닌 오퍼레이터 수기입력 방식을 개선하였다. 비용이 많이 드는 기존의 가계부 입력 방식에서 OCR을 활용한 개선된 입력방식을 도입하였다.
처리된 데이터는 영수증에서 한글문자 ‘금액’ 뒤에서부터 문자를 파싱하여 지출 항목과 금액을 추출한다.

대상 데이터

기능 테스트는 삼성전자의 SHV-E250K(갤럭시 노트2), SM-G920S(갤럭시 S6), LG전자의 LG-F800S(V20) 단말기에서 진행하였다. 서버로는 구글 클라우드 서버, OCR 엔진으로 구글 클라우드 비전(Cloud Vision)을 사용하였고 개발 도구는 Microsoft Visual Studio, 데이터베이스는 구글의 Firebase^[9]를 사용하였다.
본 논문의 어플리케이션은 윈도우에서 안드로이드 통합개발환경인 안드로이드 스튜디오를 사용하였으며, JDK 1.8과 Android SDK 버전 15 이상의 단말기를 대상으로 개발하였다.

이론/모형

클라이언트가 가계부나 자신의 프로필을 불러오고 싶으면 데이터베이스에 저장된 가계부와 프로필을 불러와 클라이언트 측에 출력시키는 구성으로 되어있다. 구현에는 참고문헌^[10]을 참고하였다.
본 SmaRed 개발에서는 Google OCR 엔진을 활용하였다. 이 엔진은 이미 오랜 기간에 걸쳐서 개발되어서 영문뿐만 아니라 한글에 대한 인식률이 좋고 활용을 위한 인터페이스가 잘 정의되어 있다.
본 개발 연구에서는 영수증에 있는 문자에 대한 인식률을 높이기 위해 논문[6] “OCR 기반의 개인 처방전 관리 시스템”을 참고하였다.
본 어플리케이션에서는 NoSQL 방식의 클라우드 데이터베이스인 구글 Firebase Realtime Database를 사용하였다^[9]. NoSQL 방식의 데이터베이스는 기존에 많이 사용되던 관계형 데이터베이스와는 달리 트리 형태의 데이터 구조로 사용되어 정규화를 거칠 필요 없이 데이터의 입출력이 이루어진다.
본 어플리케이션에서는 원천 영상의 명확한 인식을 위해 참고문헌[6]에서 사용한 방법을 본 어플리케이션에 적용하였다.
본 어플리케이션은 서버-클라이언트 구조를 적용하였다. 그림 6은 시스템 구성도이다.
기능 테스트는 삼성전자의 SHV-E250K(갤럭시 노트2), SM-G920S(갤럭시 S6), LG전자의 LG-F800S(V20) 단말기에서 진행하였다. 서버로는 구글 클라우드 서버, OCR 엔진으로 구글 클라우드 비전(Cloud Vision)을 사용하였고 개발 도구는 Microsoft Visual Studio, 데이터베이스는 구글의 Firebase^[9]를 사용하였다.
에서 사용한 방법을 본 어플리케이션에 적용하였다. 영수증의 원천 영상을 OCR로 프로세싱하기 전에 영상처리 라이브러리 OpenCV^[12]를 적용하였다. 안드로이드 환경에서 C++를 대상으로 한 라이브러리를 바로 사용할 수 없어 NDK(Native Development Kit)를 사용하여 C++언어를 이용해 영상처리를 구현하였다.

성능/효과

엔진의 한글 영수증 문자인식을 실험해 보았다. 그 결과 인식률은 89% 이었다.
영상처리 전후의 인식 수행속도 결과는 영상처리 수행시간(평균 0.5초)에 비해 OCR 엔진 서버와 통신하는 시간의 비중이 훨씬 크기 때문에 큰 의미를 가지지 않음을 확인하였다. 그림 10은 영상처리 전후의 인식 수행속도 비교그래프이다.
본 논문에서는 시중에 출시된 수동 입력식 가계부와 차별화되는 OCR 기반의 가계부 어플리케이션을 개발하였다. 이 과정에서 기존 인식률이 떨어지는 OCR 판독 결과를 개선하기 위해 영상처리 기술을 적용하였고, 평균적으로 3% 이상을 개선할 수 있었다.
이러한 결과를 통해 OCR 인식 처리 전, 이미지의 노이즈 제거와 명도 조정 등의 전처리 과정을 거치면 이미지의 문자 인식률이 소폭 상승함을 알 수 있었다.
전처리 과정을 거친 영수증 20장을 대상으로 테스트한 결과 평균적으로 약 3.497%의 인식률이 향상되는 것을 확인할 수 있었다. 그림 9는 영상처리 전후의 인식률을 비교한 그래프이다.

후속연구

향후에는 구매내역에 따라 가계부 시스템이 자체적으로 자동 분류하는 기능을 구현해볼 것이다. 또한 본 논문의 어플리케이션은 가계부 분류를 사용자가 직접 선택하도록 하고 있으나 구매내역을 파싱하여 자동으로 식자재 /공산품 등으로 자동으로 분류하는 기능을 보완할 것이다.
이 외에도, 현재의 제한적인 OCR^[13] 인식률로 활용되지 못한 여러 분야에 본 어플리케이션에 활용된 영상처리 보정을 통한 이미지 인식 방법을 적용시키면 여러 방면에서 활용이 가능할 것으로 기대하고 있다
향후에는 구매내역에 따라 가계부 시스템이 자체적으로 자동 분류하는 기능을 구현해볼 것이다. 또한 본 논문의 어플리케이션은 가계부 분류를 사용자가 직접 선택하도록 하고 있으나 구매내역을 파싱하여 자동으로 식자재 /공산품 등으로 자동으로 분류하는 기능을 보완할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	본 연구에서 영수증의 문자에 대한 인식률을 높이기 위해 참고한 논문은?	본 개발 연구에서는 영수증에 있는 문자에 대한 인식률을 높이기 위해 논문[6] “OCR 기반의 개인 처방전 관리 시스템”을 참고하였다.
	OCR 기반 스마트 가계부 앱은 어떤 불편함을 개선하고자 개발되었는가?	본 OCR 기반 스마트 가계부 앱 개발연구에서도 이 기술을 이용하였다. 스마트폰 기반 가계부에서 구매 내역을 수기로 일일이 기입하는 불편을 개선하고자 카메라로 영수증을 촬영해서 구입 목록을 자동으로 정리할 수 있도록 하였다. 이 과정에서 기존의 OCR 기술만으로 영수증의 이미지 문자를 판독하면 인식률이 떨어져서 영상처리기술을 이용하여 영수증 사진의 대비를 조절하는 방법으로 영수증의 문자 인식률을 89%에서 92.
	문서의 요소를 분석하는 방법은 어떤 것들이 있는가?	꾸준한 정보기술의 발전으로 혁신적인 변화를 이끌 것으로 예상되는 인공지능 분야에 대한 연구가 활발히 이루어지고 있다. 문서분석도 AI를 응용하는 중요한 한 분야로서, 문서분석에서 문서의 요소를 분석하는 방법으로는 참고문헌[1]과 같이 요소의 이미지 패턴을 이용하여 내용을 분석하는 방법과 그와는 달리 내용을 인식하는 OCR과 같은 방법 등을 들 수 있다. 내용을 인식하는 OCR의 경우 참고문헌[2]와 같이 접합문자를 개별문자로 분할하여 인식하기 위해 문자 측면 윤곽의 전처리를 수행하는 알고리즘 연구를 통해 인식률의 향상을 불러오는 등의 기술 개발이 이뤄지고 있다.

참고문헌 (13)

Jeong-Hyun Cho, Cheol-Woong Ahn, "Auto Detection System of Personal Information based on Images and Document Analysis,"Journal of The Institute of Internet, Broadcasting and Communication (IIBC), Vol. 15, No. 5, pp.183-192, 2015. DOI : https://doi.org/10.7236/jiibc.2015.15.5.183

원문보기 상세보기
Min-Chul Jung, "Character Segmentation Using Side Profile Pattern",The Korea Academia- Industrial cooperation Society(KA, Vol. 4, No. 3, pp 248-251, 2003.
Recpic, Modaydream. Retrieved at https://play.google.com/store/apps/details?idcom.codeatnite.recpic&hlko on Sep. 28, 2018.
Comfortable Household Ledger, Realbyte. Retrieved at https://play.google.com/store/apps/details?idcom. realbyteapps.moneymanagerfree&hlko on Sep. 28, 2018.
Clever Household, Clever Inc.. Retrieved at https://play.google.com/store/apps/details?idcom.dencreak.spbook on Sep. 28. 2018..
Kim Jae Wan, Kim Sang-tae, Yoon Joon Yong, Ju Yang Ik, "A Personal Prescription Management System Employing Optical Character Recognition Technique," Journal of the Korea Institute of Information and Communication Engineering. Vol. 19, No. 10,pp. 2423-2428, 2015, DOI : https://doi.org/10.6109/jkiice.2015.19.10.2423

원문보기 상세보기
TextGrabber, ABBYY. Retrieved at http://www.textgrabber.pro/en/ on Sep. 28. 2018.
Google Cloud Vision API: OCR, Google. Retrieved at https://cloud.google.com/vision/docs/ocr on Sep. 28. 2018.
Firebase, Google. Retieved at https://firebase.google.com/ on Sep. 28, 2018.
Lee Kye Sang, TCP/IP Socket Programming, Miraecom, 2009.
Jung Jae Kon, Do it! Android app Programming, EasysPublishing, 2011.
Jung Sung Hwan, Bae Jong Ok, Image processing and application learning with OpenCV, Life and Power Press 2017.
Optical Character Recognition, Wikipedia. Retrieved at https://en.wikipedia.org/wiki/Optical_character_recognition on Sep. 28, 2018.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증