선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 기존 모바일 명함인식 앱이 명함 영상을 획득하여 스마트폰 자체에 장착된 인식엔진을 활용하여 명함인식을 수행하는 방식에서 벗어나 인식기의 성능개선을 용이하게 할 수 있고 다양한 환경에 쉽게 포팅할 수 있도록 하였으며, 인식엔진만 교체하여 여권, 신분증, 차량번호판 등으로 문자인식기술의 활용도를 높이기 위해 서버기반 모바일 명함인식 시스템을 개발하였다. 개발된 시스템에서 스마트폰은 입력장치(카메라)와 전송수단으로만 활용하고 서버에 문자인식엔진을 탑재하여 WiFi 또는 LTE(Long Term Evolution) 방식의 무선인터페이스로 전송받은 명함 영상을 인식하여 그 결과를 스마트폰에 전송하고 있다.
- 본 연구에서는 기존 스마트폰 자체에서 명함인식을 수행하는 방식에서 탈피하여 스마트폰은 명함을 촬영하여 문자 인식엔진이 탑재된 고성능 서버로 전송하여 인식결과를 도시하는 단말기로만 활용하는 서버기반 모바일 명함인식 시스템을 개발하였다. 스마트폰에서 문자인식을 수행하는 경우 하드웨어 제약으로 다양한 언어를 지원하기 어렵고 인식 속도와 인식률도 만족스럽지 못했다.
제안 방법
- 서버 기반 모바일 명함인식 시스템을 위해 영상 데이터 크기를 줄이고 우수한 인식률을 얻기 위해 스마트폰 카메라로 촬영된 영상에 대해 왜곡보정, 잡음제거, 효율적인 압축 등의 영상처리를 수행하였으며, 서버로 영상을 전송하기 위한 통신프로토콜을 정의하였다. 개발 시스템의 성능을 측정하기 위해 5개 언어에 대해 아이폰과 안드로이드폰용 앱을 개발하여 언어별 200개의 명함을 대상으로 인식속도, 인식률, 시스템 처리시간 등의 다양한 실험을 수행하였다. 명함인식시스템의 성능향상을 위해서는 향후 조명 및 난반사에 대한 영상처리 기법에 대한 연구가 진행되어야 할 것이다.
- 모바일 명함인식시스템(영상 촬영→영상처리→전송→인식→결과수신)의 총 처리시간을 평가하기 위해 스마트폰에서 명함을 촬영하여 전송 버튼을 누른 후 인식결과 화면이 표시되기까지 소요된 시간을 측정하였다.
- 스마트폰에 문자인식엔진을 탑재한 기존 방식은 저성능 프로세서와 저용량 메모리를 갖춘 스마트폰의 하드웨어 특성상 적정한 인식률과 인식속도를 얻을 수 없는 한계를 가지고 있었으나 개발된 시스템은 원격지의 고성능 서버를 활용하여 인식률과 인식속도를 높일 수 있었다. 본 논문에서는 문자인식 속도 최적화를 위해 카메라 영상에서 빈번히 발생하는 사다리꼴 모양의 왜곡을 보정하여 사각형의 반듯한 영상으로 평활화하고, 촬영된 영상을 무선통신을 통해 서버에 전송할 때 전송량을 줄여 전송속도를 높일 수 있도록 영상크기를 줄일 수 있는 기법을 적용하였다. 또한 스마트폰과 서버 사이의 무선통신을 위한 TCP/IP 소켓기반 프로토콜을 정의하였다.
- 본 연구에서 개발된 서버 기반 모바일 명함인식시스템의 성능을 시험하기 위해 [Table 2]의 하드웨어 환경에서 다양한 실험을 수행하였다.
- 스마트폰에서 문자인식을 수행하는 경우 하드웨어 제약으로 다양한 언어를 지원하기 어렵고 인식 속도와 인식률도 만족스럽지 못했다. 서버 기반 모바일 명함인식 시스템을 위해 영상 데이터 크기를 줄이고 우수한 인식률을 얻기 위해 스마트폰 카메라로 촬영된 영상에 대해 왜곡보정, 잡음제거, 효율적인 압축 등의 영상처리를 수행하였으며, 서버로 영상을 전송하기 위한 통신프로토콜을 정의하였다. 개발 시스템의 성능을 측정하기 위해 5개 언어에 대해 아이폰과 안드로이드폰용 앱을 개발하여 언어별 200개의 명함을 대상으로 인식속도, 인식률, 시스템 처리시간 등의 다양한 실험을 수행하였다.
- 서버가 인식결과 전송을 시작하여 스마트폰에 결과화면이 표시되기까지 걸린 시간을 측정하였다. 200장의 명함 시험 결과 WiFi 환경에서 평균 174㎳, LTE 환경에서 평균 180㎳의 전송속도를 보였다.
- 스마트폰의 시작버튼을 누르고, 서버에서 영상파일로 저장할 때까지 걸린 시간을 측정하였다. 200장의 명함에 대해 실험한 결과 미전송 오류는 발생하지 않았으며, WiFi 환경에서 평균 207㎳, LTE 환경에서 평균 213㎳의 전송속도를 보였다.
- 영상 처리모듈에서는 6단계(명함 촬영→명함영상의 경계 추출→왜곡보정→잡음 제거 및 영상압축→JPG 압축→서버로 전송)로 처리하여 19MB의 원영상을 각 단계를 거칠 때마다, 6MB, 4MB, 2MB, 200∼240KB로 압축하여 전송함으로써 8∼10배의 압축률을 얻었다.
- 추출되어진 문자 영역 정보를 기반으로 효과적인 인식을 위해서는 영역의 크기와 무관한 특징 추출이 요구된다. 이를 위해 영상정보의 손실을 최소화하면서 패턴들 사이의 충분한 비교 특징을 가질 수 있도록 보간법을 사용하여 일정한 크기로 영상을 재구성하는 정규화가 수행된다. 추출된 영상을 32×32의 크기로 정규화한 후, 전역적⋅구조적⋅통계적 특징 등을 활용하여 개별문자에 대한 특징들을 추출한다.
- 인식률은 (정인식 글자수)/(전체 글자수) × 100으로 계산하여 퍼센트(%)로 측정하였다.
- 줄단위로 분리된 영상에서 수평⋅수직 투영 및 연결 성분 분석을 통해서 개별 문자를 추출한다.
- 추출된 영상을 32×32의 크기로 정규화한 후, 전역적⋅구조적⋅통계적 특징 등을 활용하여 개별문자에 대한 특징들을 추출한다.
- 한국어, 중국어, 일본어, 영어, 라틴계의 5개 언어로 된 명함에 대하여 서버의 인식률을 평가하였다. 인식률은 (정인식 글자수)/(전체 글자수) × 100으로 계산하여 퍼센트(%)로 측정하였다.
대상 데이터
- 200장의 명함을 대상으로 실험한 결과 195장의 명함을 정상 왜곡보정 처리했다. 다만, 조명, 명함의 테두리 색상, 두 가지 이상의 배경색 명함에 따라 5장의 명함이 경계추출 오류를 발생했다.
- 명함의 필드 수, 글자 수에 따라 처리시간이 가변적이었고, 영어 명함의 처리속도가 다른 언어에 비해 빠른 처리속도를 나타냈다. 명함인식에 사용된 필드 개수는 8개로 이름, 상호, 직위, 휴대폰, 팩스, 전화번호, 이메일, 주소이다.
- 스마트폰에서 촬영된 명함영상에 대해 왜곡보정, 잡음제거, 효율적인 압축 등의 영상처리를 거친 후 서버로 전송하여 영상파일로 저장하는 데 소요되는 영상전송시간, 서버가 인식결과 전송을 시작하여 스마트폰에서 결과화면이 표시되기까지 걸린 인식결과 수신시간, 사다리꼴 모양의 명함영상에 대한 왜곡보정률, 인식성능(인식시간과 인식률) 등에 대해 언어 당 200개의 다양한 명함들을 대상으로 실험하였다.
- 시스템의 구성은 Fig. 1과 같이 스마트폰에 탑재되는 클라이언트 모듈들(전송 클라이언트, 모바일 영상처리, 테스트용 앱)과 서버에 탑재되는 모듈들(서버용 인식기, 서비스 서버, 전송서버), 스마트폰과 서버 사이의 전송신호 프로토콜(SMNP: Smart Mobile Network Protocol)로 구성된다.
이론/모형
- ⑥ 추출된 영상에 대하여 양선형변환(Bilinear Transformation)알고리즘을 적용하여 반듯하게 보정한다.
- 이를 위하여 다양한 클러스터링(Clustering) 알고리즘이 적용되었다[12, 13]. 서버인식모듈은 역전파(backpropagation) 학습 알고리즘을 이용한 다층 퍼셉트론(multi-layer perceptron)을 이용하였으며[9], 인식률을 향상시키기 위해 직위, 우편번호, 주소 등의 명함에 사용되는 정보를 활용한 후처리를 하였다.
- 줄단위로 분리된 영상에서 수평⋅수직 투영 및 연결 성분 분석을 통해서 개별 문자를 추출한다. 이 단계에서는 상하 및 좌우 테두리 영역 분석과 Object Labeling 기법을 사용했다[10, 11].
- 인식과정에서 수행되는 정합과정에 필요한 대표 표본 특징들을 구하기 위해서 인식 과정 전에 학습과정이 수행된다. 이를 위하여 다양한 클러스터링(Clustering) 알고리즘이 적용되었다[12, 13]. 서버인식모듈은 역전파(backpropagation) 학습 알고리즘을 이용한 다층 퍼셉트론(multi-layer perceptron)을 이용하였으며[9], 인식률을 향상시키기 위해 직위, 우편번호, 주소 등의 명함에 사용되는 정보를 활용한 후처리를 하였다.
성능/효과
- 서버가 인식결과 전송을 시작하여 스마트폰에 결과화면이 표시되기까지 걸린 시간을 측정하였다. 200장의 명함 시험 결과 WiFi 환경에서 평균 174㎳, LTE 환경에서 평균 180㎳의 전송속도를 보였다. Fig.
- 모바일 명함인식시스템(영상 촬영→영상처리→전송→인식→결과수신)의 총 처리시간을 평가하기 위해 스마트폰에서 명함을 촬영하여 전송 버튼을 누른 후 인식결과 화면이 표시되기까지 소요된 시간을 측정하였다. 200장의 명함 실험 결과 WiFi 환경에서 평균 1,081㎳, LTE 환경에서 평균 1,593㎳의 처리시간이 소요되었다.
- 스마트폰의 시작버튼을 누르고, 서버에서 영상파일로 저장할 때까지 걸린 시간을 측정하였다. 200장의 명함에 대해 실험한 결과 미전송 오류는 발생하지 않았으며, WiFi 환경에서 평균 207㎳, LTE 환경에서 평균 213㎳의 전송속도를 보였다.
- 언어별 200장 명함의 인식성능을 측정한 결과 [Table 3]과 같이 언어별 91∼99%의 인식률을 보였으며, 인식처리 속도는 평균 700∼1200㎳가 소요되었다. 명함의 필드 수, 글자 수에 따라 처리시간이 가변적이었고, 영어 명함의 처리속도가 다른 언어에 비해 빠른 처리속도를 나타냈다. 명함인식에 사용된 필드 개수는 8개로 이름, 상호, 직위, 휴대폰, 팩스, 전화번호, 이메일, 주소이다.
- 5초로 전송 트래픽으로 인한 속도 지연(약 207∼213ms)은 있으나 이는 인식속도에 지장을 주지 않고 있다. 본 연구에서 개발된 시스템에서 서버의 문자인식모듈을 스마트폰에 포팅하여 200장의 한글명함만을 대상으로 인식한 결과, 인식률은 93.8%를 보여 서버기반에 비해 약 3.2%의 차이를 보였으며, 하드웨어 제약으로 다양한 언어 및 후처리를 지원할 수 없었다.
- 본 연구에서는 범용 영상압축 방법 이외에 추가적인 기법을 적용하여 최종 영상 크기를 60∼120KByte 이내로 줄였다.
- 상용 스마트폰 기반 명함인식 앱인 CamCard[14]와의 인식률과 인식속도를 비교했을 때, CamCard는 영어에서 98%이상의 인식률을 보이고 있으나 한글에서는 다소 낮은 인식률을 보였다. 스마트폰 자체에 인식엔진을 탑재하다 보니 명함 고유의 특성(직책, 주소 등)을 반영하기 위한 후처리기술이 미약한 것으로 보이며, 외국산이다 보니 한글주소와 회사명 등의 처리에 오류가 많았다.
- 개발된 시스템에서 스마트폰은 입력장치(카메라)와 전송수단으로만 활용하고 서버에 문자인식엔진을 탑재하여 WiFi 또는 LTE(Long Term Evolution) 방식의 무선인터페이스로 전송받은 명함 영상을 인식하여 그 결과를 스마트폰에 전송하고 있다. 스마트폰에 문자인식엔진을 탑재한 기존 방식은 저성능 프로세서와 저용량 메모리를 갖춘 스마트폰의 하드웨어 특성상 적정한 인식률과 인식속도를 얻을 수 없는 한계를 가지고 있었으나 개발된 시스템은 원격지의 고성능 서버를 활용하여 인식률과 인식속도를 높일 수 있었다. 본 논문에서는 문자인식 속도 최적화를 위해 카메라 영상에서 빈번히 발생하는 사다리꼴 모양의 왜곡을 보정하여 사각형의 반듯한 영상으로 평활화하고, 촬영된 영상을 무선통신을 통해 서버에 전송할 때 전송량을 줄여 전송속도를 높일 수 있도록 영상크기를 줄일 수 있는 기법을 적용하였다.
- 언어별 200장 명함의 인식성능을 측정한 결과 [Table 3]과 같이 언어별 91∼99%의 인식률을 보였으며, 인식처리 속도는 평균 700∼1200㎳가 소요되었다.
후속연구
- 명함인식시스템의 성능향상을 위해서는 향후 조명 및 난반사에 대한 영상처리 기법에 대한 연구가 진행되어야 할 것이다. 개발된 시스템은 신분증 인식 등의 문자인식 분야와 인맥관리 서비스 분야에 활용될 수 있으며, 인식대상을 확대하고 번역시스템과 연동하여 다양한 언어로 표기된 광고판, 관광안내문 등의 번역 및 관광 서비스 분야에 적극 활용될 수 있을 것이다.
- 개발 시스템의 성능을 측정하기 위해 5개 언어에 대해 아이폰과 안드로이드폰용 앱을 개발하여 언어별 200개의 명함을 대상으로 인식속도, 인식률, 시스템 처리시간 등의 다양한 실험을 수행하였다. 명함인식시스템의 성능향상을 위해서는 향후 조명 및 난반사에 대한 영상처리 기법에 대한 연구가 진행되어야 할 것이다. 개발된 시스템은 신분증 인식 등의 문자인식 분야와 인맥관리 서비스 분야에 활용될 수 있으며, 인식대상을 확대하고 번역시스템과 연동하여 다양한 언어로 표기된 광고판, 관광안내문 등의 번역 및 관광 서비스 분야에 적극 활용될 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.