[논문]임베디드 디바이스에 적용 가능한 부분학습 기반의 실시간 손글씨 인식기

김영주; 김태호

doi:10.6109/jkiice.2020.24.5.591

임베디드 디바이스에 적용 가능한 부분학습 기반의 실시간 손글씨 인식기
Real-time Handwriting Recognizer based on Partial Learning Applicable to Embedded Devices 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.24 no.5, 2020년, pp.591 - 599

김영주 (Electronics and Telecommunications Research Institute) , 김태호 (Electronics and Telecommunications Research Institute)

초록
AI-Helper

딥러닝 기술은 실세계의 객체를 분류하거나 인식하기 위해서 사용된다. 이를 위해서 준비된 많은 데이터를 고성능 컴퓨터에서 학습한 후에, 그 학습모델을 인식기에 탑재하여 각종 객체들을 인식한다. 이러한 인식기는 다양한 환경에서 사용되면서 인식하지 못하는 객체들이나 인식률이 낮은 객체들이 발생할 수 있다. 이런 문제를 해결하기 위해서 실세계 객체들을 주기적으로 학습하여 인식률을 높인다. 하지만, 즉각적인 인식률 향상이 어려울 뿐만 아니라, 임베디드 디바이스 등에 탑재되어 있는 인식기에서 학습하는 것이 쉽지 않다. 따라서, 본 논문에서는 임베디드 디바이스에 적용 가능한 부분 학습 기반의 실시간 손글씨 인식기를 제안한다. 제안된 인식기는 사용자 요청 시마다 임베디드 디바이스에서 부분 학습을 할 수 있는 환경을 제공하고, 실시간으로 인식기의 학습모델이 갱신된다. 이로 인해서 인식기의 지능이 지속적으로 향상됨으로 최초에 인식하지 못했던 손글씨에 대해 인식이 가능해진다. 이렇게 제안된 인식기는 RK3399 임베디드 디바이스에서 22개의 숫자와 글자에 대해서 학습과 추론이 가능하다는 것을 실험을 통하여 사람 손으로 쓴 은행 계좌명과 계좌번호를 인식할 수 있는 개인화된 지능을 가진 스마트 기기에 활용 가능할 것으로 기대된다.

Abstract ▼ AI-Helper

Deep learning is widely utilized to classify or recognize objects of real-world. An abundance of data is trained on high-performance computers and a trained model is generated, and then the model is loaded in an inferencer. The inferencer is used in various environments, so that it may cause unrecognized objects or low-accuracy objects. To solve this problem, real-world objects are collected and they are trained periodically. However, not only is it difficult to immediately improve the recognition rate, but is not easy to learn an inferencer on embedded devices. We propose a real-time handwriting recognizer based on partial learning on embedded devices. The recognizer provides a training environment which partially learn on embedded devices at every user request, and its trained model is updated in real time. As this can improve intelligence of the recognizer automatically, recognition rate of unrecognized handwriting increases. We experimentally prove that learning and reasoning are possible for 22 numbers and letters on RK3399 devices.

주제어

표/그림 (9)

그림 Fig. 1 The process of Learning and Inferencing
그림 Fig. 2 The Block Diagram of Partial-learning based Real-time Handwriting System
그림 Fig. 3 Binarization of Input data
그림 Fig. 4 Partial Learning Interface
그림 Fig. 5 Dataset for Partial Learning
그림 Fig. 6 IPC Communication for Automatic Update of Partial-learning Model
그림 Fig. 7 Partial-learning based Handwriting recognizer
그림 Fig. 8 The Process of Partial-learning based Handwriting Recognition
그림 Fig. 9 The Result of Partial Learning

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이로 인해 서 즉각적으로 인식률을 향상시키는 것이 어려울 뿐만 아니라, 인식기 자체에서 학습하는 것이 쉽지 않다. 따라서, 본 논문에서는 임베디드 디바이스[5,6,7]에 적용 가능한 부분 학습 기반의 실시간 손글씨 인식기를 제안 한다. 제안된 인식기는 사용자 요청 시마다 임베디드 디 바이스에서 부분학습을 할 수 있는 환경을 제공하고, 실 시간으로 인식기의 학습모델이 갱신된다.
본 논문에서는 부분 학습 기반의 실시간 손글씨 인식 기를 구현한다. 그림 7의 (A)는 구현된 손글씨 인식기를 보인 것이다.
본 논문에서는 임베디드 디바이스에 적용 가능한 부 분 학습을 통한 실시간 손글씨 인식기를 제안한다. 제안 된 인식기는 처음에는 숫자와 일부 한글에 대해서 사전에 학습된 모델을 이용한다.
본 논문은 부분 학습 기반의 실시간 손글씨 인식기를 제안했다. 제안된 손글씨 인식기는 모든 손글씨를 인식 하는 것이 목표가 아니라, 특정 서비스에 초점을 맞추었 기 때문에 10개의 MNIST 숫자 데이터와 12개의 한글 손글씨 데이터를 이용하여 학습 모델을 생성했다.
본 실험은 Firefly-RK3399 임베디드 보드에서 손글 씨 인식기를 수행시킨 결과에 대해서 소개한다. 그림 9 는 손글씨 인식기에서 부분 학습을 최대 7번 수행한 결과를 보인 것이다.
본 절에서는 부분 학습 시간의 실시간 손글씨 인식기 를 구현한 내용에 대해서 기술하고, 구현된 손글씨 인식 기에 대한 전체 시나리오에 대해서 설명하고 인식에 대한 실험한 내용을 설명한다.

제안 방법

그림 1은 학습과 추론 과정을 보인 것이다. 다양한 숫자 이미지들에 대해서 학습기를 통해서 숫자 에 대한 학습모델을 생성하고, 생성된 학습모델을 추론 기가 참조하여 새로운 이미지에 대해서 구별한다. 구별 시에는 숫자 1, 2, 3에 대해서 일반적으로 확률 값으로 표현을 한다.
제안된 손글씨 인식기는 모든 손글씨를 인식 하는 것이 목표가 아니라, 특정 서비스에 초점을 맞추었 기 때문에 10개의 MNIST 숫자 데이터와 12개의 한글 손글씨 데이터를 이용하여 학습 모델을 생성했다. 생성된 학습 모델을 기반으로 새로운 데이터에 대해서 부분 학습 통해서 새롭게 입력된 손글씨에 대한 인식률을 증 가시켰다. 인식률의 수렴도는 80% 정도임을 실험적으 로 증명했다.
caffemodel이 학습 후에 생성된다. 생성된 학습모델, 추론을 위한 네트워크 설정 파일, mean 파일, 그리고 label 파일을 이용하여 추론기를 구 현하여 새로운 이미지에 대한 구별을 한다.
학습 모델을 만들기 위해서 사용된 데이터들은 0부터 9까지의 10개의 MNIST 숫자 데이터 (60,000개) 와 자체 손글씨 (우리은행, 신한은행, 국민은행, 농협, 하 나은행) 12개의 문자 데이터 (780,000개)를 이용한다. 이들 데이터를 이용하여 Caffe 프레임워크로 학습 모델을 생성한다. 이렇게 생성된 학습 모델을 이용하여 부분 학습 기반의 손글씨 인식기가 실행된다.
본 논문에서는 임베디드 디바이스에 적용 가능한 부 분 학습을 통한 실시간 손글씨 인식기를 제안한다. 제안 된 인식기는 처음에는 숫자와 일부 한글에 대해서 사전에 학습된 모델을 이용한다. 이 인식기는 추론과정에 입 력된 손글씨에 대해서 인식률이 낮으면 사용자 요청에 의해 부분 학습을 하고, 학습한 결과를 즉각적으로 추론 기에 반영하여 손글씨의 인식률을 향상시킨다.
본 논문은 부분 학습 기반의 실시간 손글씨 인식기를 제안했다. 제안된 손글씨 인식기는 모든 손글씨를 인식 하는 것이 목표가 아니라, 특정 서비스에 초점을 맞추었 기 때문에 10개의 MNIST 숫자 데이터와 12개의 한글 손글씨 데이터를 이용하여 학습 모델을 생성했다. 생성된 학습 모델을 기반으로 새로운 데이터에 대해서 부분 학습 통해서 새롭게 입력된 손글씨에 대한 인식률을 증 가시켰다.
따라서, 본 논문에서는 임베디드 디바이스[5,6,7]에 적용 가능한 부분 학습 기반의 실시간 손글씨 인식기를 제안 한다. 제안된 인식기는 사용자 요청 시마다 임베디드 디 바이스에서 부분학습을 할 수 있는 환경을 제공하고, 실 시간으로 인식기의 학습모델이 갱신된다. 이로 인해서 인식기의 지능이 자동적으로 향상되고, 최초에 인식하 지 못했던 손글씨에 대해 인식이 가능해진다.
이 이미지를 학습된 모델의 데이터와 최대한 유사한 패턴으로 변환 작업을 해야 한다. 즉, 학습 데이터 는 1 channel의 gray scale의 이미지들로 학습이 이루어 졌기 때문에 OpenCV API를 이용하여 학습 데이터에 대한 이진 영상화를 한다. 이진 영상화는 0과 255 사이의 숫자들을 0과 255의 두 숫자만으로 표시하는 것을 의미한다.
딥러닝 기술은 학습과 추론을 통해서 점차적으로 진 화를 한다. 최초에 어떤 대상에 대해서 데이터를 수집하 고, 수집된 데이터를 이용하여 학습을 한다. 학습된 결과를 이용하여 실세계에 있는 데이터에 대해서 추론을 하게 된다.
추론기는 학습된 모델을 이용하여 입력되는 데이터 에 대해서 전처리를 한 후에 입력 데이터를 추론한다. 추론 결과에 대해서 사용자가 부분 학습 여부를 결정하 게 된다.

대상 데이터

본 논문에서는 Caffe 프레임워크를 대상으로 하고 있다. 학습은 설정 파일에서 pre-training을 할 수 있도록 설정되어 있으므로 가중치 갱신기에서 선택된 데이터 에 해당하는 부분만 가중치를 갱신하여 부분 학습된 모델을 생성한다.
손글씨 인식기를 구현하기 위해서 먼저, 학습 모델을 만든다. 학습 모델을 만들기 위해서 사용된 데이터들은 0부터 9까지의 10개의 MNIST 숫자 데이터 (60,000개) 와 자체 손글씨 (우리은행, 신한은행, 국민은행, 농협, 하 나은행) 12개의 문자 데이터 (780,000개)를 이용한다. 이들 데이터를 이용하여 Caffe 프레임워크로 학습 모델을 생성한다.

이론/모형

실행시점에 네트워크 그래프가 정의되고, 복잡한 네트워크 정의를 보다 유연하게 지원할 수 있다. 본 논문에서는 Caffe 프레 임워크를 사용한다.

성능/효과

6이하인 숫자 0 과 4는 학습된 원본 숫자 데이터와 상당히 다른 형태의 손글씨를 적었다. 결론적으로, 최초의 학습 모델로 부분 학습 시에 80%의 부분 학습 정도를 보인다. 여기서 80% 는 10개의 손글씨 숫자 중에서 8개의 숫자가 0.
손글씨 3에 대해서 일곱 번의 부분 학습을 통해서 정확도가 점차 적으로 향상되는 것을 볼 수 있다. 그리고 숫자 2와 숫자 9는 두 번의 부분 학습으로도 정확도가 각각 0.9986과 0.9482로 향상되었다. 이것은 학습된 원본 숫자 데이터 와 유사하게 글씨를 적었다고 볼 수 있다.

후속연구

이로 인해서 인식기의 지능이 자동적으로 향상되고, 최초에 인식하 지 못했던 손글씨에 대해 인식이 가능해진다. 이렇게 제안된 인식기는 RK3399 임베디드 디바이스[5]에서 22개의 숫자와 글자에 대해서 학습과 추론이 가능하다는 것을 실험적으로 증명하여, 사람 손으로 쓴 은행 계좌명과 계좌번호를 인식할 수 있는 개인화된 지능을 가진 스마 트 기기가 될 것으로 기대한다.
향후과제로는 입력되는 데이터에 대해서 자동적으로 ROI를 설정할 수 있는 방안을 모색하고, 보다 정확하고 빠른 부분 학습 방법을 연구하고자 한다.

참고문헌 (17)

B. Zhao, J. Feng, X. Wu, and S. Yan, "A survey on deep learning-based fine-grained object classification and semantic segmentation," International Journal of Automation and Computing, vol. 14, pp. 119-135, Springer, Jan. 2017.

상세보기
J. Deng, W. Dong, R. Socher, L. J. Li, K. Li, and F. F. Li, "ImageNet: A large-scale hierarchical image database," In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, IEEE, Miami, USA, pp. 248-255, 2009.
Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, and L. D. Jackel, "Backpropagation applied to handwritten zip code recognition," Neural Computation, vol 1, no. 4, pp. 541-551, IEEE, 1989.

상세보기
S. Park, S. Choi, H. Lee, and J. Kim, "Spatial analysis using R based Deep Learning," Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, vol.6, no.4, pp. 1-8, Apr. 2016.

상세보기
Firefly Team, Weclome to Firefly-RK3399 Manual, 2018.
Hardkernel, ODROID-XU4 USER MANUAL, 2017.
Micro Vision, MV8890-R Solution, Aug. 2016.
Google Developers Tensorflow [Internet]. Available: https://www.tensorflow.org/.
Berkeley AI Research (BAIR) [Internet]. Available: https://caffe.berkeleyvision.org/.
Theano Development Team [Internet]. Available: http://deeplearning.net/software/theano/.
Facebook AI Research [Internet]. Available: https://pytorch.org/.
Preferred Networks, Inc. [Internet]. Available: https://chainer.org/.
Y. Lecun, L. Bottou, and Y. Bengio, "Reading checks with graph transformer networks," In International Conference on Acoustics, Speech, and Signal Processing, vol. 1, pp. 151-154, Munich, IEEE, 1997.
K. Simonyan, and A. Zisserman, "Very Deep Convolutional Networks for Large-Scale Visual Recognition," International Conference on Learning Representations, 2015.
K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition," In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Dec. 2016.
C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich, "Going Deeper with Convolutions," In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Jun. 2015.
Berkeley AI Research (BAIR) [Internet]. Available: https://caffe.berkeleyvision.org/model_zoo.html.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증