[논문]문자 인식 향상을 위한 회전 정렬 알고리즘에 관한 연구

진고환

doi:10.15207/jkcs.2019.10.11.079

문자 인식 향상을 위한 회전 정렬 알고리즘에 관한 연구
A Study on Rotational Alignment Algorithm for Improving Character Recognition 원문보기

한국융합학회논문지 = Journal of the Korea Convergence Society, v.10 no.11, 2019년, pp.79 - 84

초록
AI-Helper

영상을 기반으로 하는 기술들의 지속적인 발전으로 다양한 분야에서 활용되고 있고, 카메라를 통하여 획득한 영상의 객체를 분석하고 판별하는 비전 시스템의 기술 수요가 급속하게 증가하고 있다. 비전 시스템의 핵심 기술인 영상처리는 반도체 생산 분야의 불량 검사, 타이어 표면의 숫자 및 심볼과 같은 객체 인식 검사 등에 사용되고 있고, 자동차 번호판 인식 등의 연구가 계속하여 이루어지고 있는 실정으로, 객체를 신속, 정확하게 인식할 필요가 있다. 본 논문에서는 곡면과 같은 곳에 마킹되어 있는 숫자나 심볼과 같이 기울어진 객체를 인식하기 위하여 입력된 영상 이미지의 객체 기울기에 대한 각도 값을 확인하여 객체의 회전 정렬을 통한 인식 모델을 제안한다. 제안 모델은 컨투어 알고리즘을 기반으로 객체 영역을 추출하고, 객체의 각도를 산출한 후, 회전 정렬된 이미지에 대한 객체 인식을 진행할 수 있는 모델이다. 향후 연구에서는 기계학습을 통한 탬플릿 매칭 연구가 필요하다.

Abstract ▼ AI-Helper

Video image based technology is being used in various fields with continuous development. The demand for vision system technology that analyzes and discriminates image objects acquired through cameras is rapidly increasing. Image processing is one of the core technologies of vision systems, and is used for defect inspection in the semiconductor manufacturing field, object recognition inspection such as the number of tire surfaces and symbols. In addition, research into license plate recognition is ongoing, and it is necessary to recognize objects quickly and accurately. In this paper, propose a recognition model through the rotational alignment of objects after checking the angle value of the tilt of the object in the input video image for the recognition of inclined objects such as numbers or symbols marked on the surface. The proposed model can perform object recognition of the rotationally sorted image after extracting the object region and calculating the angle of the object based on the contour algorithm. The proposed model extracts the object region based on the contour algorithm, calculates the angle of the object, and then performs object recognition on the rotationally aligned image. In future research, it is necessary to study template matching through machine learning.

주제어

표/그림 (11)

그림 Fig. 1. Proposed Model Configuration
그림 Fig. 2. Proposed Model Process
그림 Fig. 3. Threshold Extraction
그림 Fig. 4. Histogram Maximum Value Extraction
그림 Fig. 5. Adaptive Binarization Progress
그림 Fig. 6. Contour Image
그림 Fig. 7. Rotational Alignment Image
그림 Fig. 8. Extract the Outline of the Maximum Length
그림 Fig. 9. Normal and Reverse Rotation
그림 Fig. 10. Proposed Model Main Screen
그림 Fig. 11. Image Recognition Results Graph

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

제안 방법

컨투어 추출은 find 컨투어 함수를 사용해서 추출하였고, 추출된 컨투어 영역들 전체에 대한 각도를 추출하였다. 각도 추출은 외곽선을 사각형으로 지정하여 가로, 세로 길이를 추출한 후 가로, 세로 길이에서 최대값을 1차적으로 설정하였으며, 추출한 최대값은 컨투어를 사용하여 전체 외각선에서 최대값을 추출한 후 각도를 산출하였다.
셋째, 컨투어를 사용하여 테두리에 대한 각도를 추출한다. 넷째, 추출한 각도를 사용하여 이미지 회전을 진행한다. 다섯째, 회전된 이미지를 사용하여 인식을 진행한다.
넷째, 추출한 각도를 사용하여 이미지 회전을 진행한다. 다섯째, 회전된 이미지를 사용하여 인식을 진행한다. 영상 이미지의 인식이 실패할 경우, 회전이 역방향으로 정렬되었다고 판단하고, 다시 이미지 회전을 실행하여 인식한다.
첫째, Probe로부터 영상 이미지를 획득한다. 둘째, 입력받은 이미지를 전처리 기술인 적응적 이진화를 진행한다. 셋째, 컨투어를 사용하여 테두리에 대한 각도를 추출한다.
제안 모델의 실험 및 측정을 위하여 분해능 82㎛,FOV 257*206 성능의 CCD 카메라 사용하였고, 비주얼 스튜디오 2017 기반의 MFC와 전처리 기능을 위하여 OpenCV 라이브러리를 사용하였다. 상단은 CCD 카메라에서 입력받은 이미지, 적응적 이진화를 진행한 이미지, 컨투어를 사용하여 회전을 진행한 이미지가 출력되도록 구성하였으며, 하단 리스트 박스는 추출된 회전 각도별로 인식된 숫자 개수를 출력하도록 구성하였다. 다음의 Fig.
둘째, 입력받은 이미지를 전처리 기술인 적응적 이진화를 진행한다. 셋째, 컨투어를 사용하여 테두리에 대한 각도를 추출한다. 넷째, 추출한 각도를 사용하여 이미지 회전을 진행한다.
CCD 카메라로부터 입력받은 인식 대상의 객체 기울기에 대한 각도 값을 확인하여 객체를 정렬하면, 영상 처리에 있어 다양성과 유용성이 증가할 수 있다. 숫자를 인식하는데 있어서 각도는 숫자와 같은 객체의 인식률에 많은 영향이 있기에, 본 논문에서는 입력된 영상 이미지에서 컨투어 알고리즘을 기반으로 숫자 영역을 추출하여 객체 이미지의 각도를 구한 후, 회전 정렬된 이미지에 대한 인식 모델을 제안한다. 제안 모델을 비전 시스템에 적용하여 숫자와 같은 객체를 인식할 경우 불량 검출이 정확해 질 것으로 기대된다.
회전된 이미지를 사용하여 마스터 이미지의 인식을 진행한다. 이미지 인식은 MIL라이브러리를 사용하였으며,인식 과정에서 이미지가 반대로 회전된 경우 인식률이 낮아 오류로 처리하였다. 제안 모델에서는 반대로 회전된 경우 다시 180도로 이미지 회전을 진행하고, 다시 인식을 진행하였다.
3은 임계값 추출을 위한 (a) 원본 이미지와 (b) 히스토그램 추출 이미지이다. 임계값을 추출하기 위하여, 히스토그램을 추출하였고, 최대값인 254를 임계 값으로 설정하여 이진화를 진행하였다.
이미지 인식은 MIL라이브러리를 사용하였으며,인식 과정에서 이미지가 반대로 회전된 경우 인식률이 낮아 오류로 처리하였다. 제안 모델에서는 반대로 회전된 경우 다시 180도로 이미지 회전을 진행하고, 다시 인식을 진행하였다. 다음 Fig.
5는 입력된 원본 이미지와 적응적 이진화를 진행한 이미지이다. 제안 모델에서는 컨투어를 진행하기 위하여 일반적인 이진화가 아닌 적응적 이진화를 수행하였다. 컨투어 기능 특성상 배경이 검은색, 타겟은 흰색으로 구성되어 있어야 기능을 수행할 수 있기에 적응적 이진화를 적용하였다.
제안 모델에서는 테두리에 대한 각도를 추출하기 위해서 추출된 각도들 중에서 추출된 외곽선에서 최대길이의 외곽선을 추출하여 회전을 진행한다. 다음의 Fig.
제안 모델에서는 컨투어를 진행하기 위하여 일반적인 이진화가 아닌 적응적 이진화를 수행하였다. 컨투어 기능 특성상 배경이 검은색, 타겟은 흰색으로 구성되어 있어야 기능을 수행할 수 있기에 적응적 이진화를 적용하였다.
컨투어 추출은 find 컨투어 함수를 사용해서 추출하였고, 추출된 컨투어 영역들 전체에 대한 각도를 추출하였다. 각도 추출은 외곽선을 사각형으로 지정하여 가로, 세로 길이를 추출한 후 가로, 세로 길이에서 최대값을 1차적으로 설정하였으며, 추출한 최대값은 컨투어를 사용하여 전체 외각선에서 최대값을 추출한 후 각도를 산출하였다.

대상 데이터

제안 모델의 실험 및 측정을 위하여 분해능 82㎛,FOV 257*206 성능의 CCD 카메라 사용하였고, 비주얼 스튜디오 2017 기반의 MFC와 전처리 기능을 위하여 OpenCV 라이브러리를 사용하였다. 상단은 CCD 카메라에서 입력받은 이미지, 적응적 이진화를 진행한 이미지, 컨투어를 사용하여 회전을 진행한 이미지가 출력되도록 구성하였으며, 하단 리스트 박스는 추출된 회전 각도별로 인식된 숫자 개수를 출력하도록 구성하였다.

성능/효과

특히 타이어와 같은 곡면에 마킹되어 있는 숫자의 객체를 인식하기 위해서는 회전 정렬이 필요하다. CCD 카메라로부터 입력받은 인식 대상의 객체 기울기에 대한 각도 값을 확인하여 객체를 정렬하면, 영상 처리에 있어 다양성과 유용성이 증가할 수 있다. 숫자를 인식하는데 있어서 각도는 숫자와 같은 객체의 인식률에 많은 영향이 있기에, 본 논문에서는 입력된 영상 이미지에서 컨투어 알고리즘을 기반으로 숫자 영역을 추출하여 객체 이미지의 각도를 구한 후, 회전 정렬된 이미지에 대한 인식 모델을 제안한다.

후속연구

그러나 곡면에 마킹되어 있는 심볼이나 숫자를 인식하고자 할 경우, 카메라를 통하여 입력된 영상 이미지가 기울어져 있어, 정확한 인식이 어려운 상황이 발생하기에 인식하고자 하는 객체를 정렬하는 방법이 필요하다. 제안 모델은 획득한 영상의 이미지가 기울어져 있을경우 히스토그램 평활화 및 컨투어 알고리즘을 적용하여,입력 이미지를 회전하여 정렬을 보정할 수 있는 모델로서, 비전 시스템을 활용하는 생산 현장에 적용할 경우 객체 인식률이 향상될 것으로 기대된다. 향후 연구로는 객체 인식의 속도 향상과, 기계학습을 통한 탬플릿 매칭 연구가 필요하다.
숫자를 인식하는데 있어서 각도는 숫자와 같은 객체의 인식률에 많은 영향이 있기에, 본 논문에서는 입력된 영상 이미지에서 컨투어 알고리즘을 기반으로 숫자 영역을 추출하여 객체 이미지의 각도를 구한 후, 회전 정렬된 이미지에 대한 인식 모델을 제안한다. 제안 모델을 비전 시스템에 적용하여 숫자와 같은 객체를 인식할 경우 불량 검출이 정확해 질 것으로 기대된다.
제안 모델은 획득한 영상의 이미지가 기울어져 있을경우 히스토그램 평활화 및 컨투어 알고리즘을 적용하여,입력 이미지를 회전하여 정렬을 보정할 수 있는 모델로서, 비전 시스템을 활용하는 생산 현장에 적용할 경우 객체 인식률이 향상될 것으로 기대된다. 향후 연구로는 객체 인식의 속도 향상과, 기계학습을 통한 탬플릿 매칭 연구가 필요하다.

질의응답

핵심어	질문	논문에서 추출한 답변
	비전 시스템이란 무엇인가?	비전 시스템은 영상과 컴퓨터를 융합하여 영상 이미지를 획득, 분석, 판별하는 시스템으로서 산업분야에서 생산품을 검사하는 자동화 공정에 사용되고 있고, 제품을 생산하는 기업을 대상으로 비전 시스템 도입이 큰 이슈로 대두되고 있다[3-5]. 영상 처리는 비전 시스템의 핵심기술 중 하나로서, 반도체 생산 분야에서 불량 검사, 타이어 표면의 숫자 및 심볼의 인식 검사에 사용되고 있고[6,7], 문자 인식 분야에서는 자동차 번호판 인식 향상에 관한 연구[8,9], 기계 부품 도면에 포함되어 있는 문자의 인식 성능을 개선하기 위한 연구[10] 및 입력된 영상의 장면을 탐색하는 기법 및 획득된 영상을 인식하여 객체를 추출하는 방법 연구[11,12]와 같이 영상 처리와 관련된 연구가 진행되고 있다.
	이진화 기법 중 블록의 개념을 기반으로 수행하는 것은?	입력된 영상의 이진화는 전역적, 지역적 이진화로 분류되고 있으며, 전역적 이진화는 1개의 임계값으로 입력 영상 전체를 신속하게 이진화하는 방법이며, 지역적 이진화는 입력 영상의 화소를 기준으로 M× N 크기의 블록으로 분할하고, 각 블록마다 상이한 임계값을 설정하여 적용하는 이진화 기법이다. 적응적 이진화는 블록의 개념을 기반으로 수행하며, 각 블록내의 연산을 통하여 임계값을 산출하고, 이 임계값이 속해 있는 영상 이미지의 부분이나, 픽셀을 대상으로 이진화를 수행하며, 다음의 (식 1)은 임계값을 구하는 식으로, S는 설정한 블록 내의 합, k는 임계값 조절 변수, Np는 블록내의 픽셀의 수이다[17]. 조명의 변화에 매우 강인한 적응적 이진화 기법은 좋은 성능 지니고 있다.
	히스토그램 평활화의 목적은 무엇인가?	입력된 이미지가 밝거나 어두운 경우와 같이 한쪽으로 치우칠 경우에, 명도값의 히스토그램을 균등하게 분배함으로서 영상의 밝기 조정이 가능하다. 히스토그램 평활화는 분포가 일정한 히스토그램을 생성하는 것을 목적으로 하고 있으며, 밝은 영상은 어둡게 하고, 어두운 영상은 밝아지게 하여 적당한 명도값을 유지시키는 것으로, 평활화 과정은 다음의 (식 2)를 거쳐 (식 3)과 같은 단계로 진행된다[18].

참고문헌 (18)

S. H. Kim. (2016). Realtime 3D Human Full-Body Convergence Motion Capture using a Kinect Sensor. Journal of Digital Convergence, 14(1), 189-194. DOI : 10.14400/JDC.2016.14.1.189

원문보기 상세보기
M. Janoczki, A. Becker, L. Jakab, R. Grof & T. Takacs. (2013). Automatic Optical Inspection of Soldering. In aterial Science-Advanced Topics. 387-440. DOI : 10.5772/51699
Y. R. Seo, K. Park, S. K. Kim & S. W. Ra. (2011). Vibration Analysis for a Feeding Unit of Vision Inspection System of Precision Screws. Journal of The Korean Society of Manufacturing Technology Engineers, 20(4), 446-451.
G. S. Kim, Y. H. Park, J. S. Park & J. S. Cho. (2015). Auto parts visual inspection in severe changes in the lighting environment. Journal of Institute of Control, Robotics and Systems, 21(12), 1109-1114. DOI : 10.5302/J.ICROS.2015.15.0134

원문보기 상세보기
J. J. Park, G. H. Kim & E. S. Lee. (2014). A study on the elliptical gear inspection system using machine vision. Transactions of the Korean Society of Mechanical Engineers A, 38(1), 59-63. DOI : 10.3795/KSME-A.2014.38.1.059

원문보기 상세보기
T. H. Lee, K. R. Park & D. H. Kim. (2017). A Study on Scratch Detection of Semiconductor Package using Mask Image. Journal of the Korea Convergence Society, 8(11), 43-48. DOI : 10.15207/JKCS.2017.8.11.043
G. W. Jin. (2017). A Study on the BGA Package Measurement using Noise Reduction Filters. Journal of the Korea Convergence Society, 8(11), 15-20. DOI : 10.15207/JKCS.2017.8.11.015
J. W. Jang & G. M. Park. (2017). License Plate Recognition System based on Normal CCTV. Journal of The Institute of Electronics and Information Engineers, 54(8), 89-96. DOI : 10.5573/ieie.2017.54.8.89

원문보기 상세보기
M. K. Oh & J. C. Park. (2017). Long Distance Vehicle License Plate Region Detection Using Low Resolution Feature of License Plate Region in Road View Images. Journal of Digital Convergence, 15(1), 239-245. DOI : 10.14400/JDC.2017.15.1.239
H. R. Shin, S. H. Lee, J. S. Park & J. K. Song. (2019). Performance Improvement of Optical Character Recognition for Parts Book Using Pre-processing of Modified VGG Model. The Journal of the Korea Institute of Electronic Communication Sciences, 14(2), 433-438. DOI : 10.13067/JKIECS.2019.14.2.433
M. K. Kwon & H. S. Yang. (2017). A scene search method based on principal character identification using convolutional neural network, Journal of Convergence for Information Technology, 7(2), 31-36. DOI : 10.22156/CS4SMB.2017.7.2.031
S. K. Lee, Y. S. Park, G. S. Lee, J. Y. Lee & S. H. Lee. (2013). An Automatic Object Extraction Method Using Color Features of Object and Background in Image. Journal of Digital Convergence, 11(12), 459-465. DOI : 10.14400/JDPM.2013.11.12.459

원문보기 상세보기
H. J. Hahm. (2017). A Study of Smart Factory Policy For ICT-Based. Journal of the Global e-Business Association, The e-Business Studies, 18(6), 363-380. DOI : 10.20462/TeBS.2017.12.18.6.363
D. Zhao. (2010). A Study on the Face Expressive Recognition based on the Skin Color and the Face Geometric Characteristics. Master's Thesis. PaiChai University, Daejeon.
J. Y. Song. (2018). A Recognition Algorithm of Handwritten Numerals based on Structure Features. The Journal of The Institute of Internet, Broadcasting and Communication, 18(6), 151-156. DOI : 10.7236/JIIBC.2018.18.6.151
C. H. Woo. (2013). Image Preprocessing in Container Identifier Recognition System Using Multiple Threshold Regions. Journal of Korea Multimedia Society, 16(5), 549-557. DOI : 10.9717/kmms.2013.16.5.549

원문보기 상세보기
Y. S. Hwang, H. Y. Yu & J. M. Lee. (2016). Robust Visual Odometry System for Illumination Variations Using Adaptive Thresholding. Journal of Institute of Control, Robotics and Systems, 22(9), 738-744 DOI : 10.5302/J.ICROS.2016.15.0218

원문보기 상세보기
S. H. Kwon, H. C. Jeong, S. T. Seo, I. K. Lee & C. S. Son. (2008). Histogram equalization-based thresholding. IEICE TRANSACTIONS on Information and Systems, 91(11), 2751-2753. DOI: 10.1093/ietisy/e91-d.11.2751

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증