[논문]영상처리 기반 숫자 수화표현 인식 알고리즘

권경필; 유준혁

doi:10.14372/iemek.2019.14.3.133

Abstract ▼ AI-Helper

The existing auxiliary communicating aids for the hearing-impaired have an inconvenience of using additional expensive sensing devices. This paper presents a hand image detection based algorithm to interpret the sign language of the hearing-impaired. The proposed sign language recognition system exp...

The existing auxiliary communicating aids for the hearing-impaired have an inconvenience of using additional expensive sensing devices. This paper presents a hand image detection based algorithm to interpret the sign language of the hearing-impaired. The proposed sign language recognition system exploits the hand image only captured by the camera without using any additional gloves with extra sensors. Based on the hand image processing, the system can perfectly classify several numeric sign language representations. This work proposes a simple lightweight classification algorithm to identify the hand image of the hearing-impaired to communicate with others even further in an environment of complex background. Experimental results show that the proposed system can interpret the numeric sign language quite well with an accuracy of 95.6% on average.

주제어

표/그림 (20)

그림 그림 1. 숫자 수화 표현 (1~10) Fig. 1 Numeric sign language representation (1~10)
그림 그림 2. 수화의 숫자표현 인식 알고리즘 Fig. 2 Numeric sign language representation recognition algorithm
그림 그림 3. 실험 이미지 Fig. 3 Test image
그림 그림 4. 손 영역 검출 이미지 (a) : RGB, (b) : HSV, (c) : YCgCr, (d) : YCbCr Fig. 4 Hand region extraction image (a) : RGB, (b) : HSV, (c) : YCgCr, (d) : YCbCr
그림 그림 5. 이미지 AND 연산 Fig. 5 Image And Operation
그림 그림 6. (a) : AND연산 이미지, (b) : 모폴로지 연산 이미지 Fig. 6 (a) : AND operation image, (b) : Morphology operation image
그림 그림 7. 윤곽선 탐지 Fig. 7 Contour detection
그림 그림 8. 포인트 계산 (예시) Fig. 8 Point operations (Example)
그림 그림 9. (a) : 포인트 연산 (필터링 되지 않은 포인트), (b) : 필터링 된 포인트 Fig. 9 (a) : Point operations (Non filtered point), (b) : Filtered point
그림 그림 10. Mid, Depth, COG 포인트 (상단부터) Fig. 10 Mid, depth, COG points (From top)
표 표 1. 숫자별 각각의 포인트 개수 Table 1. Number of points each numeral
그림 그림 11. 숫자 2와 5의 Bounding Box Fig. 11 Bounding box of number 2 and 5
그림 그림 12. 숫자 3과 10의 Rotate Bounding Box Fig. 12 Rotate bounding box of number 3 and 10
표 표 2. 포인트 개수와 손의 방향 Table 2. Number of points and hand orientation
그림 그림 13. 숫자 6과9의 이진 값 측정범위 Fig. 13 Binary value measurement range numeric 6 and 9
표 표 3. 시스템 사양 Table 3. System specifications
표 표 4. 각 그룹의 인식률 (%) 및 인식 시간 Table 4. Recognition rate (%) and time (s) for each group
그림 그림 14. 손 이미지 데이터셋 Fig. 14 Hand image dataset
그림 그림 15. (a) YCgCr 변환이미지, (b) 이진 이미지 Fig. 15 (a) YCgCr image, (b) Binary image
그림 그림 16. 불균일한 조명 Fig. 16 Uneven lighting

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문은 영상처리 기반 숫자 수화표현 (1~10) 인식 알고리즘을 제안한다. 해당 알고리즘은 정적인 동작보다 동적인 동작이 더 많은 수화언어의 특성을 모두 표현하지 못하고 숫자 1~10까지의 숫자표현만 인식 할 수 있다.

제안 방법

Gyro 센서와 Flex 센서를 이용한 손의 움직임 추적, 손가락의 구부러짐 정도를 측정하여 데이터를 블루투스 통신으로 컴퓨터에 전송하고 데이터베이스에서 수집된 결과를 산출한다 [6].
Kinect를 이용한 방식은 내장되어있는 카메라를 이용하여 Depth image를 촬영 후 정적 동적 동작으로 나누어 학습을 진행하는 방식이 있고[8], 한국 수화와 국제 수화를 양방향으로 번역해주는 수화 번역 시스템도 있다 [9]. OpenCV를 활용하여 입력 이미지를 전 처리한 후 특징점 추출 과정을 거쳐 SVM (Support Vector Machine)을 이용한 수화 통역 알고리즘 [10], 전처리 과정을 거친 후 손 영역을 검출하여 자체 알고리즘으로 수화를 인식한 방식이 주를 이루었다. 소프트웨어 기반 수화 인식은 기본 RGB 색상 영역에서 HSV [11], YCbCr, YCgCr 등의 색상 영역으로 변환하여 손 영역을 검출하였다.
해당 알고리즘은 모든 픽셀에 접근하여 픽셀 값을 각각의 채널에 맞는 값으로 변경시키는 방식으로 진행되며 이는 이미지의 해상도가 높아질수록 많은 처리시간을 요하며 이미지가 아닌 동영상을 이용할 경우 실시간성을 보장하기 어렵다. 그리하여 반복되는 작업에 대한 처리속도가 늦어지는 개발언어의 특성상 낮은 해상도의 이미지를 이용하였다.
기존 연구에서는 객체인식 및 손 영역 인식을 위해 하나의 색상 영역을 사용하였다면 본 연구에서는 네 가지의 색상 영역을 융합한 알고리즘을 사용하였다. 이는 입력되는 이미지마다 다양한 환경이 존재하여 한 가지의 색상 영역을 사용할 때 발생할 수 있는 인식률 감소 등의 문제점을 보완할 수 있다.
본 논문에는 네 가지의 색상 영역을 융합하여 사용하였는데 HSV, YCbCr의 경우 색상영역 변환 라이브러리 함수가 제공되지만 YCgCr 색상모델의 경우 색상영역 변환을 위한 라이브러리 함수가 구현되어 있지 않아 직접 구현하였다. 해당 알고리즘은 모든 픽셀에 접근하여 픽셀 값을 각각의 채널에 맞는 값으로 변경시키는 방식으로 진행되며 이는 이미지의 해상도가 높아질수록 많은 처리시간을 요하며 이미지가 아닌 동영상을 이용할 경우 실시간성을 보장하기 어렵다.
본 논문에서는 OpenCV를 활용한 숫자 수화 표현을 인식하는 알고리즘을 제안하였으며 현재 이 알고리즘은 숫자 1~10까지의 숫자만 구분이 가능하지만, 수화에는 정적인 동작보다 동적인 동작이 훨씬 더 많다.
OpenCV를 활용하여 입력 이미지를 전 처리한 후 특징점 추출 과정을 거쳐 SVM (Support Vector Machine)을 이용한 수화 통역 알고리즘 [10], 전처리 과정을 거친 후 손 영역을 검출하여 자체 알고리즘으로 수화를 인식한 방식이 주를 이루었다. 소프트웨어 기반 수화 인식은 기본 RGB 색상 영역에서 HSV [11], YCbCr, YCgCr 등의 색상 영역으로 변환하여 손 영역을 검출하였다.
숫자 2와 5, 3과 10을 구분하기 위해서는 OpenCV에서 제공하는 Bounding Box를 이용하며, 숫자 2와 5의 경우 손의 방향이 수직이며 포인트 개수가 1개여서 손의 방향과 포인트 개수 조합으로는 구별 기준이 될 수 없어 윤곽선에 외접하는 사각형인 Bounding Box를 활용하여 구별한다. 숫자 2와 5의 Bounding Box를 비교해보면 숫자 2의 경우 손가락이 수직 방향으로 펼쳐져 있어 그림 11과 같이 Bounding Box가 직사각형 형태이고 5의 경우 손가락이 수평방향으로 펼쳐져 있어 Bounding Box가 정사각형에 가까운 모양으로 형성된다.

대상 데이터

본 논문에서 제안한 알고리즘의 정확도를 측정하기 위해 실험을 진행하였으며, 그림 14와 같이 직접 제작한 숫자 이미지 데이터셋을 이용하였다. 모든 이미지는 직접 촬영하였으며 각 숫자마다 25장의 이미지로 구성되어있다.
본 논문에서 제안한 알고리즘의 정확도를 측정하기 위해 실험을 진행하였으며, 그림 14와 같이 직접 제작한 숫자 이미지 데이터셋을 이용하였다. 모든 이미지는 직접 촬영하였으며 각 숫자마다 25장의 이미지로 구성되어있다.

이론/모형

SVM (Support Vector Machine) [12] 은 대표적인 머신 러닝 알고리즘이며 딥 러닝 알고리즘이 등장하기 전 패턴인식 및 자료 분석을 위한 알고리즘 중 가장 뛰어난 성능으로 주목받은 알고리즘이다. 수화 인식을 위해 손의 특징점 추출을 SIFT (Scale Invariant Feature Transform) [13] 알고리즘을 사용하여 수화동작을 인식한다.

성능/효과

본 논문에서 제안한 영상처리 기반 숫자 수화표현 인식 알고리즘은 머신러닝 혹은 딥러닝 알고리즘이 적용되지 않았으며 입력 이미지의 환경에 따라 영향을 많이 받는 영상처리 기술의 특성상 배경 영역이 피부 색상과 비슷한 경우, 조명이 불균일하게 들어오는 경우에는 높은 검출율을 기대하기 어려웠다.

후속연구

더 넓은 범위의 숫자, 자음, 모음 그리고 동적인 동작까지 표현 범위를 넓히기 위해서는 OpenCV만을 활용한 알고리즘을 사용하기에는 많은 한계점이 따른다. 향후 이 한계점을 극복하기 위해 딥러닝 알고리즘 중 이미지 인식 분야에서 우수한 성능을 보이는 CNN (Convolutional Neural Network)을 이용하면 더 넓은 범위로의 수화 표현이 가능하게 되어 청각 장애인에게 실질적인 도움을 줄 수 있는 완전한 수화통역 알고리즘으로 구현을 확장할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	청각 장애란 무엇인가?	청각 장애란 선천적 혹은 후천적 요인으로 청력이 상당히 떨어져 있거나 전혀 들리지 않는 상태의 장애를 뜻한다. 2018년 기준 전국 청각장애 인구수는 약 34만 명, 그 중 약 2만 명을 대상으로 실시한 의사소통 방식 조사에서 61%의 응답자가 수화를 사용한다고 응답하였으며 입 모양을 보며 유추하는 방식인 구화와 종이나 텍스트를 이용하여 대화하는 필담 방식을 사용하는 경우가 각각 20.
	TTS 기술을 이용한 장치의 한계점은 무엇인가?	AAC 장치는 상황에 맞는 그림 버튼을 누르면 미리 녹음된 목소리가 출력되는 장치이며 TTS 기술을 이용한 장치는 텍스트를 입력하면 이를 음성으로 출력해주는 장치이다. 이러한 보조도구들은 특정 상황에 맞게 의사를 전달할 수 있다는 편리한 점이 있지만 일상생활의 모든 상황을 표현해 주기에는 한계점이 있으며 상황마다 일일이 문장 표현을 찾아야 한다는 점에서 불편함이 있다. 그 외의 여러 가지 의사소통 보조 장치가 있지만 의사소통 시 주로 사용하는 수화를 인식하여 통역해주는 장치나 프로그램은 연구 단계까지만 진행된 경우가 대부분이고 완전한 기능을 갖춘 프로그램은 없다.
	한국수화에 대한 독립적인 연구가 필요한 이유는 무엇인가?	수화 인식 분야는 많은 연구가 진행되었거나 진행 중이지만 기존에 진행되었던 수화 인식에 관한 연구들은 대부분 미국 수화를 기준으로 연구가 진행되었으며 한국수화에 대한 연구는 상대적으로 많이 적다. 각 나라마다 언어가 다르듯이 미국 수화와 한국 수화 역시 표현방식이 다르기 때문에 한국수화에 대한 독립적인 연구가 필요하다. 기존에 진행되었던 연구는 하드웨어, 소프트웨어를 기반으로 시스템이 구현되었으며 소프트웨어 방식은 영상처리 라이브러리를 사용하여 제작되었거나 [3] Kinect [4]를 이용한 방식, 하드웨어 방식은 센서를 부착한 글러브 등의 방식으로 구현되었다.

참고문헌 (22)

Statistics Korea 1. (The Number of Registered Disabled Person - By City, Type, Gender) 2. (Characteristics of Hearing Disabled - Method to Communicate Who Mostly Use).
S. Glennen, DC. Decoste, "The Handbook of Augmentative and Alternative Communication," Singular Publishing Group, INC. San Diego. London, 1997.
Joshua R. New, "A Method for Hand Gesture Recognition," Proceedings of IEEE Communication Systems and Network Technologies, pp. 919-923, 2002.
C. Dong, C. Leu, Z. Yin, "American Sign Language Alphabet Recognition Using Microsoft Kinect," Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, pp.44-25, 2015
EnableTalk website, Avaliable on : http://enabletalk.com.
S. Koo, I. Jang, Y. Son, "An Open Source Hardware based Sign Language Interpreter Glove & Situation Awareness Auxiliary IoT Device for the Hearing Impaired," Journal of Korean Institute of Information Scientists and Engineers Transactions on Computing Practices, Vol. 24, No. 4, pp. 204-209, 2018 (in Korean).
M. Frenando, J. Wijayanayaka, "Low Cost Approach for Real Time Sign Language Recognition," Proceedings of IEEE Conference on Industrial and Information Systems, pp. 18-20, 2013.
S.S. Hazari, Asaduzzaman, L.Alam, N.A. Goni, "Designing a Sign Language Translation System Using Kinect Motion Sensor Device," Proceedings of Conference on Electrical, Computer and Communication Engineering, pp. 16-18, 2017.
D.M. Capilla, "Sign Language Translator Using Microsoft Kinect XBOX 360TM," Department of Electrical Engineering and Computer Science - compute Vision Lab, University of Tennessee, 2012.
A. Kumar, K. Thankachan, M.M. Dominic, "Sign Language Recognition," Proceedings of Conference on Recent Advances in Information Technology, 2016.
S. Chae, K. Jun, "HSV Color Model based Hand Contour Detector Robust to Noise," Journal of Korea Multimedia Society, Vol. 18, No. 10, pp. 1149-1156, 2015 (in Korean).
R.N. Nagashree, S. Michahial, G.N. Aishwarya, B.H. Azeez, M.R. Jayalakshmi, R.K. Rani, "Hand Gesture Recognition Using Support Vector Machine," Journal of Engineering And Science (IJES), Vol. 4, No. 6, pp. 42-46, 2015.
T. Lindeberg, "Scale Invariant Feature Transform," Journal of Computer Sciences Computer Vision and Robotics (Autonomous Systems), Vol. 7, No. 5, pp. 10491, 2012.
J. Zhang, W. Zhous, C. Xie, J. Pu, H. Li, "Chinese Sign Language Recognition with Adaptive HMM," Proceedings of IEEE International Conference on Multimedia and Expo (ICME), pp. 1-6, 2016.
P. Molchanov, S Gupta, K. Kim, J. Kautz, "Hand Gesture Recognition with 3D Convolutional Neural Networks," Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 1-7, 2015.
S. Kolkur, D. Kalbandee, P. Shimpi, C. Bapat, J. Jatakia, "Human Skin Detection Using RGB, HSV, and YCbCr Color Models," Proceedings of IEEE Conference on Acoustics, Speech and Signal Processing, 2017.
Wikipedia document (HSL and HSV) Avaliable on : https://en.wikipedia.org/wiki/HSL_and_HSV
Y. Xu, G. Pok, "Identification of Hand Region Based on YCgCr Color Representation," Journal of Applied Engineering Research, Vol. 12, No. 6, pp. 1031-1034, 2017.
Z. Zhengzhen, S. Yuexiang, "Skin Color Detecting Unite YCgCb Color Space with YCgCr Color Space," Proceedings of Conference on Image Analysis and Signal Processing, pp. 221-225, 2009.
W.Burger, M.J. Burge, "Digital Image Processing: An Algorithmic Introduction Using Java Second Edition," Springer, 2016
Python library, Avaliable on : https://docs.python.org/3/library/math.html
A. Dhawan, V. Honrao, "Implementation of Hand Detection based Techniques for Human Computer Interaction," International Journal of Computer Applications, Vol. 72, No. 17, pp. 6-13, 2013.

이 논문을 인용한 문헌

저자의 다른 논문 :

LOADING...

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

영상처리 기반 숫자 수화표현 인식 알고리즘
Numeric Sign Language Interpreting Algorithm Based on Hand Image Processing 원문보기

Abstract ▼ AI-Helper

주제어

표/그림 (20)

표/그림 (20)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (22)

이 논문을 인용한 문헌

저자의 다른 논문 :

연구과제 타임라인

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

영상처리 기반 숫자 수화표현 인식 알고리즘 Numeric Sign Language Interpreting Algorithm Based on Hand Image Processing 원문보기

Abstract ▼ AI-Helper

주제어

표/그림 (20) 모든 표/그림 보기

표/그림 (20) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

참고문헌 (22)

이 논문을 인용한 문헌

저자의 다른 논문 :

유준혁 (17)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

영상처리 기반 숫자 수화표현 인식 알고리즘
Numeric Sign Language Interpreting Algorithm Based on Hand Image Processing 원문보기

표/그림 (20)

표/그림 (20)

AI 본문요약
AI-Helper