[논문]립모션을 이용한 수화 인식 툴 개발로 일반인과 청각 언어 장애인들간의 대화와 소통의 장 구성

조재현; 이동훈; 하대규; 김지인; 이상은; 고석주

문제 정의

본 논문에서는 고가의 영상장비나 키넥트를 사용하는 기존의 수화인식 프로그램에서 벗어나 립모션을 이용한 수화인식 알고리즘 및 프로그램을 구현하였다. 단어의 동작을 모두 입력하는 방식이 아닌 양손의 움직임을 각각 인식함으로써 적은 동작의 인식만으로 많은 의미를 표현하는 수화인식 프로그램을 구현함으로써, 프로그램의 가독성을 높이고 입력된 동작과의 비교 시간을 줄이는 효과가 있다.
본 논문에서는 손과 손가락 동작을 중점으로 인식하여 세밀한 움직임을 검출할 수 있는 립모션을 활용한 수화 인식 도구에 대한 연구를 진행하였다. 특히, 립모션 기능 중 skeleton tracking 을 이용하여 손과 손가락의 좌표를 이용한 수화 정보 저장 및 번역하는 알고리즘을 구현하였다.

제안 방법

본 논문의 구성은 다음과 같다. 2 절에서는 현재 나와 있는 수화 인식 도구에 대해서 분석하고, 3 절에서립모션을 이용한 수화 인식 도구를 제안한다. 4 절에서는 구현한 립모션을 이용한 수화 인식 도구에 대한 실험을 수행하고, 마지막 5 절에서 결론을 맺는다.
각 프레임에서는 손의 위치와 그에 따른 차이를 인식하고 수화에 필요한 동작을 구분하여 정의하는 방식으로 구현하였다.
그리고 인식된 좌표를 정규화한 후 3차원 배열 공간에 저장한다. 번역 알고리즘은 립모션 기기로 번역할 수화 동작을 입력 받은 후 기존에 저장된 자료와 비교 분석을 한다. 그리고 가장 유사한 수화동작으로 번역하는 순서를 따른다.
이러한 동작 인식에 있어 인식률을 높이기 위해 두 가지 기법의 알고리즘을 적용하였다. 립모션의 동작 인식 반경은 립모션 컨트롤러의 중심부터 반 구 형태의 모양이다.
즉, (-1, -1, -1) 위치에서 (0, 0, 0) 위치로 가면 방향성 'A, 를 가지고, (1, -1, 0) 위치에서 (0, 0, 0) 위치로 가면 방향성 'B'를가진다. 이렇게 알파벳 문자의 개수에 맞게 총 26 가지의 방향성을 3차원 공간을 새로이 추가하여 저장하였다.
이를 그림 3의 3차원 공간 기준으로 봤을 때 X 축의 인식반경 범위는 약 70cm 이고 Z 축의 인식반경 범위는 약 60cm 이고 Y 축의 인식반경 범위는 45cm 이다. 이렇게 축마다 인식반경 범위가 다르므로 각 축마다 따로 정규화 하였으며 비교적 립모션 컨트롤러의 중심에서 많은 동작들이 행해지므로 중심에서 세부적이게 좌표들이 인식되도록 정규화 하였다.
이를 해결하기 위해 동작의 방향성을 파악하는 알고리즘을 추가하였다. 표 1 을 살펴보면 3차원 공간에서 이동되는 방향성은 총 26 가지이다.
인식 성공률을 테스트하기 위해서 대표적인 수화로는 '보다', '가다', '증가', '감소', '우리'라는 수화를 채택하였으며, 이를 각각 100 번씩 시도하여 인식 성공 여부를 조사하였다. 테스트에서는 3 명의 사람이 같은 수화를 서로 다른 회수로 수행을 하였으며, 인식률은 , 우리'라는 수화가 91%로 가장 낮은 인식 성공률을 보였고, , 보다, 와, 감소, 수화가 최고 97%의 인식 성공률을 보였다.
제안하는 수화 인식 알고리즘은 립모션으로 손과 손가락 및 방향 정보 좌표를 받아온다. 그리고 인식된 좌표를 정규화한 후 3차원 배열 공간에 저장한다.
특히, 립모션 기능 중 skeleton tracking 을 이용하여 손과 손가락의 좌표를 이용한 수화 정보 저장 및 번역하는 알고리즘을 구현하였다.
특히, 이 기법에서는 영문자 인식율을 높이기 위하여 회전변환을 이용하였고 영문자 지화를 다양한 조건에서 사진 촬영하여 윤곽선을 추출하는 방식으로 수화를 번역하였다. 이러한 방법은 정확도가 높을 수는 있지만 한글 수화에서는 사용할 수가 없다.

성능/효과

테스트에서는 3 명의 사람이 같은 수화를 서로 다른 회수로 수행을 하였으며, 인식률은 , 우리'라는 수화가 91%로 가장 낮은 인식 성공률을 보였고, , 보다, 와, 감소, 수화가 최고 97%의 인식 성공률을 보였다. 다섯 가지의 대표 수화 모두를 봤을 때, 평균 94.8%로 높은 인식 성공률을 보였다.
단어의 동작을 모두 입력하는 방식이 아닌 양손의 움직임을 각각 인식함으로써 적은 동작의 인식만으로 많은 의미를 표현하는 수화인식 프로그램을 구현함으로써, 프로그램의 가독성을 높이고 입력된 동작과의 비교 시간을 줄이는 효과가 있다. 또한, 손의 좌표, 손가락 좌표, 손의 진행 방향에 필터링을 통해 반복되는 행동이나 비슷한 수화 동작에 오류를 죽여 인식률 향상에 기여하였다. 하지만 양손의 좌표가 겹쳐지는 경우의 인식률 저하와 원운동의 인식률 저하에 문제가 있어 이에 대한 개선이 필요하다.
여기에 손가락의 위치 좌표까지 비교를 하게 되 니 인식률이 96%, 97%까지 높아 지는 것을 알 수 있었다. 본 실험을 통해 구현한 손의 방향성을 고려하는 수화 인식 알고리즘이 높은 인식률로 개선되는 것을 알 수 있다.
동작이다. 손의 위치만을 비교했을 경우 각각 47%와 52%의 인식률을 보였으나, 여기에 손의 방향성까지 고려를 하니 인식률이 각각 95%와 93%로 크게 향상되었다. 여기에 손가락의 위치 좌표까지 비교를 하게 되 니 인식률이 96%, 97%까지 높아 지는 것을 알 수 있었다.
손의 위치만을 비교했을 경우 각각 47%와 52%의 인식률을 보였으나, 여기에 손의 방향성까지 고려를 하니 인식률이 각각 95%와 93%로 크게 향상되었다. 여기에 손가락의 위치 좌표까지 비교를 하게 되 니 인식률이 96%, 97%까지 높아 지는 것을 알 수 있었다. 본 실험을 통해 구현한 손의 방향성을 고려하는 수화 인식 알고리즘이 높은 인식률로 개선되는 것을 알 수 있다.
조사하였다. 테스트에서는 3 명의 사람이 같은 수화를 서로 다른 회수로 수행을 하였으며, 인식률은 , 우리'라는 수화가 91%로 가장 낮은 인식 성공률을 보였고, , 보다, 와, 감소, 수화가 최고 97%의 인식 성공률을 보였다. 다섯 가지의 대표 수화 모두를 봤을 때, 평균 94.

후속연구

그리고 제안된 키넥트를 이용한 수화 인식은 단순한 인체의 관절 정보만을 사용하기 때문에 수화가 아닌 지화의 검출에 한계가 있다. 추후 키넥트의 depth 이미지를 활용해 손가락의 외곽선의 특징을 비교하는 영상처리 프로그래밍을 통하여 지화를 검출하는 기능을 포함한다면 더욱 진보된 수화 인식이 가능할 것으로 보인다.
지화의 검출에 한계가 있다. 추후 키넥트의 depth 이미지를 활용해 손가락의 외곽선의 특징을 비교하는 영상처리 프로그래밍을 통하여 지화를 검출하는 기능을 포함한다면 더욱 진보된 수화 인식이 가능할 것으로 보인다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

립모션을 이용한 수화 인식 툴 개발로 일반인과 청각 언어 장애인들간의 대화와 소통의 장 구성
A Development on Sign Language Recognition Tools for Communication with Dyslexic and Hearing-impaired People 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

립모션을 이용한 수화 인식 툴 개발로 일반인과 청각 언어 장애인들간의 대화와 소통의 장 구성 A Development on Sign Language Recognition Tools for Communication with Dyslexic and Hearing-impaired People 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

립모션을 이용한 수화 인식 툴 개발로 일반인과 청각 언어 장애인들간의 대화와 소통의 장 구성
A Development on Sign Language Recognition Tools for Communication with Dyslexic and Hearing-impaired People 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper