[논문]키넥트 환경에서 데이터 마이닝을 이용한 수화 번역기

이상준; 우태호; 김지아; 박선영; 이수원; 김계영

[국내논문] 키넥트 환경에서 데이터 마이닝을 이용한 수화 번역기
A Sign Language Translator using Data Mining in Kinect Environment 원문보기

이상준 (숭실대학교 컴퓨터학부) , 우태호 (숭실대학교 컴퓨터학부) , 김지아 (숭실대학교 컴퓨터학부) , 박선영 (숭실대학교 컴퓨터학부) , 이수원 (숭실대학교 컴퓨터학부) , 김계영 (숭실대학교 컴퓨터학부)

본 연구에서는 키넥트(Kinect) 센서를 통해 수화 동작에서 손의 좌표와 이동방향을 추출하여 속성으로 하고, 데이터 마이닝의 분류 기법을 통해 수화를 인식하여 그 결과를 한글 텍스트로 번역해주는 소프트웨어를 개발한다. 제안 방법의 1단계에서는 0.05초 단위로 추출한 손의 좌표만을 속성으로 한다. 2단계에서는 개개인의 특성 및 화면상의 위치와 같은 요소에 따라 좌표 값이 달라지기 때문에, 손의 움직임에서 변위를 추출하여 손이 움직이는 방향을 속성으로 한다. 하지만 비슷한 방향으로 움직이는 수화가 있을 경우 수화의 구분이 어려우므로 3단계에서는 손의 좌표, 방향 두 가지를 분류하는 속성으로 사용한다. 향후 연구 방향은 수화의 중요한 요소인 손의 위치를 속성으로 추가시키고, 데이터 마이닝의 부스팅(Boosting) 기법을 적용하여 인식률을 높이는 것이다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이 과정에서 영상에 나타난 색상을 분석하여 영역을 분할하고 이를 통해 움직임 정보를 추출하여 3차원 볼륨 형태의 데이터로 표현한다. 본 연구에서는 수화에서 중요 요소인 손바닥의 방향을 의미하는 수향과 손의 위치를 알기 위한 손의 좌표를 속성으로 하여 분류작업을 통해 해당 수화 동작에 대한 뜻을 번역하는 소프트웨어를 제작한다[3].
수화에서는 어떤 손가락을 구부리고 있는지, 어떤 손가락을 펴고 있는지와 같은 손가락의 모양, 형태에 따라 수화의 내용이 달라지기 때문이다. 뿐만 아니라 손의 위치가 수화에서 중요한 요소이므로 손의 위치를 속성으로 했을 때, 인식률을 평가하여 인식률을 높이기 위한 방법을 연구한다.

제안 방법

그 후, 키 160cm의 평균 체중의 여성이 새로운 사례를 제공한 것을 바탕으로 테스트한다. 각 단어 당 10번씩 테스트하여 [수식 1]로 인식률을 계산한 결과가 위 [표 3]과 같다.
3단계에서는 상호보완을 위해 두 가지를 모두 학습 데이터로 한다. 단계별로 추출한 학습 데이터로 각각 세 개의 분류기를 생성하고 이를 바탕으로 분류엔진을 제작하여 수화 동작을 인식하여 뜻을 예측하는데 사용한다.
본 연구에서는 키넥트 환경에서 좌표를 추출하여 데이터 마이닝 기법 중 하나인 분류를 통해 수화 동작을 한글 텍스트로 번역하는 소프트웨어를 개발하였다. [표 3]과 같이 손의 좌표, 방향 두 가지를 분류하는 속성으로 사용하였을 때 인식률은 86.
일련의 손의 좌표, 움직임의 방향을 학습 데이터의 속성으로 하여 정보 이익이 가장 큰 속성을 기반으로 하여 의사 결정 나무를 생성하거나, 각 요소에 대한 분류기를 제작하여 인식률을 비교하는 방식의 부스팅 기법을 적용 하여 인식률을 높인다.
키 160cm, 평균 체중의 여성 2명과 키 180cm, 평균 체중의 남성 2명, 총 4명의 사람이 각 수화에 대해 10번씩 학습한다. 각 단어 당 총 40개의 행으로 구성된 학습 데이터를 만들다.

이론/모형

여러 분류기들 중 일반적으로 인식 률이 높은 의사결정나무를 분류기로 선정한다. 오픈 소스인 Weka에서 제공하는 J48 알고리즘을 사용하여 분류기를 제작하고 그 성능을 평가한다.

후속연구

청각∙언어 장애인과 비장애인의 의사소통을 돕는 연구는 기존의 비장애인의 말이나 문자가 수화로 번역되는 단방향적인 구조에서 비장애인의 말과 문자는 청각∙언어 장애인에게 수화로 번역되고 청각∙언어 장애인의 수화는 비장애인이 이해할 수 있는 음성과 문자로 번역되는 쌍방향적인 구조로 전환되어야 한다. 따라서 본 프로젝트는 현재 진행되고 있는 연구와 시중 제품들에 비해서 수화를 문자로 번역한다는 차별성이 있으며 청각∙언어 장애인과 비장애인 간의 의사소통을 쌍방향적으로 지원하는 시스템이 개발되는데 시발점이 될 것이다.
본 연구에서 개발하고자 하는 소프트웨어는 키넥트 환경에서 구동하기 때문에, 컴퓨터 USB에 연결하는 것만으로도 손쉽게 사용이 가능하므로 사용이 편리하다. 또한 수화 장갑 형식의 제품들은 주로 개인이 소유하여 혼자 사용하는 것에 비해 본 연구에서 개발하는 소프트웨어는 공공장소와 같은 사람이 자주 찾는 장소에 설치해두면 그곳을 이용하는 많은 수의 사람들을 대상으로 활용이 가능하므로 타 제품, 기술에 비해 범용적이다.
향후 연구로는 OpenCV를 사용하여 손의 형상에 대한 정보를 추출한 후 속성에 추가하여 인식할 수 있는 수화의 범위를 확장할 수 있을 것이다. 수화에서는 어떤 손가락을 구부리고 있는지, 어떤 손가락을 펴고 있는지와 같은 손가락의 모양, 형태에 따라 수화의 내용이 달라지기 때문이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 키넥트 환경에서 데이터 마이닝을 이용한 수화 번역기
A Sign Language Translator using Data Mining in Kinect Environment 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

이론/모형

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 키넥트 환경에서 데이터 마이닝을 이용한 수화 번역기 A Sign Language Translator using Data Mining in Kinect Environment 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

이론/모형

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 키넥트 환경에서 데이터 마이닝을 이용한 수화 번역기
A Sign Language Translator using Data Mining in Kinect Environment 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper