$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

음성 및 제스처를 이용한 멀티 모달 명령어 인식 시스템
Multi-Modal Instruction Recognition System using Speech and Gesture 원문보기

한국신호처리시스템학회 2006년도 하계 학술대회 논문집, 2006 June 16, 2006년, pp.57 - 62  

김정현 (성균관대학교 정보통신공학부) ,  노용완 (성균관대학교 정보통신공학부) ,  권형준 (성균관대학교 정보통신공학부) ,  홍광석 (성균관대학교 정보통신공학부)

초록
AI-Helper 아이콘AI-Helper

휴대용 단말기의 소형화 및 지능화와 더불어 차세대 PC 기반의 유비쿼터스 컴퓨팅에 대한 관심이 높아짐에 따라 최근에는 펜이나 음성 입력 멀티미디어 등 여러 가지 대화 모드를 구비한 멀티 모달 상호작용 (Multi-Modal Interaction MMI)에 대한 연구가 활발히 진행되고 있다. 따라서, 본 논문에서는 잡음 환경에서의 명확한 의사 전달 및 휴대용 단말기에서의 음성-제스처 통합 인식을 위한 인터페이스의 연구를 목적으로 Voice-XML과 Wearable Personal Station(WPS) 기반의 음성 및 내장형 수화 인식기를 통합한 멀티 모달 명령어 인식 시스템 (Multi-Modal Instruction Recognition System : MMIRS)을 제안하고 구현한다. 제안되어진 MMIRS는 한국 표준 수화 (The Korean Standard Sign Language : KSSL)에 상응하는 문장 및 단어 단위의 명령어 인식 모델에 대하여 음성뿐만 아니라 화자의 수화제스처 명령어를 함께 인식하고 사용함에 따라 잡음 환경에서도 규정된 명령어 모델에 대한 인식 성능의 향상을 기대할 수 있다. MMIRS의 인식 성능을 평가하기 위하여, 15인의 피험자가 62개의 문장형 인식 모델과 104개의 단어인식 모델에 대하여 음성과 수화 제스처를 연속적으로 표현하고, 이를 인식함에 있어 개별 명령어 인식기 및 MMIRS의 평균 인식율을 비교하고 분석하였으며 MMIRS는 문장형 명령어 인식모델에 대하여 잡음환경에서는 93.45%, 비잡음환경에서는 95.26%의 평균 인식율을 나타내었다.

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 하지만 일반인에게 있어 수화의 완벽한 학습 및 자연적인 해석은 매우 어려울 뿐만 아니라 전문적인 해석과 번역을 위해선 많은 학습 시간이 요구되어지며 청각장애인에 의해 표현되어지는 모든 대화 요소를 인식하고 해석하는 것은 불가능하다. 따라서, 본 논문에서는 WPS 기반의 내장형 수화 인식기를 구현하기 위하여 ” 한국어 표준 수화 교본[4]”을 분석하고 수화소의 분류 기준에 따라 25가지의 기본 수화 제스처를 선정하였고 수화 제스처에 필요한 관련 수형(手形) 제스처를 손의 형태, 굽힘 그리고 뒤틀림 등의 정도에 따라 23가지 손 제스처로 분류하여 이들의 조합과 표현에 따라 여행 정보 안내와 관련되어진 62개의 문장형 인식 모델과 104개의 단어 인식 모델을 선정하였으며 수화 제스처에 필요한 관련 손 제스처의 예는 그림 1로 표현하였다.
  • 근래에 있어 멀티 모달상호작용(Multi-Modal Interaction) 및 차세대 PC를 위한 오감 인식 기술에 대한 관심과 연구가 활발히 추진되어짐에 따라 제안되어진 두 감각 요소는 단순한 의사 교환의 수단이 아닌 기존의 마우스나 키보드를 대체할 수 있는 새로운 입력 요소로 연구의 범위가 확대되어지는 경향을 보이고 있다. 따라서, 본 논문에서는 WPS기반의 내장형 수화 인식기와 VXML을 이용한 웹기반의 음성인식 시스템을 통합한 멀티 모달 명령어 인식 시스템을 제안하고 구현하였다.
  • 즉, 화자의 제스처 정보를 인식하고 표현하려는 시도가 진행 중으로, 잡음이 심한 환경에서 음성 신호는 크게 영향을 받지만 햅틱 장치를 이용한 화자의 제스처 신호는 잡음에 전혀 영향을 받지 않기 때문에 이들의 정보를 함께 분석하고 사용함으로써 주어진 환경에 대한 최적의 인식 성능을 보장할 수 있다. 따라서, 본 논문에서는 잡음환경에서의 명확한 의사 전달 및 휴대용 단말기에서의 음성-제스처 통합 인식을 위한 사용자 인터페이스 관련 연구를 목적으로 Voice-XML과 WPS 기반의 음성 및 내장형 수화 인식기를 통합한 멀티모달 명령어 인식 시스템을 제안하고 구현한다. 제안되어진 MMIRS는 잡음 환경을 분석하고 측정함으로써 잡음의 정도에 따라 개별 언어 인식기에 서로 다른 가중치를 부여함으로써 주어진 환경에서 보다 명확하고 자연적인 대화 요소를 제공할 수 있으며 인터넷과 무선통신망을 기반으로 규정된 명령어 및 언어 정보를 인식하고 표현함으로써 보다 광범위한 정보의 교환이 가능하다.
본문요약 정보가 도움이 되었나요?
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로