[논문]ART2 알고리즘을 이용한 수화 인식

김광백; 우영운

doi:10.6109/jkiice.2008.12.5.937

[국내논문] ART2 알고리즘을 이용한 수화 인식
Sign Language Recognition Using ART2 Algorithm 원문보기

한국해양정보통신학회논문지 = The journal of the Korea Institute of Maritime Information & Communication Sciences, v.12 no.5, 2008년, pp.937 - 941

김광백 (신라대학교 컴퓨터정보공학부) , 우영운 (동의대학교 멀티미디어공학과)

초록
AI-Helper

수화는 청각 장애인에게 있어 중요한 의사소통 수단이며, 청각 장애인들은 수화를 통해 대인관계를 넓히며 또한 불편함 없는 일상생활이 가능하다. 그러나 최근 인터넷 통신의 발전으로 증가하고 있는 많은 화상 채팅 및 화상 통화서비스에서는 건청인과 청각 장애인 사이에 통역을 하는 시스템이 없어 청각 장애인들이 불편을 겪고 있다. 본 논문에서는 이러한 문제점을 해결하기 위하여 수화 인식기법을 제안하였다. 제안된 기법에서는 화상 카메라를 통해 얻어진 영상에서 각각 RGB, YUV, HSI 색상 정보를 이용하여 두 손의 위치를 추적하여 잡음을 제거 한 후, 두 손의 영역을 추출한다. 추출된 손의 영역은 잡음과 훼손에 강한 ART2 알고리즘을 이용하여 학습한 후 인식한다. 본 논문에서 제안된 수화 인식 방법을 실험한 결과, 수화에 사용된 지 숫자 1부터 10을 효율적으로 인식하는 것을 확인하였다.

Abstract ▼ AI-Helper

People who have hearing difficulties use sign language as the most important communication method, and they can broaden personal relations and manage their everyday lives without inconvenience through sign language. But they suffer from absence of interpolation between normal people and people who have hearing difficulties in increasing video chatting or video communication services by recent growth of internet communication. In this paper, we proposed a sign language recognition method in order to solve such a problem. In the proposed method, regions of two hands are extracted by tracking of two hands using RGB, YUV and HSI color information from a sign language image acquired from a video camera and by removing noise in the segmented images. The extracted regions of two hands are teamed and recognized by ART2 algorithm that is robust for noise and damage. In the experiment by the proposed method and images of finger number from 1 to 10, we verified the proposed method recognize the numbers efficiently.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

의 사소통을 위한 서 비 스는 아직 미 흡하다. 따라서 본 논문에서는 청각 장애인과 비장애인 간의 의사소통을 돕기 위해 ART2를 이용한 수화 인식 방법을 제안하였다. 본 논문에서는 화상 카메 라를 통해 들어 오는 영 상에서 RGB, YUV, HSI 색상 정보를 각각 이용하여 피부 영역을 추출하였다.
최근 인터 넷의 발전으로 인한 화상 채팅과 화상 통화 서비스가 늘고 있지만 청각 장애인과 비장애인과의 의사소통을 위한 서비스는 잘 이루어지 지 않고 있다. 본 논문에서 는 청 각장애 인과 비 장애 인과의 원활한 의사전달이 가능하도록 하기 위해 ART 2를 이 용한수화인식 방법을 제안한다.

제안 방법

템플리 트 정 합을 하면 두 영 상이 유사할수록 0에 가까워지 고 차이가 커 질수록 1에 가까워 진다. 본 논문에서 는템플리트 정합을 통해 구해진 결과를 백분율로 환산하여 추출에 적용한다.
각 장애 인의 손을 지 속적 으로 추적 해 야 한다. 본 논문에서는 전체 영상에서 사람의 피부색만을 추출하기 위해 RGB, YUV, HSI 색 상 정보를 이용하여 피 부색 을 가장 잘 나타낸 영역들을 각각의 색상정보에서 선택하여 피부색 추출에 적용한다. 하지만 추출된 피부색 영역 중에서 피부색과 유사한 배경 영역도 같이 추출되는 경우가 발생하기 때문에 이러한 영역들은 잡음으로 간주하여 제거한다.
본 논문에서는 제안한 ART2를 이용한 수화 인식 의성 능 평가를 위해 블루맥 스 DUO CAP 캠 (Cam)을 사용하였으며, 실험 환경 은 Intel Pentium-IV 2GHz 환경 에 서 VC++6.0으로 구현하였다.1 ~10의 10개의 지 숫자를 인식하기 위해 각 숫자에 대해 10개의 패턴을 선택하여 학습에 사용하였으며 인식 실험은 640X480 해상도에 초당 프레임의 수를 10으로 설정하여 1~10의 지 숫자를 각각 1번씩 반복해서 사용자 10명을 대상으로 인식 실험을 하였다.
따라서 본 논문에서는 청각 장애인과 비장애인 간의 의사소통을 돕기 위해 ART2를 이용한 수화 인식 방법을 제안하였다. 본 논문에서는 화상 카메 라를 통해 들어 오는 영 상에서 RGB, YUV, HSI 색상 정보를 각각 이용하여 피부 영역을 추출하였다. 추출된 피부 영역에서 잡음으로 간주되는 영역을 제거한 후, 두 손 영역을 추적 및 추출하였다.
본 논문에서는 화상 카메라로 획득한 영상에서 피부색 영역 만을 추출하기 위해 RGB, YUV, HSI와 같은 3가지 색상 정보[3]를 이용한다. RGB는 색상이 적색, 녹색, 청색의 기본 요소로 구성되어 있으며 색상 정보와 밝기정보가 혼합되어 있는 색상 모델이다.
본 논문에서는 화상 카메라를 통해 얻어진 청각장애인의 두 손을 추적 및 추출하기 위해 RGB, YUV, HSI 색상 정보를 이용하며, 추출된 두 손의 영상을 잡음과 훼손에 강한 ART2 알고리즘[2]을 적용하여 학습한 후 인식 한다.
10까지를 대상으로 한다. 숫자 1~10을 나타내는 동작 10 개를 학습 및 인식하기 위해 본 논문에서는 신경망알고리 즘 중에 잡음과 훼손에 강한 ART2 알고리즘을 적용하여 지 숫자를 인식한다. 그림 3은 1~10의 지 숫자의 손 모양을 나타낸 것이다.
Step 3. 입력 벡터에 대한 Vigilance Test를 수행한다. 만약 입력 벡터와 승자클러스터의 중심 벡터 사이의 거리가 반경 (vigilanceparameter) 이내에 들어오면 이 입력패턴은 승자 클러스터와 유사한 패턴임을 의미하여 이 입력 벡터를 승자 클러스터에 포함시키고 그 클러스터의 중심 벡터를수정한다.
한다. 잡음 제거 후, 상위에 있는 영역 중 가장 큰 영역을 얼굴 영역으로 선택하여 얼굴 영역을 중심으로 좌, 우를 구분한 후, 오른손과 왼손을 각각 구분하여 추적 한다. 그림 2는 색상 정보를 이용하여 손 영역을 추적하는 과정이다.
본 논문에서는 화상 카메 라를 통해 들어 오는 영 상에서 RGB, YUV, HSI 색상 정보를 각각 이용하여 피부 영역을 추출하였다. 추출된 피부 영역에서 잡음으로 간주되는 영역을 제거한 후, 두 손 영역을 추적 및 추출하였다. 추출된 손 영역의 인식은 훼손과 잡음에 강한 ART2 알고리즘을 적용하였다.

대상 데이터

0으로 구현하였다.1 ~10의 10개의 지 숫자를 인식하기 위해 각 숫자에 대해 10개의 패턴을 선택하여 학습에 사용하였으며 인식 실험은 640X480 해상도에 초당 프레임의 수를 10으로 설정하여 1~10의 지 숫자를 각각 1번씩 반복해서 사용자 10명을 대상으로 인식 실험을 하였다. 표 1은 지 숫자 인식 결과를 나타내었고 그림 6은 제안된 수화 인식의 결과 화면을 나타내었다.
본 논문에서 수화 인식은 지 숫자(fingeTnumber) 1부터 10까지를 대상으로 한다. 숫자 1~10을 나타내는 동작 10 개를 학습 및 인식하기 위해 본 논문에서는 신경망알고리 즘 중에 잡음과 훼손에 강한 ART2 알고리즘을 적용하여 지 숫자를 인식한다.
본 논문에서는 화상 카메라를 통해 들어오는 영상에서 색상 정보를 이용해 손 영역을 찾는 전 처리 과정이 있기 때문에 초당24 프레임을 전부 사용하지 않고 초당 10 프레임의 영상을 사용한다.24 프레임 영상을 사용할 경우 부드러운 영상을 얻을 수는 있지만 정확한 전처리과정을 거치기 위해서는 10 프레임을 사용하는 것이 효율적이다.

이론/모형

RGB, YUV, HSI 정보를 이용하여 추출된 피부색 영역 들에 대해 레 이 블링 (Labelling) 기 법 인 GrassFire 알고리즘을 적용하여 각 영역들을 레이블링 한후, 100픽셀 (pixel) 이하인 영 역들은 잡음으로 간주하여 제거 한다. 잡음 제거 후, 상위에 있는 영역 중 가장 큰 영역을 얼굴 영역으로 선택하여 얼굴 영역을 중심으로 좌, 우를 구분한 후, 오른손과 왼손을 각각 구분하여 추적 한다.
추출된 피부 영역에서 잡음으로 간주되는 영역을 제거한 후, 두 손 영역을 추적 및 추출하였다. 추출된 손 영역의 인식은 훼손과 잡음에 강한 ART2 알고리즘을 적용하였다.

후속연구

향후 연구 과제는 청각 장애인과 비장애인의 원활한 의사소통을 돕기 위해 모든 지 숫자와 한글지화 인식에 대해 연구할 것이다.

참고문헌 (5)

석동일, 한국수화의 언어학적 분석, 박사학위논문, 대구대학교 대학원, 1989
Gail A Carpenter and Stephen Grossberg, 'ART2: Self-Organization of Stable Category Recognition Codes for Analog Input patterns,' Applied Optics, Vol.26, No.23, pp.4919-4930, 1987

상세보기
문규형, 취유주, '조명 변화에 강건한 피부색 영역 검출을 위한 혼합 색상 모델,' 한국정보과학회논문지, 제33권, 제2호, pp.98-101, 2006
Milan Sonka, Vaclav Hlavac, and Roger Boyle, Image Processing, Analysis, and Machine Vision, CENGAGE- Engineering, 3 edition, 2007
K. B. Kim, M. Kim, and Y. W. Woo, 'Recognition of Shipping Container Identifiers Using ART2-Based Quantization and a Refined RBF Network,' Lecture Notes in Computer Science, LNCS 4432, pp.572-581, 200

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증