선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서 CRF에 기반한 임계치 모델을 제안하였다. 제안된 CRF기반 임계치 모델은 정의된 수화와 비 수화 손 동작을 구별하기 위해서 적응적 임계치 역할을 수행한다.
- 필러 모델의 단점을 극복하기 위해서 HMM 기반의 적응적 임계치 모델이 제안되었다[4, 5]. 본 논문에서는 CRF 모델에 비수 화를 대표할 수 있는 레이블을 추가하여 CRF 기반의 적응적임계치 모델을 제안한다. 제안된 CRF 기반의 적응적임계치 모델은 그림 2(b)에서와 같이 추가된 비수화 레이블의 확률값이 임계치 역할을 수행하여 수화와 비수 화를 구별할 수 있다.
제안 방법
- 3장에서 제안된 CRF 기반 임계치 모델(T-CRF)의 성능과 4장에서 제안된 부사인 추론기를 포함하는 2계 충의 수화 적출 모델(Two-layer CRF)의 성능을 평가하기 위해서 HMM과 CRF122]와 성능을 비교 평가하였다. 5개의 상태를 갖는 이산 HMM을 각 수화 단어별로 생성하였다.
- 5개의 상태를 갖는 이산 HMM을 각 수화 단어별로 생성하였다. 그리고, HMM, CRF를 위해서는 학습 데이타에서 CDR값을 최대로 갖는 고정된 임계치값을 선택하였다.
- 제안된 CRF 기반의 적응적임계치 모델은 그림 2(b)에서와 같이 추가된 비수화 레이블의 확률값이 임계치 역할을 수행하여 수화와 비수 화를 구별할 수 있다. CRF 기반의 적응적 임계치 모델생성을 위해서' 일차적으로 전통적인 CRF 모델을 이용하여 비수화 레이블이 없이 수화 인식을 위한 모델을 생성한다. 생성된 CRF 모델에 비수화 레이블을 추가하고, 추가된 비수화 레이블의 전이, 상태 특징 함수의 가중치 값을 비수화 레이블 없이 생성된 전통적인 CRF 모델의 전이, 상태 특징 함수의 가중치값을 이용하여 생성한다.
- 추출된 6개의 특징 정보를 이용하여 1단계의 CFR 임계치 모델과 2단계의 CRF 모델을 학습한다. CRF 학습을 위해서 윈도우 크기는 2를 사용하였으며, 10개의 상태 특징 함수를 이용하였다.
- 1단계에서는 3장에서 제안된 CRF 기반의 적응적 임계치 모델을 이용하여 수화와 비수 화를 구분하고, 2단계에서는 전통적인 CRF 모델을 이용하여 부사인 추론을 수행한다. 그리고, 2계층의 CRF 모델에서 검출된 수화의 손 모양 인식을 수행한다. 마지막으로, 한손 수화인지, 양손 수화 인지를 판단한다.
- 5개의 상태를 갖는 이산 HMM을 각 수화 단어별로 생성하였다. 그리고, HMM, CRF를 위해서는 학습 데이타에서 CDR값을 최대로 갖는 고정된 임계치값을 선택하였다.
- 그림에서 볼 수 있듯이 비수화를 위한 레이블의 확률값과 어휘집에 정의된 수화들의 확률값을 비교하여 최대 값을 선택하여 수화와 비수화를 구별하였다.
- 있는 시스템을 제안하였다[13]. 데이타 글러브와 3개의 위치 추적기를 이용하여 손의 위치 정보를 추출하였고, 비수화 부분을 모델링 하였다. 5, 113개의 단어로 구성된 수화 어휘집을 이용하여 수화 인식을 수행하였으며, 90.
- 데이타베이스는 48단어의 수화로 구성되었으며, 청각장애인이 수화 문장을 수행하였다. 수화 수행자는 학습 데이타를 위해서는 칼라 글러브를 착용하였다.
- 두 번째로, 긴 소매의 옷을 입고 칼라 글러브를 착용하지 않고 수집한 수화 문장에서 수화 부분을 Ground Truth 정보를 이용하여 사전에 적출하고, 이를 인식하는 실험을 수행하였다. 표 4는 인식 결과를 보여주고 있다.
- 또한, 수화 인식기의 성능 향상을 위해서, 짧은 수화 적출기와 부사인 추론기를 제안된 시스템에 적용한다. 짧은 수화 적출기는 평균 수화 수행 시간보다 짧은 수화의 인식 성능을 향상시킨다.
- 또한, 수화 적출 및 인식의 성능 향상을 위해 손 모양 기반 수화 인증기, 짧은 수화 적출기, 부사인 추론기를 추가하였다. 손 모양 기반 수화 인증기는 손의 움직임 정보가 비슷한 수화의 오검출을 줄였고, 짧은 수화 적출기는 평균 수화 수행 시간보다 짧은 수화의 인식 성능을 높였고, 부사인 추론기는 서로 다른 수화끼리 비슷한 움직임을 공유할 때, 다른 수화로 오인식하는 것을 방지하였다.
- 짧은 수화는 간 수화에 비해 수화로 인식될 수 있는 시간이 상대적으로 적기 때문에 긴 수화에 비해 인식하기가 어렵다[7]. 마지막으로 서로 다른 수화끼리 비슷한 움직임을 공유할 때, 다른 수화로 인식되는 것을 방지하기 위해서 부사인 추론기를 적용한다[7丄 Alon 등이 DTW(Dyna血c Time Warping)에 적용한 방법을 본 연구에서는 2계층 CRF 를 이용하여 적용한다[7丄
- 입력 영상으로부터 손과 얼굴의 위치를 검출하고, 검출된 손과 얼굴의 위치 정보로부터 특징을 추출한다. 마지막으로 제안된 임계치 CRF 모델, 짧은 수화 적출기, 손 모양 인식기, 부사인 추론기를 이용하여 수화를 적출한다.
- 사용자가 착용한 모자에 카메라를 부착하여 영상을 획득한 방법과 책상에 장착된 카메라를 이용하여 영상을 획득한 방법으로 실험을 수행하였다. 실험 결과, 각각 92%, 98%의 수화 적출률을 보였다.
- CRF 기반의 적응적 임계치 모델생성을 위해서' 일차적으로 전통적인 CRF 모델을 이용하여 비수화 레이블이 없이 수화 인식을 위한 모델을 생성한다. 생성된 CRF 모델에 비수화 레이블을 추가하고, 추가된 비수화 레이블의 전이, 상태 특징 함수의 가중치 값을 비수화 레이블 없이 생성된 전통적인 CRF 모델의 전이, 상태 특징 함수의 가중치값을 이용하여 생성한다. 이렇게 비수화 레이블을 위한 전이, 상태 특징 함수의 가중치값을 비수화 레이블을 위한 학습 데이타가없이 생성할 수 있기 때문에, 제안된 방법은 수화 어휘집에 정의된 수화와 수화 어휘집에 정의되지 않은 모든 손동작을 구별할 수 있다.
- 표에서 볼 수 있듯이 제안된 T*, -CRF의 CZ가?이 HMM 이나 CRF보다 높고, SERe 낮았다. 세 번째로, 짧은 팔의 옷을 입고, 수화 문장의 수행속도 등 사용자에게 제약을 두지 않고 수집한 수화 문장을 이용하여 실험을 수행하였다. 수화 문장 수행 속도, 얼굴의 움직임 등 제약 조건이 없는 환경이기 때문에 표 5에서 볼 수 있듯이 표 3, 4에서의 결과보다 SERe 높고, CDRe 낮았다.
- 1단계의 CFR 임계치 모델과 2단계의 CRF 모델은 손의 움직임 정보를 분석한다. 손의 움직임 정보 분석을 위해서 그림 5와 같이 손과 얼굴을 검출하고, 손과 얼굴의 방향과 거리를 기준으로 표 1에 보이는 봐와 같이 6 개의 위치 및 움직임 기반 특징을 추출한다. 추출된 6개의 특징 정보를 이용하여 1단계의 CFR 임계치 모델과 2단계의 CRF 모델을 학습한다.
- 8%의 수화 적출률을 보였다. 실험은 연속된 손동작에서 수화 적출 및 인식을 동시에 수행하였다.
- 8%의 수화 적출률을 보였다. 실험은 연속된 손동작에서 수화 적출 및 인식을 동시에 수행하였다.
- 2%의 수화 인식률을 보였다. 이 실험에서는 사전에 적출된 수화를 인식하였다.
- 생성된 CRF 모델에 비수화 레이블을 추가하고, 추가된 비수화 레이블의 전이, 상태 특징 함수의 가중치 값을 비수화 레이블 없이 생성된 전통적인 CRF 모델의 전이, 상태 특징 함수의 가중치값을 이용하여 생성한다. 이렇게 비수화 레이블을 위한 전이, 상태 특징 함수의 가중치값을 비수화 레이블을 위한 학습 데이타가없이 생성할 수 있기 때문에, 제안된 방법은 수화 어휘집에 정의된 수화와 수화 어휘집에 정의되지 않은 모든 손동작을 구별할 수 있다.
- 입력 영상으로부터 손과 얼굴의 위치를 검출하고, 검출된 손과 얼굴의 위치 정보로부터 특징을 추출한다. 마지막으로 제안된 임계치 CRF 모델, 짧은 수화 적출기, 손 모양 인식기, 부사인 추론기를 이용하여 수화를 적출한다.
- 본 논문에서 CRF에 기반한 임계치 모델을 제안하였다. 제안된 CRF기반 임계치 모델은 정의된 수화와 비 수화 손 동작을 구별하기 위해서 적응적 임계치 역할을 수행한다. 제안된 방법은 어휘집에 정의된 수화 동작과 이외의 동작을 우수하게 구별할 수 있는 방법임을 실험 결과 보여주고 있다.
- 제안된 기술의 성능을 평가하기 위해서 수화 문장에서 수화 부분을 찾고 인식을 수행하는 수화 적출률과, Ground Truth 정보를 이용하여 사전에 수화 부분만을 적출하고 이를 인식하는 인식률을 계산하였다.
- Vector Ma난line)을 생성한다[21]. 제안된 시스템에서는 손의 시작점에서만 손 모양을 인식한다. 손 모 양 인식을 위해서 HOG(Histograms of Gradient) 특징을 사용한다.
- 첫 번째로, 긴 소매의 옷을 입고 칼라 글러브를 착용하지 않고 수집한 수화 문장에서 수화를 적출하였다. 표 3에서 볼 수 있듯이 제안된 T-CRF"-5, Tw이ayerCRF"의 CDR이 HMM이나 CRF보다 높고, SERe 낮았다.
- 손의 움직임 정보 분석을 위해서 그림 5와 같이 손과 얼굴을 검출하고, 손과 얼굴의 방향과 거리를 기준으로 표 1에 보이는 봐와 같이 6 개의 위치 및 움직임 기반 특징을 추출한다. 추출된 6개의 특징 정보를 이용하여 1단계의 CFR 임계치 모델과 2단계의 CRF 모델을 학습한다. CRF 학습을 위해서 윈도우 크기는 2를 사용하였으며, 10개의 상태 특징 함수를 이용하였다.
- 테스트 데이타를 위해서는 두 가지 형태의 데이타를 수집하였다. 하나는 긴 소매의 옷을 입고 칼라 글러브를 착용하지 않고 수집하였고, 다른 하나는 짧은 팔의 옷을 입고 수화 문장의 수행 속도 등, 사용자에게 제약을 두지 않고 수집하였다. 48개의 수화 단어 중 18개는 한 손을 이용하는 수화이고, 30개는 양손을 이용하는 수화이다.
- 위에서 언급한 방법들은 손의 움직임 정보' 즉 전역적 정보만을 분석할 수 있는 방법이다. 하지만, 비슷한 손의 움직임 정보를 갖고 있으면서 손의 모양이 다른 수화가 많이 존재하기 때문에, 본 논문에서는 손 모양 인식기를 동시에 적용한다.
- 제안하였다口8]. 학습 단계에서는 수화 문장으로부터 핵심 프레임을 추출하였고, 추출된 핵심 프레임을 수화와 비수화로 분류하였다. 인식 단계에서는 핵심 프레임을 추출하고 이를 수화, 비수화로 인식하였다.
대상 데이터
- 제안하였다[14]. 손의 위치 정보를 추출하기 위해서 전자 장치를 사용하였다’ 22개의 수화 단어를 이용하여 생성한 99개의 문장을 이용하여 실험을 수행하였다. 단어 단위의 인식에서는 94.
- 스튜디오 환경에서 수집된 ASL 데이타베이스를 이용하였다. 데이타베이스는 48단어의 수화로 구성되었으며, 청각장애인이 수화 문장을 수행하였다.
- 수화 수행자는 학습 데이타를 위해서는 칼라 글러브를 착용하였다. 테스트 데이타를 위해서는 두 가지 형태의 데이타를 수집하였다. 하나는 긴 소매의 옷을 입고 칼라 글러브를 착용하지 않고 수집하였고, 다른 하나는 짧은 팔의 옷을 입고 수화 문장의 수행 속도 등, 사용자에게 제약을 두지 않고 수집하였다.
이론/모형
- 제안된 시스템에서는 손의 시작점에서만 손 모양을 인식한다. 손 모 양 인식을 위해서 HOG(Histograms of Gradient) 특징을 사용한다. 손 모양 인식 결과를 반영하기 위해서 아래와 같이 일정 시간 ta 동안 인식 결과를 누적한다.
성능/효과
- 않고 수집한 수화 문장에서 수화를 적출하였다. 표 3에서 볼 수 있듯이 제안된 T-CRF"-5, Tw이ayerCRF"의 CDR이 HMM이나 CRF보다 높고, SERe 낮았다. 특히, Two-layer C* RF 는 T-CRFg 보다 SER을 22% 줄였다.
- 인식 단계에서는 핵심 프레임을 추출하고 이를 수화, 비수화로 인식하였다. 39개의 단어로 구성된 수화어휘집에서 85% 이상의 수화 적출률을 보였다.
- 40개의 단어로 구성된 수화 어휘집에서 96.2%의 수화 인식률을 보였다. 이 실험에서는 사전에 적출된 수화를 인식하였다.
- 43개의 단어로 구성된 수화 어휘집을 이용하여 97%의 인식 성능을 보였다. 실험은 연속된 손 동작에서 수화 적출 및 인식을 동시에 수행하였다.
- 데이타 글러브와 3개의 위치 추적기를 이용하여 손의 위치 정보를 추출하였고, 비수화 부분을 모델링 하였다. 5, 113개의 단어로 구성된 수화 어휘집을 이용하여 수화 인식을 수행하였으며, 90.8%의 수화 적출률을 보였다. 실험은 연속된 손동작에서 수화 적출 및 인식을 동시에 수행하였다.
- 손의 모양과 위치 정보를 추출하였다. 7 단어로 구성된 수화 어휘집을 이용하여 수화 인식을 수행하였으며, 96%의 수화 인식률을 얻었다. 실험은 연속된 손동작에서 수행되었다.
- 손 모양 기반 수화 인증기는 손의 움직임 정보가 비슷한 수화의 오검출을 줄였고, 짧은 수화 적출기는 평균 수화 수행 시간보다 짧은 수화의 인식 성능을 높였고, 부사인 추론기는 서로 다른 수화끼리 비슷한 움직임을 공유할 때, 다른 수화로 오인식하는 것을 방지하였다.
- 세 번째로, 짧은 팔의 옷을 입고, 수화 문장의 수행속도 등 사용자에게 제약을 두지 않고 수집한 수화 문장을 이용하여 실험을 수행하였다. 수화 문장 수행 속도, 얼굴의 움직임 등 제약 조건이 없는 환경이기 때문에 표 5에서 볼 수 있듯이 표 3, 4에서의 결과보다 SERe 높고, CDRe 낮았다.
- 사용자가 착용한 모자에 카메라를 부착하여 영상을 획득한 방법과 책상에 장착된 카메라를 이용하여 영상을 획득한 방법으로 실험을 수행하였다. 실험 결과, 각각 92%, 98%의 수화 적출률을 보였다.
- 실험 결과, 제안된 방법은 연속된 수화 동작 데이타에서 88%, 사전에 적출된 수화 동작 데이타에서 94%의 인식률을 보였으며, 임계치 모델, 짧은 수화 적출기, 손 모 양 기반 수화 인증기, 부사인 추론기를 사용하지 않은 CRF 모델은 연속된 수화 동작 데이타에서 74%, 사전에 적출된 수화 동작 데이타에서 90%의 인식률을 보였다.
- 제안된 CRF기반 임계치 모델은 정의된 수화와 비 수화 손 동작을 구별하기 위해서 적응적 임계치 역할을 수행한다. 제안된 방법은 어휘집에 정의된 수화 동작과 이외의 동작을 우수하게 구별할 수 있는 방법임을 실험 결과 보여주고 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.