초록 ▼

본 발명의 일 기술적 측면에 따른 3차원 수어동작 학습을 기반으로 하는 수어 서비스 제공 방법은, 사용자 단말과 연동하여 사용자 단말에게 수어 서비스를 제공하는 서비스 서버에서 수행되는 수어 서비스 제공 방법으로서, 수화 동영상과 그에 대한 스크립트를 수집하는 단계, 수어 영상에 대하여 흐려짐 보상 전처리를 수행하고, 흐려짐 보상 전처리가 수행된 수어 영상에서 3차원으로 특정되는 복수의 수어 특징점을 추출하는 단계, 3차원으로 특정되는 상기 복수의 수어 특징점 간의 관계성과 스크립트 간의 연관성을 기초로 수어 동작을 판독하는 학습

본 발명의 일 기술적 측면에 따른 3차원 수어동작 학습을 기반으로 하는 수어 서비스 제공 방법은, 사용자 단말과 연동하여 사용자 단말에게 수어 서비스를 제공하는 서비스 서버에서 수행되는 수어 서비스 제공 방법으로서, 수화 동영상과 그에 대한 스크립트를 수집하는 단계, 수어 영상에 대하여 흐려짐 보상 전처리를 수행하고, 흐려짐 보상 전처리가 수행된 수어 영상에서 3차원으로 특정되는 복수의 수어 특징점을 추출하는 단계, 3차원으로 특정되는 상기 복수의 수어 특징점 간의 관계성과 스크립트 간의 연관성을 기초로 수어 동작을 판독하는 학습 모델을 구축하는 단계 및 구축된 학습 모델을 기초로, 수어 동작에 대응되는 어휘를 매칭하여 출력하는 단계를 포함한다.

대표청구항 ▼

사용자 단말과 연동하여 사용자 단말에게 수어 서비스를 제공하는 서비스 서버에서 수행되는 수어 서비스 제공 방법으로서,수어 영상과 그에 대한 스크립트를 입력받는 단계;수어 영상에 대하여 흐려짐 보상 전처리를 수행하고, 흐려짐 보상 전처리가 수행된 수어 영상의 복수의 프레임 각각에 대하여, 수화에 사용되는 손, 팔 및 어깨를 포함하는 수지 영역과 수화자의 얼굴을 포함하는 비수지 영역을 수지 구분 모듈에서 구분한 후, 색상 이미지와 깊이 이미지를 대상으로 상기 수지 영역에서 3차원 좌표를 가지는 복수의 수지 특징점을 추출하고, 상기 비수

사용자 단말과 연동하여 사용자 단말에게 수어 서비스를 제공하는 서비스 서버에서 수행되는 수어 서비스 제공 방법으로서,수어 영상과 그에 대한 스크립트를 입력받는 단계;수어 영상에 대하여 흐려짐 보상 전처리를 수행하고, 흐려짐 보상 전처리가 수행된 수어 영상의 복수의 프레임 각각에 대하여, 수화에 사용되는 손, 팔 및 어깨를 포함하는 수지 영역과 수화자의 얼굴을 포함하는 비수지 영역을 수지 구분 모듈에서 구분한 후, 색상 이미지와 깊이 이미지를 대상으로 상기 수지 영역에서 3차원 좌표를 가지는 복수의 수지 특징점을 추출하고, 상기 비수지 영역에 대하여 2차원 좌표를 가지는 비수지 특징점을 추출하는 단계;3차원 좌표를 가지는 수지 특징점과 2차원 좌표를 가지는 비수지 특징점 간의 관계성과 스크립트 간의 연관성을 기초로 수어 동작을 판독하는 학습 모델을 구축하는 단계; 및구축된 학습 모델을 기초로, 수어 동작에 대응되는 어휘를 매칭하여 출력하는 단계;를 포함하고,국문법의 제1 문장을 입력받고, 입력받은 국문법의 제1 문장을 수화 문법의 제2 문장으로 변환하는 단계;상기 수화 문법의 제2 문장에 대하여 의미 단위로 분석하는 단계; 및상기 학습 모델을 기초로, 의미단위로 분석된 수화 문법의 제2 문장에 대응되는 수어 동작 데이터를 선별하는 단계를 더 포함하고,상기 학습 모델을 구축하는 단계는상기 수지 영역에서의 수화와 비수지 영역에서의 수화자의 표정을 각각 판독하고 이들을 조합하여 하나의 수어 동작으로 판독하는 단계이고, 상기 수화자의 표정은 긍정, 부정 및 조건을 표시하는데 사용되는, 3차원 수어동작 학습을 기반으로 하는 수어 서비스 제공 방법.