초록 ▼

본 발명의 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 따르면, 사운드 입력부와 사운드 출력부 및 카메라모듈을 구비하여 지정된 거점에 구비된 카메라장치와 통신하는 운영서버를 통해 실행되는 방법에 있어서, 애완동물의 안면 영역에 존재하는 F(F≥2)개의 특징점 중 애완동물의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E(E≥2)개의 애완동물 표정 패턴 정보와 지정된 N(N≥2)개의 애완동물 감정 항목 중 애완동물 표정 패턴을 근거로 구별 가능한 N1(1≤N1≤N)개의 애완동물 감정 항목 사이의 매칭 관계

본 발명의 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 따르면, 사운드 입력부와 사운드 출력부 및 카메라모듈을 구비하여 지정된 거점에 구비된 카메라장치와 통신하는 운영서버를 통해 실행되는 방법에 있어서, 애완동물의 안면 영역에 존재하는 F(F≥2)개의 특징점 중 애완동물의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E(E≥2)개의 애완동물 표정 패턴 정보와 지정된 N(N≥2)개의 애완동물 감정 항목 중 애완동물 표정 패턴을 근거로 구별 가능한 N1(1≤N1≤N)개의 애완동물 감정 항목 사이의 매칭 관계정보 및 상기 E개의 애완동물 표정 패턴 정보와 N1개의 애완동물 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 포함하는 표정 기반 감정상태 판별 정보를 운영D/B에 등록 저장하고, 지정된 P(P≥2)개의 대화 의도에 대한 애완동물 입장의 응답에 대응하는 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하고, 지정된 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장하고, 상기 카메라장치의 카메라모듈을 통해 상기 거점 내의 특정 애완동물을 촬영하여 지정 방식으로 엔코딩된 비디오 데이터와 상기 카메라장치의 사운드 입력부를 통해 입력되어 지정 방식으로 엔코딩된 오디오 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하고, 지정된 사용자 무선단말의 앱이나 IPTV로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 절차를 수행하거나 유지하고, 상기 사용자 무선단말의 앱이나 IPTV를 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 확인하고 판독하여 상기 사용자가 애완동물에게 대화한 대화 문자열을 인식하고, 상기 인식된 대화 문자열을 분석하여 지정된 P개의 대화 의도 중 적어도 하나에 대응하는 사용자 대화 의도를 판별하고, 상기 사용자 대화 의도를 판별하기 전 또는 중 또는 후의 일 시점에 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 애완동물의 안면 영역에 대한 f(1≤f≤F)개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 애완동물의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i(i≥1)개의 애완동물 표정 인식 정보를 인식하고, 상기 표정 기반 감정상태 판별 정보를 근거로 상기 인식된 i개의 애완동물 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e(1≤e≤E)개의 애완동물 표정 패턴 정보를 확인하고 상기 e개의 애완동물 표정 패턴 정보와 매칭 관계를 지닌 n1(1≤n1≤N1)개의 애완동물 감정 항목을 판별하고, 상기 인식된 i개의 애완동물 표정 인식 정보와 상기 e개의 애완동물 표정 패턴 정보 간 매칭 비율을 근거로 상기 e개의 애완동물 표정 패턴 정보와 n1개의 애완동물 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 i개의 애완동물 표정 인식 정보에 대응하는 n1개의 감정 항목 별 애완동물 감정 상태를 수치화한 n1개의 감정 항목 별 애완동물 감정 상태 값을 산출하고, 상기 산출된 n1개의 감정 항목 별 애완동물 감정 상태 값을 이용하여 지정된 n(1≤n≤N)개의 감정 항목 별 애완동물 감정 상태 정보를 생성하고, 상기 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하고, 비디오 데이터 상의 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역을 통해 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강하며, 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 지정된 일정 시간 동안 사용자 무선단말의 앱이나 IPTV로 제공한다.

대표청구항 ▼

사운드 입력부와 사운드 출력부 및 카메라모듈을 구비하여 지정된 거점에 구비된 카메라장치와 통신하는 운영서버를 통해 실행되는 방법에 있어서,애완동물의 안면 영역에 존재하는 F(F≥2)개의 특징점 중 애완동물의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E(E≥2)개의 애완동물 표정 패턴 정보와 지정된 N(N≥2)개의 애완동물 감정 항목 중 애완동물 표정 패턴을 근거로 구별 가능한 N1(1≤N1≤N)개의 애완동물 감정 항목 사이의 매칭 관계정보 및 상기 E개의 애완동물 표정 패턴 정보와 N1개의 애완동물 감정 항목 간 상관도

사운드 입력부와 사운드 출력부 및 카메라모듈을 구비하여 지정된 거점에 구비된 카메라장치와 통신하는 운영서버를 통해 실행되는 방법에 있어서,애완동물의 안면 영역에 존재하는 F(F≥2)개의 특징점 중 애완동물의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E(E≥2)개의 애완동물 표정 패턴 정보와 지정된 N(N≥2)개의 애완동물 감정 항목 중 애완동물 표정 패턴을 근거로 구별 가능한 N1(1≤N1≤N)개의 애완동물 감정 항목 사이의 매칭 관계정보 및 상기 E개의 애완동물 표정 패턴 정보와 N1개의 애완동물 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 포함하는 표정 기반 감정상태 판별 정보를 운영D/B에 등록 저장하고, 지정된 P(P≥2)개의 대화 의도에 대한 애완동물 입장의 응답에 대응하는 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하고, 지정된 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장하는 제1 단계;상기 카메라장치의 카메라모듈을 통해 상기 거점 내의 특정 애완동물을 촬영하여 지정 방식으로 엔코딩된 비디오 데이터와 상기 카메라장치의 사운드 입력부를 통해 입력되어 지정 방식으로 엔코딩된 오디오 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 제2 단계;지정된 사용자 무선단말의 앱이나 IPTV로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 절차를 수행하거나 유지하는 제3 단계;상기 사용자 무선단말의 앱이나 IPTV를 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 확인하고 판독하여 상기 사용자가 애완동물에게 대화한 대화 문자열을 인식하는 제4 단계;상기 인식된 대화 문자열을 분석하여 지정된 P개의 대화 의도 중 적어도 하나에 대응하는 사용자 대화 의도를 판별하는 제5 단계;상기 사용자 대화 의도를 판별하기 전 또는 중 또는 후의 일 시점에 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 애완동물의 안면 영역에 대한 f(1≤f≤F)개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 애완동물의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i(i≥1)개의 애완동물 표정 인식 정보를 인식하는 제6 단계; 상기 표정 기반 감정상태 판별 정보를 근거로 상기 인식된 i개의 애완동물 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e(1≤e≤E)개의 애완동물 표정 패턴 정보를 확인하고 상기 e개의 애완동물 표정 패턴 정보와 매칭 관계를 지닌 n1(1≤n1≤N1)개의 애완동물 감정 항목을 판별하는 제7 단계; 상기 인식된 i개의 애완동물 표정 인식 정보와 상기 e개의 애완동물 표정 패턴 정보 간 매칭 비율을 근거로 상기 e개의 애완동물 표정 패턴 정보와 n1개의 애완동물 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 i개의 애완동물 표정 인식 정보에 대응하는 n1개의 감정 항목 별 애완동물 감정 상태를 수치화한 n1개의 감정 항목 별 애완동물 감정 상태 값을 산출하는 제8 단계; 상기 산출된 n1개의 감정 항목 별 애완동물 감정 상태 값을 이용하여 지정된 n(1≤n≤N)개의 감정 항목 별 애완동물 감정 상태 정보를 생성하는 제9 단계;상기 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하는 제10 단계;비디오 데이터 상의 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역을 통해 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강하는 제11 단계; 및상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 지정된 일정 시간 동안 사용자 무선단말의 앱이나 IPTV로 제공하는 제12 단계;를 포함하는 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법.