초록 ▼

영상과 소리를 이용한 동물 상태 인식 방법 및 장치가 제시된다. 본 발명에서 제안하는 영상과 소리를 이용한 동물 상태 인식을 위한 학습 방법은 타겟 동물군에 대해 동물의 행동, 표정, 소리를 포함하는 복수의 영상 데이터 및 소리 데이터를 수집하여 영상 데이터 및 소리 데이터 각각에 대해 해당하는 복수의 타겟 동물군의 상태를 결정하기 위해 어노테이션(annotation)을 수행하고, 어노테이션 수행 결과를 이용하여 규정된 상태값을 GT(groundtruth)로 설정하고, 학습용 데이터 셋을 구축하는 단계, 기계학습을 수행하기 위한 학

영상과 소리를 이용한 동물 상태 인식 방법 및 장치가 제시된다. 본 발명에서 제안하는 영상과 소리를 이용한 동물 상태 인식을 위한 학습 방법은 타겟 동물군에 대해 동물의 행동, 표정, 소리를 포함하는 복수의 영상 데이터 및 소리 데이터를 수집하여 영상 데이터 및 소리 데이터 각각에 대해 해당하는 복수의 타겟 동물군의 상태를 결정하기 위해 어노테이션(annotation)을 수행하고, 어노테이션 수행 결과를 이용하여 규정된 상태값을 GT(groundtruth)로 설정하고, 학습용 데이터 셋을 구축하는 단계, 기계학습을 수행하기 위한 학습용 데이터 셋을 입력 받아 대응하는 GT들을 출력으로 결정하고, 출력된 GT들에 대한 가중치 값들 및 파라미터들을 학습하는 단계 및 상태를 인식하고자 하는 동물의 영상 데이터 및 소리 데이터를 수집하여 미리 기계학습된 분류기에 입력하고, 입력된 영상 데이터 및 소리 데이터에 대한 복수의 상태값들을 계산하여 가장 높은 상태값에 해당하는 상태를 동물의 상태로 결정하고, 결정된 동물의 상태를 사용자에게 전달하는 단계를 포함한다.

대표청구항 ▼

센싱부를 통해 수집된 타겟 동물군에 대해 동물의 행동, 표정, 소리를 포함하는 복수의 영상 데이터 및 소리 데이터 각각에 대해 해당하는 복수의 타겟 동물군의 상태를 결정하기 위해 동물 상태 결정부를 통해 어노테이션(annotation)을 수행하고, 어노테이션 수행 결과를 이용하여 규정된 상태값을 GT(groundtruth)로 설정하고, 학습용 데이터 셋을 구축하는 단계; 동물 상태 결정부가 기계학습을 수행하기 위한 학습용 데이터 셋을 입력 받아 대응하는 GT들을 출력으로 결정하고, 출력된 GT들에 대한 가중치 값들 및 파라미터들을

센싱부를 통해 수집된 타겟 동물군에 대해 동물의 행동, 표정, 소리를 포함하는 복수의 영상 데이터 및 소리 데이터 각각에 대해 해당하는 복수의 타겟 동물군의 상태를 결정하기 위해 동물 상태 결정부를 통해 어노테이션(annotation)을 수행하고, 어노테이션 수행 결과를 이용하여 규정된 상태값을 GT(groundtruth)로 설정하고, 학습용 데이터 셋을 구축하는 단계; 동물 상태 결정부가 기계학습을 수행하기 위한 학습용 데이터 셋을 입력 받아 대응하는 GT들을 출력으로 결정하고, 출력된 GT들에 대한 가중치 값들 및 파라미터들을 학습하는 단계; 및센싱부를 통해 수집된 상태를 인식하고자 하는 동물의 영상 데이터 및 소리 데이터를 이용하여 동물 상태 결정부를 통해 미리 기계학습된 분류기에 입력하고, 입력된 영상 데이터 및 소리 데이터에 대한 복수의 상태값들을 계산하여 가장 높은 상태값에 해당하는 상태를 동물의 상태로 결정하고, 결정된 동물의 상태를 상태 전달부를 통해 사용자에게 전달하는 단계를 포함하고, 동물 상태 결정부가 기계학습을 수행하기 위한 학습용 데이터 셋을 입력 받아 대응하는 GT들을 출력으로 결정하고, 출력된 GT들에 대한 가중치 값들 및 파라미터들을 학습하는 단계는, 학습용 데이터 셋을 활용하여 영상 데이터의 경우 HOG 및 SVM, RESNET, DenseNet를 포함하는 CNN 기계학습을 수행하거나, 동영상 데이터의 경우 CNN 및 LSTM 구조의 기계학습을 수행하고, 영상 데이터 및 소리 데이터 각각에서 타겟 동물군의 상태를 결정하기 위한 영상 특징 및 소리 특징을 추출하고, 추출된 영상 특징 및 소리 특징을 이용한 영상 데이터 기계학습 결과와 소리 데이터 기계학습 결과에 따른 영상 스코어 및 소리 스코어를 가중치 평균함으로써 퓨전(fusion)하여 최종 분류 결과를 생성하는 영상과 소리를 이용한 동물 상태 인식 방법.