초록 ▼

본 발명은 춤 동작을 학습하여 춤을 추는 스마트 로봇에 관한 것으로, 본 발명은 사람 형상을 하여 딥러닝을 이용하여 춤 동작을 학습하는 스마트 로봇에 있어서, 음악이 입력된 동영상으로부터 딥러닝 3D 자세 추정 기술을 활용해서 춤동작 데이터를 추출하고, 딥러닝 강화학습 훈련을 하여 학습하는 춤동작 학습부와 상기 춤동작 학습부에 학습된 데이터를 통하여 음악적 특징을 추출하는 음악특징추출부와 상기 음악특징추출부로부터 추출한 음악의 특징을 전송받아 이를 데이터로 저장하는 데이터 베이스와 상기 데이터베이스와 연결되어 상기 춤 동작 학습부로

본 발명은 춤 동작을 학습하여 춤을 추는 스마트 로봇에 관한 것으로, 본 발명은 사람 형상을 하여 딥러닝을 이용하여 춤 동작을 학습하는 스마트 로봇에 있어서, 음악이 입력된 동영상으로부터 딥러닝 3D 자세 추정 기술을 활용해서 춤동작 데이터를 추출하고, 딥러닝 강화학습 훈련을 하여 학습하는 춤동작 학습부와 상기 춤동작 학습부에 학습된 데이터를 통하여 음악적 특징을 추출하는 음악특징추출부와 상기 음악특징추출부로부터 추출한 음악의 특징을 전송받아 이를 데이터로 저장하는 데이터 베이스와 상기 데이터베이스와 연결되어 상기 춤 동작 학습부로부터 입력받은 음악에 맞추어 춤을 추도록 제어하는 제어부를 포함하는 것을 특징으로 하는 것이다.

대표청구항 ▼

사람 형상을 하여 딥러닝을 이용하여 춤 동작을 학습하는 스마트 로봇에 있어서,음악이 입력된 동영상으로부터 딥러닝 3D 자세 추정 기술을 활용해서 춤동작 데이터를 추출하고, 딥러닝 강화학습 훈련을 하여 학습하는 춤동작 학습부(10);상기 춤동작 학습부(10)에 학습된 데이터를 통하여 음악적 특징을 추출하여 데이터 입력부(30)에 입력하는 음악특징추출부(20);상기 음악특징추출부(20)로부터 추출한 음악의 특징을 상기 데이터 입력부(30)로 전송받아 데이터로 저장하는 데이터 베이스(40);상기 춤동작 합습부(10)로부터 춤동작 데이터를

사람 형상을 하여 딥러닝을 이용하여 춤 동작을 학습하는 스마트 로봇에 있어서,음악이 입력된 동영상으로부터 딥러닝 3D 자세 추정 기술을 활용해서 춤동작 데이터를 추출하고, 딥러닝 강화학습 훈련을 하여 학습하는 춤동작 학습부(10);상기 춤동작 학습부(10)에 학습된 데이터를 통하여 음악적 특징을 추출하여 데이터 입력부(30)에 입력하는 음악특징추출부(20);상기 음악특징추출부(20)로부터 추출한 음악의 특징을 상기 데이터 입력부(30)로 전송받아 데이터로 저장하는 데이터 베이스(40);상기 춤동작 합습부(10)로부터 춤동작 데이터를 수집하여 처리하는 데이터처리부(50);상기 데이터처리부(50)와 연결되어 상기 춤동작 학습부(10)로부터 입력받은 음악에 맞추어 춤을 추도록 제어하는 제어부(60)를 포함하고,상기 제어부(60)는,1) 유튜브를 포함하여 K-Pop 춤 영상을 수집하여, 상기 수집한 정보에서 3D 자세 추정에 의한 모션 데이터 및 템포와 박자 및 음색을 포함한 음악적 특징을 추출하는 제 1 단계;2) 상기 음악적 특징에 따른 음악의 각 비트에 대하여 그 이전과 이후의 각 관절을 포함한 신체 부위의 속도와 운동방향의 변화를 강화학습에 반영하도록 상기 모션 데이터와 상기 음악적 특징을 임베딩하는 제 2 단계;3) 상기 음악과 인체 골격 동작 사이의 관계를 학습하는 강화학습 모델을 통해 음악 특징 추출과 인체골격 동작 표현 방법, 강화학습 모델의 구조 및 학습모델 파라미터를 추출하여 강화학습하는 제 3 단계;4) 모션이 생성되는 공간인 공간 A와 상기 모션이 리타게팅되는 공간인 공간 B에는 인간 또는 인간형 객체와 접촉하는 물체가 존재하도록 하며,상기 물체에 대한 접촉 모션을 인간형 객체와 임의의 물체 사이의 기능적, 외형적 특징 관계를 유지하며 목표 공간에 맞는 새로운 모션으로 재창출하여 모션 리타케팅을 하는 제 4 단계; 및5) 상기 모션 리타케팅을 한 모션 데이터를 음악적 특징에 따라 3D 캐릭터 애니메이션에 적용하여 캐릭터가 데이터에 따라 움직이므로, 음악에 맞추어 춤을 추도록 하며,상기 춤 동작의 학습은 LSTM(Long Short term Memory)을 활용한 춤동작 모방학습을 통해 구현되고,상기 제어부(60)는,상기 스마트 로봇의 학습 정도를 SMAPE(Symmetric Mean Absolute Percentage Error)에 따른 아래의 식에 의하여 측정하며,(여기서, 상기 Ft는 훈련된 네트워크가 주어진 음악에 대하여 생성한 춤 데이터이며, At는 훈련에 사용된 같은 음악에 따라 춤추는 스마트 로봇의 춤 데이터이다. 그리고, n은 마이크를 통해 송출되는 곡의 갯수임)상기 제어부(60)는,스마트 로봇(100)의 구성요소의 온도, 소음, 부하율, 이상 전류 발생여부, 습도, 진동, 전력 품질, 발생 전기의 전압, 전류, 고조파 형상을 포함한 상태를 센싱하는 센서부(S);메모리(M)에 저장된 센싱값들인 상태 데이터를 분석하여 스마트 로봇(100)의 부품별 통계 데이터를 생성하고, 메모리(M)에 저장된 센싱값들을 이용하여 스마트 로봇(100)의 각 부품의 상태를 나타내는 상태 데이터를 분석하며, 이후, 상태 데이터를 사용하여 스마트 로봇(100)의 부품별로 통계 데이터를 생성하는 데이터 처리부(61);상기 센서부(S)에 의해 측정된 센싱값들을 부품별 임계치와 비교하여 불량 여부를 판단하고, 불량 여부 판단 결과, 해당 부품에 불량이 발생하였다고 판단되는 경우에는 불량 메시지를 생성하고, 발생하지 않은 경우 생성하지 않는 불량 판단부(62);상기 데이터 처리부(61)에 의해 생성된 통계 데이터 및 불량 여부 판단을 타겟으로 하는 머신러닝 알고리즘을 이용하여, 특징 패턴과 불량 사이의 맵핑 관계를 검출하고, 통계 데이터 및 맵핑 관계로부터 불량 패턴 모델을 학습함으로써, 스마트 로봇(100)에 포함된 부품에 불량이 발생하는 것을 예측하는 불량 패턴 모델 학습부(63); 및상기 데이터 처리부(61)에 의해 생성된 통계 데이터 및 불량 패턴 모델 학습부(63)에 의해 학습된 불량 패턴 모델을 이용하여, 센서부(S)에 의해 측정된 다양한 센싱값들을 분석하고, 스마트 로봇(100)의 부품들의 특징 패턴 정보를 검출하고, 검출된 특징 패턴 정보와 불량 패턴 모델을 비교하여 특징 패턴 정보와 불량 패턴 모델의 연관도가 기 설정된 임계치 이상이면 해당 부품에 불량이 발생될 수 있다는 것을 나타내는 불량 예측 데이터를 생성함으로써, 스마트 로봇(100)의 불량을 사전에 예측하는 불량 예측부(64); 를 포함하는 것 을 특징으로 하는 춤 동작을 학습하여 춤을 추는 스마트 로봇.