[보고서]실감교류 확장공간에서 원격 사용자 간 인터렉션을 위한 창발적 아바타 동작생성 기술 개발

서일홍

보고서 정보

주관연구기관

한양대학교
HanYang University

연구책임자

서일홍

참여연구자

권태수

보고서유형

최종보고서

발행국가

대한민국

언어

한국어

발행년월

2019-08

과제시작연도

2019

주관부처

과학기술정보통신부
Ministry of Science and ICT

등록번호

TRKO202000001106

과제고유번호

1711082560

사업명

글로벌프론티어지원(R&D)

DB 구축일자

2020-05-30

키워드

공존 실감.창발적 동작.실시간 모션 캡처.반응동작 생성.손가락 조작 동작.Coexistence reality.Emergent motion.Real-time motion capture.Reactive motion generation.Finger manipulation motion.

표 작업에서 중요한 절차를 찾아내고, 대안을 위한 연속적인 경로를 생성하기 위한 자율적인 분할 프레임워크의 흐름도; (a) 주성분 분석 모듈, (b) 가우시안 혼합 모델 모듈, (c) 베이지안 정보 분석 모듈, (d) 가우시안 혼합 모델 선택 모듈, (e) 분할점 탐지 모듈, (f) 절차 재배치 모듈, (g) 가우시안 혼합 회귀 모듈
표 ‘밥 짓기’ 작업에서 원래 공간에서의 행동 경로들과 PCA에 의해 차원이 감소된 공간에서의 행동 경로들; (a) 본래 공간에서의 관절 행동 경로들 X∈ㅁ (13+1)*578 : 여기서, (13+1)은 13개의 관절과 1개의 시간을 의미한다. 그리고 578은 경로의 길이를 의미한다. 그리고 (b) PCA에 의해 차원이 감소된 공간에서의 연속적인 경로들 X∈ㅁ (1+1)*578 ; 여기서, (1+1)은 PCA에 의해 차원이 감소된 공간에서 1차원의 공간 변수와 1차원의 시간변수를 나타낸다. 그리고 578은 경로의 길이를 나타낸다
표 ‘밥 짓기’ 작업에서 BIC를 사용하였을 때 PCA의 차원 수에 따라 추정된 가우시안의 수: 여기서, 붉은 막대는 PCA에 의한 모든 차원 중에서 가장 많은 수의 가우시안을 추정한 것을 나타낸다. 그리고 보라색 막대는 본래 차원에서의 가우시안의 수를 나타낸다
표 ‘밥 짓기’ 작업에서 BIC에 의해 차원이 축소된 경로를 사용하였을 때 GMM의 가우시안 수에 대한 BIC 스코어
표 ‘밥 짓기’ 작업에서 EM 알고리즘과 BIC를 기반으로 추정된 GMM: 여기서, 그 GMM은 8개의 가우시안으로 구성된다
표 ‘밥 짓기’ 작업에서 두 개의 인접한 가우시안들 사이의 시간적으로 겹쳐진 영역의 예와 그 영역안에서 추정된 분할점; (a) ‘밥 짓기’의 GMM으로부터 추정된 하나의 시간적으로 겹쳐진 영역: 여기서, (1), (2), 그리고 (3)은 각각 시간적으로 겹쳐진 영역, 그 영역의 상위 경계치, 그 영역의 하위 경계치를 나타낸다. 그리고 (b) 시간적으로 겹쳐진 영역에서 (a)의 GMM을 사용하였을 때 GMR에 의해 일반화된 공분산 경로로부터 추정된 분할점: 여기서, (4)는 그 영역안에서 분할점을 위한 공분산이 가장 낮은 점을 나타낸다
표 ‘밥 짓기’의 GMM을 사용하였을 때 기하학적 해석에 의해 추정된 시간적으로 겹쳐진 영역들과 고유값분해 과정을 기반으로 그 영역들에서 추정된 분할점들; (a）가우시안들의 기하학적 해석에 의해 추정된 시간적으로 겹쳐진 영역들과 (b) GMR 과정에 의해 계산된 공분산으로부터 추정된 분할점들
표 한양대에서 개발한 13개의 모터를 갖는 휴머노이드 로봇
표 ‘음식물 자르기’ 작업에서 본래의 관절 행동 경로들과 PCA에 의해 감소된 차원에서의 행동 경로들; (a) 본래의 공간에서 관절 행동 경로들 X∈ㅁ (13+1)*192 : 여기서 (13+1)은 13개의 관절 각도들과 1개의 시간을 의미하고, 192는 경로의 길이를 의미한다. 그리고 (b) PCA에 의해 감소된 차원에서의 행동 경로들 Ψ∈ㅁ (4+1)*192 : 여기서, (4+1)은 4차원의 PCA에 의해 감소된 공간 변수들과 1차원의 시간 변수들을 의미한다. 그리고 192는 경로의 길이를 의미한다
표 ‘음식물 자르기’ 작업에서 BIC를 사용하였을 때 PCA의 차원수에 따른 가우시안들의 수: 여기서, 붉은 막대는 PCA의 모든 차원들 중 가우시안의 수가 가장 많은 것을 나타내고, 보라색 막대는 본래 차원에서의 가우시안의 수를 의미한다
표 ‘밥 짓기’ 작업에서 PCA의 차원수에 따른 최소 BIC 스코어: 여기서, 붉은 막대들은 그림 3-1-25에서 가장 많은 수의 가우시안들을 갖는 차원수를 나타내고 파란색 막대는 3개의 붉은 막대들 중에서 가장 낮은 BIC 스코어를 갖는 차원수를 나타낸다
표 ‘음식물 자르기’ 작업에서 PCA에 의해 차원이 감소된 경로를 사용하였을 때 GMM의 가우시안 수에 따른 BIC 스코어
표 ‘음식물 자르기’ 작업에서 BIC와 EM 알고리즘을 기반으로 추정된 GMM; 여기서, 그 GMM은 4개의 가우시안들을 갖는다
표 ‘음식물 자르기’ 작업의 GMM을 사용하였을 때 고유값 분해 프로세스를 기반으로 기하학적 해석에 의해 추정된 시간적으로 겹쳐진 영역과 그 영역에서의 분할점; (a) 가우시안들의 기하학적 해석에 의해 추정된 시간적으로 겹쳐진 영역들과 (b) GMR 프로세스에 의해 계산된 공분산으로부터 추정된 분할점들
표 ‘음식물 자르기’ 작업에서 GMM의 시간 컴포넌트에 따라 추정된 가중치와 그러한 가우시안들을 재조합 했을 때 GMR 프로세스에 의해 생성된 연속적인 경로들; (a) GMM의 시간 컴포넌트에 따라 추정된 가중치 hi(t) 와 (b) GMR 프로세스에 의해 일반화 된 연속적인 경로들
표 ‘음식물 자르기’에 포함된 4개의 중요한 절차와 분할점의 마지막 프레임에서의 장면들: (a) [LiftingKnife], (b) [CuttingFoodItem], © [PositioningForPusing], (d) [PushingFoodItem]
표 ‘음식물 자르기’에서 4개의 중요한 절차를 사용한 대안 제시를 위한 가우시안들과 그들을 이용한 연속적인 경로들 (즉, 2번 자르고 한 번 미는 작업)
표 대안 제시를 위해 ‘밥 짓기’와 ‘음식물 자르기’의 12개의 중요한 절차들을 재배치하여 획득된 가우시안들과 연속적인 경로들 (한 번 냄비를 들고, 2번 자르고, 한 번 밀고, 2번 젓고, 스토브에 올려놓는 작업)
표 TUM의 부엌에서 테이블을 세팅하기 위한 4개의 에피소드들; (a) [ID0-0], (b) [ID0-2], (c) [ID0-11], 그리고 (d) [ID0-12]
표 표 3에서 파란색 셀에 대한 그림들; (a) A. Yao에 의해 추출된 시작과 끝 프레임들: (1) No.9는 [CWL], [Releasing], [Standing], (2) No.9의 [CWL], [Releasing], [Walking], (3) No. 10의 [CWL], [CWL], [Walking] 그리고 (b) 우리의 자율 분할 과정에서 추출된 시작과 끝 프레임들: (1) No.9의 [M_M], [Releasing], [B_Walking], (2) No. 10의 [M_M], [M_M], [R_Turning], (3) No. 10의 [M_M], [M_M], [L_Turning], (4) No. 10의 [M_M], [M_M], [F_Walking], (5) No. 10의 [M_M], [M_M], [S_Walking]
표 2차원 상에서 다양한 변화에 적응을 위해 사각형 그리기에 대한 가우시안 혼합 모델들을 변환할 수 있고[44], 다음과 같이 정의 된다
표 솜씨 표현의 절차
표 솜씨의 표현 (a) 가우시안 혼합 모델을 이용한 솜씨 표현 (b) 가우시안의 기하학적 변환
표 솜씨 인식의 절차
표 2차원 상에서 다양한 변화에 적응하는 것을 위해 그림 1의 사각형 그리는 것에 대한 가우시안 혼합 모델들을 사용해 나타낸 가우시안 혼합 회귀
표 임무별 혼합 요소의 수와 전체 시간
표 카타나 450 로봇 팔
표 다양한 비트의 지휘의 3차원 학습 데이터, 가우시안 혼합 모델, 그리고 가우시안 혼합 회귀
표 크기 변화에 적응되는 4박자 지휘의 가우시안 혼합 모델과 가우시안 혼합 회귀
표 사각형과 삼각형 그리기의 학습 데이터, 가우시안 혼합 모델, 그리고 가우시안 혼합 회귀
표 다양한 변화에 적응하기위한 2차원에서의 삼각형과 사각형 그리기를 위한 가우시안 혼합 모델의 변환, 가우시안 혼합 회귀, 그리고 재생성된 경로
표 컵을 전달하는 임무의 학습 데이터, 가우시안 혼합 모델, 그리고 가우시안 혼합 회귀
표 제안하는 방법의 개념도
표 에지 검출을 위한 필터
표 하향식 억제과정
표 실험영상1
표 edge orientation 처리결과
표 3-2-8(a)의 그림을 이용한 실험결과
표 3-2-8(b)의 그림을 이용한 실험결과
표 다른 방법과의 비교
표 실험영상2
표 제안하는 방법의 결과분석
표 67.5도에 대한 결과분석
표 0도에 대한 결과분석
표 R-layer region 계층
표 feedback에 의한 정보수정
표 depth 영상 계산과정
표 Depth 영상
표 PSNR 증가에 따른 거리정보 맵들
표 각 영상에 대한 계산결과
표 SNR이 29dB인 네 종류의 스테레오 영상에 대해 구해진 거리정보 맵
표 제안한 알고리즘 적용예1
표 제안한 알고리즘 적용예2
표 GPSD 아키텍처의 데이터 표현방법과 학습방법간 관계도
표 GPSD아키택처의 개념도
표 SD학습지능 플랫폼의 기본 구성요소
표 SD학습지능 플랫폼의 학습노드
표 Signal의 종류
표 SD 아키텍처 참조구현
표 복잡도의 예시
표 Neural Complexity측정을 위한 EEG신호획득
표 Neural Complexity측정을 위한 방법
표 글씨를 쓰는 작업의 복잡도 측정결과
표 물을 옮겨 따르는 운동솜씨의 복잡도 측정결과
표 컵에 물을 따르는 운동솜씨의 작업환경에 대한 영상
표 선반 2층의 물체를 집어 옮기는 운동솜씨: (a) 물체를 집는 동작, (b) 물체를 놓는 동작
표 선반 1층의 물체를 집어 옮기는 운동솜씨: (a) 물체를 집는 동작, (b) 물체를 놓는 동작
표 엔드이펙터의 좌표를 이용한 운동솜씨의 복잡도 측정결과
표 로봇팔의 관절 각도를 이용한 운동솜씨의 복잡도 측정결과
표 GPSD 프레임워크의 각 계층이 갖는 성질
표 손 모델과 primitive 물체. 검은 구는 각 관절의 위치를 나타내고 파란 구는 라플라시안 메시 모델을 창안하는 특징을 나타냄 (왼쪽). 구, 원통, 박스가 사용한 3가지 primitive 물체임 (오른쪽). 아래 그림은 3가지 primitive 물체를 잡는 모션 캡처 동작을 나타냄
표 모션 캡처 (a) 파지 동작, (b) 구 파지 동작, 그리고 (c) 원통 파지 동작
표 잡는 과정 메시 포메이션 (왼쪽)과 파지 메시 포메이션 (오른쪽)
표 라플라시안 변형 과정 . 원본 메시를 나타냄(a). scale-free 선형 변환 후 메시 형태는 원본 크기를 제외한 파지 정점을 만족함(b). 크기 보상(scale compensation)은 현재 물체 모양에 맞고 원본 POG 메시와 크기가 비슷하도록 변형함(c)
표 2차원 공간에서의 라플라시안 모형(이해를 쉽게 하기 위하여 차용).검은 점들은 파지 메시로 부터의 정점을 나타내고, 새로운 붉은 점 v′2 은 변형된 메시의 정점을 나타냄. 지역 좌표계는 v1 에서 v0 을 뺌으로써 계산되어짐
표 물체 외형 측정 과정. 우리의 동작 생성기는 formation을 유지하면서 사이즈를 더 큰 크기에서 작은 사이즈로 조절함으로써 fitted 파지 메시 형태를 찾음
표 모션 캡처. 육면체 파지 동작 (a), 구 파지 동작 (b) 그리고 원통 파지 동작 (c)
표 파지 과정 메시의 포메이션 (위쪽)과 동작에 맞게 파지 과정 메시를 생성한 결과(아래쪽). (a) 제안하는 포메이션, (b) 시공간적 포메이션(spatio-temporal), (c) Delaunay 삼각법 기반 포메이션
표 포메이션(Formation) 비교. (a) 교차(cross) 포메이션은 물체 위치 변경에 균등하게 분산 된 정점 패턴을 유지함. (b) 시공간적 포메이션은 물체의 위치를 변경했을 때 정점의 왜곡이 나타남. (c) 간단 포메이션(Delaunay Triangulization)은 정점들 사이의 큰 간격을 보여준다
표 위치 적응. POG는 (a)는 x축, (b)는 Y축, 그리고 (c)는 Z축의 물체 위치 변화에 대한 적응 결과를 보여줌
표 크기 변화 수용. POG는 물체 크기의 변화에 부합하는 동작 조정이 가능하다. (a) 원본 크기 (b) Z축 크기가 감소한 형태
표 실험에 적용된 새로운 외형 물체
표 위 그림은 작은 핸드폰을 잡는 동작을 생성한 결과를 보여줌
표 위 그림은 머그 컵 모델을 잡는 동작을 생성한 결과를 보여줌
표 위 그림은 책 모델을 잡는 동작을 생성한 결과를 보여줌
표 위 그림은 곰 인형의 머리를 잡는 동작을 생성한 결과를 보여줌
표 위 그림은 큐브를 잡는 동작을 생성한 결과를 보여줌
표 위 그림은 럭비 공을 잡는 동작을 생성한 결과를 보여줌
표 위 그림은 공룡 인형을 잡는 동작을 생성한 결과를 보여줌
표 위 그림은 장난감 자동차를 잡는 동작을 생성한 결과를 보여줌
표 제안하는 동작 생성 기술은 걷는 동작에서 뛰는 동작으로의 자연스러운 전이 동작이 가능함
표 동작 생성의 결과. 개발한 동작 생성 기술은 걷는 동작과 다음 디딤발의 위치를 추정하는 것이 가능함 (왼쪽). 또한, 달리는 동작에 대한 것 동작을 생성가능함 (오른쪽)
표 KNN-IDW를 사용한 회귀 모델(왼쪽)과 PFCNN 회귀모델을 사용한 결과 동작(오른쪽)을 비교한 결과를 보여줌
표 아래 그림에 나와있는 모델 구조에 따른 교차-검증
표 실험에 사용한 다양한 네트워크 구조. (a)는 제안하는 네트워크 구조를 나타냄(2F-CM wH2-NN). w3F-CM wH3-NN는 4 종류의 필터를 가진 컨볼루션 계층, 접촉 위상을 함께 사용한 가중치, 그리고 3개의 히든레이어로 구성된 뉴럴 네트워크를 구조로 가짐(b). (2F-CM wH2-NN)는 4 개의 필터를 갖는 하나의 컨볼루션 계층, 마지막 계층에서만 위상 상태를 함께 가중치로 사용하며, 2 개의 히든 레이어가 있는 뉴럴 네트워크를 마지막 계층에서 사용함(c). (3-CM wH3-NN)는 3 개의 콘볼루션 계층, 접촉 상태를 고려하지 않은 가중치, 3개의 숨겨진 계층이 있는 뉴럴 네트워크를 사용함(d)
표 가상 아바타 모델(왼쪽) 과 더블 역 진자 모델(오른쪽)
표 박스 잡는 동작 (위)과 균형 유지 동작(아래)에 대한 동작 분석(최적화) 결과
표 발자국 위상은 한 보폭의 총 지속 시간으로부터 현재 발의 위치에 대한 위상으로 구성되어짐
표 발 좌표 프레임을 구성하기위한 이전 방법은 갑작스런 우회전 중에 왼발이 오른쪽 발의 오른쪽으로 이동하기 때문에 자기 교차를 유발하게 됨
표 기존 방법을 사용했을 때 두 발이 서로 충돌하는 것을 보여줌
표 제안 된 방법은 스윙하는 동안 반대 발을 함께 고려하여 자기 교차하는 것을 회피하게 됨
표 제안된 방법은 한 발이 자기 교차를 피하기 위해 스윙하는 동안 두 발을 고려함
표 상자 (왼쪽), 인간 캐릭터 모델 (가운데) 및 두 개의 역 진자 모델 (오른쪽)을 보여줌. 빨간색과 파란색 구체는 캐릭터의 상체와 하체 각각의 질량 중심을 나타냄. 선은 관계에 대한 지도 정보를 나타냄
표 박스를 잡는 동작 생성 결과 : 반응 동작 제어기는 모션 캡처에서와 다른 위치에 있는 상자에 적응된 동작을 생성함
표 ‘푸쉬 복구’에 대한 동작 생성 결과 : 반응 동작 제어기는 모션 캡처에서와 다른 위치의 외력에도 적응적으로 자연스러운 반응 동작을 생성함
표 엉덩이 균형 전략을 사용한 동작(오른쪽 상단)과 엉덩이 균형 전략 없이 반응 동작(왼쪽 상단)을 생성한 비교 그림임. 아래 쪽 그림들은 외력이 가해질 때 제로 모멘트 점의 궤도를 나타냄. 엉덩이 균형 유지 방법을 사용하면 신체의 균형을 보장하는 안정 지역을 벗어나지 않고 충격에 적응적 동작을 생성함. 본 실험에서는 충격력 400 뉴턴의 힘을 적용하였음. 빨간색 화살표는 위의 그림을 캡처 한 시간을 의미함
표 역 기구학 방법과의 비교 : 제안된 방법은 보다 자연스러운 움직임을 생성하여 상자를 쥘 때 더 넓은 작업 공간을 제공하는 것을 확인할 수 있음
표 외력에 적응적인 동작을 생성하는 모습
표 장애물과의 충돌에 적응적으로 균형을 유지하는 동작을 생성하는 모습

과제명(ProjectTitle) :	-
연구책임자(Manager) :	-
과제기간(DetailSeriesProject) :	-
총연구비 (DetailSeriesProject) :	-
키워드(keyword) :	-
과제수행기간(LeadAgency) :	-
연구목표(Goal) :	-
연구내용(Abstract) :	-
기대효과(Effect) :	-

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 제목(한글), 저자명(한글), 발행일자, 전자원문, 초록(한글), 초록(영문) 관리번호, 제목(한글), 제목(영문), 저자명(한글), 저자명(영문), 주관연구기관(한글), 주관연구기관(영문), 발행일자, 총페이지수, 주관부처명, 과제시작일, 보고서번호, 과제종료일, 주제분류, 키워드(한글), 전자원문, 키워드(영문), 입수제어번호, 초록(한글), 초록(영문), 목차
저장형식	Text(ASCII format) Excel format
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

실감교류 확장공간에서 원격 사용자 간 인터렉션을 위한 창발적 아바타 동작생성 기술 개발
Emergent avatar motion synthesis for interactions between remote users in coexistence space 원문보기

초록

Abstract ▼

목차 Contents

표/그림 (109)

표/그림 (109)

연구자의 다른 보고서 :

참고문헌 (25)

연구과제 타임라인

관련 콘텐츠

원문 보기

이 보고서와 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

실감교류 확장공간에서 원격 사용자 간 인터렉션을 위한 창발적 아바타 동작생성 기술 개발 Emergent avatar motion synthesis for interactions between remote users in coexistence space 원문보기

초록

Abstract ▼

목차 Contents

표/그림 (109) 모든 표/그림 보기

표/그림 (109) 슬라이드로 보기

연구자의 다른 보고서 :

서일홍 (12)

참고문헌 (25)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

이 보고서와 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

실감교류 확장공간에서 원격 사용자 간 인터렉션을 위한 창발적 아바타 동작생성 기술 개발
Emergent avatar motion synthesis for interactions between remote users in coexistence space 원문보기

표/그림 (109)

표/그림 (109)