선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
제안 방법
- Egocentric 데이터베이스를 사용하여 손 동작 추정을 통해 얻은 시스템의 최정 출력인 예측된 관절 좌표와 Ground-truth 사이의 에러를 계산하였다. 에러는 3차원 유클리드 거리고 계산하였다.
- TensorFlow Mobile을 사용하여 구현한 딥 러닝 모델을 Freeze 및 Optimize Model을 통해 최적화하여 안드로이드 플랫폼에 이식하였다. 해당 모델을 통해 입력 뎁스 손 영상으로부터 3D 관절 정보를 추정하였다.
- 제작한 박스의 하단에 Leap Motion[14]를, 상단에 Intel SR 300[15]를 설치하였다. 두 센서 모두 적외선을 감지하기 때문에 외부의 빛에 의한 오류가 발생할 수 있으므로 외부 환경을 제어하기 위해 암실로 박스를 제작하였다. 하부 Leap Motion 센서로 21 개의 관절 정보를 측정하여 저장하였고, 상부 Intel SR300 카메라로 1차원 손 뎁스 영상을 얻어 딥 러닝 학습에 적합한 1차원 시점 손동작 데이터베이스를 생성하였다.
- 딥러닝 모델의 1인칭 손동작 학습에 사용할 1인칭 시점의 손동작 데이터베이스를 구축하기 위하여, 직접 Egocentric 손동작 촬영 시스템을 구축하고 데이터를 생성하였다.
- 깊은 신경망일수록 학습 데이터 속 존재하는 개념을 잘 추출할 수 있어 학습 결과가 좋아지지만, gradient 값이 너무 큰 값이나 작은 값으로 포화되어 학습의 효과가 없어지고 학습 속도가 느려지는 vanishing/exploding gradients 문제로 인해 단순히 더 많은 레이어를 쌓는 것 만으로는 성능이 보장되지 않는다. 따라서 깊은 신경망을 최적화 하고, 정확도 개선을 위한 Residual Network의 개념을 도입하여 Bottlenect Layer를 구성하였다[11]. 이는 입력과 출력을 더해주는 Skip Connection에 의해 신경망은 입력과의 차이만을 학습하면 된다.
- 그러나 실제 휴먼 손으로 촬영하지 않은 데이터베이스라는 한계, 정제된 손 동작 정보가 아닌 물체가 포함된 뎁스 영상, 그리고 다양한 제스처가 아닌 한정된 손동작만 존재하여 범용 사용이 제한적이다. 따라서 본 연구에서는 실제 휴먼 손을 모델로 하고 손동작을 직접 촬영하여 모바일 디바이스 VR 상에서 1인칭 손동작 인식에 적합한 데이터베이스를 생성하였다.
- 또한 기존의 전통적인 컴퓨터 비전 알고리즘 기반 손 동작 인식이 아닌 모바일 AP에 적합하고, 정확도 개선을 위한 Residual Learning[10] 기반의 ResNet Regressor[3]를 구현하여 1인칭 시점의 3D 손동작을 인식하였다.
- 본 연구에서는 PMD Pico Flex 뎁스 센서로부터 실시간으로 들어오는 영상을 안드로이드 모바일 시스템에서 Deep Residual Network 기반 Deep Residual Regreesor을 학습시키고, 손 동작 추정을 통해 가상 환경 상에 실제 구현하여 실시간 작동을 검증하였다. 또한 안드로이드 모바일 상 Unity3D로 가상현실 물체와 상호작용할 수 있는 시스템을 구현했다.
- 마지막으로 실시간 모바일 VR 3D 손 포즈 인식 시스템을 구현 검증하였다. 학습된 손 동작 인식 딥러닝 모델을 안드로이드 모바일 어플리케이션 가상현실(VR)에 이식하고, 뎁스 손영상으로부터 3D 손관절 위치를 추정하고, 추정된 관절 정보를 기반으로 3D 손동작을 재구성하였다.
- 따라서 입력의 작은 움직임을 쉽게 검출할 수 있으며 입력이 바로 출력에 연결되어 파라미터의 수에 영향이 없고 연산 복잡성도 해결된다는 장점이 있다. 본 논문에서 구성된 Regressor는 계층적으로 입력에서 특징을 추출하고 최종 16개의 손 관절 정보를 3차원 좌표로 예측한다.
- 본 연구에서는 PMD Pico Flex 뎁스 센서로부터 실시간으로 들어오는 영상을 안드로이드 모바일 시스템에서 Deep Residual Network 기반 Deep Residual Regreesor을 학습시키고, 손 동작 추정을 통해 가상 환경 상에 실제 구현하여 실시간 작동을 검증하였다. 또한 안드로이드 모바일 상 Unity3D로 가상현실 물체와 상호작용할 수 있는 시스템을 구현했다.
- 손 뎁스 영상으로부터 3D 손 동작을 인식하기 위해 3D 손 관절의 위치를 추정하는 Deep Residual Learning Network 기반 CNN Regressor 를 그림 2과 같이 설계하였다. Regressor 는 총 5개의 Convolution Layer, 3개의 Pooling Layer, 1개의 Fully-connected Layer 그리고 9개의 Bottlenect Layer 로 구성된다.
- 입력된 손 뎁스 영상의 3 차원 중심 좌표의 정확도를 높이기 위해 실시간으로 들어오는 프레임 당 중심점(Center of Mass, CoM)의 값들의 5개의 평균을 계산하여 최종 CoM을 결정한다. 이 후 깊이 정보에 따른 유동적인 손 추출을 위해 얻은 3차원 중심 좌표를 실제 좌표계에서 x, y 축으로 임계값을 설정하여 거리를 계산한 뒤 이를 2D 뎁스 영상 좌표계인 u, v로 변환하여 관심 영역(Region of Interests, ROI)을 추출한다. 3차원 좌표와 이미지 좌표를 서로 변환할 수 있는 수식(1)을 이용하면 3차원 실제 좌표에서 ROI의 좌표를 찾을 수 있다.
- 학습된 손 동작 인식 딥러닝 모델을 안드로이드 모바일 어플리케이션 가상현실(VR)에 이식하고, 뎁스 손영상으로부터 3D 손관절 위치를 추정하고, 추정된 관절 정보를 기반으로 3D 손동작을 재구성하였다. 인식된 손동작으로 HMD VR 상에서 가상 현실 내의 물체와 상호작용을 통하여 기능을 검증하였다.
- 입력된 손 뎁스 영상의 3 차원 중심 좌표의 정확도를 높이기 위해 실시간으로 들어오는 프레임 당 중심점(Center of Mass, CoM)의 값들의 5개의 평균을 계산하여 최종 CoM을 결정한다. 이 후 깊이 정보에 따른 유동적인 손 추출을 위해 얻은 3차원 중심 좌표를 실제 좌표계에서 x, y 축으로 임계값을 설정하여 거리를 계산한 뒤 이를 2D 뎁스 영상 좌표계인 u, v로 변환하여 관심 영역(Region of Interests, ROI)을 추출한다.
- 두 센서 모두 적외선을 감지하기 때문에 외부의 빛에 의한 오류가 발생할 수 있으므로 외부 환경을 제어하기 위해 암실로 박스를 제작하였다. 하부 Leap Motion 센서로 21 개의 관절 정보를 측정하여 저장하였고, 상부 Intel SR300 카메라로 1차원 손 뎁스 영상을 얻어 딥 러닝 학습에 적합한 1차원 시점 손동작 데이터베이스를 생성하였다. 두 기기의 초당 촬영하는 프레임 수가 다르기 때문에 PC 의 시스템 시간을 통해 뎁스 이미지에 대해 관절 데이터를 동기화하였다.
- 마지막으로 실시간 모바일 VR 3D 손 포즈 인식 시스템을 구현 검증하였다. 학습된 손 동작 인식 딥러닝 모델을 안드로이드 모바일 어플리케이션 가상현실(VR)에 이식하고, 뎁스 손영상으로부터 3D 손관절 위치를 추정하고, 추정된 관절 정보를 기반으로 3D 손동작을 재구성하였다. 인식된 손동작으로 HMD VR 상에서 가상 현실 내의 물체와 상호작용을 통하여 기능을 검증하였다.
- TensorFlow Mobile을 사용하여 구현한 딥 러닝 모델을 Freeze 및 Optimize Model을 통해 최적화하여 안드로이드 플랫폼에 이식하였다. 해당 모델을 통해 입력 뎁스 손 영상으로부터 3D 관절 정보를 추정하였다.
대상 데이터
- 손 뎁스 영상으로부터 3D 손 동작을 인식하기 위해 3D 손 관절의 위치를 추정하는 Deep Residual Learning Network 기반 CNN Regressor 를 그림 2과 같이 설계하였다. Regressor 는 총 5개의 Convolution Layer, 3개의 Pooling Layer, 1개의 Fully-connected Layer 그리고 9개의 Bottlenect Layer 로 구성된다. Bottlenect Layer는 Residual Network를 기반으로 하여 계산 복잡도와 연산 시간을 줄이기 위해 1x1 커널로 dimension을 줄이고 3x3 Convolution Layer 수행 후 마지막 1x1 커널로 다시 차원을 복구한다.
- 뎁스 센서로는 Time-of-Flight(ToF) 기반 PMD 사의 Pico Flex[16] 카메라를 사용하였다. 카메라는 Android 8.
- 본 연구에서 제안하는 손 동작 추정 모델을 학습, 검증하기 위해 i7-6850CPU, 16GB RAM, 4개의 NVIDIA Geforce GTX 1080 그래픽카드가 장착된 데스크탑을 사용하였다. Python2와 딥 러닝 프레임워크인 TensorFlow[12]를 사용하였다.
- 에러는 3차원 유클리드 거리고 계산하였다. 약 10,000 개의 학습용 데이터와 1500개의 테스트용 데이터를 사용했고, 평균 거리 에러는 6.312, 표준편차는 2.204의 결과를 갖는다. 기존 연구의 평균 거리 에러 10.
이론/모형
- 본 연구에서 제안하는 손 동작 추정 모델을 학습, 검증하기 위해 i7-6850CPU, 16GB RAM, 4개의 NVIDIA Geforce GTX 1080 그래픽카드가 장착된 데스크탑을 사용하였다. Python2와 딥 러닝 프레임워크인 TensorFlow[12]를 사용하였다.
- 모바일 디바이스에서 가상현실(VR) 환경을 구축하기 위하여 Unity3D[17]를 이용하였다. 실제 손 관절을 움직여서 실시간으로 가상현실의 물체를 잡아 옮기거나 화면을 터치하여 색을 변화시키는 상호작용이 가능하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.