선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이에 본 연구에서는 정합과정에 소요되는 시간을 줄여 실시간 처리가 가능하도록 좌, 우 영상의 관심 영역을 대표하는 특징점을 얻어내고 특징점만을 비교하여 변이 추정(disparity estimation)에 필요한 비교 영역을 줄여 속도를 향상시키는 알고리즘을 제안한다. 또한 관심 영역의 움직임을 3차원 좌표로 추적하여 사용자에게 제공한다.
제안 방법
- 3차원 좌표가 마우스 포인터를 추적하는 동작을 수행하는 플레이어를 제작하였다. 또한 마우스 포인터의 움직임으로 제어하는 가상공간을 제작하여 플레이어와 연계시켜 주었다.
- 버튼을 통해 카메라로부터 얻은 좌, 우 원 영상과 알고리즘을 거쳐 변이 추정에 쓰이는 영상을 보여 주고 3차원 좌표를 마우스 포인터와 연결시키는 추적(tracking)동작과 OPENGL을 이용하여 제작한 가상공간은 별도의 버튼으로 동작 시키도록 하였다. 간단한 마우스의 동작을 설명하는 박스와 좌, 우 영상의 2차원 중심좌표, 그리고 알고리즘을 통해 추정한 특징점 간의 차이와 식(4)를 이용하여 얻은 실제 거리의 측정치를 실시간으로 보여주도록 제작하였다. 조명에 영향을 비교적 덜 받는 YUV 색차 구조를 사용하여 피부를 추출하지만 사용 환경에 따라 피부로 인식되는 색차 정보의 값도 유동적이기 때문에 사용자가 색차 정보를 조절할 수 있도록 컨트롤러로 구현하였다.
- 가상공간은 마우스 포인터의 움직임을 따라 미로 찾기를 할 수 있도록 제작하였다. 관심 영역의 상하, 좌우, 전후의 모든 움직임을 따르도록 제작하여 사용자는 관심 영역의 움직임으로 가상공간 상의 위치를 조정할 수 있도록 하였다.
- 이 같은 단점을 보안하기 위해 일반적으로 그림 5와 같은 영역 분할 기법을 사용하여 변이 추정에 있어 속도와 정확도를 높인다[1]. 그림 5와 같이 좌, 우 영상의 모든 관심 영역을 이용하여 변이를 추정하는 영역 분할 기법에 비해 본 논문에서는 좌, 우 관심 영역의 특정점을 추출하고 비교하는 방식으로 변이를 추정하여 빠른 속도의 변이 추정 기법을 제안한다. 관심 영역이 분리된 영상에서 관심 영역으로 판단한 모든 화소의 좌표 값을 더하여 그 개수로 나누어 수직, 수평적으로 평균이 되는 2차원 중심좌표를 얻어낸다.
- 다양한 변이 추정 기법 중에서 본 연구에서는 일정 영역의 영상조각(image patch)을 가지고 다른 영상과 상관관계를 이용하여 변이를 추정하는 영역기반(area-based)정합을 사용한다. 영역기반정합은 주로 마스크 단위로 비교하여 변이를 추정하는 형태이기 때문에 마스크의 크기에 따라 결과가 유동적이다.
- 3차원 좌표가 마우스 포인터를 추적하는 동작을 수행하는 플레이어를 제작하였다. 또한 마우스 포인터의 움직임으로 제어하는 가상공간을 제작하여 플레이어와 연계시켜 주었다. 3차원 가상공간은 OPENGL 이라는 API(application programming interface)를 사용하여 제작하였다.
- 그림 8은 모든 알고리즘과 동작을 포함하여 제작한 플레이어를 보여준다. 버튼을 통해 카메라로부터 얻은 좌, 우 원 영상과 알고리즘을 거쳐 변이 추정에 쓰이는 영상을 보여 주고 3차원 좌표를 마우스 포인터와 연결시키는 추적(tracking)동작과 OPENGL을 이용하여 제작한 가상공간은 별도의 버튼으로 동작 시키도록 하였다. 간단한 마우스의 동작을 설명하는 박스와 좌, 우 영상의 2차원 중심좌표, 그리고 알고리즘을 통해 추정한 특징점 간의 차이와 식(4)를 이용하여 얻은 실제 거리의 측정치를 실시간으로 보여주도록 제작하였다.
- 변이 추정을 하기 위한 여러 가지 방법 중에서 제안한 시스템에서는 관심 영역만 따로 분리하여 변이를 추정하는 방법을 사용한다. 이를 위해서는 관심 영역이 비관심 영역과 정확히 구분 되어야 한다.
- 본 논문에서 구현한 시스템에서는 스테레오 카메라로부터 획득한 좌, 우 영상을 기반으로 피부색이 가지는 색차 정보의 특징을 이용하여 관심 영역을 획득하고 각각의 중심좌표를 구하여 변이를 추정하여 깊이 정보를 추출한다. 중심좌표에 깊이 정보를 더하여 3차원 좌표를 완성하고 그 움직임으로 조작 가능한 가상공간을 제공한다.
- 본 논문에서 제안한 알고리즘을 사용하여 실시간 변이 추정의 성능을 검증하기 위해 거리에 따라 얻은 깊이 정보와 실제 거리 값과의 오차를 측정하는 실험을 진행하였다. 그림9는 카메라부터의 거리에 따른 좌, 우 영상의 특징점간의 좌표의 차이를 보여준다.
- 변환된 영상에서 관심 영역을 추출한고 변이를 추정한다. 제안한 시스템은 사용자가 쉽게 다룰 수 있도록 손을 관심 영역으로 정하였다. 사람의 피부색 분포는 색차 평면상에서 자연계의 다른 물체와 구분할 수 있는 식(1)과 같은 특징을 가지고 있다.
- 간단한 마우스의 동작을 설명하는 박스와 좌, 우 영상의 2차원 중심좌표, 그리고 알고리즘을 통해 추정한 특징점 간의 차이와 식(4)를 이용하여 얻은 실제 거리의 측정치를 실시간으로 보여주도록 제작하였다. 조명에 영향을 비교적 덜 받는 YUV 색차 구조를 사용하여 피부를 추출하지만 사용 환경에 따라 피부로 인식되는 색차 정보의 값도 유동적이기 때문에 사용자가 색차 정보를 조절할 수 있도록 컨트롤러로 구현하였다.
대상 데이터
- 74의 값을 얻어 내었다. 실험에 사용한 스테레오 카메라(모델명 : BUMBLEBEE XB3)의 B값(12)과 F값(60)을 식(4)에 대입하여 깊이 정보를 획득하였다. 식(5)와 식(6)을 통해 획득한 깊이 정보와 실제 거리의 오차와 평균 오차거리를 측정하였다.
이론/모형
- 또한 마우스 포인터의 움직임으로 제어하는 가상공간을 제작하여 플레이어와 연계시켜 주었다. 3차원 가상공간은 OPENGL 이라는 API(application programming interface)를 사용하여 제작하였다. 다음 그림 7은 제작한 가상공간을 보여준다.
성능/효과
- smoothing filter는 마스크의 크기에 따라 잡음 제거의 효과는 증가하지만 속도가 느려지는 단점이 존재한다. 본 논문에서는 여러 크기의 마스크로 실험해 본 결과 5x5 크기의 마스크가 가장 적합하였다. 아래의 그림 4는 hole filling과 smoothing filtering을 차례로 거친 영상의 결과를 보여준다.
- 실험 결과 근거리(20~150cm)에서는 비교적 높은 신뢰도를 보였지만 거리가 멀어져 200cm를 넘어가면서 부터 선형적으로 오차가 커지는 것을 확인 하였다. 실시간 처리를 위해 제안한 변이 추정 알고리즘이 근거리에서 비교적 정확한 변이를 추정하는 것을 확인 할 수 있었다.
- 표(1)과 그림(10)은 카메라부터의 거리에 따른 오차를 보여준다. 실험 결과 근거리(20~150cm)에서는 비교적 높은 신뢰도를 보였지만 거리가 멀어져 200cm를 넘어가면서 부터 선형적으로 오차가 커지는 것을 확인 하였다. 실시간 처리를 위해 제안한 변이 추정 알고리즘이 근거리에서 비교적 정확한 변이를 추정하는 것을 확인 할 수 있었다.
- 깊이 정보를 포함한 3차원 움직임을 가상공간을 통하여 사용자에게 실시간으로 보여주어 직접 조작하는 것 같은 현실감을 준다. 실험을 통하여 추출된 깊이 정보와 실제 거리와의 비교를 통하여 제안한 알고리즘을 통한 변이 추정의 정확성을 입증하였다.
- 이는 크기에 따른 연산량이 많아서 실시간(초당 15 frames 이상)으로 처리하기에 부적합하다. 연산량을 줄이기 위해 영상을 가로, 세로 각각 4배로 down sampling을 수행하여 크기를 320x240으로 줄여 연산해야 할 정보량를 1/16로 줄였다. 변환된 영상에서 관심 영역을 추출한고 변이를 추정한다.
- 그림 6은 중심좌표를 특징점으로 하여 변이를 추정하는 영역 분할 방식과 기존의 영역 분할 기법의 비교 범위의 차이를 보여준다. 제안한 변이 추정 방식은 변이를 추정하기 위해 비교하는 범위가 현저하게 줄어들어서 변이 추정하는 속도가 향상되었다.
- 중심좌표에 깊이 정보를 더하여 3차원 좌표를 완성하고 그 움직임으로 조작 가능한 가상공간을 제공한다. 제안한 특징점 기반의 변이 추정 방법은 빠른 속도를 위해 비교 영역을 상당히 축소하였지만 근거리에서 높은 신뢰도를 보였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.