선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 스테레오 카메라로 획득한 영상의 배경을 제거한 뒤 색상 정보를 이용한 새로운 분할 스테레오 정합기법을 제안하였다. 배경 영상을 제거한 뒤 마스크 영상으로 변환하여 초기 변이지도를 생성하였고, 배경이 제거된 영상에서 색상 정보를 이용하여 각 색상 변이지도를 구하고 이를 잘 조합하여 최종 변이지도를 생성하였다.
제안 방법
- 본 논문에서 새로이 제안하는 기법은 tele-presence 시스템과 같이 인물 위주의 스테레오 영상에 적합한 스테레오 정합 기법이다. 제안한 기법에서는 두 대의 스테레오 카메라로부터 획득 된 영상에서 비슷한 화소 값을 가지는 배경영역을 먼저 제거하게 된다.
- 본 논문에서 새로이 제안하는 기법은 tele-presence 시스템과 같이 인물 위주의 스테레오 영상에 적합한 스테레오 정합 기법이다. 제안한 기법에서는 두 대의 스테레오 카메라로부터 획득 된 영상에서 비슷한 화소 값을 가지는 배경영역을 먼저 제거하게 된다. 배경이 제거된 영상을 이용하여 초기 변이지도와 영상의 색상 정보를 이용한 분할 변이지도를 구하고, 이들을 적당히 조합하여 최종 변이지도를 획득한다[5].
- 제안한 기법에서는 두 대의 스테레오 카메라로부터 획득 된 영상에서 비슷한 화소 값을 가지는 배경영역을 먼저 제거하게 된다. 배경이 제거된 영상을 이용하여 초기 변이지도와 영상의 색상 정보를 이용한 분할 변이지도를 구하고, 이들을 적당히 조합하여 최종 변이지도를 획득한다[5].
- 스테레오 카메라를 통해 획득 된 영상에서 배경을 제거 한 후 남은 영역을 하나의 정합 창으로 인식하여 초기 변이지도를 구하게 된다. 배경이 제거 된 영상을 R, G, B, white의 4가지 색상 성분으로 분할하고, 각 색상 성분에서 독립적으로 분할 변이지도를 추정한다. 초기 변이지도는 최종 변이지도를 생성하기 위하여 분할 변이지도 획득 시 초기 값으로 이용된다.
- 초기 변이지도는 최종 변이지도를 생성하기 위하여 분할 변이지도 획득 시 초기 값으로 이용된다. 또한 분할된 변이지도는 계층적 스테레오 정합을 이용하여 R, G, B, white의 각 색상 성분으로 분할된 영역을 하나의 정합 창으로 사용하여 스테레오 정합 과정을 수행한다. 마지막으로 이렇게 생성된 각 색상 영역의 변이지도를 조합하여 최종 변이지도를 생성하게 된다.
- 본 논문에서 제안하는 스테레오 정합 기법은 크게 두 과정으로 이루어져 있다. 배경을 제거하여 초기 변이지도를 획득하는 과정과 영상의 색상 정보를 이용하여 영역을 분할한 후 변이지도를 획득하는 과정이다.
- 영상은 일반적으로 모서리, 경계 등에서 특징 점이 존재하며, 이러한 특징 점을 추출하기 위한 방법은 다양하다. 본 논문에서는 소벨(Sobel) 마스크를 이용하여 획득된 영상의 각 색상 성분으로부터 경계 성분을 추출하고, 이를 특징점으로 이용한다. 본 논문에서 사용된 소벨마스크는 그림 8과 같다.
- 본 논문에서는 point gray 사의 모델인 Grasshopper2 카메라를 이용하여 획득된 영상을 실험영상으로 하였다. 두 대의 카메라 간의 거리는 6.5cm를 유지하여 촬영하였으며 카메라 간 동기와 보정을 미리 수행하고 본 논문의 실험을 수행하였다.
- 본 논문에서는 스테레오 카메라로 획득한 영상의 배경을 제거한 뒤 색상 정보를 이용한 새로운 분할 스테레오 정합기법을 제안하였다. 배경 영상을 제거한 뒤 마스크 영상으로 변환하여 초기 변이지도를 생성하였고, 배경이 제거된 영상에서 색상 정보를 이용하여 각 색상 변이지도를 구하고 이를 잘 조합하여 최종 변이지도를 생성하였다.
대상 데이터
- 카메라를 통해 획득한 영상에서 스테레오 매칭에서 가장 불필요한 부분은 객체 영역을 제외한 배경 영역이다. 본 논문에서는 화상회의 시스템이라는 특징 때문에 배경의 변화가 크게 없는 상태에서 영상을 획득하게 된다. 따라서 스테레오 매칭 기법을 적용하기 전에 배경 영역을 획득하여 미리 메모리에 저장하고, 식 (1)을 이용하여 새로 획득 되는 영상과 화소 단위로 비교하여 배경 영역을 제거하게 된다[6,7].
- 이러한 조건을 이용하여 많은 배경 영역을 지울 수 있는 문턱 값을 선택하게 되고, 이 문턱 값보다 차이가 클 때는 객체 영역, 차이가 작을 때는 배경 영역으로 각각 판단하게 된다. 실험에서 사용한 K는 50, 100, 150, 200을 사용하여 객체를 손상 시키지 않으며 배경이 가장 많이 제거되는 150을 사용하였다. 배경제거 시 조명의 불일치, 빛의 반사, 그림자 생성 등의 이유로 그림 2(e)와 (f)와 같이 완벽히 배경이 제거가 되지 않는다.
- 본 논문에서는 point gray 사의 모델인 Grasshopper2 카메라를 이용하여 획득된 영상을 실험영상으로 하였다. 두 대의 카메라 간의 거리는 6.
데이터처리
- 제안한 기법은 기존의 동적 계획법과 가장 많이 사용되고 있는 영역기반 정합기법을 가지고 성능을 비교하였다. 동적 계획법과 영역기반 정합기법의 경우 배경영역이 아무 무늬가 없기 때문에 정합 창간의 화소 값의 차이가 없어 부정확한 변이지도를 생성하는 것을 확인 할 수 있었다.
성능/효과
- 동적 계획법(dynamic programming method)은 가려진 영역이 발생하는 영상의 경계에서 변이가 확산되는 현상 때문에 객체의 변이지도가 부정확하게 되는 결과를 초래한다. 반면에 본 논문에서 제안하는 기법을 이용하면 전경과 배경 간의 경계가 부정확하더라도 신뢰도 높은 변이지도를 생성할 수 있다.
- 영역기반 정합 기법에서 비슷한 화소 값이 많은 경우 발생하는 오류를 최소화 시켰으며, 각 색상 영역에서 정확한 변이지도를 검출함으로써 신뢰도 높은 최종 변이지도를 생성할 수 있었다. 특히, 직접 사용자가 획득한 영상에서 기존의 스테레오 정합 기법의 오류를 최소화하여 정확한 변이지도를 생성하였다.
- 영역기반 정합 기법에서 비슷한 화소 값이 많은 경우 발생하는 오류를 최소화 시켰으며, 각 색상 영역에서 정확한 변이지도를 검출함으로써 신뢰도 높은 최종 변이지도를 생성할 수 있었다. 특히, 직접 사용자가 획득한 영상에서 기존의 스테레오 정합 기법의 오류를 최소화하여 정확한 변이지도를 생성하였다.
- 제안한 방법에 의해 생성된 신뢰도 높은 변이 지도를 이용하면 가상 시점 영상을 더 정확하게 생성할 수 있다. 제안된 기법은 현재 사용되고 있는 3D 휴대폰 등 정확한 변이지도를 획득하는 분야와 관심영역의 실제 거리 측정이 필요한 로봇 비젼 분야 등에 활용될 수 있을 것으로 판단된다.
후속연구
- 제안한 방법에 의해 생성된 신뢰도 높은 변이 지도를 이용하면 가상 시점 영상을 더 정확하게 생성할 수 있다. 제안된 기법은 현재 사용되고 있는 3D 휴대폰 등 정확한 변이지도를 획득하는 분야와 관심영역의 실제 거리 측정이 필요한 로봇 비젼 분야 등에 활용될 수 있을 것으로 판단된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.