깊이영상기반 렌더링(depthimage-based rendering, DIBR)이란 색상 영상과 각 화소에 대응하는 거리 정보로 이루어진 깊이 영상(depth map)을 이용하여 가상 시점에서의 영상을 합성하는 기술을 말한다. DIBR을 이용하면 3차원 TV에 적합한 컨텐츠를 생성할 수 있지만, 가상 시점에서의 영상을 합성하는 과정에서 원영상에 존재하지 않는 영역, 즉, 비폐색(disocclusion) 영역이 드러나는 등 여러 가지 문제가 발생한다. 본 논문에서는 구조광으로 깊이 정보를 획득하는 Kinect 깊이 카메라를 이용한 가상시점 영상생성 기술을 제안한다. 깊이 카메라로부터 색상 영상과 그에 대응하는 깊이 영상을 획득한 다음, 깊이 영상에 대한 전처리 기술을 수행한다. 전처리가 끝난 깊이 영상은 중간 시점으로 워핑되고, 워핑 과정에서 발생하는 절삭 오차를 제거하기 위해 Median 필터링을 적용한다. 그런 다음, 색상 영상은 워핑된 깊이 영상의 깊이 값을 사용해서 중간 시점으로 워핑된다. 비폐색(disocclusion) 영역을 채우기 위해 배경 기반의 인페인팅 기술을 적용한다. 실험 결과를 통해, 본 논문에서 제안한 방법이 자연스러운 스테레오 영상을 생성한 것을 확인할 수 있었다.
깊이영상기반 렌더링(depth image-based rendering, DIBR)이란 색상 영상과 각 화소에 대응하는 거리 정보로 이루어진 깊이 영상(depth map)을 이용하여 가상 시점에서의 영상을 합성하는 기술을 말한다. DIBR을 이용하면 3차원 TV에 적합한 컨텐츠를 생성할 수 있지만, 가상 시점에서의 영상을 합성하는 과정에서 원영상에 존재하지 않는 영역, 즉, 비폐색(disocclusion) 영역이 드러나는 등 여러 가지 문제가 발생한다. 본 논문에서는 구조광으로 깊이 정보를 획득하는 Kinect 깊이 카메라를 이용한 가상시점 영상생성 기술을 제안한다. 깊이 카메라로부터 색상 영상과 그에 대응하는 깊이 영상을 획득한 다음, 깊이 영상에 대한 전처리 기술을 수행한다. 전처리가 끝난 깊이 영상은 중간 시점으로 워핑되고, 워핑 과정에서 발생하는 절삭 오차를 제거하기 위해 Median 필터링을 적용한다. 그런 다음, 색상 영상은 워핑된 깊이 영상의 깊이 값을 사용해서 중간 시점으로 워핑된다. 비폐색(disocclusion) 영역을 채우기 위해 배경 기반의 인페인팅 기술을 적용한다. 실험 결과를 통해, 본 논문에서 제안한 방법이 자연스러운 스테레오 영상을 생성한 것을 확인할 수 있었다.
A depth image-based rendering (DIBR) technique is one of the rendering processes of virtual views with a color image and the corresponding depth map. The most important issue of DIBR is that the virtual view has no information at newly exposed areas, so called dis-occlusion. In this paper, we propos...
A depth image-based rendering (DIBR) technique is one of the rendering processes of virtual views with a color image and the corresponding depth map. The most important issue of DIBR is that the virtual view has no information at newly exposed areas, so called dis-occlusion. In this paper, we propose an intermediate view generation algorithm using the Kinect depth camera that utilizes the infrared structured light. After we capture a color image and its corresponding depth map, we pre-process the depth map. The pre-processed depth map is warped to the virtual viewpoint and filtered by median filtering to reduce the truncation error. Then, the color image is back-projected to the virtual viewpoint using the warped depth map. In order to fill out the remaining holes caused by dis-occlusion, we perform a background-based image in-painting operation. Finally, we obtain the synthesized image without any dis-occlusion. From experimental results, we have shown that the proposed algorithm generated very natural images in real-time.
A depth image-based rendering (DIBR) technique is one of the rendering processes of virtual views with a color image and the corresponding depth map. The most important issue of DIBR is that the virtual view has no information at newly exposed areas, so called dis-occlusion. In this paper, we propose an intermediate view generation algorithm using the Kinect depth camera that utilizes the infrared structured light. After we capture a color image and its corresponding depth map, we pre-process the depth map. The pre-processed depth map is warped to the virtual viewpoint and filtered by median filtering to reduce the truncation error. Then, the color image is back-projected to the virtual viewpoint using the warped depth map. In order to fill out the remaining holes caused by dis-occlusion, we perform a background-based image in-painting operation. Finally, we obtain the synthesized image without any dis-occlusion. From experimental results, we have shown that the proposed algorithm generated very natural images in real-time.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
하지만, 최근 개발된 Kinect 깊이 카메라는 상용화된 제품으로 가격이 저렴해서 일반인들도 쉽게 접할 수 있다는 장점이 있다. 따라서, 제안하는 방법은 상용화된 Kinect 깊이 카메라로부터 얻 은 깊이 영상의 정확도 개선을 위해 다양한 전처리 기술들을 사 용하고, 이 깊이 영상을 사용해서 자연스러운 가상의 시점을 생 성하는 것을 목표로 한다.
본 논문에서는 Kinect 깊이 카메라를 이용한 DIBR 기반의 스 테레오 영상 생성 방법을 제안한다. 기존의 기술에서 사용한 깊 이 카메라는 상당히 고가이기 때문에 상용화에는 무리가 있었다.
본 논문에서는 Kinect 깊이 카메라를 이용한 중간시점 영상생성 방법을 제안했다. 제안하는 방법은 자연스러운 시점 합성에 목표를 두었고, 이를 위해 깊이 영상 전처리와 영상 합성방법을 제안했다.
본 논문에서는 Kinect 깊이 카메라를 이용한 중간시점 영상생성 방법을 제안했다. 제안하는 방법은 자연스러운 시점 합성에 목표를 두었고, 이를 위해 깊이 영상 전처리와 영상 합성방법을 제안했다.
가설 설정
본 논문에서는 병렬 스테레오 카메라 배열을 사용한다고 가정한다. DIBR 기술을 이용한 스테레오 영상 생성 방법은 두가지로나뉠 수 있다.
필터 링을 적용하고자 하는 화소 p와 인접 화소 a가 있다고 가정하자. 해당 위치에서의 깊이값은 金, &가 되고, 화소값은 Ip, 4라고 했을 때, 결합형 양방향 필터링을 거친 깊이값 는 다음과 같이 계산된다.
제안 방법
제안하는 방법은 자연스러운 시점 합성에 목표를 두었고, 이를 위해 깊이 영상 전처리와 영상 합성방법을 제안했다. 또한, 결합형 양방향 필터, Median 필터, 3 차원 워핑 등의 깊이 영상 전처리 과정과 빈 영역 채움 및 배경 기반의 인페인팅을 이용한 영상 합성 기술을 제안했다. 실험 결과를 통해, 제안한 방법이 자연스러운 중간시점 영상을합성할 수 있었고 별도의 고속화 처리 없이도 초당 18.
제안하는 방법은 자연스러운 시점 합성에 목표를 두었고, 이를 위해 깊이 영상 전처리와 영상 합성방법을 제안했다. 또한, 결합형 양방향 필터, Median 필터, 3 차원 워핑 등의 깊이 영상 전처리 과정과 빈 영역 채움 및 배경 기반의 인페인팅을 이용한 영상 합성 기술을 제안했다. 실험 결과를 통해, 제안한 방법이 자연스러운 중간시점 영상을합성할 수 있었고 별도의 고속화 처리 없이도 초당 18.
그림 13. 원본 영상과의 겹침 영상
상의 겹침 영상을 보여줌으로써 제안한 방법의 스테레오 영상재생 성능을 평가한다
. 그림 13(a)와 그림 13(b)에서는 전경객체의 경계가 일치하지 않았지만, 제안한 방법에서는 경계가일치한 것을 확인할 수 있었다.
전처리 과정 후, 제안하는 방법은 깊이 영상에 대해 3차원 워핑을 수행한다. 3차원 워핑 기술이란 깊이값을 이용하여 원 영상의 화소들을 실제 공간 좌표계로 변환하고, 이를 다시 가 상 시점의 영상으로 재투영하는 과정을 의미한다.
[17], 인페인팅 기술은 첫 번째로인페인팅이 적용되는 영역 9와 이 영역의 경계 日黯 정의하고, ■。의 구성 화소 0를 주변 영역 으로 채운다. 제안하는 방법에서 우리는 전경 영역과 맞닿아 있는 경계를 반대편의 배경 영역으로 대체한 다음에 인페인팅 방법을 진행하는배경 기반의 인페인팅 방법을 사용한다. 이는 다음과 같은 수식으로 나타낼 수 있다.
방법을 제안했다. 제안하는 방법은 자연스러운 시점 합성에 목표를 두었고, 이를 위해 깊이 영상 전처리와 영상 합성방법을 제안했다. 또한, 결합형 양방향 필터, Median 필터, 3 차원 워핑 등의 깊이 영상 전처리 과정과 빈 영역 채움 및 배경 기반의 인페인팅을 이용한 영상 합성 기술을 제안했다.
방법을 제안했다. 제안하는 방법은 자연스러운 시점 합성에 목표를 두었고, 이를 위해 깊이 영상 전처리와 영상 합성방법을 제안했다. 또한, 결합형 양방향 필터, Median 필터, 3 차원 워핑 등의 깊이 영상 전처리 과정과 빈 영역 채움 및 배경 기반의 인페인팅을 이용한 영상 합성 기술을 제안했다.
제안하는 방법의 성능을 검증하기 위해 본 논문에서는 주관적 화질 평가와 각 단계별 소요 시간을 평가했다. Kinect 깊이카메라의 색상 영상과 깊이 영상의 해상도는 각각 640x480이며 깊이값을 측정하는 센서의 범위는 1.
대상 데이터
제안하는 방법은 Kinect 깊이 카메라를 사용한다. 이 카메 라는 연속적으로 사상되는 적외선 구조광으로부터 3차원 장 면의 거리 정보를 분석 및 획득한다. [13].
이론/모형
2002년부터 현재까지 유럽에서는 3차원 TV에 관한 연구를 꾸 준히 진행하고 있다. 그 가운데, ATTEST (advanced threedimensional television system technologies) 프로젝트는 3차원 컨텐츠 생성, 부호화, 전송 및 수신, 렌더링 및 재현의 4단계를 포함하는 새로운 3차원 방송 시스템을 소개했다 [3], 기존의 3차원 방송 시스템이 스테레오 영상 스트림을 다루는 것이었다면, ATTEST 프로젝트는 단일 시점의 색상 및 깊이 영상 스트림을 사용하는 깊이 영상 기반 렌더링 (depth image-based rendering, DIBR) 기술을 사용했다.
비폐색 영역을 채우기 위해서 제안하는 방법은 배경 기반의인페인팅 기술을 사용한다. [17], 인페인팅 기술은 첫 번째로인페인팅이 적용되는 영역 9와 이 영역의 경계 日黯 정의하고, ■。의 구성 화소 0를 주변 영역 으로 채운다.
가상 시점을 합성하는 과정에서 비폐색 영역이 발생하는 경우, 비폐색 영역에 대한 정보가 없기 때문에 이 부분을 얼마나 자연 스럽게 채우느냐가 합성 영상의 화질을 좌우한다. 이러한 문제를 해결하기 위해 Gaussian 필터를 사용하는 방법이 사용되었다. 이 방법은 깊이 영상의 경계 부분을 부드럽게 하여 비폐색 영역을 줄이는 간단한 방법이다.
빈 영역 채움 방법은 전처리 후에도 남게 되는 작은 크기의 빈 영역 영역을 채우기만 하면 된다. 이를 위해서는 내삽 (interpolation) 방법을 사용한다.
제안하는 방법은 Kinect 깊이 카메라를 사용한다. 이 카메 라는 연속적으로 사상되는 적외선 구조광으로부터 3차원 장 면의 거리 정보를 분석 및 획득한다.
성능/효과
또한, 결합형 양방향 필터, Median 필터, 3 차원 워핑 등의 깊이 영상 전처리 과정과 빈 영역 채움 및 배경 기반의 인페인팅을 이용한 영상 합성 기술을 제안했다. 실험 결과를 통해, 제안한 방법이 자연스러운 중간시점 영상을합성할 수 있었고 별도의 고속화 처리 없이도 초당 18.87 프레임으로 실시간 동작이 가능한 것을 확인했다.
또한, 결합형 양방향 필터, Median 필터, 3 차원 워핑 등의 깊이 영상 전처리 과정과 빈 영역 채움 및 배경 기반의 인페인팅을 이용한 영상 합성 기술을 제안했다. 실험 결과를 통해, 제안한 방법이 자연스러운 중간시점 영상을합성할 수 있었고 별도의 고속화 처리 없이도 초당 18.87 프레임으로 실시간 동작이 가능한 것을 확인했다.
표 1은 각 단계별 소요 시간을 보여준다. 제안한 방법은 초당 18.87 프레임으로 재생이 되기 때문에, 실시간을 위한 GPU 프로그래밍이나 고속화 기술 없이도 제안한 스테레오 영상 생성 방법이 실시간 처리가 가능함을 확인했다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.