선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 CUDA를 이용한 결합형 양방향 필터를 이용하여 실시간으로 보정된 깊이 영상을 획득하는 방법에 대해서 살펴보았다. 또한 깊이 영상의 화질을 더욱 더 향상 시키기 위해서 계층별로 영상의 해상도를 조절하여 색상 영상과 깊이 영상을 구한 다음, 하위 계층에서 상위 계층으로 올라가면서 결합형 양방향 필터를 수행하여 최종적으로 모든 부분의 홀 영역이 채워진 깊이영상을 구하는 계층적 접근 방법도 사용했다.
- 본 논문에서는 결합형 양방향 필터를 기반으로 하여 실시간으로 깊이 오차를 제거하는 방법을 제안한다. 제안한 방법은 Kinect 깊이 카메라로부터 획득한 색상 영상을 이용 하여 깊이 영상에 대해 결합형 양방향 필터를 적용한다.
제안 방법
- 3장에서는 CUDA의 내부에서 계산 속도를 높이는 방법에 대해 자세히 살펴본다. 4장에서는 CPU와 GPU로 구현한 결합형 양방향 필터에 대해 주관적 화질과 계산시간을 비교하고 객관적인 화질 향상에 대한 평가를 위해 bad pixel rate를 측정하는 실험을 수행했다. 5장에서는 이러한 내용을 바탕으로 결론을 기술한다.
- 다음으로 화질향상에 대한 평가를 위해 bad pixel rate (BPR)를 측정하는 실험을 수행했다. 스테레오 매칭 알고리즘인 SSD 방법을 통해 얻은 깊이 영상과 여기에 계층적 결합형 양방향 필터를 수행시켜 나온 깊이 영상을 ground truth영상과 비교하여 bad pixel rate를 측정해 보았다[9].
- 하지만, 영상 내에 넓게 존재하는 폐색 영역을 채우기 위해서는 결합형 양방향 필터를 반복적으로 수행해야 한다. 따라서, 본 논문에서는 계층적 결합형 양방향 필터 구조를 통해 폐색 영역을 고속으로 채우는 방법을 사용한다. 해상도에 따라 계층을 나누어 하위 계층에서 상위 계층까지 반복적으로 결합형 양방향 필터를 수행하면 대부분의 홀이 채워진 깊이 영상을 얻을 수 있다.
- 2차원 영상 처리 어플리케이션에서는 이러한 공간 구역성이 잘 드러나는 경우를 많이 찾아볼 수 있기 때문에 CUDA의 텍스쳐 메모리는 2차원 영상 처리에 있어서 매우 우수한 성능을 보인다. 따라서, 제안하는 방법에서는 텍스쳐 메모리에 색상 영상과 깊이 영상을 미리 적재하고 결합형 양방향 필터의 계산 시에 빠르게 접근할 수 있도록 함으로써 실시간의 성능을 낼 수 있도록 설계를 했다.
- 본 논문에서는 CUDA를 이용한 결합형 양방향 필터를 이용하여 실시간으로 보정된 깊이 영상을 획득하는 방법에 대해서 살펴보았다. 또한 깊이 영상의 화질을 더욱 더 향상 시키기 위해서 계층별로 영상의 해상도를 조절하여 색상 영상과 깊이 영상을 구한 다음, 하위 계층에서 상위 계층으로 올라가면서 결합형 양방향 필터를 수행하여 최종적으로 모든 부분의 홀 영역이 채워진 깊이영상을 구하는 계층적 접근 방법도 사용했다. 원본 깊이 영상과 제안한 방법의 결과로 나온 깊이 영상의 화질을 비교하여 보았을 때 제안한 방법이 깊이 영상의 주관적 화질을 향상시킨 것을 확인했다.
- 또한, 계산 시간을 줄이기 위해서 결합형 양방향 필터 내부에서 계산할 가중치 인자를 쓰레드 함수 실행 이전에 미리 계산해두고, 그 값이 필요할 때에만 가져다 쓰는 방법을 사용했다. 그리고 이 가중치 인자는 GPU 내부의 다른 메모리들보다 상대적으로 읽기 접근 속도가 빠른 상수 메모리에 저장하여 수행 속도를 더욱 향상시킨다.
- 계층 수가 늘어날수록 깊이 영상의 화질이 개선되는 것을 확인했다. 먼저 1개의 계층을 사용한 깊이 영상에서 좌상단의 물체에 대해 찌그러진 형태의 깊이 정보를 획득했다[7]. 하지만 4개의 계층을 사용한 깊이 영상에서는 물체 원형 그대로의 깊이 정보를 획득했다.
- 먼저 Kinect로부터 얻은 깊이 영상과 색상 영상을 2차원 영상 처리에 적합하게 설계된 CUDA의 텍스쳐 메모리에 적재한 다음, 이 영상에 대한 결합형 양방향 필터 계산을 병렬 수행한다. 단일 화소에 대한 결합형 양방향 필터 계산을 GPU의 쓰레드 함수 하나에 할당하고 영상에 존재하는 화소의 개수만큼 쓰레드를 동시에 수행함으로써 속도를 개선시킨다.
- 그림 5는 계층 사이의 깊이 영상 보정 과정을 자세하게 표현한 그림이다. 먼저 각 계층의 영상을 생성한 뒤에 가장 하위 계층에서 그 계층의 색상 영상과 깊이 영상을 이용하여 결합형 양방향 필터를 수행한다. 이 결과로 나온 깊이 영상을 상위 계층의 깊이 영상에서 깊이 값이 없는 폐색 영역에 복사한다.
- CUDA는 GPU를 이용한 대용량의 데이터에 대한 병렬 계산을 하는데 기반이 되는 통합 개발 환경이다. 본 논문에서는 CUDA를 이용하여 앞서 소개한 결합형 양방향 필터의 연산을 병렬적으로 수행함으로써 계산 시간을 줄인다.
- 다음으로 화질향상에 대한 평가를 위해 bad pixel rate (BPR)를 측정하는 실험을 수행했다. 스테레오 매칭 알고리즘인 SSD 방법을 통해 얻은 깊이 영상과 여기에 계층적 결합형 양방향 필터를 수행시켜 나온 깊이 영상을 ground truth영상과 비교하여 bad pixel rate를 측정해 보았다[9]. 그림 9와 표 2는 그 결과를 보여주고 있다.
- 그리고 결합형 양방향 필터에서 σR의 값은 5, σD의 값은 30으로 설정했다. 여기서는 결합형 양방향 필터를 한번 수행한 것을 기준으로 삼고 각각 CPU와 GPU로 구현하여 결과를 도출했다.
- 상수메모리는 DRAM에 있는 데이터를 읽기 전용으로 사용하며 캐시를 지원하는데 최초로 읽어오는 데이터는 DRAM에서 가져오기 때문에 GPU클럭으로 최소 400, 최대 500 사이클이 소요되지만 한번 캐시에 올라온 값을 반복하여 재사용할 때는 레지스터와 동일한 속도로 사용할 수 있게 되어 데이터에 빠르게 접근할 수 있도록 도와준다. 이러한 방법을 사용하여 본 논문에서는 상수 메모리와 미리 계산된 가중치 인자를 이용해서 속도를 향상시킨다.
- 제안하는 방법에서는 Kinect로부터 얻은 동일한 장면에 대한 깊이 영상과 색상 영상을 앞서 설명한 CUDA를 이용 하여 구현된 결합형 양방향 필터를 통해 실시간으로 보정한다. 그림 2는 CUDA를 이용한 결합형 양방향 필터의 순서도를 나타낸다.
- 본 논문에서는 결합형 양방향 필터를 기반으로 하여 실시간으로 깊이 오차를 제거하는 방법을 제안한다. 제안한 방법은 Kinect 깊이 카메라로부터 획득한 색상 영상을 이용 하여 깊이 영상에 대해 결합형 양방향 필터를 적용한다. 이 필터는 성능을 결정하는 다양한 인자와 Gaussian 함수와 같은 복잡한 수식이 포함되는 필터이기 때문에, 이를 실시간으로 처리하도록 구현하기 위해 CUDA (compute unified device architecture) 병렬 프로그래밍을 통해 각 화소에 대한 계산을 동시에 처리함으로써 수행시간을 줄인다.
- 제안한 방법은 연산 속도 향상을 위해 결합형 양방향 필터에서 사용되는 가중치 인자들을 미리 계산한 뒤 그 값을 CUDA에서 제공하는 상수 메모리에 저장하고 실제 계산 수행 시에는 이를 참조하여 쓰는 방법을 사용했다. 상수메모리는 DRAM에 있는 데이터를 읽기 전용으로 사용하며 캐시를 지원하는데 최초로 읽어오는 데이터는 DRAM에서 가져오기 때문에 GPU클럭으로 최소 400, 최대 500 사이클이 소요되지만 한번 캐시에 올라온 값을 반복하여 재사용할 때는 레지스터와 동일한 속도로 사용할 수 있게 되어 데이터에 빠르게 접근할 수 있도록 도와준다.
대상 데이터
- 영상의 해상도는 색상 영상과 깊이 영상 모두 640x480이다. Kinect에서 기본적으로 획득한 영상의 해상도는 색상 영상이 640x480이고 깊이 영상이 320x240이지만 OpenNI의 depth generator 를 사용하여 깊이 영상에 대해서 640x480으로 업샘플링한 영상을 사용했다. 그리고 결합형 양방향 필터에서 σR의 값은 5, σD의 값은 30으로 설정했다.
- 하지만 4개의 계층을 사용한 깊이 영상에서는 물체 원형 그대로의 깊이 정보를 획득했다. 또한 Kinect 깊이 카메라의 시야각 때문에 영상의 테두리 부분에서 깊이 값을 얻지 못하는 부분이 존재했는데 이러한 부분에서도 계층 수를 늘려감에 따라 적절한 깊이 값으로 채워진 영상을 획득했다. 그리고 탁자의 오른쪽 영역에서 생긴 홀 부분도 탁자에 대한 깊이 값으로 채워주고 있는 것을 알 수 있다.
- 표 1은 다양한 영상 샘플에 대해서 CPU와 GPU를 이용하여 계산한 수행 시간을 나타낸 것이다. 영상은 컴퓨터 비전 분야에서 잘 알려진 middlebury 사이트에서 제공하는 영상을 사용했고 그 중에 venus, tsuku- ba, cones의 총 3개의 영상 시퀀스에 대해서 실험을 수행했다. 각 영상에서 실험 결과를 통해 GPU를 사용한 경우 약 5000배 이상의 수행 시간 단축 효과가 있음을 확인했다.
성능/효과
- 영상은 컴퓨터 비전 분야에서 잘 알려진 middlebury 사이트에서 제공하는 영상을 사용했고 그 중에 venus, tsuku- ba, cones의 총 3개의 영상 시퀀스에 대해서 실험을 수행했다. 각 영상에서 실험 결과를 통해 GPU를 사용한 경우 약 5000배 이상의 수행 시간 단축 효과가 있음을 확인했다. 결합형 양방향 필터에서 σR의 값은 15로 설정하고 σD의 값은 venus와 tsukuba 영상의 경우에는 10, cones 영상의 경우에는 0.
- 그림 6은 계층 수를 늘려감에 따라 계층적 접근법을 수행한 결과이다. 계층 수가 늘어날수록 깊이 영상의 화질이 개선되는 것을 확인했다. 먼저 1개의 계층을 사용한 깊이 영상에서 좌상단의 물체에 대해 찌그러진 형태의 깊이 정보를 획득했다[7].
- 원본 깊이 영상과 제안한 방법의 결과로 나온 깊이 영상의 화질을 비교하여 보았을 때 제안한 방법이 깊이 영상의 주관적 화질을 향상시킨 것을 확인했다. 또한, CPU로 수행된 방법과 GPU로 수행된 방법을 비교하여 보았을 때, 화질 면에서는 동일한 화질 향상 수준을 보이지만 수행 시간 면에서는 GPU 프로그래밍을 이용하여 결합형 양방향 필터를 수행한 것이 CPU 프로그래밍을 이용했을 때보다 현저하게 빠른 것을 확인했다. 실험 결과는 초당 55장면을 처리할 수 있는 속도를 나타냈는데 이는 카메라로부터 입력되는 깊이 영상을 실시간으로 처리하기에 충분한 속도임을 확인했다.
- 또한, CPU로 수행된 방법과 GPU로 수행된 방법을 비교하여 보았을 때, 화질 면에서는 동일한 화질 향상 수준을 보이지만 수행 시간 면에서는 GPU 프로그래밍을 이용하여 결합형 양방향 필터를 수행한 것이 CPU 프로그래밍을 이용했을 때보다 현저하게 빠른 것을 확인했다. 실험 결과는 초당 55장면을 처리할 수 있는 속도를 나타냈는데 이는 카메라로부터 입력되는 깊이 영상을 실시간으로 처리하기에 충분한 속도임을 확인했다. 화질향상에 대한 객관적인 평가를 위해서 스테레오 매칭의 결과로 얻은 깊이 영상과 여기에 계층적 결합형 양방향 필터를 적용하여 얻은 깊이 영상에 대해서 bad pixel rate를 비교하여 본 논문에서 제안한 방법이 더낮은 bad pixel rate를 나타냄을 확인했다.
- 또한 깊이 영상의 화질을 더욱 더 향상 시키기 위해서 계층별로 영상의 해상도를 조절하여 색상 영상과 깊이 영상을 구한 다음, 하위 계층에서 상위 계층으로 올라가면서 결합형 양방향 필터를 수행하여 최종적으로 모든 부분의 홀 영역이 채워진 깊이영상을 구하는 계층적 접근 방법도 사용했다. 원본 깊이 영상과 제안한 방법의 결과로 나온 깊이 영상의 화질을 비교하여 보았을 때 제안한 방법이 깊이 영상의 주관적 화질을 향상시킨 것을 확인했다. 또한, CPU로 수행된 방법과 GPU로 수행된 방법을 비교하여 보았을 때, 화질 면에서는 동일한 화질 향상 수준을 보이지만 수행 시간 면에서는 GPU 프로그래밍을 이용하여 결합형 양방향 필터를 수행한 것이 CPU 프로그래밍을 이용했을 때보다 현저하게 빠른 것을 확인했다.
- 이렇게 갱신된 깊이 영상과 해당 계층의 색상 영상을 이용하여 다시 결합형 양방향 필터를 수행한다. 이 결과로 나온 보정된 깊이 영상을 이용하여 다시 상위 계층의 깊이 영상에서 깊이 값이 없는 폐색 영역에 복사하고 결합형 양방향 필터를 수행하는 일련의 과정을 가장 상위 계층에 도달할 때까지 반복하여 수행하면 최종적으로 대부분의 폐색 영역이 채워진 깊이 영상을 얻을 수 있다. 그림 6은 계층 수를 늘려감에 따라 계층적 접근법을 수행한 결과이다.
- 화질향상에 대한 객관적인 평가를 위해서 스테레오 매칭의 결과로 얻은 깊이 영상과 여기에 계층적 결합형 양방향 필터를 적용하여 얻은 깊이 영상에 대해서 bad pixel rate를 비교하여 본 논문에서 제안한 방법이 더낮은 bad pixel rate를 나타냄을 확인했다. 이를 통해 제안한 방법이 물체의 경계를 잘 맞추고 있어 3차원 물체를 더 잘 표현하고 있는 것을 확인했다.
- 두 결과가 완전히 같기 때문에 차이 영상을 구해보면 영상 전체가 완전히 검은색인 영상을 얻게 된다. 하지만 수행 시간의 관점에서 비교를 해보았을 때 GPU 프로그래밍을 이용하여 필터를 수행한 것이 CPU 프로그래밍을 이용했을 때보다 현저하게 빠른 것을 확인할 수 있었다. 표 1은 다양한 영상 샘플에 대해서 CPU와 GPU를 이용하여 계산한 수행 시간을 나타낸 것이다.
- 실험 결과는 초당 55장면을 처리할 수 있는 속도를 나타냈는데 이는 카메라로부터 입력되는 깊이 영상을 실시간으로 처리하기에 충분한 속도임을 확인했다. 화질향상에 대한 객관적인 평가를 위해서 스테레오 매칭의 결과로 얻은 깊이 영상과 여기에 계층적 결합형 양방향 필터를 적용하여 얻은 깊이 영상에 대해서 bad pixel rate를 비교하여 본 논문에서 제안한 방법이 더낮은 bad pixel rate를 나타냄을 확인했다. 이를 통해 제안한 방법이 물체의 경계를 잘 맞추고 있어 3차원 물체를 더 잘 표현하고 있는 것을 확인했다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.