선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 FPGA와 GPU를 이용한 실시간 무안경 3차원 비디오 영상을 생성하는 시스템을 소개하였다. 메모리 사용량이 비교적 적고 많은 수의 비트 연산이 필요한 스테레오 정합을 FPGA 기반으로 구현하였으며, 메모리 사용량이 많고 임의의 메모리 접근이 빈번한 중간 영상 합성 모듈은 GPU 기반으로 구현한 후 이종 간의 모듈을 결합하여 하나의 통합된 시스템으로 구성하였다.
- 이러한 스테레오 정합 기반 영상 합성 기법과 관련된 오토스테레오스코픽 디스플레이용 콘텐츠를 생성하기 위해 다시점(multiview) 영상을 고속으로 생성하는 방법에 대한 연구사례가 있었다. F.
제안 방법
- 그 다음에는 인접한 4 방향에서 양방향 필터링(bilateral filtering)이 수행된다. 4 방향으로 연결된 이웃한 점에서 정확한 정합 결과를 참고하여 라인 사이의 일관성을 보완한다. 개선된 변이 영상은 그림 4에서 확인할 수 있다.
- 연산 시간을 보면 실시간 재생기준이 되는 30 fps에 못 미치는데, 이는 그림 5처럼 다중 GPU 시스템을 구성하여 속도를 30fps까지 높일 수 있었다. FPGA에서 출력되는 변이 영상을 호스트의 버퍼를 거쳐 두 GPU 장치가 동시에 병렬로 수행할 수 있게 프레임이 분배되도록 구성하였다. 실험에 사용된 GPU 디바이스는 NVIDIA사의 Geforce GTX 690이며 CUDA를 기반으로 구현하였다.
- 본 논문에서는 FPGA와 GPU를 이용한 실시간 무안경 3차원 비디오 영상을 생성하는 시스템을 소개하였다. 메모리 사용량이 비교적 적고 많은 수의 비트 연산이 필요한 스테레오 정합을 FPGA 기반으로 구현하였으며, 메모리 사용량이 많고 임의의 메모리 접근이 빈번한 중간 영상 합성 모듈은 GPU 기반으로 구현한 후 이종 간의 모듈을 결합하여 하나의 통합된 시스템으로 구성하였다. 또한, 영상 합성 모듈의 연산 속도를 실시간까지 올리기 위해 다중 GPU 시스템을 구성하여 실시간까지 속도를 높일 수 있었다.
- 본 논문에서는 스테레오/다시점 변환 기법을 스테레오 정합 모듈과 다시점 영상 합성 모듈의 두 부분으로 나누고 두 모듈을 이종의 장치에서 독립적으로 구현을 하였다. 스테레오 정합과 다시점 영상 생성은 모두 계산 집약적인 기법이며 실시간 동작을 위해서는 고속화 기법이 필요하며, 실제로 고속화를 위해 FPGA 기반 하드웨어 구현 방법과 GPU 기반의 병렬처리 소프트웨어 구현 방법이 널리 쓰이고 있다.
- 먼저 수직방향으로 투표 과정(vertical voting)을 거친다. 수평 단위로 발생하는 잡음을 수직방향의 정보를 더 포함하여 잡음을 완화하는 방법으로써, dmax +1(dmax는 최대 변이 레벨)만큼의 히스토그램을 구성하고 기준 화소의 상하 수직 방향에 위치한 N개의 변이에 대해서 화소의 색상 차이가 일정 문턱치(threshold)값보다 작은지를 확인하여 유사도가 가장 높은 변이를 투표를 통해 선정한다. 이런 과정을 거치면 넓은 영역에서 발생되는 띠 모양의 변이 잡음이 효과적으로 제거된다.
- Jin은 Census transform 기반의 스테레오 정합 시스템을 개발하였다. 영상 정렬, 좌우 일관성 검사, 유일성 검사 등의 전후처리까지 모두 포함하여 하나의 FPGA로 구현하였다. VGA(640x480) 해상도 영상에서 64 화소의 변이 범위 내로 230 fps까지 깊이 정보를 생성할 수 있다[3].
- 이에 따라 본 논문에서는 비트 연산이 많은 스테레오 정합 모듈은 FPGA 기반으로, 4K 해상도 이상의 메모리 접근이 필요한 다시점 영상 합성 모듈은 GPU 기반으로 하여, 각각을 이종의 장치(hybrid system)에서 구현하였으며, 스테레오 정합 모듈에서는 실시간성에 주로 초점을 두고 고속으로 초기 변이값을 구한 후에 수직방향의 투표 과정과 양방향 필터링 기법을 이용하여 변이 영상을 개선한다. 개선된 변이 영상은 영상 합성에 사용되며, 이후의 다시점 영상 합성 과정은 모두 GPU기반으로 구현되었다.
- 이에 유사하게 본 논문에서도 스테레오 정합을 두 과정으로 분리하여 실시간성에 중점을 두는 지역적 스테레오 정합 방법을 이용하여 고속으로 초기 변이값을 구한 후 수직 방향 투표 과정과 양방향 필터링을 이용하여 변이정보를 개선한다. 초기 변이 영상을 고속으로 추출하기 위해 동적 프로그래밍(Dynamic programming) 기반으로 한 스테레오 정합 방법을 FPGA로 구현한 모듈을 사용한다.
대상 데이터
- . HD 크기의 스테레오스코픽 영상을 입력받아서 최종적으로 qHD(quarter-HD)크기의 9개 중간 영상을 20fps의 속도로 생성하였다. 라인 단위로 처리하는 알고리즘 특성상 변이 결과영상에서 수평 방향으로 띠 모양으로 변이가 어긋나는 잡음(streaking artifacts)이 발생되었으며, 품질과 실시간 성능면에서 부족한 면이 있었다.
- 본 시스템은 크게 두 블록을 구성되는데, 첫 번째는 FPGA 기반의 변이 추출 블록이며, 두 번째는 GPU 기반의 중간 영상 합성 블록이다.
- FPGA에서 출력되는 변이 영상을 호스트의 버퍼를 거쳐 두 GPU 장치가 동시에 병렬로 수행할 수 있게 프레임이 분배되도록 구성하였다. 실험에 사용된 GPU 디바이스는 NVIDIA사의 Geforce GTX 690이며 CUDA를 기반으로 구현하였다.
- 변환된 영상은 중간 영상 합성 단계의 입력 영상으로 쓰이며, FPGA 변이 추출 모듈에서 전송된 영상을 이용하여 가로 1280, 세로 720 해상도를 가진 9개의 중간 시점 영상을 생성한 후에 목표 디스플레이의 규격에 맞게 부분 화소 단위로 재배치 하는 시점 다중화(view multiplexing) 과정을 거쳐 최종적으로 4K 해상도의 영상이 4K 디스플레이에서 재생된다. 실험에 사용된 무안경 다시점 디스플레이는 그림 2에 보이는 Toshiba의 55인치 4K 무안경 다시점 디스플레이이다.
- 0 인터페이스를 통해 입출력되는 영상의 대역폭은 각각 600 Mbps, 300 Mbps이다. 영상 변환은 Spatran6 FPGA를 사용하였으며, 스테레오 정합과 변이 영상 개선은 둘 다 Kintex-7 FPGA를 사용하였다.
이론/모형
- 이번 장에서는 그림 1에 나타낸 제안 시스템의 전체 구조를 설명한다. 기본적으로 영상 생성은 DIBR(Depth-image-based rendering) 방식을 사용하였으며, 입력되는 스테레오 영상으로부터 좌우 각각에 대해 변이를 추출한 뒤 변이를 이용하여 중간 시점에서의 영상을 합성한다.
- Zilly는 카메라 사이의 거리인 베이스라인(baseline)이 좁은 경우와 넓은 경우를 모두 촬영할 수 있도록 4개의 카메라가 장착된 다시점 영상 획득 카메라 시스템으로 MVD(multi-view plus depth)를 실시간 생성이 가능하게 하는 시스템을 개발하였다[1]. 깊이 영상(depth map) 추출을 위해 라인 단위의 혼합형 재귀 정합 방법(L-HRM)을 사용하여 초기 깊이 영상을 구하였고, 교차형 양방향 중앙값 필터링(cross-bilateral median filter)을 이용하여 깊이 영상을 개선하였다[2]. 교차형 양방향 중앙값 필터링 방법은 경계부분을 보존하는 특성을 지닌 양방향 필터링(bilateral filtering)을 기반으로 한 방법으로서 좌우 일관성 검사(left right consistency check)와 주변 화소와의 제로 평균 상호 상관성(zero-normalized cross-corelation)을 통해 계산된 가중치를 토대로 중앙값을 구하는 가중치 중앙값 필터링 방법(weighed median filtering)을 통해 깊이 정보를 개선한다.
- 실시간 스테레오 정합 방법으로서 Trellis 동적 프로그래밍(Dynamic programming) 기법을 사용하였다. 먼저 좌우 영상의 중앙에 위치한 중앙 변이맵(centered disparity map)을 구한 후, 좌우 영상으로 변환을 한다[7].
- 입력된 변이 영상은 해상도가 원본 영상의 1/4 크기로 생성되었으므로 이를 다시 HD 해상도에 맞게 변환해 주는 과정이 필요하다. 여기서는 간단한 변이 확대(disparity upsampling) 방법을 이용하였다.
- 이에 유사하게 본 논문에서도 스테레오 정합을 두 과정으로 분리하여 실시간성에 중점을 두는 지역적 스테레오 정합 방법을 이용하여 고속으로 초기 변이값을 구한 후 수직 방향 투표 과정과 양방향 필터링을 이용하여 변이정보를 개선한다. 초기 변이 영상을 고속으로 추출하기 위해 동적 프로그래밍(Dynamic programming) 기반으로 한 스테레오 정합 방법을 FPGA로 구현한 모듈을 사용한다.
- 하드웨어 구현이 가능한 Mini-Census transform과 Variable-Cross 스테레오 정합 알고리즘을 사용하여 FPGA로 구현하였고, 1024×768 해상도인 영상을 60fps까지 깊이 정보를 생성할 수 있다[4].
성능/효과
- 또한, 영상 합성 모듈의 연산 속도를 실시간까지 올리기 위해 다중 GPU 시스템을 구성하여 실시간까지 속도를 높일 수 있었다. 결과로서 제안된 시스템은 HD 스테레오스코픽 영상을 받아 9개의 HD 중간시점 영상을 30fps 속도로 생성한 후 4K 해상도인 하나의 최종 출력 영상으로 다중화하어 다시점 디스플레이에 재생한다.
- 메모리 사용량이 비교적 적고 많은 수의 비트 연산이 필요한 스테레오 정합을 FPGA 기반으로 구현하였으며, 메모리 사용량이 많고 임의의 메모리 접근이 빈번한 중간 영상 합성 모듈은 GPU 기반으로 구현한 후 이종 간의 모듈을 결합하여 하나의 통합된 시스템으로 구성하였다. 또한, 영상 합성 모듈의 연산 속도를 실시간까지 올리기 위해 다중 GPU 시스템을 구성하여 실시간까지 속도를 높일 수 있었다. 결과로서 제안된 시스템은 HD 스테레오스코픽 영상을 받아 9개의 HD 중간시점 영상을 30fps 속도로 생성한 후 4K 해상도인 하나의 최종 출력 영상으로 다중화하어 다시점 디스플레이에 재생한다.
- HD 크기의 스테레오스코픽 영상을 입력받아서 최종적으로 qHD(quarter-HD)크기의 9개 중간 영상을 20fps의 속도로 생성하였다. 라인 단위로 처리하는 알고리즘 특성상 변이 결과영상에서 수평 방향으로 띠 모양으로 변이가 어긋나는 잡음(streaking artifacts)이 발생되었으며, 품질과 실시간 성능면에서 부족한 면이 있었다.
- 각각은 모두 장단점을 가지는 데 이와 관련된 연구 사례가 있었다[6]. 실시간 기반의 광류 계산(optical flow), 스테레오 정합과 지역적 특징점 추출 기법 측면에서 FPGA 와 GPU의 성능을 비교하였는데, GPU 기반의 구현 결과가 FPGA 기반 구현 결과 대비 대체적으로 우수한 결과를 보였다. 생산비용과 소비전력 측면에서의 고려를 제외하면 FPGA는 메모리 사용량이 적고 많은 수의 비트 연산이 필요한 알고리즘에 강점을 보이며, GPU는 영상 워핑(image warping) 혹은 렌더링과 같이 메모리 사용량이 많은 경우와 임의의 메모리 접근이 필요한 텍스처(texture) 처리와 같은 영상 처리 알고리즘에 강점을 보인다.
- 여기서 한 가지 주목할 점은 차이 제곱값의 합(sum of squared differences)과 같이 지역적 스테레오 정합(local stereo matching) 방법 중에 비교적 간단한 정합 방법으로 초기 변이 영상을 먼저 구한 후에 경계 부분을 보존하는 유도영상 필터(guided image filtering)를 사용하여 변이 영상을 개선하는데 품질과 속도 면에서 상당히 좋은 결과를 보였다는 것이다.
- 합성된 영상의 품질을 객관적 수치로 측정하기 위해 다시점 카메라 영상이 있는 MPEG GIST Cafe (그림 6.(h))의 카메라 시점 영상의 위치에 중간 시점을 생성하여 카메라 시점과 중간 합성 영상의 크기를 맞추어 두 영상 간의 PSNR을 측정한 결과 31dB 정도가 나옴을 확인하였다.
후속연구
- 향후에는 변이 영상의 품질을 더욱 향상시키기 위해 원본 영상을 유도영상(guidance image)으로 이용하여 가중치기반 중앙값 필터링(weighted median filtering)으로 변이 영상을 실시간으로 개선하는 방법을 구현, 적용할 예정이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.