[논문]다중 GPU 기반의 고속 다시점 깊이맵 생성 방법

고은상; 호요성

[국내논문] 다중 GPU 기반의 고속 다시점 깊이맵 생성 방법
Multi-GPU based Fast Multi-view Depth Map Generation Method 원문보기

한국방송공학회 2014년도 추계학술대회, 2014 Nov. 07, 2014년, pp.236 - 239

고은상 (광주과학기술원) , 호요성 (광주과학기술원)

초록
AI-Helper

3차원 영상을 제작하기 위해서는 여러 시점의 색상 영상과 함께 깊이 정보를 필요로 한다. 하지만 깊이 정보를 얻을 때 사용하는 ToF 카메라는 해상도가 낮으며 적외선 신호의 주파수 문제 때문에 최대 3대까지 사용할 수 있다. 따라서 깊이 정보를 색상 영상과 함께 사용하기 위해서 깊이 정보의 업샘플링이 필수적이다. 업샘플링은 깊이 정보를 색상 카메라 위치로 3차원 워핑하고 결합형 양방향 필터(joint bilateral filter, JBF)를 사용하여 빈 영역을 채우는 방법으로 진행된다. 업샘플링은 오랜 시간이 소요되지만 그래픽스 프로세싱 유닛(graphics processing units, GPU)를 이용하여 빠르게 수행될 수 있다. 본 논문에서는 다중 GPU의 병렬 수행을 통하여 빠르게 다시점 깊이맵을 생성할 수 있는 방법을 제안한다. 다중 GPU 병렬 수행은 범용 목적 GPU(general purpose computing on GPU, GPGPU) 중의 하나인 CUDA를 이용하였으며, 본 논문에서 제안된 방법을 이용하여 3개의 GPU 사용한 실험 결과 초당 35 프레임의 다시점 깊이맵을 생성했다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그 중의 하나인 CUDA는 C언어 기반으로 작성되었으며, 이식성과 확장성이 커서 CUDA를 사용한 프로그램은 고성능 GPU로 대체하거나 여러 개의 GPU 를 사용하여 프로그램의 속도를 이전보다 높일 수 있다 [1, 3]. 본 논문에서는 CUDA 다중 GPU를 사용한 다시점 깊이맵을 빠르게 생성하는 방법을 제안하고자 하며, [1]에서 제안된 방법보다 좀 더 효율적으로 다시점 깊이맵을 생성한다.
본 논문에서는 다중 GPU를 사용하여 빠르게 다시점 깊이맵을 생성할 수 있는 방법을 제안했다. 다시점 깊이 맵은 해상도가 낮은 깊이 영상을 색상 카메라 위치로 3차원 워핑을 하고 JBF를 수행하여 색상 영상의 해상도로 얻을 수 있었다.

제안 방법

C++의 표준 템플릿 라이브러리(standard template library, STL)를 이용하여 구현한 원형 큐는 여러 버퍼를 두어 GPU 메모리 간 데이터를 전송할 때 생기는 대기시간을 없애고 다음 프레임의 다시점 깊이맵을 생성할 수 있게 한다. [1]에서 제안된 방법에서는 원형 큐의 크기가 고정되었지만, 본 논문에서 제안된 방법은 다시점 깊이맵 생성 성능을 최대로 올리기 위해 GPU 메모리 사용량(occupancy)을 최대한 활용하도록 결정된다[1, 3].
색상 카메라 간의 간격은 사람의 미간거리이며, 깊이 카메라는 색상 카메라 밑에 균일한 간격을 두고 설치했다. 객체는 카메라와 2~3m 거리를 두고 배경과 쉽게 구분하기 위해 블루스크린 스튜디오에서 촬영을 진행했다.
GPU의 메모리 접근 방식은 메모리 단위가 4바이트일 때 더 빠르다. 따라서 제안된 방법에서는 다시점 깊이맵 생성에 필요한 모든 영상을 불러온 후, 영상 픽셀의 자료형을 4바이트 float로 변환한다. 픽셀 자료형 변환 작업은 긴 시간을 필요로 하므로 다시점 깊이맵 생성을 시작하기 전에 변환 작업을 수행하고, 각 처리할 GPU 마다 구분하여 배열에 모아놓는다.
본 논문에서 제안된 방법은 최대한 빠르게 다시점 깊이맵을 생성하기 위해 GPU 메모리로 할당된 원형 큐를 사용한다. C++의 표준 템플릿 라이브러리(standard template library, STL)를 이용하여 구현한 원형 큐는 여러 버퍼를 두어 GPU 메모리 간 데이터를 전송할 때 생기는 대기시간을 없애고 다음 프레임의 다시점 깊이맵을 생성할 수 있게 한다.
제안된 방법에서는 3차원 워핑에서 깊이 카메라의 파라미터 Rl-1·Al-1, Rl-1·tl 행렬, 색상 카메라의 Ar·Rr, Ar·tr 행렬과 JBF에서 필요한 가우시안 테이블을 나타내는 식 (6)-(8)을 미리 계산하고 전송해놓는다.
제안된 방법을 이용하여 다시점 깊이맵을 생성할 때 그림 1에서와 같이 8개의 색상 카메라와 3개의 깊이 카메라로 구성된 다시점 카메라 시스템을 사용했다. 3.
표 1과 표 2는 각각 [1]에서 제안된 다시점 깊이맵 생성 방법과 본 논문에서 제안된 다시점 깊이맵 생성 방법을 이용하여 GPU 개수와 생성한 프레임 수에 따른 다시점 깊이맵 생성 속도를 나타낸다. 생성 속도를 측정할 때, 3.

대상 데이터

제안된 방법을 이용하여 다시점 깊이맵을 생성할 때 그림 1에서와 같이 8개의 색상 카메라와 3개의 깊이 카메라로 구성된 다시점 카메라 시스템을 사용했다. 3.1절 첫 문단에서 설명했듯이, 다시점 깊이맵 생성에 최대로 사용할 수 있는 GPU 개수는 다시점 카메라 시스템에서의 깊이 카메라 개수만큼인데, 본 실험에서는 최대 3개의 그래픽카드를 이용하며, 모두 GeForce GTX TITAN 제품을 사용하였다. 실험에 따라 1개 또는 2개의 GPU를 사용해야 할 경우에는 CUDA에서 지원하는 함수를 이용하여 다른 GPU의 사용을 제한했다.

이론/모형

깊이 정보는 카메라에서 대상까지의 거리 값을 의미하며 여러 시점의 깊이 정보를 획득하기 위해서는 다시점 카메라 시스템을 이용해야 한다. 다시점 카메라 시스템에서 각 깊이 정보는 각각 다른 깊이 카메라에서 time-of-flight(ToF) 방법인 적외선 신호의 송수신 시간차를 측정하여 거리 값을 측정한다 [1, 2].

성능/효과

반면에, 실험 2-3 방법으로 다시점 깊이맵을 생성할 때, 각 GPU 메모리가 충분하여 원형 큐 크기가 크게 설정 되므로 원형 큐 공간이 재활용될 필요가 없었다. 따라서 동일한 조건으로 120 프레임의 다시점 깊이맵을 생성한 실험 2-6과 비교해볼 때, GPU 메모리 간 데이터를 전송할 때 발생하는 대기시간이 다시점 깊이맵 생성 속도에 큰 영향을 미치는 것을 알 수 있다.
다시점 깊이 맵은 해상도가 낮은 깊이 영상을 색상 카메라 위치로 3차원 워핑을 하고 JBF를 수행하여 색상 영상의 해상도로 얻을 수 있었다. 실험결과로는 원형 큐와 PPL을 사용하여 다중 GPU의 제약사항을 해결하여 단일 GPU 환경보다 압도적으로 빠르게 다시점 깊이맵을 생성했다. 또한 원형 큐의 크기를 고정한 [1]의 방법과 달리 GPU 메모리를 최대한 활용하도록 원형 큐의 크기를 설정하여 [1]의 방법보다 1 프레임의 다시점 깊이맵을 생성하여, 3개의 GPU를 사용했을 때 초당 35 프레임의 8시점 깊이맵을 생성했다.
표 2의 실험결과를 보면, 본 논문에서 제안된 다시점 깊이맵 방법에서는 GPU 메모리를 최대한으로 활용하여 원형 큐 크기를 크게 잡을 수 있었고 그만큼 대기시간이 줄어드는 결과, [1]의 방법보다 초당 약 1 프레임의 다시점 깊이맵을 더 생성했다. 그러나 GPU를 1개만 사용할 경우에는 GPU 메모리 간 전송하는 데이터가 더 많아지므로 오버헤드가 많이 발생하게 되며 오히려 성능이 떨어진 것을 볼 수 있다.

질의응답

핵심어	질문	논문에서 추출한 답변
	깊이 정보란?	보통 이러한 3차원 영상이 제작될 때 여러 시점의 깊이 정보가 필요하다. 깊이 정보는 카메라에서 대상까지의 거리 값을 의미하며 여러 시점의 깊이 정보를 획득하기 위해서는 다시점 카메라 시스템을 이용해야 한다. 다시점 카메라 시스템에서 각 깊이 정보는 각각 다른 깊이 카메라에서 time-of-flight(ToF) 방법인 적외선 신호의 송수신 시간차를 측정하여 거리 값을 측정한다 [1, 2].
	업샘플링은 어떠한 방법으로 진행되나?	따라서 깊이 정보를 색상 영상과 함께 사용하기 위해서 깊이 정보의 업샘플링이 필수적이다. 업샘플링은 깊이 정보를 색상 카메라 위치로 3차원 워핑하고 결합형 양방향 필터(joint bilateral filter, JBF)를 사용하여 빈 영역을 채우는 방법으로 진행된다. 업샘플링은 오랜 시간이 소요되지만 그래픽스 프로세싱 유닛(graphics processing units, GPU)를 이용하여 빠르게 수행될 수 있다.
	time-of-flight(ToF) 방법을 이용한 카메라는 어떠한 문제 때문에 최대 3대까지 사용할 수 있나?	3차원 영상을 제작하기 위해서는 여러 시점의 색상 영상과 함께 깊이 정보를 필요로 한다. 하지만 깊이 정보를 얻을 때 사용하는 ToF 카메라는 해상도가 낮으며 적외선 신호의 주파수 문제 때문에 최대 3대까지 사용할 수 있다. 따라서 깊이 정보를 색상 영상과 함께 사용하기 위해서 깊이 정보의 업샘플링이 필수적이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] 다중 GPU 기반의 고속 다시점 깊이맵 생성 방법
Multi-GPU based Fast Multi-view Depth Map Generation Method 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] 다중 GPU 기반의 고속 다시점 깊이맵 생성 방법 Multi-GPU based Fast Multi-view Depth Map Generation Method 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] 다중 GPU 기반의 고속 다시점 깊이맵 생성 방법
Multi-GPU based Fast Multi-view Depth Map Generation Method 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper