초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문에서는 배경과 오브젝트 합성 시 사실적인 그림자 효과를 표현하기 위해 HDR 영상을 기반으로 한 소수의 방향성 광원을 추정하는 기법을 제안한다. 실 세계 정보를 모두 포함하는HDR 영상을 가시화 하기 위해 톤 맵핑(tone mapping)하여 그 영상으로부터 광원의 위치가 되는 밝은 영역들을 찾아내고 그 위치들로부터 방향성 광원을 추정한다. 카메라의 노출시간을 짧게 하여 촬영한 영상에서 나타나는 부분을 실제 광원이 위치하는 부분으로 볼 수 있으므로 톤 맵핑한 영상을 이미지 프로세싱을 거쳐 노출 시간을 짧게 하여 촬영한 영상과 비슷한 결과를 얻을 수 있도록 한 후 밝은 영역만 표현 되도록 한다. 전 처리를 거친 영상을 기반으로 밝은 영역을 추정하기 때문에 보다 정확한 광원의 위치 추정이 가능하며, 추정된 밝은 영역과 일치하는 HDR 영상의 데이터를 사용하기 때문에 정확한 광원의 위치와 데이터를 얻을 수 있다. 또한 추정된 광원은 실제 렌더링에 곧바로 사용이 가능하며, 이를 통해 사실적인 shadowing 효과를 얻을 수 있다.

본 논문에서는 배경과 오브젝트 합성 시 사실적인 그림자 효과를 표현하기 위해 HDR 영상을 기반으로 한 소수의 방향성 광원을 추정하는 기법을 제안한다. 실 세계 정보를 모두 포함하는HDR 영상을 가시화 하기 위해 톤 맵핑(tone mapping)하여 그 영상으로부터 광원의 위치가 되는 밝은 영역들을 찾아내고 그 위치들로부터 방향성 광원을 추정한다. 카메라의 노출시간을 짧게 하여 촬영한 영상에서 나타나는 부분을 실제 광원이 위치하는 부분으로 볼 수 있으므로 톤 맵핑한 영상을 이미지 프로세싱을 거쳐 노출 시간을 짧게 하여 촬영한 영상과 비슷한 결과를 얻을 수 있도록 한 후 밝은 영역만 표현 되도록 한다. 전 처리를 거친 영상을 기반으로 밝은 영역을 추정하기 때문에 보다 정확한 광원의 위치 추정이 가능하며, 추정된 밝은 영역과 일치하는 HDR 영상의 데이터를 사용하기 때문에 정확한 광원의 위치와 데이터를 얻을 수 있다. 또한 추정된 광원은 실제 렌더링에 곧바로 사용이 가능하며, 이를 통해 사실적인 shadowing 효과를 얻을 수 있다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 본 논문에서는 HDR 영상을 기반으로 하여 가상 객체와 실 세계 장면을 합성할 때 사실적인 shadoing 효과를 실시간으로 수행할 수 있도록, HDR 영상으로부터 소수의 방향성 광원을 추정하는 방법을 제안한다. 2 장에서는 관련 연구에 대해 설명하고 3 장에서는 제안된 광원추정 방법에 대해 설명 한다.
• 본 논문에서는 실 세계 조명 정보를 기반으로 사실적인 shadow 효과를 얻기 위해 HDR 영상으로부터 소수의 방향성 광원을 추정하는 방법을 제안 하였다. 현재 그래픽 하드웨어서 지원 가능한 최대 8 개의 광원을 추정하여 Maya 6.

가설 설정

• 입력 영상에 대해서 추정되는 광원의 위치는 노출시간을 짧게 하여 촬영하였을 때 나타나는 밝은 영역에 존재한다고 가정한다. 밝은 영역과 어두운 영역을 분할하기 위해 Fuzzy C Mean Clustering 기법을 사용하였는데 입력 영상이 전체 적으로 밝은 경우 그림.

제안 방법

• HDRshop 을 이용하여 HDR 영상을 만들 경우 통상적으로 원형 맵(circurlar map)을 생성하게 되는데, 원형 맵 자체로 방향성 광원에 대한 정보를 추정하는 것이 불편하기 때문에 본 연구에서는 원형 맵을 위도경도(latitude longitude) 이미지로 변형하여 사용하였다. 원형 맵과 위도경도 이미지는 서로 일치하기 때문에 위도경도 이미지로부터 광원의 x, y 좌표를 찾아 방향성 정보(구 좌표 계)를 쉽게 추정할 수 있다.
• 광원의 정보로 추정되는 값들은 광원의 RGB 값, Intensity, 광원의 좌표 그리고 광원의 방향성 정보이다. 각각의 밝은 영역이 FCM 을 거쳐 정해지면 영역별로 추정되는 광원에 대한 정보를 계산한다. 먼저 광원의 R, G, B 값은 각각의 Labeling 된 영역으로부터 영역내의 R, G, B 값의 합을 각각 구하고 그 영역의 픽셀수로 나누어 평균 R, G, B 를 계산함으로 얻을 수 있다.
• 광원의 정보를 추정하기 위해 가장먼저 ‘Light prove’(구면거울)을 이용하여 HDR 영상을 생성한다. Light prove에 맺히는 광원의 위치로부터 방향성 정보를 추정하기 때문에 크롬볼과 촬영에 사용되는 카메라의 위치는 평행하게 되어야 한다.
• 1975 년에 진행된 ‘Ullman’(MIT)의 연구는 광원의 위치를 찾는 최초의 연구로서 영상에서 보여지는 하나의 광원에 대해 추정하는 방법이다. 먼저 광원추정을 하려는 영상을 여러 개의 패치로 나누고 나누어진 패치 중 인접해 있는 패치간의 광량의 세기를 비교하여 그 차이가 급격하게 나타나는 곳을 광원의 위치라고 제안하였다[2]. 다수의 광원을 복원하는 최초의 연구는 1991 년에‘Yang & Yuille’에 의해 진행된 연구이다[3].
• 본 연구과 유사하게 ‘High Dynamic Radiance Map’으로부터 소수의 광원을 추정하는 연구가 있지만, 광원을 추정할 때 사용자로부터 다양한 정보 입력을 필요로 하며, 재귀적인 기법을 이용하기 때문에 추정된 광원의 일관성이 없고 일부 영역에 국한되는 문제가 발생한다[5]. 본 연구에서는 일관된 광원을 추정하기 위해 사용자의 개입을 최소화 하고 재귀적인 방법을 사용하지 않는 기법을 사용하였다.
• 앞 절에서 설명한 실험을 토대로 하여 추정된 8개의 방향성 광원의 정확성을 살펴보기 위해 Maya 6.0 소프트웨어에서 렌더링 하였다. Maya 소프트웨어 에서 8 개의 방향성 광원을 생성하고 추정된 광원의 정보를 입력하여 렌더링 하였으며 그 결과는 그림 9, 10 에서 보여주는 것과 같다.
• 다수의 광원을 복원하는 최초의 연구는 1991 년에‘Yang & Yuille’에 의해 진행된 연구이다[3]. 영상에 나타나는 물체들의 음영 경계선을 이용하여 경계선에 나타나는 정보를 통해 여러 개의 광원을 복원하는 기법을 제안하였다. ‘Hougen과 Abuja’는 신호 처리와 환경 맵 샘플링을 이용하여 여러 개의 광원을 추정하는 연구를 수행하였다[4].
• 1 을 적용함으로써 노출 시간을 짧게 하여 촬영한 영상과 비슷한 결과를 얻을 수 있다. 전 처리를 거친 영상을 FCM 에 적용하여 노출시간을 짧게 한 영상에 나타나는 밝은 영역들만 분할이 되도록 하였다.

대상 데이터

• 영역별로 광원의 위치를 계산한 후 수많은 광원 중에 실시간으로 사용가능 한 소수의 광원만을 선택 하였다. 소수의 광원은 영상에서 가장 많은 영향을 주는 광원으로써 영역의 Intensity와 픽셀 수를 이용하여 곱한 결과가 큰 값으로 나타나는 영역의 광원을 선택하였다.

데이터처리

• 먼저 광원의 R, G, B 값은 각각의 Labeling 된 영역으로부터 영역내의 R, G, B 값의 합을 각각 구하고 그 영역의 픽셀수로 나누어 평균 R, G, B 를 계산함으로 얻을 수 있다. Intensity는 각 픽셀의 R, G, B 값을 이용하여 I = 0.2152R + 0.7154G + 0.0721B 를 계산하고 영역의 픽셀수로 나눈 평균 값으로 구하였다. 각각의 영역 에서 광원의 위치는 각 픽셀의 밝기 정도에 따라 Eq.
• 제안하는 방법을 평가 하기 위해 ‘HDRshop’의‘plugin’으로 제공되는 광원 추정 프로그램인‘Light Gen’ 과와 비교를 하였다. 동일한 개수의 광원을 추정하였으며, ‘Light Gen’의 경우 하나의 입력 영상에 대해 광원 추정을 수행 할 때 마다 다른 결과를 보여주지만 제안하는 방법을 사용할 경우 입력 영상에 대해서 항상 동일한 결과를 얻을 수 있다.

이론/모형

• 밝은 영역이 FCM 을 거쳐 나뉘어지면 각각의 밝은 영역에 대해 광원에 대한 정보들을 계산 할 수 있도록 영역별로 그룹을 지어야 한다. Labeling 에는 ‘Glass Fire’ 알고리즘을 적용하였으며[8], 알고리즘의 처리과정은 그림.4과 같다.
• 입력 영상에 대해서 추정되는 광원의 위치는 노출시간을 짧게 하여 촬영하였을 때 나타나는 밝은 영역에 존재한다고 가정한다. 밝은 영역과 어두운 영역을 분할하기 위해 Fuzzy C Mean Clustering 기법을 사용하였는데 입력 영상이 전체 적으로 밝은 경우 그림.2 에서 보는 바와 같이 영상의 대부분의 영역이 밝은 영역으로 인식되어 정확한 광원의 위치를 추정할 수가 없다.
• 카메라와 크롬볼의 위치가 정해지면 HDR 영상을 생성하기 위해 노출 시간을 달리하여 여러장의 LDR(Low Dynamic Range) 영상을 획득한다. 본 연구에서는 LDR 영상으로부터 HDR 영상을 생성하기 위하여 ‘HDRshop’을 이용하였다[6]. 그림.
• 11은 실 세계 환경에서 오브젝트를 찍은 영상과 추정된 8 개 광원 기반의 렌더링 결과로 실제 영상과 비슷한 결과를 보여준다. 실 세계 영상의 카메라 외부 파라미터 (자세와 위치)는 보정 패턴을 이용하는 Tsai의 카메라 검정 기법을 이용 하였다[9].

성능/효과

• 제안하는 방법을 평가 하기 위해 ‘HDRshop’의‘plugin’으로 제공되는 광원 추정 프로그램인‘Light Gen’ 과와 비교를 하였다. 동일한 개수의 광원을 추정하였으며, ‘Light Gen’의 경우 하나의 입력 영상에 대해 광원 추정을 수행 할 때 마다 다른 결과를 보여주지만 제안하는 방법을 사용할 경우 입력 영상에 대해서 항상 동일한 결과를 얻을 수 있다.

후속연구

• 영상에 나타나는 광원과 렌더링의 결과로 생성되는 shadow 효과를 비교해 보면 추정된 광원으로부터 적절한 그림자가 생성되는 것을 볼 수 있었지만 방향성 광원을 실시간 렌더링이 가능하도록 하기 위해 8 개의 광원만을 사용 하였기 때문에 광원들이 산개 되어 추정 되는 경우 여러 개의 shadow가 생성되는 것을 볼 수 있었다. 가상 객체에 생성되는 shadow 문제를 최소화 하기 위한 알고리즘의 개선이 필요 하며, 향후 그래픽 하드웨어의 발달로 더 많은 광원을 사용할 수 있는 환경이 된다면 더 나은 결과를 얻을 수 있을 것으로 생각된다. 산개되어 추정되는 광원들로 인해 발생하는 shadow 문제를 개선하기 위해 영상의 중요 광원을 기반으로 soft shadow 생성을 위한 광원추정 기법에 관한 연구를 진행 할 계획이다.
• 가상 객체에 생성되는 shadow 문제를 최소화 하기 위한 알고리즘의 개선이 필요 하며, 향후 그래픽 하드웨어의 발달로 더 많은 광원을 사용할 수 있는 환경이 된다면 더 나은 결과를 얻을 수 있을 것으로 생각된다. 산개되어 추정되는 광원들로 인해 발생하는 shadow 문제를 개선하기 위해 영상의 중요 광원을 기반으로 soft shadow 생성을 위한 광원추정 기법에 관한 연구를 진행 할 계획이다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

질의응답

핵심어	질문	논문에서 추출한 답변
영상 기반 라이팅	영상 기반 라이팅이란 무엇인가?	자연스러운 합성을 위해서 현실 세계의 정확한 조명정보를 찾을 필요가 있다. 영상 기반 라이팅(IBL)은 현실 세계의 전역조명 정보를 전 방향의 HDR 영상으로 표현하고, 이를 이용하여 사실적인 렌더링 결과를 얻는 방법이다. 즉 실 세계 조명 정보를 획득하여 영상으로 표현하고, 이를 렌더링을 할 때 광원 정보로 사용하여 가상 객체와 실제 장면을 자연스럽게 합성할 수 있다.
자연스러운 합성	배경과 오브젝트 합성 시 자연스러운 합성을 위해서 무엇을 할 필요가 있는가?	최근의 Computer Graphic 분야에 있어서 가상 객체와 실 세계의 장면을 자연스럽게 합성하는 기술이 많이 개발되고 있다. 자연스러운 합성을 위해서 현실 세계의 정확한 조명정보를 찾을 필요가 있다. 영상 기반 라이팅(IBL)은 현실 세계의 전역조명 정보를 전 방향의 HDR 영상으로 표현하고, 이를 이용하여 사실적인 렌더링 결과를 얻는 방법이다.
영상 기반 라이팅	영상 기반 라이팅의 한계점은 무엇인가?	즉 실 세계 조명 정보를 획득하여 영상으로 표현하고, 이를 렌더링을 할 때 광원 정보로 사용하여 가상 객체와 실제 장면을 자연스럽게 합성할 수 있다. 하지만 영상의 모든 픽셀을 광원정보로 사용하기 때문에 실시간으로 렌더링을 수행하기는 어렵다.

질의응답 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기