우리는 회화적 렌더링에 대기원근법이라는 실제 회화의 거리표현법을 표현하는 알고리즘을 제안한다. 대기원근법용 공기 중에서 일어나는 빛의 산란 현상을 회화적으로 표현하는 기법으로, 거리와 고도, 대기의 밀도에 따라 산란 정도가 변한다. 우리는 산란 현상의 이러한 특성을 반영하기 위해, 입력 영상에 대응하는 깊이 정보와 사용자 정의 매개변수를 사용하여 표현의 정도를 조절한다. 촬영정보를 반영하는 매개변수와 깊이 정보를 기반으로 각 픽셀의 거리와 고도를 계산하고, 표현을 제어하는 매개변수로 거리와 고도에 따른 산란 효과의 정도를 사용자 의도에 따라 조절한다. 추가적으로 깊이 정보를 이용해 찾아낸 윤곽선의 색을 강조해 줌으로써 근경과 원경 사이의 거리감을 명확히 한다. 우리는 우리의 알고리즘을 다양한 풍경 영상에 적용해 실험해 보았고, 기존의 연구들에 비해 거리감이 강조된 회화적 렌더링 결과를 얻을 수 있었다.
우리는 회화적 렌더링에 대기원근법이라는 실제 회화의 거리표현법을 표현하는 알고리즘을 제안한다. 대기원근법용 공기 중에서 일어나는 빛의 산란 현상을 회화적으로 표현하는 기법으로, 거리와 고도, 대기의 밀도에 따라 산란 정도가 변한다. 우리는 산란 현상의 이러한 특성을 반영하기 위해, 입력 영상에 대응하는 깊이 정보와 사용자 정의 매개변수를 사용하여 표현의 정도를 조절한다. 촬영정보를 반영하는 매개변수와 깊이 정보를 기반으로 각 픽셀의 거리와 고도를 계산하고, 표현을 제어하는 매개변수로 거리와 고도에 따른 산란 효과의 정도를 사용자 의도에 따라 조절한다. 추가적으로 깊이 정보를 이용해 찾아낸 윤곽선의 색을 강조해 줌으로써 근경과 원경 사이의 거리감을 명확히 한다. 우리는 우리의 알고리즘을 다양한 풍경 영상에 적용해 실험해 보았고, 기존의 연구들에 비해 거리감이 강조된 회화적 렌더링 결과를 얻을 수 있었다.
In this paper, we propose an algorithm which represents the distance depiction technique of real painting that named "Aerial Perspective" in painterly rendering. It is a painting technique that depicts the attenuations of light in the atmosphere, and the scattering effect is changed by the distance,...
In this paper, we propose an algorithm which represents the distance depiction technique of real painting that named "Aerial Perspective" in painterly rendering. It is a painting technique that depicts the attenuations of light in the atmosphere, and the scattering effect is changed by the distance, altitude and density of atmospheres. For the reflection of these natures, we use the depth information corresponding to an input image and user-defined parameters, so that user changes the effect level. We calculate the distance and altitude of every pixel with the depth information and parameters about shot information, and control the scattering effects by expression parameters. Additionally, we accentuate the occluding edges detected by the depth information to clarify the sense of distance between fore and back-ground. We apply our algorithm on various landscape scenes, and generate the distance-emphasized results compared to existing works.
In this paper, we propose an algorithm which represents the distance depiction technique of real painting that named "Aerial Perspective" in painterly rendering. It is a painting technique that depicts the attenuations of light in the atmosphere, and the scattering effect is changed by the distance, altitude and density of atmospheres. For the reflection of these natures, we use the depth information corresponding to an input image and user-defined parameters, so that user changes the effect level. We calculate the distance and altitude of every pixel with the depth information and parameters about shot information, and control the scattering effects by expression parameters. Additionally, we accentuate the occluding edges detected by the depth information to clarify the sense of distance between fore and back-ground. We apply our algorithm on various landscape scenes, and generate the distance-emphasized results compared to existing works.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이에 따라 우리는 실제 회화에서 쓰이는 거리표현법인 대기원근법을 회화적 렌더링에서 표현하기 위한 알고리즘을 제안한다. 거리감 표현을 위해서는 거리 정보가 필요하므로 우리는 깊이 정보가 포함된 영상을 입력으로 사용한다.
또한 깊이 정보를 이용해서 전경에 해당하는 사물의 윤곽선을 식별한 뒤 윤곽선 근처의 색깔 톤을 변경해 줌으로써 윤곽선을 강조하여, 원경과 근경 사이의 거리감을 강조한다. 또한, 윤곽선 강조기법을 추가적으로 사용함으로써 장면에 나타난 사물의 원근 관계를 명확히 하고자 했다.
흑백 영상 복원에 관한 연구[1 기과 컬러 영상 복원에 관한 연구[18]를 그 예로 들 수 있는데, 이들은 대기의 산란 현상을 시뮬레이션 하는 지수 감쇠 모델을 정의하고, 다양한 매개변수를 조절함으로써 소실된 영상 정보를 복원을 시도했다. 우리는 이들과는 반대로 주어진 입력 영상에 지수 감쇠 모델을 통해 대기 산란을 표현하고자 한다.
하지만 Beer-Lambert 법칙을 이용한 기존의 방식은 빛이 반사되는 지점과의 거리만을 고려하여 고도에 따른 산란 정도의 차이를 표현하지 못하는 한계가 있다. 따라서 우리는 이러한 점을 보완하기 위해 고도 매개변수와 고도 정보를 추가로 사용하여 거리와 고도에 따른 효과를 사용자의 의도에 맞게 조절할 수 있는 산란 모델을 제안한다. [수식 2]로 표현되는 우리의 산란 모델은 산란 효과지수 f를 결정한다.
본 논문에서는 대기 중 빛의 산란 효과를 표현하는 대기원근법을 회화적 렌더링에 적용하는 기법을 제안하였다. 거리와 고도에 따라 달라지는 산란 효과를 표현하기 위해 촬영에 관련된 정보와 표현하고자 하는 산란 정도를 매개변수로 하는 산란 모델을 만들었으며, 이를 통해 거리와 고도에 따른 산란 정도를 사용자의 의도에 따라 조절할 수 있게 했다.
가설 설정
우리는 입력 영상의 거리와 고도를 계산함■에 있어서 관찰 지점의 고도는 0이고 입력 영상은 좌우 수평인 상태에서 촬영된 것으로 가정한다. 사용자 정의 매개변수로 주어진 加와 缶를 이용하면 그림 3과 같이 촬영 단면을 재구성 할 수 있다.
제안 방법
거리감 표현을 위해서는 거리 정보가 필요하므로 우리는 깊이 정보가 포함된 영상을 입력으로 사용한다. 주어진 깊이 정보와 사용자 입력으로 주어지는 화각 정보와 지평선 정보를 이용해 입력 영상의 각 픽셀까지의 거리와 높이를 계산하고, 산란 수식으로 각 픽셀의 산란 정도를 산출한다. 기존에 게임 등에서는 대기원근법의 표현을 위해 깊이만을 고려하는 수식을 주로 사용하였으나, 우리는 이를 변형하여 거리와 고도를 모두 고려하여 산란 정도를 계산한다.
연구의 기여도는 다음과 같다. 우리는 거리와 고도 모두를 고려한 대기원근법의 산란 모델을 제안한다. 우리의 산란 모델을 사용함으로써 기존의 모델에 비해 사용자의 의도에 따라 다양하게 거리감을 조절할 수 있었으며, 이를 회화적 렌더링에 맞게 표현했다.
우리는 거리와 고도 모두를 고려한 대기원근법의 산란 모델을 제안한다. 우리의 산란 모델을 사용함으로써 기존의 모델에 비해 사용자의 의도에 따라 다양하게 거리감을 조절할 수 있었으며, 이를 회화적 렌더링에 맞게 표현했다. 이는 향후 회화적 렌더링이 아닌 다른 비사실적 렌더링 분야에도 적용될 수 있을 있을 것으로 기대한다.
우리의 시스템은 [13]이 제안한 다중 레이어 회화적 렌더링 기법을 기반으로 하며, 입력 영상을 묘사하는 4개의 레이어와 거리감 표현을 위한 2개의 레이어를 사용한다. 장면 묘사를 위한 레이어들은 [13]의 알고리즘에 의해 생성되며, 거리감 표현을 위한 2개의 레이어는 각각 본 논문에서 제안하는 대기원근법 알고리즘을 따르는 대기원근법 레이어와 [15]의 알고리즘을 따르는 윤곽선강조 레이어로 구성된다.
있다. 첫 번째는 거리 및 고도 계산으로, 주어진 깊이 정보와 촬영 정보를 이용해 각 픽셀에 나타난 지점의 거리와 고도를 계산한다. 두 번째는 산란 효과 계산 단계로, 이전 단계에서 계산된 거리/고도 정보와 사용자 입력으로 주어지는 거리/고도 산란계수를 이용하여 각 픽셀의 산란 지수를 계산한다.
첫 번째는 거리 및 고도 계산으로, 주어진 깊이 정보와 촬영 정보를 이용해 각 픽셀에 나타난 지점의 거리와 고도를 계산한다. 두 번째는 산란 효과 계산 단계로, 이전 단계에서 계산된 거리/고도 정보와 사용자 입력으로 주어지는 거리/고도 산란계수를 이용하여 각 픽셀의 산란 지수를 계산한다. 제안된 알고리즘에서는 산란 지수의 계산을 위해 거리와 고도를 고려한 산란 모델을 정의하여 사용한다.
산란 효과가 적용된 영상을 이용해 대기원근법 레이어를 생성한 두】, 6개의 레이어를 캔버스에 차례로 그려줌으로써 최종 결과 영상을 생성한다.
, .와 고도에 따른 공기 밀도 차이를 나타내는 烷를 사용함으로써, 전체적인 산란 효과의 정도와 고도에 따른 산란 정도를 조절케 했다. /3SC 와 塩는 모두 0보다 큰 값을 가진다.
0을 사용하여 계산된 /를 시각화한 영상이다. 각 픽셀의 효과 적용 지수 /를 결정하고 나면, 이값을 이용하여 선택적 블러를 적용함으로써 윤곽선이 흐려지는 효과를, 컬러 블렌딩을 이용하여 채도가 감소하는 효과를 적용했다.
멀리 있는 물체의 윤곽선이 흐려지는 효과를 표현하기 위해서 입력 영상에 가우시안 블러를 사용했다. 이 때, 거리에 따라 윤곽선이 흐려지는 정도에도 차이를 두기 위해 /값을 이용해 각 픽셀마다 블러 커널의 크기를 달리 한다.
따라서 본 논문에서는 이런 현상을 제거하고 원경의 윤곽선만 흐려지게 하기 위해서 거리 정보를 이용한 선택적블러를 사용했다. 그림 6a와 같이 블러 커널이 원경과 근경에 걸쳐 있을 경우, 커널의 중심 픽셀보다 근경에 해당하는 픽셀들의 가중치를 0으로 하여 그림 6b 블러의 결과에 영향을 주지 않게 한다.
영상 묘사를 위한 4개 레 이 어는 [13]의 알고리즘을, 윤곽선 강조 레이어는 [15]의 알고리즘을 따라 렌더링 되며, 우리가 제안하는 대기원근법 레이어는 [13]을 변형한 방법으로 그 특징은 아래와 같다.
필요로 한다. 하지만 실제 풍경을 대상으로 한 정확한 깊이 정보를 얻기가 어려워 본 논문에서는 결과를 생성하기 위해 수작업으로 제작된 깊이 정보를 사용했다.
우리는 매개변수를 변화시킴으로써 하나의 입력 영상에 대해 대기산란 효과를 다양하게 적용해 보았다. 입력 영상 그림 9a에 대해 지평선의 위치를 y0 =201, 缶 =43。로 설정하여 也와 席 를 변화시키며 결과를 만들었다.
거리와 고도에 따라 달라지는 산란 효과를 표현하기 위해 촬영에 관련된 정보와 표현하고자 하는 산란 정도를 매개변수로 하는 산란 모델을 만들었으며, 이를 통해 거리와 고도에 따른 산란 정도를 사용자의 의도에 따라 조절할 수 있게 했다. 또한, 거리에 따른 선택적 블러를 적용함으로써 가까이 있는 물체의 윤곽선이 흐려지지 않도록 했다.
거리와 고도에 따라 달라지는 산란 효과를 표현하기 위해 촬영에 관련된 정보와 표현하고자 하는 산란 정도를 매개변수로 하는 산란 모델을 만들었으며, 이를 통해 거리와 고도에 따른 산란 정도를 사용자의 의도에 따라 조절할 수 있게 했다. 또한, 거리에 따른 선택적 블러를 적용함으로써 가까이 있는 물체의 윤곽선이 흐려지지 않도록 했다.
우리는 최종적으로 지정한 색상과의 컬러 블렌딩을 통해 회화적 렌더링에서 대기원근법을 표현하였다. 논문의 결과 영상들은 모두 흰 색과 블렌딩한 것으로, 실제 화가들의 주관적인 색 표현을 재현하지는 못했다.
따라서 우리는 거리와 고도에 따른 산란 효과의 변화를 표현하기 위해 아래와 같은 매개변수를 사용자로부터 입력받아 깊이 정보로부터 고도 정보를 산출하고, 거리와 고도에 따른 산란 효과를 조절한다.
이론/모형
우리의 시스템은 [13]이 제안한 다중 레이어 회화적 렌더링 기법을 기반으로 하며, 입력 영상을 묘사하는 4개의 레이어와 거리감 표현을 위한 2개의 레이어를 사용한다. 장면 묘사를 위한 레이어들은 [13]의 알고리즘에 의해 생성되며, 거리감 표현을 위한 2개의 레이어는 각각 본 논문에서 제안하는 대기원근법 알고리즘을 따르는 대기원근법 레이어와 [15]의 알고리즘을 따르는 윤곽선강조 레이어로 구성된다.
두 번째는 산란 효과 계산 단계로, 이전 단계에서 계산된 거리/고도 정보와 사용자 입력으로 주어지는 거리/고도 산란계수를 이용하여 각 픽셀의 산란 지수를 계산한다. 제안된 알고리즘에서는 산란 지수의 계산을 위해 거리와 고도를 고려한 산란 모델을 정의하여 사용한다. 마지막으로 산란 효과 적용 단계에서는 거리에 따른 선택적 블러와 컬러 블렌딩을 통해 영상에 산란 효과를 적용한다.
우리는 거리감 강조 기법을 표현하기 위해 다중 레이어 렌더링 방식을 사용한다. 영상 묘사를 위한 4개의 레이어와 대기원근법과 윤곽선 강조 기법의 표현을 위한 각각의 레 이어를 추가하여 총 6개의 레이어를 사용되는더], 각각의 레이어를 언급된 순서에 따라 렌더링 함으로써 최종 결과 영상을 완성한다.
성능/효과
대기원근법 레이어에서는 브러쉬의 색깔을 입력 영상에서 추출하는 대신, 입력 영상에 대해 산란 효과를 적용한 결과 영상에서 색깔을 추출함으로써 대기원근법의 효과를 표현했다.
0으로 한 그림 9d에서는 고도에 따른 산란 효과의 변화가 적은 것을 볼 수 있다. 위의 결과를 통해 /九가 증가할수록 거리에 따른 산란 효과가 많이 적용되고, 岗, 가 증가할수록 고도에 따른 효과의 차이가 뚜렷하게 나타나는 것을 확인할 수 있다.
이를 확대한 그림 10c와 그림 10f를 비교해보면 건물의 윤곽선이 강조되어 표현된 것을 확인할 수 있다. 그러나 깊이 정보에 기반 한 윤곽선 추출 방법을 사용한 결과, 깊이 값의 차이가 큰 건물과 하늘 사이의 윤곽선 부분은 뚜렷하게 강조되어 표현되었으나 상대적으로 깊이 값의 차이가 적은 건물들 사이는 윤곽선의 변화가 적었다.
논문의 결과 영상들은 모두 흰 색과 블렌딩한 것으로, 실제 화가들의 주관적인 색 표현을 재현하지는 못했다. 이러한 화가들의 주관적 표현을 반영하기 위해서는 색체이론에 대한 연구가 선행되어야 할 것이다.
후속연구
우리의 산란 모델을 사용함으로써 기존의 모델에 비해 사용자의 의도에 따라 다양하게 거리감을 조절할 수 있었으며, 이를 회화적 렌더링에 맞게 표현했다. 이는 향후 회화적 렌더링이 아닌 다른 비사실적 렌더링 분야에도 적용될 수 있을 있을 것으로 기대한다.
불분명하다. 윤곽선 선택 알고리즘의 개선을 통해 인접한 물체 사이의 거리감 강조가 가능할 것으로 판단된다.
우리는 향후 연구로 점묘의 후광 효과(halo effect) 를 고려하고 있다. 이 기법은 대기원근법과 같이 거리 표현에 관한 회화표현법으로, 표현 범위나 색깔 등의 결정에 있어서 흥미로운 연구 주제이다.
참고문헌 (21)
F. Durand, "Limitations of the Medium and Pictorial Techniques," SIGGRAPH 2002 Course Note, pp.27-45, 2002.
L. Da Vinci, Leonardo on Painting : An Anthology of Writings by Leonardo Da Vinci With a Selection of Documents, Yale University Press, 1989.
M. Kemp, The Science of Art, Yale University Press, 1990.
M. G. J. Minnaert, Light and Color in the Outdoors, Springer Verlag, 1993.
R. L. Solso, Cognition and the Visual Arts, MIT Press, 1994.
A. Hertzmann, "A survey of stroke-based rendering," Computer Graphics and Applications, IEEE 23, 4, pp.70-81, 2003.
M. Shugrina, M. Betke and J. Collomosse, "Empathic painting: interactive stylization through observed emotional state," In Proc. of NP AR, pp.87-96, 2006.
W. Baxter, J. Wendt and M.C. Lin, "IMPaSTo: a realistic, interactive model for paint," Proc. of the 3rd international symposium on Non-photorealistic animation and rendering, pp.48-56, 2004.
P. Haeberli, "Paint by Numbers: Abstract Image Representations," Computer Graphics, vol. 24, no. 4, pp.207-214, 1990.
P. Litwinowicz, "Processing Images and Video for An Impressionist Effect," SIGGRAPH 97 Conference Proceedings, pp. 407-414. August 1997.
A. Hertzmann, "Painterly Rendering with Curved Brush Strokes of Multiple Sizes," Proc. of SIGGRAPH 1998, pp.453-460, 1998.
J. Hays and I. Essa, "Image and Video Based Painterly Animation," Proc. of NPAR2004, pp.113-120, 2004.
B. Gooch, G. Coombe and P. Shirley, "Artistic Vision: Painterly Rendering Using Computer Vision Techniques," In Proceedings of the NPAR 2002 Symposium on Non-Photorealistic Animation and Rendering (Annecy, France), pp.83-90, 2002.
J.N. lang, S.T. Ryoo, S.H. Seo and K.H. Yoon, "Distance Depiction on Painterly Rendering using Depth Information," Proc. of FCV 2010, pp.38-41, 2010.
P. Barla, J. Thollot and L. Markosian, "X-Toon: An Extended Toon Shader," In Proceedings of NPAR 2006, pp.127-132, 2006.
J. P. Oakley and B. L. Satherley, "Improving Image Quality in Poor Visibility Conditions Using a Physical Model for Contrast Degradation," IEEE Transactions on Image Processing, Vol. 7, No.2, pp.167-179, 1998.
J. D. J. Ingle and S. R. Crouch, Spectrochemical Analysis, Prentice Hall, New Jersey, 1988
J. T. Houghton, "The Physics of Atmospheres 3rd Edition," Cambridge University Press, 2002.
T. Luft, C. Colditz, O. Deussen, "Image Enhancement by Unsharp Masking the Depth Buffer," ACM Transactions on Graphics, Vol. 25, No.3, pp.1206-1213, 2004.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.