본 논문에서는 평면 스크린을 사용할 수 없는 휴대형 프로젝터의 사용 환경에서 평면이 아닌 임의의 영사면(혹은 벽면)의 기하학적 형태에 의해 발생되는 영상의 기하학적 왜곡을 효과적으로 보정할 수 있는 방법을 제안한다. 제안한 방법에서는 먼저 격자패턴을 임의의 영사면에 영사한 후 영사면의 형태에 따라 왜곡된 격자패턴과 원본 격자패턴 간의 기하학적 관계를 나타내는 직선의 방정식을 도출한다. 다음으로 영사면의 기하학적 형태에 따라 적절하게 적용될 수 있는 원본 격자패턴의 크기를 결정하여 도출된 직선의 방정식으로부터 왜곡된 영상을 대칭적으로 보정할 수 있는 보정패턴을 생성한다. 최종적으로 프로젝터로부터 영사될 실제 영상을 격자패턴과 동일하게 분할하여 보정패턴에 맞게 미리 워핑(warping)함으로써 영사된 영상의 기하학적 왜곡을 보정한다. 제안한 방법의 성능 평가를 위하여 평면 스크린을 사용할 수 없는 영사 환경에서 자주 접할 수 있는 영사면 형태들인 기울어진 평면, 꺾인 평면 및 곡면을 대상으로 영사 영상 보정에 대한 실험을 진행하였다. 실험결과로부터 일반적으로 발생하는 몇 가지 영사면의 형태들에 인한 기하학적 왜곡들이 적절히 보정되어 제안한 방법이 영사 영상의 기하학적 왜곡을 매우 효과적으로 보정할 수 있음을 알 수 있었다.
본 논문에서는 평면 스크린을 사용할 수 없는 휴대형 프로젝터의 사용 환경에서 평면이 아닌 임의의 영사면(혹은 벽면)의 기하학적 형태에 의해 발생되는 영상의 기하학적 왜곡을 효과적으로 보정할 수 있는 방법을 제안한다. 제안한 방법에서는 먼저 격자패턴을 임의의 영사면에 영사한 후 영사면의 형태에 따라 왜곡된 격자패턴과 원본 격자패턴 간의 기하학적 관계를 나타내는 직선의 방정식을 도출한다. 다음으로 영사면의 기하학적 형태에 따라 적절하게 적용될 수 있는 원본 격자패턴의 크기를 결정하여 도출된 직선의 방정식으로부터 왜곡된 영상을 대칭적으로 보정할 수 있는 보정패턴을 생성한다. 최종적으로 프로젝터로부터 영사될 실제 영상을 격자패턴과 동일하게 분할하여 보정패턴에 맞게 미리 워핑(warping)함으로써 영사된 영상의 기하학적 왜곡을 보정한다. 제안한 방법의 성능 평가를 위하여 평면 스크린을 사용할 수 없는 영사 환경에서 자주 접할 수 있는 영사면 형태들인 기울어진 평면, 꺾인 평면 및 곡면을 대상으로 영사 영상 보정에 대한 실험을 진행하였다. 실험결과로부터 일반적으로 발생하는 몇 가지 영사면의 형태들에 인한 기하학적 왜곡들이 적절히 보정되어 제안한 방법이 영사 영상의 기하학적 왜곡을 매우 효과적으로 보정할 수 있음을 알 수 있었다.
In this paper, we propose a method that can compensate the geometric distortions of image caused from an arbitrary nonflat display surface(or wall) under the environment of portable overhead projector without a flat screen. In the proposed method, we first project a grid pattern to an arbitrary nonf...
In this paper, we propose a method that can compensate the geometric distortions of image caused from an arbitrary nonflat display surface(or wall) under the environment of portable overhead projector without a flat screen. In the proposed method, we first project a grid pattern to an arbitrary nonflat display surface and then derive an equation of straight line that represents the geometry relationship between the distorted grid pattern and the original grid pattern. Next, after determining the proper size of the original grid pattern according to the form of the display surface, we generate a compensation pattern from the derived equation of straight line, which can symmetrically compensate for the distorted image. Finally, we compensate for the geometric distortions of the projected image by segmenting the real image to be projected from portable overhead projector and prewarping it according to the compensation pattern. To evaluate the proposed method, we performed experiments of image compensation on inclined surface, bent surface and curved surface that are frequently occurred in the environment of portable overhead projector without a flat screen. From the experimental results, we found that the proposed method could be very effective in compensating for the general types of the geometric distortions of the projected images.
In this paper, we propose a method that can compensate the geometric distortions of image caused from an arbitrary nonflat display surface(or wall) under the environment of portable overhead projector without a flat screen. In the proposed method, we first project a grid pattern to an arbitrary nonflat display surface and then derive an equation of straight line that represents the geometry relationship between the distorted grid pattern and the original grid pattern. Next, after determining the proper size of the original grid pattern according to the form of the display surface, we generate a compensation pattern from the derived equation of straight line, which can symmetrically compensate for the distorted image. Finally, we compensate for the geometric distortions of the projected image by segmenting the real image to be projected from portable overhead projector and prewarping it according to the compensation pattern. To evaluate the proposed method, we performed experiments of image compensation on inclined surface, bent surface and curved surface that are frequently occurred in the environment of portable overhead projector without a flat screen. From the experimental results, we found that the proposed method could be very effective in compensating for the general types of the geometric distortions of the projected images.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
그러나 거리측정 기기나 스테레오 카메라 등과 같은 고가의 장비들을 이용한 영상의 보정 방법들은 프로젝터의 휴대성이나 경제성에 큰 제약을 줄 수 있다. 따라서 본 논문에서는 저가의 소형 디지털 카메라를 사용하여 벽면과 같은 임의의 영사면의 기하학적 형태에 의해 발생할 수 있는 영사 영상의 기하학적 왜곡을 효과적으로 보정하여 휴대형 프로젝터의 활용도를 한층 높일 수 있는 실용적인 방법을 제안하고자 한다.
본 논문에서는 평면 스크린을 사용할 수 없는 휴대형 프로젝터의 영사환경에서, 평면이 아닌 영사면(혹은 벽면)의 기하학적 형태에 의해 발생하는 영상의 기하학적 왜곡을 보정하는 방법을 제안하였다. 제안한 방법으로는 영사면에 영사된 왜곡패턴과 원본패턴의 교차점을 이용하여 영사면의 기하정보를 나타내는 직선의 방정식을 도출하였고, 도출한 직선의 방정식들로부터 영사면의 역관계에 있는 보정좌표를 산출함으로써, 영사면으로부터 발생되는 영상의 기하왜곡을 보정할 수 있었다.
본 절에서는 프로젝터로부터 영사된 영상을 촬영하여 보정패턴의 실 좌표를 도출하는 방법과 영사면의 실제 기하학적 정보를 적절하게 적용할 수 있도록 원본패턴의 크기를 결정하여 보정패턴을 재 산출하는 방법을 제시한다.
제안 방법
제안한 영사면의 기하학적 왜곡 보정 기술을 검증하기 위하여, 영상 프로젝터로서 DenQ MP770을 사용하였고 영상을 획득하기 위한 디지털 카메라는 삼성 SDC-425를 사용하였다. 그리고 왜곡된 영상으로부터 보정영상을 생성하기 위하여 Win 32 API와 OpenCV를 기반으로 한 컴퓨터 프로그램을 구현하였다[9-10]. 또한, 제안한 방법으로 기하학적 왜곡에 대하여 도출한 결과의 오차를 측정하기 위해, 원본패턴과 영사한 보정패턴의 형태를 나타내는 윤곽에지(contour edge)를 대상으로 벡터를 생성한 후, 대응되는 두 패턴의 벡터들에 대한 사이각을 비교하여 그 오차범위를 측정하였다.
먼저 카메라로부터 획득한 왜곡패턴과 원본패턴 영상을 그림 (a) 와 같이 데카르트 좌표에 사상하여 원점을 일치 시킨 후, 왜곡패턴에 임의의 깊이 a를 할당하여 동일 평면상의 두 패턴을 그림 (b)와 같이 공간 좌표로 분리한다. 다음으로 분리한 두 패턴의 대칭 점들로부터 생성된 각각의 직선들에 대한 직선의 방정식을 도출한 후, 왜곡패턴에 할당한 임의의 깊이 값과는 절대값이 같고 방향이 반대인 깊이 값 -a를 대입하여 왜곡패턴에 대한 보정패턴의 좌표를 산출한다. 결과적으로 원본패턴의 어떤 직선의 양 끝점으로 생성한 벡터와 이에 대응되는 왜곡패턴과 보정패턴에 대한 각 벡터의 왜곡 정도는 다음의 수식 (2)와 같이 나타낼 수 있다.
먼저, 평면이 아닌 영사면에 원본패턴을 영사한 후 영사면의 기하학적 형태에 따라 왜곡된 왜곡패턴을 디지털 카메라로 촬영한다. 다음으로 촬영된 왜곡패턴 내에서 직사각형을 이루는 교차점들을 추출하고 추출한 교차점들로 생성한 직선들에 대한 왜곡 정도를 계산함으로써 영사면의 기하학적 정보를 추출할 수 있다. 추출된 영사면의 기하학적 정보를 기반으로 영상의 기하학적 왜곡을 보정하기 위해서는 왜곡패턴으로부터 산출한 왜곡 정도와는 절대값이 같고 방향이 반대인 보정 격자패턴(이하 보정패턴)을 생성해야 한다.
그리고 왜곡된 영상으로부터 보정영상을 생성하기 위하여 Win 32 API와 OpenCV를 기반으로 한 컴퓨터 프로그램을 구현하였다[9-10]. 또한, 제안한 방법으로 기하학적 왜곡에 대하여 도출한 결과의 오차를 측정하기 위해, 원본패턴과 영사한 보정패턴의 형태를 나타내는 윤곽에지(contour edge)를 대상으로 벡터를 생성한 후, 대응되는 두 패턴의 벡터들에 대한 사이각을 비교하여 그 오차범위를 측정하였다. 오차의 측정 기준은 수식 (11)과 같이 나타낼 수 있으며, 오차의 측정 수치가 0에 가까울 수록 기하학적 왜곡에 대한 최적의 보정결과를 나타낸다.
먼저, 평면이 아닌 영사면에 원본패턴을 영사한 후 영사면의 기하학적 형태에 따라 왜곡된 왜곡패턴을 디지털 카메라로 촬영한다. 다음으로 촬영된 왜곡패턴 내에서 직사각형을 이루는 교차점들을 추출하고 추출한 교차점들로 생성한 직선들에 대한 왜곡 정도를 계산함으로써 영사면의 기하학적 정보를 추출할 수 있다.
본 장에서는 영사면에 적응적인 영상의 기하학적 보정을 위하여, 영사면의 기하학적 형태에 의해 왜곡되는 격자 패턴으로부터 영사면의 기하학적 정보를 추출하는 방법과 추출한 기하학적 정보를 이용하여 평면이 아닌 영사면에 영사된 영상의 왜곡을 보정하는 방법을 제시한다.
영상에서 발생하는 왜곡을 보정하기 위하여, 촬영한 왜곡패턴을 원본패턴을 기준으로 대칭시킴으로써 보정패턴에 대한 실질 좌표를 구하였다. 그러나 보정패턴의 좌표를 산출하는 과정에서는 보정패턴의 좌표를 결정하는 원본패턴의 크기를 고려하지 않아, 보정패턴의 각 변과 이에 대응되는 왜곡패턴의 각 변이 수식(3)의 역관계에서 벗어나 영사면의 기하학적 정보에 적합하지 않은 보정패턴이 생성될 수 있다.
본 논문에서는 평면 스크린을 사용할 수 없는 휴대형 프로젝터의 영사환경에서, 평면이 아닌 영사면(혹은 벽면)의 기하학적 형태에 의해 발생하는 영상의 기하학적 왜곡을 보정하는 방법을 제안하였다. 제안한 방법으로는 영사면에 영사된 왜곡패턴과 원본패턴의 교차점을 이용하여 영사면의 기하정보를 나타내는 직선의 방정식을 도출하였고, 도출한 직선의 방정식들로부터 영사면의 역관계에 있는 보정좌표를 산출함으로써, 영사면으로부터 발생되는 영상의 기하왜곡을 보정할 수 있었다. 또한 기하학적 정보가 가장 뚜렷하게 나타나는 영상의 윤곽정보를 기준으로 원본패턴과 영사된 보정패턴을 비교하였을 때, 두 패턴의 형태가 평균적으로 3%이내의 오차범위를 가질 만큼 매우 유사함을 보여주어, 제안하는 방법이 영상의 기하왜곡을 보정하는 데에 있어 매우 효과적임을 보였다.
대상 데이터
제안한 영사면의 기하학적 왜곡 보정 기술을 검증하기 위하여, 영상 프로젝터로서 DenQ MP770을 사용하였고 영상을 획득하기 위한 디지털 카메라는 삼성 SDC-425를 사용하였다. 그리고 왜곡된 영상으로부터 보정영상을 생성하기 위하여 Win 32 API와 OpenCV를 기반으로 한 컴퓨터 프로그램을 구현하였다[9-10].
성능/효과
결과적으로 본 논문에서 제안한 방법으로는 평면 스크린을 사용할 수 없는 휴대형 프로젝터 환경에서 다양한 기하학적 형태를 가지는 영사면 (혹은 벽면)에 영상을 영사할 때, 마치 평면 스크린을 사용하는 것과 같은 영상을 생성하여 사용자에게 제공할 수 있었다.
제안한 방법으로는 영사면에 영사된 왜곡패턴과 원본패턴의 교차점을 이용하여 영사면의 기하정보를 나타내는 직선의 방정식을 도출하였고, 도출한 직선의 방정식들로부터 영사면의 역관계에 있는 보정좌표를 산출함으로써, 영사면으로부터 발생되는 영상의 기하왜곡을 보정할 수 있었다. 또한 기하학적 정보가 가장 뚜렷하게 나타나는 영상의 윤곽정보를 기준으로 원본패턴과 영사된 보정패턴을 비교하였을 때, 두 패턴의 형태가 평균적으로 3%이내의 오차범위를 가질 만큼 매우 유사함을 보여주어, 제안하는 방법이 영상의 기하왜곡을 보정하는 데에 있어 매우 효과적임을 보였다. 따라서 제안한 방법은 협소한 장소나 평면 스크린이 설치되기 어려운 장소에서 휴대성을 동반한 프로젝터의 활용성을 극대화 시켜줄 것으로 기대된다.
또한, 모든 실험과정에서 사용자의 시점 위치 및 시점 방향이 카메라의 위치 및 방향과 유사해질 때, 영상의 보정 효과가 커짐을 확인할 수 있었다.
434°의 차이가 나타났다. 또한, 전체 5회의 실험에서 평균 0.25%의 매우 낮은 오차율을 나타냄으로써, 제안한 방법이 꺾인 평면의 기하학적 형태를 가진 영사면에 대해서도 매우 효과적인 보정을 수행함을 알 수 있다.
36%의 낮은 오차 율을 나타내었다. 본 실험결과로부터 제안한 방법이 기울어진 형태를 가지는 영사면의 기하학적 왜곡을 효과적으로 보정할 수 있음을 알 수 있다.
서로 다른 기울어진 평면에 대해 총 5회에 걸쳐 윤곽에지를 추출하여 측정한 결과에서는 동일한 기울기를 갖는 벡터가 존재하기 때문에 최소오차가 0.0으로 나타났고, 벡터의 기울기 오차가 가장 클 때는 0.020으로써 약 0.35°의 기울기 차이가 나타났다.
오차 측정 결과에서는 원본패턴의 윤곽에지와 영사한 보정패턴의 윤곽에지가 동일한 기울기를 가질 때 0.0의 최소오차가 나타났고, 오차가 최대일 때는 약 0.029로써 두 벡터간의 기울기는 약 0.380° 정도 차이가 났다.
원본패턴과 영사된 보정패턴 간의 대응되는 윤곽에지 벡터들은 동일한 기울기를 가질 때 0.0의 수치를 나타내었으며, 대응되는 윤곽에지 벡터 간에 기울기의 오차가 가장 높을 때는 약 0.027의 수치로 두 벡터의 기울기에서 약 0.434°의 차이가 나타났다.
후속연구
또한 기하학적 정보가 가장 뚜렷하게 나타나는 영상의 윤곽정보를 기준으로 원본패턴과 영사된 보정패턴을 비교하였을 때, 두 패턴의 형태가 평균적으로 3%이내의 오차범위를 가질 만큼 매우 유사함을 보여주어, 제안하는 방법이 영상의 기하왜곡을 보정하는 데에 있어 매우 효과적임을 보였다. 따라서 제안한 방법은 협소한 장소나 평면 스크린이 설치되기 어려운 장소에서 휴대성을 동반한 프로젝터의 활용성을 극대화 시켜줄 것으로 기대된다. 추후 임의의 영사면에서 나타날 수 있는 색상 왜곡을 보정하는 방법에 대한 연구도 함께 진행하여 휴대형 프로젝터의 화질 향상 및 활용성을 보다 높일 수 있는 방안을 제시할 예정이다.
따라서 제안한 방법은 협소한 장소나 평면 스크린이 설치되기 어려운 장소에서 휴대성을 동반한 프로젝터의 활용성을 극대화 시켜줄 것으로 기대된다. 추후 임의의 영사면에서 나타날 수 있는 색상 왜곡을 보정하는 방법에 대한 연구도 함께 진행하여 휴대형 프로젝터의 화질 향상 및 활용성을 보다 높일 수 있는 방안을 제시할 예정이다.
질의응답
핵심어
질문
논문에서 추출한 답변
휴대형 프로젝터는 어떻게 사용자에게 영상을 제공할 수 있는가?
휴대형 프로젝터는 소형 멀티미디어 기기들로부터 입력된 정보를 평면 스크린에 영사함으로써, 대형화면과 더불어 고화질의 영상을 사용자에게 제공할 수 있다. 그러나 일반적인 휴대형 프로젝터의 사용 환경에서는 평면 스크린이 설치된 경우가 많지 않으며, 벽면과 같이 평면 스크린과 유사한 영사면이 있다 하더라도 영사면의 왜곡에 따라 영사 영상에서 휨이나 찌그러짐 등과 같은 기하학적 왜곡이 발생하게 되는 경우가 많다.
기하학적 왜곡을 보완하기 위해서 기존 연구들은 어떤 방식을 취했나?
그러나 일반적인 휴대형 프로젝터의 사용 환경에서는 평면 스크린이 설치된 경우가 많지 않으며, 벽면과 같이 평면 스크린과 유사한 영사면이 있다 하더라도 영사면의 왜곡에 따라 영사 영상에서 휨이나 찌그러짐 등과 같은 기하학적 왜곡이 발생하게 되는 경우가 많다. 따라서 이와 같은 영상의 왜곡을 보정하기 위하여기존 연구들에서는 거리 측정 기기나 스테레오 카메라 등과 같은 장비들로 영사면의 정보를 모델링하여 영상에 나타나는 왜곡을 보정하고자 하였다[1-4]. 그러나 거리측정 기기나 스테레오 카메라 등과 같은 고가의 장비들을 이용한 영상의 보정 방법들은 프로젝터의 휴대성이나 경제성에 큰 제약을 줄 수 있다.
벽면에서의 휴대형 프로젝터 이용은 어떤 현상을 발생시키는가?
휴대형 프로젝터를 사용하는 환경에서는 최적의 영상을 표현할 수 있는 평면 스크린(이하 스크린)이 준비된 경우가 많지 않기 때문에, 벽면과 같은 곳에 영사된 영상에서는 그 면의 기하학적 형태에 따라 휨이나 찌그러짐 등의 왜곡이 발생 하게 된다[5-6]. 이러한 영사면의 기하학적 형태로 부터 발생하는 영상의 왜곡 정도는 (그림 1)의 (a) 와 같이 스크린에 영사된 격자패턴 영상과 (b)와 같이 평면이 아닌 영사면(이하 영사면)에 영사된 격자패턴 영상을 비교하여 알 수 있다.
참고문헌 (10)
Joo Kisee, "The Slit Beam Laser Calibration Method Based On Triangulation," KIMICS, Jan, pp.168-173, 1999.
Zhengyou Zhang, "A Flexible New Technique for Camera Calibration," Proc of ICCV, pp. 666-673, 1999.
Michael S.Brown and William K.H.Wong, "Laser pointer interaction for camera-registered multi-projector displays," IEEE Image Processing, pp.913-916, 2003.
Park, H., Lee, M.-H., Kim, S.-J., Park, J.-I., "Surface-independent direct-projected augmented reality," Proc. of ACCV, pp.892-901, 2006.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.