본 논문에서는 신호처리를 이용한 평행축 입체 카메라의 주시각 제어 방법을 제시한다. 평행축 입체 카메라는 양안식 입체 카메라 중 가장 간단하게 만들 수 있는 장점이 있는 반면에, 좌·우 영상 센서 사이의 거리가 일정하게 고정되어 있어, 물체의 거리 변화에 따른 입체 영상 시차 조절 기능인 주시각 제어 기능이 없다는 단점이 있다. 영상 센서(UD)와 렌즈를 분리하고 영상 센서가 평행하게 수평으로 움직이며 주시각을 제어하도록 하는 수평 이동축 입체 카메라는 평행축 입체 카메라의 단점을 보완할 수 있지만, 실제 구현에 많은 어려움이 있다. 본 논문에서는 주시각 제어를 위한 CCD의 이동은 실제 영상에서 피사체의 이동으로 나타난다는 사실을 이용하여, 평행축 입체 카메라로 얻은 영상에서, CCD의 이동으로 인해 사라지는 부분만큼을 제거하고 영상의 수평 수직 방향에서 원래 영상의 크기로 복원하기 위해 보간하는 신호처리의 과정을 통한 주시각 제어를 제안한다. 제안된 방법을 통해 얻어진 실험 결과는 CCD의 이동량에 따라서 화질의 열화 정도가 다르게 나타남을 보여 주지만, 실제 시스템에서 CCD의 이동량은 크지 않기 때문에 화질 열화를 거의 느끼지 않으면서 주시각이 제어된 입체 영상을 얻을 수 있음을 보여 준다.
본 논문에서는 신호처리를 이용한 평행축 입체 카메라의 주시각 제어 방법을 제시한다. 평행축 입체 카메라는 양안식 입체 카메라 중 가장 간단하게 만들 수 있는 장점이 있는 반면에, 좌·우 영상 센서 사이의 거리가 일정하게 고정되어 있어, 물체의 거리 변화에 따른 입체 영상 시차 조절 기능인 주시각 제어 기능이 없다는 단점이 있다. 영상 센서(UD)와 렌즈를 분리하고 영상 센서가 평행하게 수평으로 움직이며 주시각을 제어하도록 하는 수평 이동축 입체 카메라는 평행축 입체 카메라의 단점을 보완할 수 있지만, 실제 구현에 많은 어려움이 있다. 본 논문에서는 주시각 제어를 위한 CCD의 이동은 실제 영상에서 피사체의 이동으로 나타난다는 사실을 이용하여, 평행축 입체 카메라로 얻은 영상에서, CCD의 이동으로 인해 사라지는 부분만큼을 제거하고 영상의 수평 수직 방향에서 원래 영상의 크기로 복원하기 위해 보간하는 신호처리의 과정을 통한 주시각 제어를 제안한다. 제안된 방법을 통해 얻어진 실험 결과는 CCD의 이동량에 따라서 화질의 열화 정도가 다르게 나타남을 보여 주지만, 실제 시스템에서 CCD의 이동량은 크지 않기 때문에 화질 열화를 거의 느끼지 않으면서 주시각이 제어된 입체 영상을 얻을 수 있음을 보여 준다.
The vergence control method is presented for a parallel-axls stereo camera (PASC) using a signal processing technique such as shift, (rotation), and scaling. The PASC is considered as the simplest one of binocular stereo cameras. However, its major limitation lies in the controllability of vergence ...
The vergence control method is presented for a parallel-axls stereo camera (PASC) using a signal processing technique such as shift, (rotation), and scaling. The PASC is considered as the simplest one of binocular stereo cameras. However, its major limitation lies in the controllability of vergence since its left and right imaging sensors of CCDs are fixed. On the other hand, a horizontal-moving-axis stereo camera (HMASC) with movable imaging sensors is able to control the vergence by moving its CCDs horizontally. In spite of its vergence controllability, there is a major drawback in the implementation because of complicated mechanical structure and the additional cost. To overcome the vergence control problem of the PASC, an operational principle of the HMASC is applied to the PASC. To be specific, without any additional hardware the vergence control problem of the PASC is solved with the signal processing technique. Assuming the virtual displacement between CCD's, a disappearing part of acquired images is removed and the original image site is recovered via interpolation. Experimental results show that the vergence control between stereo images captured by the PASC it possible with an acceptable degradation of the image quality defending on the virtual displacement of CCDs.
The vergence control method is presented for a parallel-axls stereo camera (PASC) using a signal processing technique such as shift, (rotation), and scaling. The PASC is considered as the simplest one of binocular stereo cameras. However, its major limitation lies in the controllability of vergence since its left and right imaging sensors of CCDs are fixed. On the other hand, a horizontal-moving-axis stereo camera (HMASC) with movable imaging sensors is able to control the vergence by moving its CCDs horizontally. In spite of its vergence controllability, there is a major drawback in the implementation because of complicated mechanical structure and the additional cost. To overcome the vergence control problem of the PASC, an operational principle of the HMASC is applied to the PASC. To be specific, without any additional hardware the vergence control problem of the PASC is solved with the signal processing technique. Assuming the virtual displacement between CCD's, a disappearing part of acquired images is removed and the original image site is recovered via interpolation. Experimental results show that the vergence control between stereo images captured by the PASC it possible with an acceptable degradation of the image quality defending on the virtual displacement of CCDs.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
평행축 입체 카메라는 구조적으로 간단하여 저렴한 비용으로 구축이 가능하고 제어 기능이 단순하여 다루기 쉽다 는 장점이 있으나, 주시각제어가 불가능하다는 단점이 있다. 본 논문에서는 간단한 신호처리만으로 평행축 입체 카메라에서 주시각제어를 할 수 있는 방법을 제시함으로써, 평행축 입체 카메라를 수평이동축 카메라와 같은 성능을 가질 수 있도록 하였다. 영상의 일부를 삭제하고 확대하는 과정에서 약간의 화질 열화를 가져오지만, 피로를 덜 느끼면서 입체를 감상할 정도의 시차 범위 내에서는 화질의 열화 정도가 미미하여 본 논문에서 제안한 방법이 유용하게 쓰일 수 있을 것이다.
본 논문에서는 주시각 제어를 위한 CCD의 이동은 실제 영상에서 피사체의 이동으로 나타난다는 사실을 이용하여, 기계적으로 주시각 제어가 불가능한 평행축 입체 카메라로부터 획득한 영상에서 CCD의 이동으로 인해 사라지는 부분만큼 제거하고 원래 영상의 크기로 복원하기 위해 수평 수직 방향으로 보간하는 신호처리의 과정을 통해 주시각 제어를 구현하는 방법을 제시한다.
본 절에서는 2장에서 기술한 CCD의 이동 효과를 신호처리를 통해 구현하는 방법을 제시하여 평행축 입체 카메라에서 수평 이동축 입체 카메라의 주시각 제어와 같은 효과를 볼 수 있게 함으로써, 평행축 입체 카메라의 입체 영상에서의 활용도를 높일 수 있음을 보인다. 2장에서 살펴본 바와 같이, 입체 영상용 평행축 카메라는 주시거리가 무한대가 아닌 것을 사용하여야 하며, 본 논문에서도 (그림 2)(b)와 같은 형태의 평행축 입체 카메라를 사용하는 것을 가정한다.
본 절에서는 앞 절에서 제안한 신호처리를 이용한 평행축 입체카메라에서 주시각 제어를 실시간으로 간단한 하드웨어를 사용하여 구현하고자 (그림 6)에서와 같은 시스템을 제안한다. (그림 6)에서 평행축 입체 카메라는 수직 확대 렌즈를 부착함으로써 CCD에 맺히는 피사체를 수직 방향으로 확대시킨 다.
가설 설정
(그림 4)(c)는 수직/수평 방향으로 각각 제거된 영상으로서 영상 내의 물체의 크기는 변함이 없으나 전체 영상의 크기는 줄어들어 있다. (그림 4)(d)는 보 간을 통해서 원래 영상의 크기가 되도록 (그림 4)(c)의 영상을 확대한 것이다. 이 경우에 영상의 전체 크기는 원래 영상의 크기와 같게 되고, 여기서 얻어진 영상은 최초 영상에 비해 물체의 크기는 확대되었으나, CCD의 이동에 의해 물체가 이동한 것과 같은, 즉 주시각 제어된 것과 같은 영상이 된다.
본 절에서는 2장에서 기술한 CCD의 이동 효과를 신호처리를 통해 구현하는 방법을 제시하여 평행축 입체 카메라에서 수평 이동축 입체 카메라의 주시각 제어와 같은 효과를 볼 수 있게 함으로써, 평행축 입체 카메라의 입체 영상에서의 활용도를 높일 수 있음을 보인다. 2장에서 살펴본 바와 같이, 입체 영상용 평행축 카메라는 주시거리가 무한대가 아닌 것을 사용하여야 하며, 본 논문에서도 (그림 2)(b)와 같은 형태의 평행축 입체 카메라를 사용하는 것을 가정한다. 주시거리가 D로 고정되어 있는 평행축 입체 카메라로부터 얻은 좌.
제안 방법
(그림 8) 평행축 입체 카메라로부터 얻은 원 영상과 켑스트럼 (그림 8)의 원 영상을 이용하여 카메라 이동의 효과를 얻기 위해서 좌. 우 영상의 이동량에 해당하는 부분을 삭제하고 원래 크기로 영상 확대를 수행하였다. (그림 9)는 카메라 간격을 넓힌 효과를 알아보기 위해서 좌 영상은 왼쪽으로부터 20화소, 우 영상은 오른쪽으로부터 20화소 삭제한 뒤 다시 확대한 결과이다.
그러나, 이 평행축 입체 카메라도 CCD 센서의 이동이 불가능하므로 주시거리를 자유로이 조절할 수 없는 단점이 여전히 존재한다. 이러한 단점을 보완하기 위해서, 본 논문 예서는 1절에서 기술한 수평 이동축 카메라에서의 CCD의 이동과 촬상면에 맺히는 관측 물의 위치 이동을 고려하였다. 즉, 고정된 CCD 선1서를 통해 촬상면에 맺히는 영상에서 관 측 물의 위치를 신호처리를 통해 이동함으로써 CCD 센서의 이동 효과를 얻어 주시각 제어를 가능케 할 수 있다.
평행축 입체 카메라에서 신호 처리를 이용한 주시각 제어 효과를 실험하기 위해서 원 영상과 제안한 방법으로 주 시각 제어한 영상과의 시차량을 구하여 비교하였다. 여기서 영상의 수평 시차는 (그림 7)에서와 같이 프로젝션 데이터 및 일차원 켑스트럼(cepstrum)을 이용하여 구하였다[5, 6].
결과적으로 오버 샘플링하여 수평 방향으로 더 많이 생성된 데이터에서 주시각 제어되어 이동될 시 필요 없는 영역을 잘라내게 되는 것이므로 정보 손실은 거의 없고, 앞 절에서 설명한 신호처리에 의한 주시 제어 효과가 나타나게 되는 것이다. 한편 주소 발생 장치에 의해 메모리에서 출력되는 영상은 오버 샘플링에 의해 수평 방향으로 확대되는 효과를 가져오지만 미리 평행축 입체 카메라에서 수직 방향으로 확대된 영상을 취득하였으므로 사물의 수평. 수직 왜곡은 없게 된다.
성능/효과
각각의 신호 처리를 통해 주시각이 조절된 입체영상을 자체 제작한 3D 모니터를 통하여 시청한 결과, 주시각 조 절에 의해 시차량이 최소가 될 때 상대적으로 피로감을 덜 느끼면서 입체 영상을 시청할 수 있었다. 실제로, 여기서 구한 시차량은 대표값의 성격을 갖는 것으로서 의미가 있지만 좌.
이때 주시각 제어 신호는 카메라 촬영자에 의한 수동 입력 또는 프로세서에 의한 자동 입력이 될 수 있다. 결과적으로 오버 샘플링하여 수평 방향으로 더 많이 생성된 데이터에서 주시각 제어되어 이동될 시 필요 없는 영역을 잘라내게 되는 것이므로 정보 손실은 거의 없고, 앞 절에서 설명한 신호처리에 의한 주시 제어 효과가 나타나게 되는 것이다. 한편 주소 발생 장치에 의해 메모리에서 출력되는 영상은 오버 샘플링에 의해 수평 방향으로 확대되는 효과를 가져오지만 미리 평행축 입체 카메라에서 수직 방향으로 확대된 영상을 취득하였으므로 사물의 수평.
우 영상의 여러 물체들의 시차량은 실제 그림에 서는 다르게 나타난다. 그러나, 본 실험을 통해서 신호처리를 수행한 영상에서 시차량의 변동을 확인하고, 이에 의해 주시각 제어된 영상을 피로를 덜 느끼면서 시청할 수 있음을 주관적으로 확인함으로써, 평행축 카메라에서도 주시각 제어가 가능하다는 것을 보일 수 있었다.
(그림 10)은 좌 영상은 오른쪽으로부터 20화소, 우 영상은 왼쪽으로부터 20화 소 삭제한 뒤 다시 확대한 결과이다. 이로써 제안한 신호처리를 통해 좌우 영상의 시차량이 가변 됨으로써 평행축 카메라에서 주시각이 조절됨을 알 수 있다. 한편, 본 실험에서 삭제한 양은 실험을 위해 임의로 정한 값으로서 초기에 구해진 시차량과 삭제할 영역 사이의 관계를 구하면 몇 번의 연산을 통해 자동으로 주시 각을 조절할 수 있을 것으로 판단되며 이는 추후의 연구과제로 남겨 둔다.
후속연구
본 논문에서는 간단한 신호처리만으로 평행축 입체 카메라에서 주시각제어를 할 수 있는 방법을 제시함으로써, 평행축 입체 카메라를 수평이동축 카메라와 같은 성능을 가질 수 있도록 하였다. 영상의 일부를 삭제하고 확대하는 과정에서 약간의 화질 열화를 가져오지만, 피로를 덜 느끼면서 입체를 감상할 정도의 시차 범위 내에서는 화질의 열화 정도가 미미하여 본 논문에서 제안한 방법이 유용하게 쓰일 수 있을 것이다.
이로써 제안한 신호처리를 통해 좌우 영상의 시차량이 가변 됨으로써 평행축 카메라에서 주시각이 조절됨을 알 수 있다. 한편, 본 실험에서 삭제한 양은 실험을 위해 임의로 정한 값으로서 초기에 구해진 시차량과 삭제할 영역 사이의 관계를 구하면 몇 번의 연산을 통해 자동으로 주시 각을 조절할 수 있을 것으로 판단되며 이는 추후의 연구과제로 남겨 둔다.
참고문헌 (6)
T. Motoki, H. Isono and I. Yuyama, 'Present state of three-dimensional telveision research,' Proc. IEEE, Vol.83, pp.1009-1021, July, 1995
D. W. Murray et al., 'Reactions to peripheral image motion using a head/eye platform,' 4th Intl. Conf. On Computer Vision, pp.403-411, 1993
S.-Y.Park, Y.-B.Lee and S.-I.Chien, 'Linear relation for vergence control of parallel stereo camera,' Eletron. Lett., Vol.34, No.3, pp.255-256, Feb., 1998
P. W. Smith and N. Nandhakumar, 'An improved power cepstrum based stero correspondence method for textured scenes,' IEEE Trans. Pattern Anal. Machine Intell, Vol.18, No.3, pp.338-348, March, 1996
※ AI-Helper는 부적절한 답변을 할 수 있습니다.