선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 따라서 본 논문에서는 일반적인 모바일폰 사용자가 관심 객체를 좌·우로 촬영한 스테레오 영상으로부터 얻어지는 3차원 정보에 초점을 두고, 이를 실측된 3차원 정보와 비교함으로써 모바일폰 카메라의 촬영 조건에 따른 3차원 정확도를 분석하는데 목적이 있다.
- 본 논문에서는 모바일폰 카메라로부터 생성된 3차원 정보에 있어 스테레오 영상의 촬영 조건에 따른 3차원 정확도에 대해 분석하였다. 이를 위해 카메라 파라미터 추정을 통해 스테레오 영상으로부터 3차원 정보를 산출하였으며, 스테레오 모델의 수렴각 변화를 통한 3차원 정확도 결과를 비교하여 다음과 같은 결론에 도달하였다.
가설 설정
- )는 우측 영상좌표이다. 이 때, 좌측 영상의 투영중심 O1은 모델 공간 좌표계의 원점이 되며 좌측 영상의 오른쪽 방향을 X축, 위쪽 방향을 Y축, 객체 반대방향을 Z축이라고 가정한다. 스테레오 영상의 기선거리 T X는 스케일 관련 상수이므로 결과적으로 미지수의 개수는 총 5개 (TY, TZ, ω,Φ,K)가 된다.
제안 방법
- 이번에는 스테레오 영상에서 산출된 3차원 정보의 정확도를 분석하였다. 2장에서 기술한 바와 같이 30개의 기준점을 이용하여 좌측 영상의 사진 좌표(x1 ,y1) 와 우측 영상의 사진 좌표(x2, y2)로부터 모델 공간 좌표계 상의 3차원 정보(XM, YM, ZM)를 생성하였다. 또한 3차원 변환을 통해 객체 공간 좌표계 상의 3차원 정보 (XO, YO, ZO)로 나타내고, 식 (11)과 같이 실제 3차원 정보 (#)와 비교한 결과를 RMSE로 나타내었다.
- 따라서 3차원 등각 변환(3D conformal coordinate transformation)을 수행하며 이는 식 (7)과 같이 나타낼 수 있다[16]. 3차원 등각변환 계수는 스테레오 영상에서 선정한 기준점에 대해서 실측을 통해 얻어진 객체 공간 좌표와 공선조건식으로 산출된 모델 공간 좌표를 이용하여 산출하였다.
- 이를 위해 촬영위치 및 방향이 다른 여러 장의 영상을 취득하여, 다양한 수렴각을 가지는 스테레오 영상을 구성하였다. 그리고, 모바일폰 카메라의 내부 파라미터를 산출하고 왜곡보정계수를 이용하여 영상의 왜곡보정을 수행하였다. 스테레오 영상의 기하구조 추정은 특징점 기반 정합기법인 SIFT(Scale Invariant Feature Transform) 알고리즘[13]으로 산출된 정합점을 이용하여 사진측량에서 사용되고 있는 상대표정(relative ori- entation)을 적용하였다.
- 일반적으로 안드로이드 OS의 카메라 기능은 자동 초점(autofocus) 모드로 설정되어 있으므로 이로 인해 초점거리의 변화가 발생하게 된다. 따라서 안드로이드 SDK에서 제공되고 있는 고정 초점(fixed) 모드를 적용하여 영상을 촬영하였다. 영상 크기는 처리 속도를 고려하여 640x480으로 저장하였다.
- 본 논문에서는 스테레오 영상의 정밀한 기하 추정을 위해서 에피폴라 제약조건 또는 공면조건(coplanarity con- straints)을 이용한 상대표정을 수행한다[15-16]. 상대표정이란 사진측량에서 두 영상의 기하학적인 위치 및 자세를 추정하는 과정을 의미한다.
- 스테레오 영상의 기하구조를 추정하게 되면, 좌·우 영상점으로부터 3차원 정보를 산출할 수 있다. 이를 위해 사진 측량에서 사용되는 공선조건을 적용하였다[16]. 공선조건은 2차원의 영상 좌표와 3차원 좌표 그리고 카메라의 투영 중심이 동일한 직선상에 존재함을 의미하며, 식 (6)과 같이 나타낼 수 있다.
- 따라서 본 논문에서는 일반적인 모바일폰 사용자가 관심 객체를 좌·우로 촬영한 스테레오 영상으로부터 얻어지는 3차원 정보에 초점을 두고, 이를 실측된 3차원 정보와 비교함으로써 모바일폰 카메라의 촬영 조건에 따른 3차원 정확도를 분석하는데 목적이 있다. 이를 위해 촬영위치 및 방향이 다른 여러 장의 영상을 취득하여, 다양한 수렴각을 가지는 스테레오 영상을 구성하였다. 그리고, 모바일폰 카메라의 내부 파라미터를 산출하고 왜곡보정계수를 이용하여 영상의 왜곡보정을 수행하였다.
- 본 논문에서는 모바일폰 카메라로부터 생성된 3차원 정보에 있어 스테레오 영상의 촬영 조건에 따른 3차원 정확도에 대해 분석하였다. 이를 위해 카메라 파라미터 추정을 통해 스테레오 영상으로부터 3차원 정보를 산출하였으며, 스테레오 모델의 수렴각 변화를 통한 3차원 정확도 결과를 비교하여 다음과 같은 결론에 도달하였다.
- 이번에는 스테레오 영상에서 산출된 3차원 정보의 정확도를 분석하였다. 2장에서 기술한 바와 같이 30개의 기준점을 이용하여 좌측 영상의 사진 좌표(x1 ,y1) 와 우측 영상의 사진 좌표(x2, y2)로부터 모델 공간 좌표계 상의 3차원 정보(XM, YM, ZM)를 생성하였다.
- 총 20개의 스테레오 모델에서 우측 영상의 위치와 자세를 산출하기 위해 상대표정을 수행하였다. 또한 상대표정 수립 정확도를 계산하기 위해 우선 식 (9)와 같이 30개의 기준점 (XO ,YO, ZO)을 모델 공간 좌표계 상의 3차원 좌표 (XM, YM, ZM)로 변환하고, 이를 영상에 역투영시켜 2차원의 사진 좌표 (xr, yr)를 생성하였다.
대상 데이터
- 본 논문에서 사용한 모바일폰은 안드로이드 OS 기반의 Pantech IM-A870 모델로서 그림 3과 같다. IM-A870에는 약 1300만 화소의 1/3″ CMOS 카메라가 탑재되어 있다.
- 본 연구에서는 영상의 왜곡보정을 위해 컴퓨터 비전분야에서 많이 사용되고 있는 OpenCV 라이브러리[18]를 활용하였다. 방사왜곡과 접선왜곡을 고려한 왜곡보정을 수행하였으며 방사왜곡계수 k2 이후의 항은 고려하지 않았으므로 k3 의 값은 0으로 두었다.
- 모든 영상의 카메라 투영중심은 모델 공간 좌표계의 X축 상에서 이동하였다. 정확도 분석을 위한 데이터 셋은 카메라의 Y축이 고정된 영상 11장(Data1)과 객체가 영상의 중심에 오도록 카메라 Y축이 회전된 영상 11장(Data2)으로 구성된다.
데이터처리
- 표 5에서는 Data1과 Data2에서 산출된 외부 파라미터(스케일 상수 TZ는 100으로 고정)결과를 비교하였다. 표 5에서 카메라 Y축 회전이 이뤄진 Data2의 Y축 회전요소 Φ값이 점차 증가하는 경향을 확인할 수 있다.
이론/모형
- 내부 파라미터와 왜곡계수 산출을 위해 GML Camera Calibration Toolbox를 이용하였다[17]. 이 과정에서는 모바일폰 카메라의 방향과 각도를 변화시키며 mm단위의 길이를 알고 있는 정사각형으로 이루어진 보정패턴을 촬영한 다중 영상을 이용한다.
- 그리고, 모바일폰 카메라의 내부 파라미터를 산출하고 왜곡보정계수를 이용하여 영상의 왜곡보정을 수행하였다. 스테레오 영상의 기하구조 추정은 특징점 기반 정합기법인 SIFT(Scale Invariant Feature Transform) 알고리즘[13]으로 산출된 정합점을 이용하여 사진측량에서 사용되고 있는 상대표정(relative ori- entation)을 적용하였다. 좌·우 영상점들의 3차원 정보를 생성하기 위해 공선조건(collinearity constraints)식을 적용하였으며, 이를 객체 공간 좌표계로 변환함으로써 실측된 3차원 좌표와 정량적인 비교가 가능하도록 하였다.
- 좌·우 영상점들의 3차원 정보를 생성하기 위해 공선조건(collinearity constraints)식을 적용하였으며, 이를 객체 공간 좌표계로 변환함으로써 실측된 3차원 좌표와 정량적인 비교가 가능하도록 하였다.
성능/효과
- 결과적으로 스테레오 모델의 수렴각이 증가할수록 3차원 오차가 감소하지만, Scene-6과 같이 특정 수렴각(약 17°) 이상이 되면 수렴각에 따른 정확도 차이가 크게 발생하지 않는 것으로 확인되었다.
- 수직 방향과 달리 수평 방향의 오차는 수렴각에 관계없이 전반적으로 비슷한 경향을 나타냈지만, 영상의 중복도가 감소할 경우 상대표정 수립 과정에서 발생한 오차의 영향을 받는 것으로 확인되었다. 결과적으로 스테레오 모델의 수립구조 요인인 수렴각의 변화는 수직 방향 정확도에 큰 영향을 미치는 것으로 보인다. 이 연구결과는 정밀 지도제작 및 3차원 복원을 위한 스테레오 위성영상의 수렴각에 따른 정확도 특성과도 부합된다[20].
- 두 개의 데이터셋을 비교해보면 Data1은 수렴각이 증가함에 따라 오차가 감소하다가 다시 증가하는 경향을 보이지만, Data2는 일관성 있게 오차가 감소하는 것을 확인할 수 있다. 이러한 이유는 Data1에서는 카메라 회전이 이뤄지지 않았기 때문에 수렴각이 증가할수록 영상의 중복도가 감소하여 수평 오차가 발생하기 때문인 것으로 보인다.
- 스테레오 보정 방식은 카메라의 위치 및 자세가 변경될 때마다 보정 패턴을 이용한 재작업이 요구되지만, 상대표정은 공면조건식으로부터 좌·우 카메라의 상대적인 위치 및 자세를 직접 산출할 수 있다. 또한 DLT(Direct Linear Transformation) 기반 알고리즘의 선형적 접근과 달리, 테일러 급수를 통한 선형화 및 최소제곱추정(LSE, Least-Square Estimation)을 수행하여 정확하고 신뢰적인 카메라 위치 및 자세 산출이 가능하다.
- 스테레오 모델의 수렴각이 증가함에 따라 3차원 정확도가 증가하는 것을 알 수 있으며, 적정 수렴각을 충족한다면 상대적으로 정확도 높은 3차원 정보를 생성할 수 있음을 확인할 수 있었다. 수직 방향과 달리 수평 방향의 오차는 수렴각에 관계없이 전반적으로 비슷한 경향을 나타냈지만, 영상의 중복도가 감소할 경우 상대표정 수립 과정에서 발생한 오차의 영향을 받는 것으로 확인되었다. 결과적으로 스테레오 모델의 수립구조 요인인 수렴각의 변화는 수직 방향 정확도에 큰 영향을 미치는 것으로 보인다.
- 이러한 이유로 모든 데이터셋에서 수렴각에 따라 3차원 정확도가 변하는 것을 확인할 수 있다. 수직 방향인 Z방향 정확도는 두 데이터셋 모두 Scene-2에서 4mm이상의 큰 오차를 나타내지만, Scene-3에서 1.68mm, 1.94mm의 오차를 보이고 수렴각이 증가할수록 점차 오차가 감소하는 경향을 확인할 수 있다. 반면에 수평 방향인 X방향과 Y방향에서는 수렴각에 관계없이 전반적으로 1mm 내외의 높은 정확도를 갖는 것으로 보이는데, 이는 수평 방향의 정보가 2차원 사진 좌표로부터 추정되기 때문에 발생한 결과이다.
- 스테레오 모델의 수렴각이 증가함에 따라 3차원 정확도가 증가하는 것을 알 수 있으며, 적정 수렴각을 충족한다면 상대적으로 정확도 높은 3차원 정보를 생성할 수 있음을 확인할 수 있었다. 수직 방향과 달리 수평 방향의 오차는 수렴각에 관계없이 전반적으로 비슷한 경향을 나타냈지만, 영상의 중복도가 감소할 경우 상대표정 수립 과정에서 발생한 오차의 영향을 받는 것으로 확인되었다.
- 이러한 이유는 Data1에서는 카메라 회전이 이뤄지지 않았기 때문에 수렴각이 증가할수록 영상의 중복도가 감소하여 수평 오차가 발생하기 때문인 것으로 보인다. 실험결과는 모바일폰 스테레오 영상으로부터 mm단위의 정확도 높은 3차원 정보 생성이 가능함을 보여주었으며, 보다 정밀한 3차원 정보를 위해서는 최소한의 적절한 수렴각이 요구됨을 확인할 수 있다.
- 표 6에서는 Data1과 Data2의 상대표정 수립 정확도를 RMSE로 나타내 었다. 전체 데이터 셋의 모델 정확도는 약 1pixel 내외로 나타나 전반적으로 정확한 외부 파라미터 산출이 이뤄졌음을 알 수 있다.
후속연구
- 아울러, 스테레오 기하를 설명하는 다른 요소들(에피폴라 평면 경사각, 좌우 관측 비대칭각 등)에 대한 모바일폰 스테레오 영상의 정확도 분석도 향후에 꼭 필요한 연구로 판단된다. 본 논문의 실험결과가 향후 모바일폰의 스테레오 영상을 이용한 입체영상 제작 및 3차원 객체 복원 등의 관련 연구에 활용될 수 있을 것으로 기대한다.
- 이 연구결과는 정밀 지도제작 및 3차원 복원을 위한 스테레오 위성영상의 수렴각에 따른 정확도 특성과도 부합된다[20]. 아울러, 스테레오 기하를 설명하는 다른 요소들(에피폴라 평면 경사각, 좌우 관측 비대칭각 등)에 대한 모바일폰 스테레오 영상의 정확도 분석도 향후에 꼭 필요한 연구로 판단된다. 본 논문의 실험결과가 향후 모바일폰의 스테레오 영상을 이용한 입체영상 제작 및 3차원 객체 복원 등의 관련 연구에 활용될 수 있을 것으로 기대한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.