선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 크기 및 회전 불변 특징을 활용한 파노라마 영상의 생성 알고리즘을 제안한다. 먼저, 입력 영상들에 대해서 SURF(Speed-Up Robust Features) 알고리즘을 통해 특징점을 추출하고, 추출된 특징점을 정합하여 원근 변환식을 모델링한다.
- 일반 카메라를 이용하여 파노라마 영상을 생성하는 경우 360° 방향의 모든 장면을 사진 한번에 촬영할 수 없기 때문에 몇 장의 사진을 나누어 촬영 후 붙여서 파노라마 영상으로 만든다. 본 논문에서는 크기 및 회전 불변 특징점을 활용하여 파노라마 영상을 합성하는 방법을 제안하였다. 입력 영상들에 대해서 특징점을 추출하고 추출된 특징점을 비교 후 정합되는 점을 이용해서 원근 변환식을 모델링한다.
- 본 절에서는 크기 및 회전 변환에 강인하며, 처리 속도가 향상된 특징 추출 방법을 이용한 파노라마 영상 생성 알고리즘에 대해서 제안한다. 파노라마 영상의 생성을 위해서 2장에서 설명한 것과 같이 일반적으로 SIFT 알고리즘을 많이 사용하고 있다[5, 7].
제안 방법
- 제안한 알고리즘에서 사용한 SURF 방법과 기존 논문에서 활용되는 Harris corner 검출기 및 SIFT 알고리즘과 특징점 추출 및 정합 성능에 대한 비교를 수행하였다. (그림 11)와 같이 동일한 대상물에 대하여 대략 15도, 45도, 90도 회전 및 크기 변화를 고려하여 촬영한 영상에 대하여 특징점 추출을 수행한 후에 영상 정합의 결과를 분석하였다. 영상 정합의 경우 0도 영상을 고정하여 0도와 15도, 0도와 45도, 0도와 90도 영상의 비교를 수행하였다.
- (그림 12), (그림 13)에는 제안한 알고리즘을 사용하여 다양한 대상물을 포함한 9장의 사진을 촬영하고, 파노라마 영상으로 합성한 결과를 제시하였다. 사진 촬영에 사용된 카메라는 Nikon CoolPix 4500, iPhone 내장 카메라이다.
- , 및 에는 영상셋1, 영상셋2 및 영상셋3에 대하여 Harris corner 검출기, SIFT 알고리즘과 SURF 알고리즘을 사용하여 분석한 특징점 수, 정합점 수및 정합률에 대하여 정리를 하였고, 에는 처리속도에 대하여 정리하였다.
- 파노라마 영상 합성 성능을 분석하기 위하여 제안한 알고리즘을 Adobe Photoshop CS4의 Photomerge 기능과 수행 속도를 비교하였다. Photomerge 기능에서 제안된 방식과 동일한 원근 투영법을 선택하였으며, 블랜딩 기능을 제외한 수행시간을 계산하였다. 영상 2장으로 구성된 10개의 그룹에 대하여 실험을 수행하였고, 평균적인 수행시간은 다음<표 7>과 같다.
- SIFT 알고리즘 및 SURF 알고리즘에서 크기 불변 특징의 추출을 위해서 스케일 공간에서 영상을 처리한다. SIFT 알고리즘에서는 스케일 공간은 (그림 7a)와 같이 이미지 피라미드로 표현되며, 가우시안 필터를 반복적으로 영상에 적용함으로서 다양한 스케일의 영상을 생성한다.
- 은 Brown and Lowe가 제안한 알고리즘을 개선한 feature-based 방법을 이용한 파노라마 영상 생성 알고리즘을 제안하였다[6, 9]. SIFT 알고리즘을 사용하여 특징점을 추출하고, 특징 정합 및 bundle adjustment를 통해 기하학적 변환 파라미터를 추정한 후 파노라마 영상을 생성하였다. Brown and Lowe의 알고리즘과의 차이점은 추출된 특징점을 이용하여 특징 정합 과정에서 outliers과 inliers을 구별해서 제거해야 하는데, 이전 방식에서는 RANSAC 알고리즘을 사용하였다[10].
- 기존 논문에서 SIFT 알고리즘을 이용한 방법들은 정확도는 높지만, 대체로 속도가 느렸다. 따라서, 제안한 알고리즘에서는 입력 영상에서 강인하고, 계산비용이 적은 특징점을 추출하기 위해 SURF 알고리즘을 적용하여 효율적인 파노라마 영상의 합성을 모색하였다.
- 색상과 위치가 불일치하는 영상에 대해 합성이 가능하고, 움직이는 물체 등에 의해서 영상의 연결이 절단되지 않도록 방지하기 위해서 커브 강도와 밝기값 변화율의 일관성을 활용한다. 또한 합성 결과물의 밝기값 변화 등을 조절해서 합성된 영상의 절개 부분의 픽셀값 불연속성을 개선했으며, 다중 해상도 기법을 통해서 원본 영상의 크기에 독립적으로 처리 시간을 단축하였다. Suen et al.
- 먼저 SURF 특징점 추출의 성능을 분석하기 위하여 동한 영상에 대하여 SURF 특징점을 추출한 후에 임의로 특징점을 추가하거나 제거하면서 정합된 특징점의 수를 계산 하였고, 이를 통하여 파노라마 영상을 합성한 결과를 에 정리하였다.
- 7GHz CPU와 2GB RAM 사양의 컴퓨터를 이용하였다. 먼저 제안한 알고리즘에서 사용한 특징점 추출 및 정합 성능을 분석한 후에, 파노라마 영상 생성 결과에 대해서 제시하겠다.
- 본 논문에서는 크기 및 회전 불변 특징을 활용한 파노라마 영상의 생성 알고리즘을 제안한다. 먼저, 입력 영상들에 대해서 SURF(Speed-Up Robust Features) 알고리즘을 통해 특징점을 추출하고, 추출된 특징점을 정합하여 원근 변환식을 모델링한다. 모델링된 변환식을 통하여 영상을 정렬하여 파노라마 영상을 생성한다.
- 입력 영상들에 대해서 특징점을 추출하고 추출된 특징점을 비교 후 정합되는 점을 이용해서 원근 변환식을 모델링한다. 모델링된 변환식을 통하여 영상을 정렬하여 파노라마 영상을 생성하였다.
- 먼저, 입력 영상들에 대해서 SURF(Speed-Up Robust Features) 알고리즘을 통해 특징점을 추출하고, 추출된 특징점을 정합하여 원근 변환식을 모델링한다. 모델링된 변환식을 통하여 영상을 정렬하여 파노라마 영상을 생성한다. 제안하는 방법은 feature-based 방법에 해당되며, 신속하고 신뢰성 있는 특징의 추출을 위하여 SURF 알고리즘을 채택하였다.
- 본 논문에서 제안한 알고리즘을 이용하여 다양한 영상 그룹에 대하여 실험하였다. 입력된 영상의 사이즈는 모두 640x480으로 통일하였고, AMD Athlon 64 X2 Dual Core 3600+ 2.
- 본 논문에서는 특징점의 추출을 위하여 SURF 특징점 추출 알고리즘을 적용하여 영상의 크기 및 회전 등의 기하학적 변형, 조명 변화 및 영상의 흔들림에도 강인성을 확보하였다. 또한 기존의 SIFT 알고리즘을 사용한 방법들에 비하여 빠른 파노라마 생성 속도의 향상도 달성하였다.
- 상기의 2차원 기하학적인 변환에 대한 3차원 동차좌표계를 활용하여 파노라마 영상의 생성을 위한 homography를 조합을 통하여 투영 변환을 모델링한다. 투영 변환은 식(8) 과 같이 모델링된다[13].
- (그림 11)와 같이 동일한 대상물에 대하여 대략 15도, 45도, 90도 회전 및 크기 변화를 고려하여 촬영한 영상에 대하여 특징점 추출을 수행한 후에 영상 정합의 결과를 분석하였다. 영상 정합의 경우 0도 영상을 고정하여 0도와 15도, 0도와 45도, 0도와 90도 영상의 비교를 수행하였다. 성능에 대한 평가는 특징점 수, 정합점 수, 수행 시간이다.
- 본 논문에서는 크기 및 회전 불변 특징점을 활용하여 파노라마 영상을 합성하는 방법을 제안하였다. 입력 영상들에 대해서 특징점을 추출하고 추출된 특징점을 비교 후 정합되는 점을 이용해서 원근 변환식을 모델링한다. 모델링된 변환식을 통하여 영상을 정렬하여 파노라마 영상을 생성하였다.
- RANSAC 알고리즘의 수행 과정은 다음과 같다. 입력된 특징점에서 N개의 서브데이터를 선택하고, 이 데이터를 가상의 inliers로 생각하고 모델을 예측한다. 선택된 특징점에서 예측한 모델이 잘 맞는지 체크하고 이때 잘 맞는 데이터의 수를 K라고 하자.
- (그림 9c)는 특징점을 정합시켜 정합된 점을 서로 연결한 선을 도시하였다. 정합된 점의 수가 많아서 샘플링을 통하여 정합 관계를 가시적으로 확인할 수 있도록 정합점의 수를 조정하였다. 제안한 알고리즘을 통하여 정합된 특징점의 수는 1075개이며, 약 48%의 정합률을 보였다.
- 2그룹 영상셋에서 9개의 영상을 파노라마로 만드는데 소요되는 평균시간은 (그림 12)는 12초, (그림 13)는 14초가 소요되었다. 제안된 방법에서는 영상 사이의 관계를 확실하게 찾기 위해서 각각의 영상 사이의 특징점 비교를 전체에 걸쳐 진행한다. 따라서 확실히 중첩되는 영상 2장을 지정해서 입력한 경우 0.
- 본 논문에서 제안하는 크기 및 회전 변환에 강인한 특징 점을 이용한 파노라마 영상의 합성 과정은 (그림 5)에 도시하였다. 제안하는 알고리즘은 (1) 특징추출, (2) 특징정합, (3) 영상정렬의 3과정으로 구성되어 있으며, 각 과정에 대하여 다음 절에서 자세히 설명하겠다.
- 이때 n개의 특징을 정합하려면 O(n2 )의 복잡 도를 갖게 되는데, nearest-neighbor 알고리즘을 통하여 O(nlogn)의 복잡도를 갖도록 성능을 향상하였다[8]. 특징들 사이의 정합관계를 수립한 후에, bundle adjustment를 통해서 기하학적인 변환모델의 파라미터를 추정하고, 영상을 정렬하여 변환함으로써 (그림 4e)와 같이 파노라마 영상을 생성하였다. 사용된 SIFT 알고리즘은 입력된 영상의 크기나 회전에 불변하는 특징을 추출할 수 있기 때문에, 이 특징을 이용함으로써 신뢰성 있는 파노라마 영상을 생성할 수 있다.
- 파노라마 영상의 생성을 위해서 2장에서 설명한 것과 같이 일반적으로 SIFT 알고리즘을 많이 사용하고 있다[5, 7]. 하지만, 성능 상의 제약으로 인하여, 본 논문에서는 SURF(Speeded Up Robust Features) 알고리즘을 이용하여 특징 추출의 신뢰성 및 처리 성능을 향상하였다[12]. SURF 알고리즘은 SIFT 알고리즘에 비해서 빠르고 특징점 추출이 정확하기 때문에 파노라마 합성에 더 적합하다.
대상 데이터
- (그림 12), (그림 13)에는 제안한 알고리즘을 사용하여 다양한 대상물을 포함한 9장의 사진을 촬영하고, 파노라마 영상으로 합성한 결과를 제시하였다. 사진 촬영에 사용된 카메라는 Nikon CoolPix 4500, iPhone 내장 카메라이다. (그림 12)는 야간에 9장의 사진을 촬영한 결과이며, (그림 13)는 주간에 9장의 사진을 촬영한 결과이다.
- 영상 2장으로 구성된 10개의 그룹에 대하여 실험을 수행하였고, 평균적인 수행시간은 다음과 같다.
데이터처리
- 제안한 알고리즘에서 사용한 SURF 방법과 기존 논문에서 활용되는 Harris corner 검출기 및 SIFT 알고리즘과 특징점 추출 및 정합 성능에 대한 비교를 수행하였다. (그림 11)와 같이 동일한 대상물에 대하여 대략 15도, 45도, 90도 회전 및 크기 변화를 고려하여 촬영한 영상에 대하여 특징점 추출을 수행한 후에 영상 정합의 결과를 분석하였다.
- 파노라마 영상 합성 성능을 분석하기 위하여 제안한 알고리즘을 Adobe Photoshop CS4의 Photomerge 기능과 수행 속도를 비교하였다. Photomerge 기능에서 제안된 방식과 동일한 원근 투영법을 선택하였으며, 블랜딩 기능을 제외한 수행시간을 계산하였다.
이론/모형
- SIFT 알고리즘을 사용하여 특징점을 추출하고, 특징 정합 및 bundle adjustment를 통해 기하학적 변환 파라미터를 추정한 후 파노라마 영상을 생성하였다. Brown and Lowe의 알고리즘과의 차이점은 추출된 특징점을 이용하여 특징 정합 과정에서 outliers과 inliers을 구별해서 제거해야 하는데, 이전 방식에서는 RANSAC 알고리즘을 사용하였다[10]. 그러나 Brown et al.
- SURF 알고리즘에서는 영상의 특징점을 추출하기 위하여 Hessian 행렬에 기반하는 검출기를 사용한다. Hessian 행렬은 다음 식(2)과 같이 표현되며, X는 영상에서 점의 좌표 (x, y)이며, σ는 적분영상의 스케일 값을 의미한다.
- 그러나 Brown et al. 방법에서는 MLESAC 알고리즘을 사용하였다[11]. MLESAC은 MLE(maximum likelihood estimation)을 사용해서 주어진 특징점들에서 inliers를 선택할 확률을 최대로만들어 inliers 추정에 걸리는 시간을 단축한 RANSAC 알고리즘의 파생 알고리즘이다.
- 입력 영상에 대하여 SURF 알고리즘을 통해 추출한 특징 점들을 RANSAC알고리즘을 이용해서 inliers과 outliers을 구별해서 outliers들을 제거하여 연관 특징을 정합한다[10]. 일반적으로 사용되는 최소자승법의 경우 inliers와 outliers를 모두 고려해서 오차가 최소가 되도록 구하는 접근법이다.
- 모델링된 변환식을 통하여 영상을 정렬하여 파노라마 영상을 생성한다. 제안하는 방법은 feature-based 방법에 해당되며, 신속하고 신뢰성 있는 특징의 추출을 위하여 SURF 알고리즘을 채택하였다.
성능/효과
- 알고리즘은 특징 추출을 위해 SIFT 알고리즘을 사용하기 때문에, 특징 추출의 결과가 전체 성능을 좌우한다. SIFT 알고리즘이 특징 추출에 있어서 우수한 결과를 나타내지만, 알고리즘의 복잡도가 높아서, 계산량이 많고, 그로 인하여 특징 추출의 속도가 느리다. 따라서 효율적인 파노라마 영상을 생성하기 위해서는 크기 및 회전 변환에 강인하며, 처리 속도가 향상된 특징 추출 방법이 필수적이다.
- 영상 2장으로 구성된 10개의 그룹에 대하여 실험을 수행하였고, 평균적인 수행시간은 다음<표 7>과 같다. 그 결과 Photoshop CS4 보다 약 15배 정도 빠른 것을 확인 할 수 있다.
- 먼저 SURF 특징점 추출의 성능을 분석하기 위하여 동한 영상에 대하여 SURF 특징점을 추출한 후에 임의로 특징점을 추가하거나 제거하면서 정합된 특징점의 수를 계산 하였고, 이를 통하여 파노라마 영상을 합성한 결과를 <표 2>에 정리하였다. 그 결과에 따르면 각각의 영상에서 추출 되는 특징점의 수가 많거나 적더라도 SURF 알고리즘에서는 충분한 정합점을 추출할 수 있고 파노라마 영상의 생성에 문제가 없음을 확인할 수 있다.
- 다양한 대상물을 촬영하여 합성을 수행하였고, 조명 등에 의한 밝기값 및 기하학적인 왜곡 등이 발생하였음에도 불구하고 합성을 올바르게 수행하였음을 확인할 수 있다.
- 본 논문에서는 특징점의 추출을 위하여 SURF 특징점 추출 알고리즘을 적용하여 영상의 크기 및 회전 등의 기하학적 변형, 조명 변화 및 영상의 흔들림에도 강인성을 확보하였다. 또한 기존의 SIFT 알고리즘을 사용한 방법들에 비하여 빠른 파노라마 생성 속도의 향상도 달성하였다.
- 정합된 점의 수가 많아서 샘플링을 통하여 정합 관계를 가시적으로 확인할 수 있도록 정합점의 수를 조정하였다. 제안한 알고리즘을 통하여 정합된 특징점의 수는 1075개이며, 약 48%의 정합률을 보였다. 입력된 영상의 중첩이 70%정도인 것을 고려하면 48% 정합률은 다음 단계인 영상 정렬을 위하여 충분한 정합점 수에 해당된다.
- <표 3>, <표 4> 및 <표 5>에 정리된 것과 같이 추출된 특징점 수는 SIFT 알고리즘 > SURF 알고리즘 >> Harris corner 검출기의 순서이며, 정합점 수 및 정합률도 SIFT 알고리즘 > SURF 알고리즘 >> Harris corner 검출기의 순서이다. 추출된 특징점 수는 파노라마 영상의 합성을 위한 정합에 큰 영향은 없으며, 정합점 수 및 정합률이 파노라마 영상의 성공적인 수행을 위해서 중요하며 값이 클수록 유리하다. <표 6>에 나타난 것과 같이 평균 수행시간은 알고리즘의 복잡도를 의미하며 SIFT 알고리즘 > Harris corner 검출기 >> SURF 알고리즘의 순서로 값이 작을수록 좋은 알고리즘이다.
후속연구
- 이는 카메라의 자동밝기값 조정으로 인하여 촬영된 영상에서 동일 대상물의 위치에서의 픽셀 밝기값이 다르기 때문이다. 이의 해결을 위하여 다중밴드 블랜딩 기술들을 도입할 필요가 있으며, 차후 연구를 통하여 개선할 예정에 있다.
- 차후의 연구로는 다중밴드 블랜딩 등을 통한 합성 영상의 화질 향상이 필요하다. 실험에서의 합성 결과에서 확인 가능한 것과 같이 입력 영상의 촬영시에 카메라 설정 파라미터의 자동 변화로 인하여 경계선 부분의 밝기값이 차이가 존재하여 밝기값의 불연속성이 발생한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.