선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 자동 촬영 파노라마 생성 방법을 제안하였다. 카메라가 이동함에 따라 파노라마 멤버들을 자동으로 촬영하여 파노라마 영상을 생성하는 방법이다.
제안 방법
- 본 논문에서 제안하는 파노라마 영상의 생성 방법은파노라마 영상을 구성할 영상들(파노라마 멤버들 (panorama members))을 사용자가 카메라의 셔터를 눌러촬영하는 것이 아니라, 파노라마 멤버들은 자동으로 촬영되도록 하는 것이다. 자동 촬영은 파노라마 생성을 위한장면 촬영에 대한 부담을 줄여주고 파노라마 생성 속도도 높여주는 장점이 있다.
- 특징 벡터는 RANSAC 방법[11]과 최근방 정합[8-10]을 이용해 정합하고 정합 파라미터를 이용하여 두 영상을 병합한다. 이 과정에서 처리 속도를 높이기 위해 영상을 축소하고 영상의 에지(edge)를 추출하여 추출된 에지 위치에서만 특징점들을 추출하여 처리 속도를 개선하는 방법을 사용하였다 [13].
- 또한 장면들에 대해 동영상으로 모두 촬영하지 않고 파노라마 영상을 생성할 수 있으므로 큰 저장 공간이 필요하지 않은 장점이 있다. 제안한방법은 비디오 동영상에서 파노라마 영상 생성에도 적용할 수 있다.
- 이들 특징 벡터들에 대해 RANSAC 알고리즘을 적용하여 정합 파라미터를 구하였다. 최종적으로 정합 파라미터를 이용하여 두 영상을 병합하였다. 그림 7은 자동 촬영된 두 장의 파노라마 멤버에 대해 제안한 방법으로 파노라마 영상을 만든 예를 보여준다.
- 검출된 추적 영역은 초당 30 프레임 속도로 들어오는 영상 스트림에서 그림 4와 같이 추적 영역을추적하였다. 추적 영역 추적은 추적 거리가 일정 거리 이상이 되면 파노라마 멤버가 자동으로 촬영되도록 하였다. 카메라가 움직이는 방향이 좌우만이 아니라 상하 또는대각선 방향이 되면, 추적 영역을 추적하여 카메라의 움직임 방향과 움직인 거 리를 계산하여 제안한 방법을 그대로 적용 할 수 있다.
- 그림 6은 자동 촬영된 파노라마 멤버들을 보여준다. 추적 영역을 포함하는 파노라마용 정합영역에 대해 특징점들을 검출하고, SIFT 묘사자로 특징벡터를 만들었다. 이들 특징 벡터들에 대해 RANSAC 알고리즘을 적용하여 정합 파라미터를 구하였다.
- 카메라를 이동해 가면서 그림 4와 같이 영상 스트림을 처리하였다. 카메라가 이동함에 따라 들어오는 영상 스트림에서자동으로 파노라마 멤버를 촬영하고 파노라마 영상을 자동으로 만들었다.
- 카메라가 이동함에 따라 파노라마 멤버들을 자동으로 촬영하여 파노라마 영상을 생성하는 방법이다. 파노라마 멤버들은 카메라로 들어오는 영상 스트림에서 추적영역을 자동으로 추적하여 촬영하고, 촬영된 멤버들은 추적 영역을 포함하는 파노라마용 정합 영역에 대해 불변특징 방법을 적용한다. 이 방법은 파노라마 멤버들을 자동으로 촬영할 수 있고 파노라마 생성 속도가 빠른 장점이 있다.
대상 데이터
- 제안한 자동 촬영 파노라마 생성 방법의 동작을 확인하기 위하여 카메라 모듈이 장착된 노트북 PC에서 실험하였다. 카메라는 초당 30 프레임 속도로 영상 스트림을출력해 줄 수 있고, 영상의 크기는 326240이다.
이론/모형
- 본 논문에서의 파노라마의 생성은 앞에서 촬영한 파노라마 멤버들에 대해 불변 특징 방법[6]을 사용한다. 이 기법을 파노라마 영상 전체에 적용하지 않고, 그림 3과 같이 파노라마 멤버에서 검출된 추적 영역을 포함한 파노라마용 정합 영역에 대해서만 적용한다.
- 추적 영역을 포함하는 파노라마용 정합영역에 대해 특징점들을 검출하고, SIFT 묘사자로 특징벡터를 만들었다. 이들 특징 벡터들에 대해 RANSAC 알고리즘을 적용하여 정합 파라미터를 구하였다. 최종적으로 정합 파라미터를 이용하여 두 영상을 병합하였다.
- 큰 영상으로 병합하는 것이다. 이때, 합성될 영상들 간의 밝기값과 칼라의 불연속을 줄이기 위해서 병합점으로 거리에 비례하도록 각 영상의 화소들에 가중치를주는 방법인 간단한 블렌딩 알고리즘(blending algorithm)[2]을 적용한다.
- 파노라마 멤버들은 카메라로 들어오는 영상 스트림에서 추적 영역을 자동으로 추적하여촬영된다. 촬영된 멤버들은 추적 영역을 포함하는 파노라마용 정합 영역에 대해 불변 특징 방법[6]을 적용한다. 이방법은 파노라마 멤버들을 자동으로 촬영할 수 있고 파노라마 생성 속도가 빠른 장점이 있다.
- 스트림에 들어오는 영상들은 초당 30 프레임으로프레임 간의 움직임 변화량이 비교적 작기 때문에 실시간 처리가 가능하다. 추적 영역 추적을 위한 정합은 템플릿 정합[2][12]을 사용하며, 에러 메트릭(error metric)은식 (5)와 같이 SAD(sum of absolute difference)[2]를 사용한다.
- 추출된 극점의 위치에서 SIFT 특징 묘사자 (descriptor)[8-10]를 이용하여 특징벡터로 표현되고, 이를이용하여 최근방 정합enearest neighbor matching)[8-10]과 RANSAC 알고리즘[11]을 이용하여 두 영상 간 정합 파라미터를 구한다.
- 묘사자[8-10]로 특징 벡터를 생성한다. 특징 벡터는 RANSAC 방법[11]과 최근방 정합[8-10]을 이용해 정합하고 정합 파라미터를 이용하여 두 영상을 병합한다. 이 과정에서 처리 속도를 높이기 위해 영상을 축소하고 영상의 에지(edge)를 추출하여 추출된 에지 위치에서만 특징점들을 추출하여 처리 속도를 개선하는 방법을 사용하였다 [13].
성능/효과
- 이 방법은 파노라마 멤버들을 자동으로 촬영할 수 있고 파노라마 생성 속도가 빠른 장점이 있다. 실험에서 제안한 방법이 기존의 특징 기반 방법에 비해 처리 속도가 약 2배 빠른 결과를 보였다. 추후 다양한 환경에 대해 파노라마 영상 생성을 실험하여 실제응용에 적용할 예정이다.
- 그림 7은 자동 촬영된 두 장의 파노라마 멤버에 대해 제안한 방법으로 파노라마 영상을 만든 예를 보여준다. 자동촬영된 두 파노라마 멤버에 대해 기존의 특징 기반 방법 [6]과 본 논문의 방법을 적용한 결과 파노라마 영상의 품질에 큰 차이가 없으나, 처리속도 면에서 각각 1.81 초, 0.89초로 처리 속도가 약 2배 향상되었다. 제안한 방법은여러 장의 파노라마 멤버들에 대해서도 확장하여 적용할수 있다.
- 등에 적용할 수 있다. 카메라가 이동하면서 자동으로 파노라마 멤버를 촬영하고 파노라마 영상을 생성할수 있고, 파노라마 생성 속도도 기존의 방법보다 향상되는 장점이 있음을 보았다. 또한 장면들에 대해 동영상으로 모두 촬영하지 않고 파노라마 영상을 생성할 수 있으므로 큰 저장 공간이 필요하지 않은 장점이 있다.
후속연구
- 89초로 처리 속도가 약 2배 향상되었다. 제안한 방법은여러 장의 파노라마 멤버들에 대해서도 확장하여 적용할수 있다. 그림 8은 3장의 자동 촬영된 파노라마 멤버에대해 파노라마 영상의 예를 보였다.
- 제안한 자동 촬영 파노라마는 도시 실물 지도 작성과같은 방대한 지역에 대한 파노라마 영상이나 무인 방범시스템 등에 적용할 수 있다. 카메라가 이동하면서 자동으로 파노라마 멤버를 촬영하고 파노라마 영상을 생성할수 있고, 파노라마 생성 속도도 기존의 방법보다 향상되는 장점이 있음을 보았다.
- 실험에서 제안한 방법이 기존의 특징 기반 방법에 비해 처리 속도가 약 2배 빠른 결과를 보였다. 추후 다양한 환경에 대해 파노라마 영상 생성을 실험하여 실제응용에 적용할 예정이다.
- 추적 영역 추적은 추적 거리가 일정 거리 이상이 되면 파노라마 멤버가 자동으로 촬영되도록 하였다. 카메라가 움직이는 방향이 좌우만이 아니라 상하 또는대각선 방향이 되면, 추적 영역을 추적하여 카메라의 움직임 방향과 움직인 거 리를 계산하여 제안한 방법을 그대로 적용 할 수 있다. 그림 6은 자동 촬영된 파노라마 멤버들을 보여준다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.