초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

본 논문은 스마트폰 카메라를 사용하여 파노라마 콘텐츠를 제작하기 위한 동영상 스티칭 방법을 제안한다. 본 논문에서는 동영상 스티칭 방법으로 특징점 추출 알고리즘인 SURF와 블렌딩 알고리즘인 멀티밴드 블랜딩 알고리즘을 사용한다. 또한, 동영상 스티칭 결과의 정확도를 향상 시키기 위하여 스마트폰의 센서 데이터를 사용하고, 동영상 스티칭 시 흔들림이 생기는 현상을 해결하기 위하여 선형 호모그래피 행렬 생성 방법을 적용하였다. 추가로 스마트폰을 활용하여 파노라마 콘텐츠 제작 시 요구되어지는 거리와 각도를 찾기 위한 실험을 진행하였다.

본 논문은 스마트폰 카메라를 사용하여 파노라마 콘텐츠를 제작하기 위한 동영상 스티칭 방법을 제안한다. 본 논문에서는 동영상 스티칭 방법으로 특징점 추출 알고리즘인 SURF와 블렌딩 알고리즘인 멀티밴드 블랜딩 알고리즘을 사용한다. 또한, 동영상 스티칭 결과의 정확도를 향상 시키기 위하여 스마트폰의 센서 데이터를 사용하고, 동영상 스티칭 시 흔들림이 생기는 현상을 해결하기 위하여 선형 호모그래피 행렬 생성 방법을 적용하였다. 추가로 스마트폰을 활용하여 파노라마 콘텐츠 제작 시 요구되어지는 거리와 각도를 찾기 위한 실험을 진행하였다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 본 논문에서는 스마트폰 카메라를 사용하여 파노라마 콘텐츠를 제작하기 위한 동영상 스티칭 방법을 제안한다. 이 방법에는 스마트폰 센서 데이터 활용 및 선형 호모그래피 행렬 생성방법, SURF(Speeded Up Robust Feature) 특징점 추출 알고리즘, 멀티밴드 블랜딩 알고리즘을 적용하였다.
• 스마트폰을 활용하여 파노라마 동영상을 제작하기 위한 방법으로 본 논문에서는 동영상 스티칭 방법을 제안하고, 이를 바탕으로 스마트폰 파노라마 동영상 제작 시 요구 되어지는 거리 및 각도에 대한 실험을 진행하였다. 동영상 스티칭 실험 결과 스마트폰 사이의 거리가 45cm인 경우에 비해 30cm 이하일 때 스티칭 정확도가 높았다.

제안 방법

• 또한 촬영한 동영상은 두 대의 스마트폰 사이의 거리를 15cm, 30cm, 45cm로 두어 촬영하였으며, 정면(90°)을 기준으로 두 대의 스마트폰 모두 좌, 우 각각 ±20°까지 10°씩 각도를 변경하였다. 동영상 스티칭은 동영상을 촬영한 거리, 각도 별 100 프레임씩 진행하였으며, 표 1의 기준을 근거로 동영상 스티칭 정확도를 상, 중, 하 3단계로 평가하여 각각 3, 2, 1 의 점수를 부여하였다.
• 또한 촬영한 동영상은 두 대의 스마트폰 사이의 거리를 15cm, 30cm, 45cm로 두어 촬영하였으며, 정면(90°)을 기준으로 두 대의 스마트폰 모두 좌, 우 각각 ±20°까지 10°씩 각도를 변경하였다.
• 이 방법에는 스마트폰 센서 데이터 활용 및 선형 호모그래피 행렬 생성방법, SURF(Speeded Up Robust Feature) 특징점 추출 알고리즘, 멀티밴드 블랜딩 알고리즘을 적용하였다. 또한, 두 대의 스마트폰을 사용하고 제안한 스티칭 방법을 적용하여 비교하는 실험을 진행한다.
• 본 실험에서는 두 대의 스마트폰 카메라를 동일선 상에 배치하여 사용하였으며, 두 대의 스마트폰 사이의 거리와 각 스마트폰의 각도를 달리하여 촬영한 동영상의 스티칭 결과를 평가하였다. 그림 2는 실험에 사용한 실험 도구이다.
• 시중에 유통되는 파노라마 카메라는 렌즈를 회전시키며 영상을 촬영하는 렌즈회전식, 어안렌즈를 사용하여 렌즈의 움직임 없이 파노라마 영상을 촬영할 수 있는 광각렌즈형 두 가지 방식으로 구분되어 진다.

이론/모형

• 본 논문에서는 스마트폰 카메라를 사용하여 파노라마 콘텐츠를 제작하기 위한 동영상 스티칭 방법을 제안한다. 이 방법에는 스마트폰 센서 데이터 활용 및 선형 호모그래피 행렬 생성방법, SURF(Speeded Up Robust Feature) 특징점 추출 알고리즘, 멀티밴드 블랜딩 알고리즘을 적용하였다. 또한, 두 대의 스마트폰을 사용하고 제안한 스티칭 방법을 적용하여 비교하는 실험을 진행한다.
• 하지만 스티칭 된 각 프레임들을 동영상으로 재생할 경우 동영상에 흔들림이 발생한다. 이러한 문제점을 해결하기 위하여 호모그래피 행렬과 센서 데이터를 활용한 동영상 스티칭 방법 연구[4]의 선형 호모그래피 행렬 생성 방법을 사용한다. 특징점 추출 방식은 SURF 알고리즘을 사용하고, 블랜딩은 멀티밴드 블랜딩 방식을 사용한다.
• SURF 알고리즘[1]에서는 이미지를 적분하여 밝기 값들의 합을 구한 적분 이미지를 사용한다. 이렇게 생성된 적분 이미지를 토대로 비교적 정확도가 높은 헤이지안 행렬(Hessian matrix)를 사용하여 특징점과 매칭 영역을 찾는다. 특히, 적분 이미지를 사용한 스케일 공간을 구성하고, 옥타브를 생성할 때 가우시안(Gaussian) 필터의 크기를 증가시키는 방법을 사용한다.
• 이러한 문제점을 해결하기 위하여 호모그래피 행렬과 센서 데이터를 활용한 동영상 스티칭 방법 연구[4]의 선형 호모그래피 행렬 생성 방법을 사용한다. 특징점 추출 방식은 SURF 알고리즘을 사용하고, 블랜딩은 멀티밴드 블랜딩 방식을 사용한다. 그림 1은 본 연구에서 제안한 스티칭 방법의 흐름도이다.
• 이렇게 생성된 적분 이미지를 토대로 비교적 정확도가 높은 헤이지안 행렬(Hessian matrix)를 사용하여 특징점과 매칭 영역을 찾는다. 특히, 적분 이미지를 사용한 스케일 공간을 구성하고, 옥타브를 생성할 때 가우시안(Gaussian) 필터의 크기를 증가시키는 방법을 사용한다. 때문에, 이미지 크기 축소시 발생할 수 있는 잡음(noise)을 줄일 수 있고, 반복 연산을 줄여 시스템의 부하를 줄일 수 있다.

성능/효과

• 3가지 실험을 종합한 결과 스마트폰 사이의 거리에 상관없이 두 대의 스마트폰이 모두 정면(90°)을 향해있는 경우에는 좋은 스티칭 결과를 보였다.
• 스마트폰을 활용하여 파노라마 동영상을 제작하기 위한 방법으로 본 논문에서는 동영상 스티칭 방법을 제안하고, 이를 바탕으로 스마트폰 파노라마 동영상 제작 시 요구 되어지는 거리 및 각도에 대한 실험을 진행하였다. 동영상 스티칭 실험 결과 스마트폰 사이의 거리가 45cm인 경우에 비해 30cm 이하일 때 스티칭 정확도가 높았다. 또한, 두 스마트폰의 각도 차이가 20° 이상인 경우 스티칭 정확도가 낮아지는 결과를 보였다.
• 두 대의 스마트폰의 각도를 각각 80°, 90°, 100°로 두고 두 대의 스마트폰 모두 동일한 각도를 유지하도록 실험한 결과 90°인 경우에는 3점(상), 80°와 100°인 경우에는 2점(중), 70°와 110°인 경우에는 1점(하)의 스티칭 결과를 얻었다.
• 두 스마트폰의 각도를 10° 차이가 나도록 실험하였을 때, 두 스마트폰이 각각 80°와 90°, 90°와 100°인 경우에만 2점(중)의 스티칭 결과를 보였고, 나머지 경우는 모두 1점(하)의 결과를 얻었다.
• 두 스마트폰의 각도차이를 10°로 하기 위해 두 스마트폰의 각도를 각각 80°와 90°, 90°와 100°로 실험하였을 때는 평균 3점(상)으로 나타났지만, 70°와 80°, 100°와 110°일 때는 평균 2점(중)의 스티칭 결과를 보였다.
• 두 스마트폰의 촬영 각도를 서로 다르게 실험한 경우에는 스마트폰 사이의 거리가 15cm와 30cm일 때 정면(90°)을 기준으로 스마트폰의 촬영 각도 차이가 20° 이상, 45cm인 경우에는 10° 차이 이상인 경우 스티칭 정확도가 저하되었다.
• 또한 두 대의 스마트폰을 동일한 각도로 설정하고 각도가 70°, 110°인 경우에도 스마트폰 사이의 거리를 15cm로 두어 실험한 결과와 동일하게 평균 2점(중)의 스티칭 결과를 보였다.

후속연구

• 또한, 두 스마트폰의 각도 차이가 20° 이상인 경우 스티칭 정확도가 낮아지는 결과를 보였다. 향후 스마트폰을 활용하여 파노라마 동영상을 제작함에 있어 최적의 거리와 각도를 측정하기 위한 연구가 필요하다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기