선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문은 고해상도의 파노라마 영상을 제공하는 스캐너에 적용하기 위한 이미지 스티칭 방법을 제안한다. 이 방법은 높이가 일정하고 흔들림이 보정되는 휴대형 거치대를 통해 순서가 있는 영상 집합이 입력되기 때문에 기존방법보다 빠르고 간편하게 고해상도 파노라마 영상을 제공한다.
제안 방법
- 3333px;">2(i)를 SAD와 SSD를 이용하여 가장 작은 차이를 구한다. 두 방식 모두 테이블을 적용하였기 때문에 속도의 차이는 별로 없었지만, 성능이 다르기 때문에 실험을 통해 성능이 높은 방식을 최종적으로 적용하였다. 각각의 수식은 다음(1), (2)와 같다.
- 최종적으로 입력 이미지에 5탭 저대역 영상을 이용하여 3픽셀씩 점프하여 검색범위를 샘플링하는 검색방식을 통해 위치를 찾을 때 속도 대비 성능이 가장 좋다. 또한, 하드웨어의 성능을 고려하여 곱셈 연산이 필요없는 SAD를 선택하였다. 이때 걸리는 시간은 필터를 적용하는 시간인 20ms를 더한 170ms이다.
- 본 논문에서 제안하려는 이미지 스티칭 기술은 휴대용 스캐너에 적용하기 위한 기술로 사용자에게 빠르게 파노라마 영상을 제공한다. 이때 높이와 흔들림을 고정해주는 간단한 휴대용 거치대를 통해 영상을 제공하므로 입력 영상의 순서와 방향 등이 일정하다.
- 이와 같은 방식으로 검색 범위를 샘플링 하였으며, n 픽셀씩 점프하면서 검색한 결과인 위치에서 ±n-1인 범위에서 한 번 더 전체 검색을 하여 정확한 위치를 찾는 방법이다. 속도대비 성능이 높은 적절한 n 픽셀을 실험을 통해 찾고 이를 최종적으로 적용하였다.
- 이는 성능이 높지만, 속도가 느리다는 단점을 가진다. 이때 속도 증진을 위하여 검색 범위 내에서 움직이는 픽셀을 2 이상씩 점프하여 움직이는 방식을 적용하였다. 이와 같은 방식으로 검색 범위를 샘플링 하였으며, n 픽셀씩 점프하면서 검색한 결과인 위치에서 ±n-1인 범위에서 한 번 더 전체 검색을 하여 정확한 위치를 찾는 방법이다.
- 일치하는 지점 찾는 단계(Find matching point)를 통해 얻은 위치를 이용하여 입력 영상인 레퍼런스 영상과 새 영상을 합성하여 하나의 파노라마 영상인 결과 영상을 생성한다. 이 단계가 알파 블렌딩이며 수식은 (3)과 같다.
- 입력 영상 집합이 무작위인 경우에는 기존 방법을 사용하는 것이 유리하겠지만 이 기술은 촬영 높이가 늘 일정한 휴대형 거치대를 통해 스캔하며 스캔 된 영상들은 차례대로 입력되기 때문에 특징을 찾아서 스캔할 필요가 없으므로 새로운 방법을 제안한다.
- 그림 4는 저대역 영상과 고대역 영상을 얻는 과정이다. 저대역 영상을 얻기 위해서 이동평균 필터를 적용하였으며 고대역 영상은 이를 원본 영상과의 차를 이용해서 구한다. 그림 5는 원본영상인 그림5(a)에 전처리를 적용한 결과이다.
- 전처리를 한 경우와 안한 경우를 실험하였을 때 전처리 단계를 거친 경우가 성능이 더 높았다. 전처리로 얻은 고대역 영상과 저대역 영상을 비교하여 실험을하였다. 그림 4는 저대역 영상과 고대역 영상을 얻는 과정이다.
- 제안하는 이미지 스티칭 기술에는 합성 위치를 찾기 위해 픽셀을 기반으로 한 방식을 적용하였다.
- 고해상도 영상으로 스캔하기 위해서는 위의 단점들을 극복할 필요가 있다. 휴대가 가능한 거치대로 좁은 영역을 스캔하고 이를 파노라마 영상으로 만들어주는 이미지 스티칭 기술을 적용하여 기존의 단점들을 극복한다. 이미지 스티칭 기술은 이미 광범위하게 연구되어왔고[1-13] 이를 바탕으로 넓은 분야에서 적용되고 있다.
대상 데이터
- 성능 증진을 위해서 전처리 단계의 필터를 적용한 결과는 표 3이다. 3탭과 5탭 고대역 영상과 5탭 저대역 영상을 이용하였다. 고대역 영상의 경우 3탭 고대역 영상인 경우에만 성능향상의 효과가 있었다.
- 실험 방식은 두 개의 영상에 스티칭 기술을 적용하며 결과 영상이 정확한 위치에서 알파 블렌딩이 되었는지의 유무이다. 실험 대상의 영상은 55장이며 실험 횟수는 50번이다.
- k-d tree를 이용하여 각각의 특징의 k-최근접 이웃 특징을 찾는다. 이것을 이용하여 각각의 영상에게 특징이 잘 매칭되는 m개의 후보 영상들을 선택한다. 후보 영상들 중에서 공간정보가 일치하는 특징을 가지는 영상들을 찾는다.
이론/모형
- 성능을 높이기 위해 전처리를 적용하였으며 속도 증진을 위해 샘플링 검색 방법을 적용하였다.
- 일치하는 지점 찾는 단계(Find matching point)에서는 블록을 이용하여 매칭하는 기법을 사용하였다. 영상 전체를 가지고 매칭하는 것 보다는 블록을 추출하여 매칭함으로써 속도를 높인다.
- 이 방법은 높이가 일정하고 흔들림이 보정되는 휴대형 거치대를 통해 순서가 있는 영상 집합이 입력되기 때문에 기존방법보다 빠르고 간편하게 고해상도 파노라마 영상을 제공한다. 정확한 위치를 찾기 위해 전처리 단계를 거친 저대역 영상을 이용하며 속도 증진을 위하여 샘플링 검색 방식을 적용하였다.
성능/효과
- 전체 검색 방식을 사용하는 경우 100%의 정확한 위치를 찾는 성능을 얻을 수 있지만, 소요시간 감소를 통한 속도 증진이 필요하다. 검색 범위를 샘플링하는 검색 방식은 2픽셀씩 점프하는 방식과 3픽셀씩 점프하는 방식을 실행하였고 점프하는 픽셀의 수가 늘어날수록 속도가 빨라졌다. 반면에 성능은 전체 검색 방식보다 좋지 않았다.
- 결과 영상은 입력 영상의 개수가 하나 남을 때 까지 입력 영상 집합의 맨 앞에 레퍼런스 이미지로 삽입되어 위의 과정을 반복한다.
- 4배 차이가 난다. 또한, 기존 방법은 입력 영상 집합의 크기가 작다는 이유로 파노라마 영상을 생성하지 못하는 에러가 발생하였으며 이를 바탕으로 한 기존 방법의 성능은 88%로 제안하는 방법보다 낮다. 그림 7은 제안하는 기술이 적용된 결과 영상으로 그림2(a)의 영상 집합을 입력한 경우이며 기존방법의 결과 영상인 그림2(b)와 비교했을 때 뒤떨어지지 않는 우수함을 가진다.
- 입력 영상 집합이 무작위인 경우에는 기존 방법을 사용하는 것이 유리하겠지만 이 기술은 촬영 높이가 늘 일정한 휴대형 거치대를 통해 스캔하며 스캔 된 영상들은 차례대로 입력되기 때문에 특징을 찾아서 스캔할 필요가 없으므로 새로운 방법을 제안한다. 제안하는 방법은 기존 방법보다 더 간단하며 속도가 빠르다.
- 최종적으로 입력 이미지에 5탭 저대역 영상을 이용하여 3픽셀씩 점프하여 검색범위를 샘플링하는 검색방식을 통해 위치를 찾을 때 속도 대비 성능이 가장 좋다. 또한, 하드웨어의 성능을 고려하여 곱셈 연산이 필요없는 SAD를 선택하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.