초록

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

두 카메라 혹은 다수의 카메라에서의 컬러 보정은 알고리즘의 성능 향상 및 양안식 3D 카메라에서 매우 중요한 기술이다. 최근 컬러 보정 방법들이 다수 제안되었지만 이 방법들의 결과에 대한 정확한 측정 방법이 많지 않으며 기존의 측정 방법은 두 영상이 카메라의 위치에 따른 서로 다른 장면을 가지고 있을 경우에 적합하지 않을 수 있다. 본 논문에서는 컬러 보정을 위한 컬러 간의 유사성 측정 기법을 제안한다. 이 기법은 대상이 되는 두 영상의 장면이 일치하지 않는 경우를 고려하여 대응점 검색을 통해 두 장면 간의 같은 컬러를 가져야 하는 대응점을 찾고 이 대응점 주위의 영역으로부터 통계치를 계산하여 컬러의 유사성을 비교한다. 이 경우 두 영상의 위치 변화에 따른 장면 변화와 대응점의 약간의 어긋남에 대해서 고려할 수 있다. 또한 대응점들이 영상의 모든 영역을 포함하지 않을 수 있기 때문에 전체 영상의 통계치를 계산하여 컬러의 유사성을 비교도 동시에 수행하여 결과적인 컬러의 유사성은 대응점 기반과 전체 영상 기반의 유사성의 가중치의 합으로 결정되며 이 가중치는 대응점 기반의 컬러 비교가 영상 내의 얼마만큼의 영역을 포함하는지에 따라서 결정된다.

두 카메라 혹은 다수의 카메라에서의 컬러 보정은 알고리즘의 성능 향상 및 양안식 3D 카메라에서 매우 중요한 기술이다. 최근 컬러 보정 방법들이 다수 제안되었지만 이 방법들의 결과에 대한 정확한 측정 방법이 많지 않으며 기존의 측정 방법은 두 영상이 카메라의 위치에 따른 서로 다른 장면을 가지고 있을 경우에 적합하지 않을 수 있다. 본 논문에서는 컬러 보정을 위한 컬러 간의 유사성 측정 기법을 제안한다. 이 기법은 대상이 되는 두 영상의 장면이 일치하지 않는 경우를 고려하여 대응점 검색을 통해 두 장면 간의 같은 컬러를 가져야 하는 대응점을 찾고 이 대응점 주위의 영역으로부터 통계치를 계산하여 컬러의 유사성을 비교한다. 이 경우 두 영상의 위치 변화에 따른 장면 변화와 대응점의 약간의 어긋남에 대해서 고려할 수 있다. 또한 대응점들이 영상의 모든 영역을 포함하지 않을 수 있기 때문에 전체 영상의 통계치를 계산하여 컬러의 유사성을 비교도 동시에 수행하여 결과적인 컬러의 유사성은 대응점 기반과 전체 영상 기반의 유사성의 가중치의 합으로 결정되며 이 가중치는 대응점 기반의 컬러 비교가 영상 내의 얼마만큼의 영역을 포함하는지에 따라서 결정된다.

AI 본문요약

엑셀 다운로드 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

• 연구 주제
• 연구 방법
• 연구 결과

문제 정의

• 본 논문에서는 두 영상 간의 컬러 유사성 측정을 위한 방법을 제안하였다. 영상 간의 장면이 다를 수 있기 때문에 이를 고려하기 위해서 특징량 기반의 매칭 방법을 사용하였고, 다양한 컬러 분포를 포함하기 위해서 코너 부근의 특징량과 컬러 블롭 기반의 특징량을 모두 사용하였다.

제안 방법

• 하지만 특징점을 뽑는 과정에서나 매칭을 하는 과정에서 한두 픽셀 정도의 어긋남이 발생할 수 있기 때문에 대응점의 두 픽셀 간의 비교를 직접 하지 않고 대응점을 포함하는 영역에서 평균값을 계산하여 비교한다. 그리고 그 영역에서의 히스토그램을 구해서 비교한다.
• 컬러가 다른 두 영상을 컬러 보정을 한 후 영상의 유사성을 측정해 보았다. 두 영상의 컬러 보정은 두 영상의 컬러 변환 행렬을 구하는 방식[1]을 사용하였는데 컬러 패턴을 놓고 찍은 영상이 아닌 일반적인 장면을 찍은 영상을 사용하기 위해서 두 영상 간의 대응점을 검색하고 컬러 변환 행렬을 계산하였다. 컬러 보정 결과는 그림 6과 같다.
• 본 논문에서는 컬러 보정이 된 두 영상 간의 장면 차이가 있을 경우 실제 대응이 되는 영상 내 부분에 대해서 비교를 하기 위해서 특징점을 추출한 후 호모그래피(homograph)와 RANSAC(Random Sample Consensus)를 이용하여 가장 적합한 대응점을 추출한다. 하지만 특징점을 뽑는 과정에서나 매칭을 하는 과정에서 한두 픽셀 정도의 어긋남이 발생할 수 있기 때문에 대응점의 두 픽셀 간의 비교를 직접 하지 않고 대응점을 포함하는 영역에서 평균값을 계산하여 비교한다.
• 본 논문에서는 두 영상 간의 컬러 유사성 측정을 위한 방법을 제안하였다. 영상 간의 장면이 다를 수 있기 때문에 이를 고려하기 위해서 특징량 기반의 매칭 방법을 사용하였고, 다양한 컬러 분포를 포함하기 위해서 코너 부근의 특징량과 컬러 블롭 기반의 특징량을 모두 사용하였다. 컬러 유사성 비교에서는 각 매칭점을 중심으로 한 블록 기반의 통계치 비교와 전체 영상에서의 통계치 비교를 하였으며 두 계산값 사이의 가중치는 블록 들이 전체 영상 영역 중에 얼마만큼을 차지하는 지에 대한 것으로 결정하였다.
• 이러한 한계를 극복하기 위해서 코너 부근의 특징량 검출뿐만이 아니라 컬러 블롭에서의 특징량 검출도 동시에 수행하였다. 컬러 분할(color segmentation)과 같이 컬러가 유사한 영역을 찾아낸 후 그 컬러 블롭에서 특징량을 검출하는 MSER(Maximally Stable Extremal Region) [7]을 추가적으로 사용하였다.
• 컬러 패턴을 이용해서 다수의 카메라 간의 대응되는 컬러 샘플을 얻은 후 행렬 계산을 통해서 변환을 하는 방법[1]에서는 샘플간 표준편차의 평균을 이용해서 컬러 보정의 결과를 판단하였다. 장면 보간(view interpolation)과 컬러 보정을 이용해서 다중 영상의 비디오 압축을 하는 연구[2]에서는 PSNR(peak signal-tonoise ratio)을 이용하여 보간으로 얻어진 영상과 실제 영상과의 차이를 측정하였다. [3]에서는 대응하는 특징점을 이용하여 다중 카메라의 컬러 보정을 반복적으로 수행하였는데 최종적인 컬러 보정의 결과를 측정하기 위해서 히스토그램의 유사성을 이용하였다.
• 이러한 한계를 극복하기 위해서 코너 부근의 특징량 검출뿐만이 아니라 컬러 블롭에서의 특징량 검출도 동시에 수행하였다. 컬러 분할(color segmentation)과 같이 컬러가 유사한 영역을 찾아낸 후 그 컬러 블롭에서 특징량을 검출하는 MSER(Maximally Stable Extremal Region) [7]을 추가적으로 사용하였다. MSER 은 영상의 문턱치(threshold)를 변화시켜가면서 얻어지는 이진화 영상(binary image)에서 발생하는 블롭을 극한 영역(extremal region)이라고 할 때 그 영역을 포함하는 영역 중에서 가장 큰 영역을 최대 안정 극한 영역이라고 언급하며 특징량으로 검출하게 된다.
• 영상 간의 장면이 다를 수 있기 때문에 이를 고려하기 위해서 특징량 기반의 매칭 방법을 사용하였고, 다양한 컬러 분포를 포함하기 위해서 코너 부근의 특징량과 컬러 블롭 기반의 특징량을 모두 사용하였다. 컬러 유사성 비교에서는 각 매칭점을 중심으로 한 블록 기반의 통계치 비교와 전체 영상에서의 통계치 비교를 하였으며 두 계산값 사이의 가중치는 블록 들이 전체 영상 영역 중에 얼마만큼을 차지하는 지에 대한 것으로 결정하였다. 통계치로는 정규화된 평균의 차이와 히스토그램 차이를 사용하였다.
• 컬러가 다른 두 영상을 컬러 보정을 한 후 영상의 유사성을 측정해 보았다. 두 영상의 컬러 보정은 두 영상의 컬러 변환 행렬을 구하는 방식[1]을 사용하였는데 컬러 패턴을 놓고 찍은 영상이 아닌 일반적인 장면을 찍은 영상을 사용하기 위해서 두 영상 간의 대응점을 검색하고 컬러 변환 행렬을 계산하였다.
• 본 논문에서는 컬러 보정이 된 두 영상 간의 장면 차이가 있을 경우 실제 대응이 되는 영상 내 부분에 대해서 비교를 하기 위해서 특징점을 추출한 후 호모그래피(homograph)와 RANSAC(Random Sample Consensus)를 이용하여 가장 적합한 대응점을 추출한다. 하지만 특징점을 뽑는 과정에서나 매칭을 하는 과정에서 한두 픽셀 정도의 어긋남이 발생할 수 있기 때문에 대응점의 두 픽셀 간의 비교를 직접 하지 않고 대응점을 포함하는 영역에서 평균값을 계산하여 비교한다. 그리고 그 영역에서의 히스토그램을 구해서 비교한다.

데이터처리

• 컬러 유사성 비교에서는 각 매칭점을 중심으로 한 블록 기반의 통계치 비교와 전체 영상에서의 통계치 비교를 하였으며 두 계산값 사이의 가중치는 블록 들이 전체 영상 영역 중에 얼마만큼을 차지하는 지에 대한 것으로 결정하였다. 통계치로는 정규화된 평균의 차이와 히스토그램 차이를 사용하였다. 제안한 유사성 측정 방법은 다양한 컬러 유사성 측정에 사용될 수 있으며 특히 컬러 보정 전후의 컬러 유사성 비교에 적용가능함을 확인하였다.
• 식 1 에서 μ_ik, μ_jk는 각각 영상 i 와 영상 j 의 k 번째 대응 블록의 평균을 의미하며σ_ik, σ_jk는 각각 영상 i와 영상 j의 k 번째 대응 블록의 표준편차를 의미한다. 평균이 같더라도 컬러 분포가 동일하다고 볼 수 없기 때문에 표준편차로 나눠서 정규화된 평균을 사용하였다. 전체 블록에 대한 컬러 유사성은 식 1 에서처럼 정규화된 평균의 차이에 대한 L₂ norm 을 계산한다.

이론/모형

• 특징량은 코너 영역에서 고유분석(eigen analysis)을 통해 추출되는 Harris 코너 [4]와 같은 코너점이나 코너 영역의 부분에서 추출되는 헤시안(Hessian)이나 라플라시안 (Laplacian) 기반의 불변 특징량 (SIFT [5], SURF [6])들이 주로 사용된다. 본 논문에서는 코너 부근의 불변 특징량으로 SIFT 를 사용하였다. 하지만 이러한 특징량들은 코너 부근에서만 검출되기 때문에 영상 내의 다양한 컬러를 포함할 수 없을 수 있으며 코너점은 컬러의 변환점(transition)에 놓이는 경우가 많기 때문에 장면 컬러를 제대로 반영하지 못할 수도 있다.
• 특징량 매치에서 생길 수 있는 잘못된 매칭을 제거하기 위해서는 아웃라이어 제거를 수행해야 한다. 아웃라이어 제거를 위해서는 영상 내의 두 평면 사이의 관계를 설명하는 기하학적인 모델인 호모그래피(homography)와 확률적 투표 기반의 RANSAC 을 이용하였다. 그림 4에서는 그림 3에서의 기술자 기반 매칭 결과에 호모그래피에 기반한 RANSAC 을적용한 결과를 보여주고 있다.

성능/효과

• 통계치로는 정규화된 평균의 차이와 히스토그램 차이를 사용하였다. 제안한 유사성 측정 방법은 다양한 컬러 유사성 측정에 사용될 수 있으며 특히 컬러 보정 전후의 컬러 유사성 비교에 적용가능함을 확인하였다.

본문요약 정보가 도움이 되었나요? 예 아니오 제출

질의응답

핵심어	질문	논문에서 추출한 답변
컬러 유사성 측정	컬러 유사성 측정은 무엇으로 나뉘는가?	대응점 검색 단계가 끝나면 컬러 유사성 측정(color similarity measurement) 단계가 진행된다. 컬러 유사성 측정은 크게 대응점 기반과 전체 영상 기반으로 나뉠 수 있다. 대응점 기반은 특징점이 매칭되었을 때 그 특징점을 포함하는 NxN의 블록을 만들어서 그 블록 간의 통계치를 비교하는 것이다.
특징량	특징량으로 무엇이 사용되는가?	특징량은 코너 영역에서 고유분석(eigen analysis)을 통해 추출되는 Harris 코너 [4]와 같은 코너점이나 코너 영역의 부분에서 추출되는 헤시안(Hessian)이나 라플라시안 (Laplacian) 기반의 불변 특징량 (SIFT [5], SURF [6])들이 주로 사용된다. 본 논문에서는 코너 부근의 불변 특징량으로 SIFT 를 사용하였다.
컬러 유사성 측정	컬러 유사성 측정 과정에서 대응점 검색 단계는 어떤 단계로 구성되어 있는가?	컬러 유사성 측정은 그림 1 과 같이 크게 대응점 검색 단계와 컬러 유사성 측정 단계로 나뉜다. 대응점 검색 단계는 먼저 코너 부근과 컬러 블롭(color blob)안에서의 특징량 추출, 특징량 매칭 그리고 잘못된 매칭(outlier) 제거 단계로 이루어져 있으며 컬러 유사성 측정 단계는 특징량 부근에서 통계치를 계산하고 두 영상 간의 겹치는 영역에서의 통계치를 계산한 후에 두 통계치의 가중치의 합으로 계산된다. 이 때 가중치는 특징량의 분포가 얼마나 영상의 영역을 포함하는지에 따라서 결정된다.

질의응답 정보가 도움이 되었나요? 예 아니오 제출

이 논문을 인용한 문헌

더보기