[논문]가우시안 프로세스 회귀분석을 이용한 영상초점으로부터의 3차원 형상 재구성

무하마드 타릭 마흐무드; 최영규

[국내논문] 가우시안 프로세스 회귀분석을 이용한 영상초점으로부터의 3차원 형상 재구성
3D Shape Recovery from Image Focus using Gaussian Process Regression 원문보기

반도체디스플레이기술학회지 = Journal of the semiconductor & display technology, v.11 no.3, 2012년, pp.19 - 25

무하마드 타릭 마흐무드 (한국기술교육대학교 컴퓨터공학부) , 최영규 (한국기술교육대학교 컴퓨터공학부)

Abstract ▼ AI-Helper

The accuracy of Shape From Focus (SFF) technique depends on the quality of the focus measurements which are computed through a focus measure operator. In this paper, we introduce a new approach to estimate 3D shape of an object based on Gaussian process regression. First, initial depth is estimated by applying a conventional focus measure on image sequence and maximizing it in the optical direction. In second step, input feature vectors consisting of eginvalues are computed from 3D neighborhood around the initial depth. Finally, by utilizing these features, a latent function is developed through Gaussian process regression to estimate accurate depth. The proposed approach takes advantages of the multivariate statistical features and covariance function. The proposed method is tested by using image sequences of various objects. Experimental results demonstrate the efficacy of the proposed scheme.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이러한 방법들의 잡음에 민감한 초점 측도를 사용하여 잡음이 많은 경우 성능이 떨어지는 문제가 있다. 따라서 본 논문에서는 잡음에 강하고 보다 정확한 깊이 측정을 위해 가우시안 프로세스 회귀 분석 기반의 방법을 제안한다.
본 논문에서는 가우시안 프로세스 회기 분석(Gaussian process regression)을 이용하여 깊이 맵의 정확도를 향상시키는 방법을 제안하는데, 잡음이 있는 초기 깊이 정보와 초점 값들로부터 물체의 형상을 안정적으로 추출하고자 한다. 초기 깊이 값은 기존의 방법을 이용해 계산하며, 입력 특징 벡터(input feature vector)를 만들기 위해 초기 깊이 주변의 3D 이웃들에 대한 고유치들을 계산한다.
최근에는 3D TV와 컴퓨터 게임, 보안 감시, 의료 영상 등을 포함한 다양한 산업 분야에서도 물체의 깊이 정보를 추출하고 활용하려는 연구가 활발히 진행되고 있다[1,2]. 본 논문에서는 광학 기반의 다양한 측정 방법들 중에서 레이저와 같은 능동 광원을 사용하지 않고 렌즈의 초점 정보를 이용하여 물체의 깊이를 측정하는 방법에 대해 논한다.
본 논문에서는 초점 정보를 이용하여 3차원 형상을 재구성하는 새로운 방법을 제안하였다. 특히 가우시안 프로세스 회귀분석 기법을 사용하였는데, 형태의 계산 문제를 회귀 문제로 정형화하였으며, 고유치와 초기 깊이 등을 특징량으로 사용하였다.

가설 설정

또한 입력 데이터는 평균이 0이고 분산이 #인 가우시안 잡음 #에 의해 오염되어 있다고 가정하였다.
2차 미분 방식은 1차 미분 방식에 비하여 더 정확한 결과를 보일 수 있지만, 잡음에 더 민감하다는 단점이 있다. 통계를 바탕으로 한 초점 측도 방법 중에서는 회색조 분산법(gray level variance) F_GLV이 많이 사용되고 있는데, 작은 윈도우 내에서 밝기 값의 분산이 크면 영상이 선명하다는 가정을 바탕으로 한다. 영역(domain) 변환을 바탕으로 한 초점 측도법도 제안되었는데, 저주파에 비해 고주파 성분이 주로 선명도를 결정하고 데이터에서의 대부분의 변화를 포함한다는 것을 바탕으로 한다.

제안 방법

1절에 설명한 바와 같이 계산하였으며, 이웃 연산을 위해 5×5×5의 윈도우를 사용하였다. 각각의 물체 점들에 대해 5개의 깊이 값과 6개의 고유치를 이용하여 11차원의 특징 벡터를 구성하였다. 고 유치의 개수 선택도 매우 중요한데, 실험 결과 총 25개의 고유치 중에서 6번째 이하에서는 분산이 매우 적게 나타났고, 따라서 6개만을 선택하였다.
따라서 본 논문에서는 처음 몇 개의 고유치 p < l 들 만을 특징 량으로 사용한다.
이들 중에서 제곱 지수 함수(squared exponential function, SEF)는 무한한 미분이 가능하여 이를 사용하는 경우 가우시안 프로세스에서 모든 차원의 미분이 가능해 진다. 따라서 이 함수는 매우 평탄(smooth)하며, 또한 이동과 등방성(isotropic)에 불변하므로 본 논문에서는 다음과 같이 이것을 공분산 함수로 사용하였다.
이때 영상의 해상도는 200×200이며, 원뿔의 실제 깊이 정보는 원뿔 파라메터를 통해 계산하였다. 또한, 두 가지의 작은 물체(microscopic object)에 대해서도 실험하였는데, 1 센트 동전(penny)에 양각으로 새겨져 있는 영문자 P와, 미소제어시스템(microscopic control system, MCS)을 이용하여 표면에 음각으로 새겨 넣은 영문자 H에 대해 실험하였다. 이때 영상의 해상도는 300×300으로 각각 60프레임의 영상이 사용되었다.
그러나 이 방법들은 윈도우를 너무 작게 잡으면 잡음을 충분히 제거하기가 어려우며, 윈도우가 너무 크면 깊이 값이 흐릿해지는(blurry) 문제가 발생하게 된다[8,9]. 이를 보완하기 위해 단순한 필터링이 아니라 잡음과 관련이 있는 고주파 성분을 제거하기 위해 도메인을 변환하여 처리하는 알고리즘도 제안되었다.
잠재 함수의 도출을 위해 효율적인 특징량의 선택이 매우 중요한데, 본 논문에서는, 초기 깊이와 초점 측도에 대응되는 고유치(eigenvalue)를 이용하여 특징 벡터(feature vector)를 만든다. 각 화소 (i, j)에 대해 초기 깊이 D(i, j)는 가장 초점이 잘 맞은 프레임의 번호를 나타낸다.
정확한 깊이 값의 계산을 위해 특징량들 로부터 정보를 통합하는 가우시안 프로세스 회귀 분석을 통해 잠재 함수(latent function)를 유도한다. 제안된 방법은 다변량 통계 특징량(multivariate statistical feature)과 공분산 함수(covariance function)를 사용하는데, 이들은 커널(kernel)과 같이 동작하게 된다. 실험에서 제안된 방법은 3차원 형상 복원 측면에서 기존의 방법들과 비교되었는데, 제안된 방법의 성능이 우월함을 알 수 있었다.
가우시안 프로세스 회귀분석은 비모수 (non-parametric) 알고리즘으로, 통계적인 학습 방법과 기계 학습 방법을 결합하는 커널 기법(kernel method)의 한 종류이며, 최근에 특히 영상 및 신호 처리 분야에서 많은 관심을 모으고 있다[10, 11]. 제안된 방법은 점들의 집합(cloud point)으로부터 3차원 표면을 재구성하기 위해 커널 기법이 사용된 논문[12]에서 동기를 얻었는데, 이 논문에서는 3D 데이터가 커널 함수를 통해 특징 공간으로 변환되었으며, 물체의 표면은 이러한 특징 공간에서의 초월 평면(hyperplane)의 형태로 나타나게 되는데, 이때, 가우시안 프로세스는 공분산 함수의 형태로 커널을 제공해 준다.
학습을 위해 먼저 실제 원뿔 객체(4장 참조)를촬영한 영상 시퀀스를 준비하였다. 초기 깊이 맵을 구하기 위해 다양한 초점 측도 연산자를 사용할 수 있지만, 제안된 방법에서는 라플라시안 연산자를 사용하였다.
본 논문에서는 초점 정보를 이용하여 3차원 형상을 재구성하는 새로운 방법을 제안하였다. 특히 가우시안 프로세스 회귀분석 기법을 사용하였는데, 형태의 계산 문제를 회귀 문제로 정형화하였으며, 고유치와 초기 깊이 등을 특징량으로 사용하였다. 제안된 방법은 다양한 물체의 깊이 맵 추출에 적용하여 실험해 보았는데, 기존의 방법에 비해 우월한 성능을 보였으며, 특히 잡음이 있는 실제 영상에 대해 탁월한 성능을 나타냈다.

대상 데이터

제안된 방법을 실험하기 위해 3가지 물체에서 촬영된 영상 시퀀스가 사용되었다. 먼저 정확한 크기를 알고 있는 원뿔에 대해 CCD 카메라를 사용하여 97 프레임의 영상을 촬영하였다. 이때 영상의 해상도는 200×200이며, 원뿔의 실제 깊이 정보는 원뿔 파라메터를 통해 계산하였다.
원뿔 영상의 해상도가 200×200이므로 총 40000개의 점들이 있는데, 이 중에서 2000개를 학습(training)에 이용하였고, 나머지를 만들어진 모델의 확인과 검증을 위해 사용하였다.
이때 영상의 해상도는 300×300으로 각각 60프레임의 영상이 사용되었다.
제안된 방법을 실험하기 위해 3가지 물체에서 촬영된 영상 시퀀스가 사용되었다. 먼저 정확한 크기를 알고 있는 원뿔에 대해 CCD 카메라를 사용하여 97 프레임의 영상을 촬영하였다.
학습을 위해 먼저 실제 원뿔 객체(4장 참조)를촬영한 영상 시퀀스를 준비하였다. 초기 깊이 맵을 구하기 위해 다양한 초점 측도 연산자를 사용할 수 있지만, 제안된 방법에서는 라플라시안 연산자를 사용하였다.

데이터처리

이러한 초기 깊이 값을 개선하기 위해 Nayar 등은 가우시안 보간법(Gaussian interpolation)에 바탕을 둔 근사 기법을 제안하였다[5]. 이때 초점 값은 F_SML을 사용하여 구하였으며, 피크(peak) 주위의 세 초점 값에 가우시안 모델을 적용하고, 평균값을 최적의 깊이 값으로 사용하였다. 그러나 초점 값이 항상 특정한 분포를 따른다는 보장이 없으며, 곡선 근사 또한 최적의 깊이값을 구하지 못할 수도 있다.
초기 깊이 값은 기존의 방법을 이용해 계산하며, 입력 특징 벡터(input feature vector)를 만들기 위해 초기 깊이 주변의 3D 이웃들에 대한 고유치들을 계산한다. 정확한 깊이 값의 계산을 위해 특징량들 로부터 정보를 통합하는 가우시안 프로세스 회귀 분석을 통해 잠재 함수(latent function)를 유도한다. 제안된 방법은 다변량 통계 특징량(multivariate statistical feature)과 공분산 함수(covariance function)를 사용하는데, 이들은 커널(kernel)과 같이 동작하게 된다.
원뿔 영상의 해상도가 200×200이므로 총 40000개의 점들이 있는데, 이 중에서 2000개를 학습(training)에 이용하였고, 나머지를 만들어진 모델의 확인과 검증을 위해 사용하였다. 제곱 지수 함수(SEF)를 공분산 함수로 선택하였으며, 최적의 잡음 변화량, 길이 스케일 및 다른 파라메터들은 로그 공산의 음수값(negative log of likelihood)을 최소화하는 방법으로 계산하였다. 실험에서 최적 값으로 #와 #가 선택되었는데, 고유치가 깊이 함수에 영향을 많이 받음을 알 수 있었다.
제안된 방법의 결과는 FSML, FTEN 및 FGLV와 비교하였는데, 이들 알고리즘에서 윈도우의 크기는 5×5를 사용하였다.
1절에 설명한 방법으로 특징량을 계산하면 이들을 이용하여 객체의 깊이를 계산하게 된다. 제안된 방법의 정량적 성능 측정을 위해 원뿔 데이터에 대한 RMS(root mean square) 에러를 계산하였는데, 이는 이상적인 값(ground truth)과 측정값의 차의 제곱을 평균한 값으로 제안된 방법의 성능을 정량적으로 나타내 준다. 제안된 방법의 결과는 F_SML, F_TEN및 F_GLV와 비교하였는데, 이들 알고리즘에서 윈도우의 크기는 5×5를 사용하였다.

성능/효과

제안된 방법은 다변량 통계 특징량(multivariate statistical feature)과 공분산 함수(covariance function)를 사용하는데, 이들은 커널(kernel)과 같이 동작하게 된다. 실험에서 제안된 방법은 3차원 형상 복원 측면에서 기존의 방법들과 비교되었는데, 제안된 방법의 성능이 우월함을 알 수 있었다.
최소 윈도우의 크기가 3x3인데, 실험 결과 이러한 작은 크기의 윈도우는 잡음을 제거하기 위해 충분하지 않음을 알 수 있었다. 제안된 방법에서는 초기 맵으로부터 4방향 이웃만을 사용하고 나머지 특징량들은 초점 측도로부터 구하는데, 이를 통해 깊이 맵을 단순히 평활화하는 기존 방법에 비해 우월한 성능을 나타냈다.
제안된 방법은 기존의 방법들에 비해 3차원 형상을 더 잘 만들어주는데, 단순히 평활 필터를 사용하여 표면을 완만하게 만드는 방식이 아니다. 기존의 방법들은 인접한 깊이 값의 가중 합을 취하는데, 평활화의 특성상 이웃(윈도우)의 크기가 클수록 너무 평활화되고 형상이 왜곡된다.
특히 가우시안 프로세스 회귀분석 기법을 사용하였는데, 형태의 계산 문제를 회귀 문제로 정형화하였으며, 고유치와 초기 깊이 등을 특징량으로 사용하였다. 제안된 방법은 다양한 물체의 깊이 맵 추출에 적용하여 실험해 보았는데, 기존의 방법에 비해 우월한 성능을 보였으며, 특히 잡음이 있는 실제 영상에 대해 탁월한 성능을 나타냈다.
Table 1은 원뿔 데이터에 대한 처리결과 성능을 RMS 에러로 보여 주고 있다. 제안된 방법을 통해 추출된 깊이 맵이 원뿔의 이론적인 데이터와 유사함을 알 수 있으며, 제안된 방법 적용함에 따른 상당한 정밀도의 향상을 확인할 수 있다. Fig.
기존의 방법들은 인접한 깊이 값의 가중 합을 취하는데, 평활화의 특성상 이웃(윈도우)의 크기가 클수록 너무 평활화되고 형상이 왜곡된다. 최소 윈도우의 크기가 3x3인데, 실험 결과 이러한 작은 크기의 윈도우는 잡음을 제거하기 위해 충분하지 않음을 알 수 있었다. 제안된 방법에서는 초기 맵으로부터 4방향 이웃만을 사용하고 나머지 특징량들은 초점 측도로부터 구하는데, 이를 통해 깊이 맵을 단순히 평활화하는 기존 방법에 비해 우월한 성능을 나타냈다.

후속연구

향후 제안된 방법은 서포트 벡터 회귀분석(support vector regression, SVR)이나, 일반화된 회귀분석 신경 회로망(generalized regression neural network, GRNN), 및 유전자 프로그래밍(genetic programming) 등 잘 알려진 다양한 방법으로 확장하여 형상 복원이나 영상 복원 응용에 적용해 볼 예정이다. 또한, 특징 량의 추가를 통해 제안된 방법의 정확성을 향상시킬 수 있을 것으로 기대된다.
향후 제안된 방법은 서포트 벡터 회귀분석(support vector regression, SVR)이나, 일반화된 회귀분석 신경 회로망(generalized regression neural network, GRNN), 및 유전자 프로그래밍(genetic programming) 등 잘 알려진 다양한 방법으로 확장하여 형상 복원이나 영상 복원 응용에 적용해 볼 예정이다. 또한, 특징 량의 추가를 통해 제안된 방법의 정확성을 향상시킬 수 있을 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	초점 정보를 이용하여 물체의 깊이를 측정하는 방법의 종류에는 무엇이 있는가?	초점 정보를 이용하여 물체의 깊이를 측정하는 방법은 크게 Shape From Defocus (SFD)와 Shape From Focus (SFF) 로 나뉘어진다. SFD에서는 여러 장의 영상과 함께 카메라의 정보가 사용되는데[3,4], 이와 달리 SFF에서는 다양한 초점에서 취득된 영상 시퀀스만을 이용하여 조밀한 깊이 정보를 추출할 수 있다[5,6].
	초점 측도에서 에러는 무엇에 의하여 발생하는가?	초점 값의 계산시 발생하는 오차에 의해 초기 깊이 맵에는 오차가 발생하게 되는데, 이동이나 확대, 흔들림 등에 의해 초점 측도에 에러가 발생하고, 이러한 초점 측도의 성능이 깊이 맵의 정확도를 결정하게 된다. 이와 함께, 인접한 프레임 사이의 초점 레벨의 비연속성(discreteness)도 초점 정보의 누락을 발생시키게 된다[7].
	초점 계산 시 초기 깊이 값의 보다 정확한 예측을 위해 어떠한 방법들이 제안되고 있는가?	지금까지 초기 깊이 값의 보다 정확한 예측을 위해 두 가지 접근 방법들이 제안되고 있다. 한 가지 접근 방법은 영상 초점 볼륨을 필터링 하는데 기반을 두고 있다. 이들 방법들은 작은 윈도우 내의 초점 값들을 단순히 더하여 깊이 값의 안정성을 향상하고자 하는 것으로, 이전 프레임과 다음 프레임의 초점 값을 활용하기 위해 3차원 이웃(neighborhood) 연산을 이용하였다. 그러나 이 방법들은 윈도우를 너무 작게 잡으면 잡음을 충분히 제거하기가 어려우며, 윈도우가 너무 크면 깊이 값이 흐릿해지는(blurry) 문제가 발생하게 된다[8,9]. 이를 보완하기 위해 단순한 필터링이 아니라 잡음과 관련이 있는 고주파 성분을 제거하기 위해 도메인을 변환하여 처리하는 알고리즘도 제안되었다. 두 번째 접근 방법들은 먼저 기존의 방법으로 초기 깊이 맵을 구한 후 이를 추가적으로 개선하는 방식으로 정확도를 향상하고자 하였는데, 이를 위한 다양한 근사 기법들이 제안되었다[1, 6]. 그러나 실제 상황에서는 이들 방법에서도 초기 예측치의 에러가 최종적인 깊이 값에 큰 영향을 주게 되는데, 따라서 일반화된 최적의 깊이 연산자(depth estimator)를 필요하게 된다.

참고문헌 (15)

M. B. Ahmad and T. S. Choi, "A heuristic approach for finding best focused shape," IEEE Transactions on Circuits and Systems for Video Technology, vol. 15, pp. 566 - 574, April 2005.

상세보기
C. Hermans, Y. Francken, T. Cuypers, and P. Bekaert, "Depth from sliding projections," in Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on, 2009, pp. 1865-1872.
A. P. Pentland, "A New Sense for Depth of Field," Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. PAMI-9, pp. 523-531, 1987.

상세보기
P. Favaro, S. Soatto, M. Burger, and S. J. Osher, "Shape from Defocus via Diffusion," Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 30, pp. 518-531, 2008.

상세보기
S. K. Nayar and Y. Nakagawa, "Shape from focus," Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 16, pp. 824-831, Aug 1994.

상세보기
M. Subbarao and T. S. Choi, "Accurate recovery of three-dimensional shape from image focus," IEEE Transactions on pattern analysis and machine intelligence, vol. 17, pp. 266 - 274, 1995.

상세보기
A. S. Malik and T. S. Choi, "Consideration of illumination effects and optimization of window size for accurate calculation of depth map for 3D shape recovery," Pattern Recognition, vol. 40, pp. 154 -170,2007.

상세보기
E. Krotkov, "Focusing," International Journal of Computer Vision, vol. 1, pp. 223 - 237, 1988.

상세보기
M. T. Mahmood, W. J. Choi, and T. S. Choi, "PCAbased method for 3D shape recovery of microscopic objects from image focus using discrete cosine transform," Microscopy Research and Technique, vol. 71, pp. 897 - 907, 2008.

상세보기
C. E. Rasmussen and C. K. I. Williams, Guussian Processes for Machine Learning: MIT Press, 2006.
Z. Jianke, S. C. H. Hoi, and M. R. Lyu, "Nonrigid shape recovery by Gaussian process regression," in Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on, 2009, pp. 1319-1326.
N. Heung-Sun, W. Tai-Pang, and T. Chi-Keung, "Surface-from-Gradients with Incomplete Data for Single View Modeling," in Computer Vision, 2007.ICCV 2007. IEEE 11th International Conference on, 2007, pp. 1-8.
T. M. Tenenbaum, "Accommodation in computer vision," Stanford University, 1970.
R. Ferzli and L. J. Karam, "A No-Reference Objective Image Sharpness Metric Based on the Notion of Just Noticeable Blur (JNB)," Image Processing, IEEE Transactions on, vol. 18, pp. 717- 728, 2009.
T. S. Choi and J. Yun, "Three-dimensional shape recovery from the focused-image surface," Optical Engineering, vol. 39, pp. 1321 - 1326, 2000.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증