[논문]확장된 피사계 심도 알고리즘에서 엣지 정보 분석에 의한 3차원 깊이 정보 추출 방법

강선우; 김준식; 주효남

doi:10.5302/j.icros.2016.15.0061

확장된 피사계 심도 알고리즘에서 엣지 정보 분석에 의한 3차원 깊이 정보 추출 방법
The 3D Depth Extraction Method by Edge Information Analysis in Extended Depth of Focus Algorithm 원문보기

제어·로봇·시스템학회 논문지 = Journal of institute of control, robotics and systems, v.22 no.2, 2016년, pp.139 - 146

강선우 (호서대학교 전자공학과) , 김준식 (호서대학교 전자공학과) , 주효남 (호서대학교 디지털디스플레이공학과)

Abstract ▼ AI-Helper

Recently, popularity of 3D technology has been growing significantly and it has many application parts in the various fields of industry. In order to overcome the limitations of 2D machine vision technologies based on 2D image, we need the 3D measurement technologies. There are many 3D measurement methods as such scanning probe microscope, phase shifting interferometry, confocal scanning microscope, white-light scanning interferometry, and so on. In this paper, we have used the extended depth of focus (EDF) algorithm among 3D measurement methods. The EDF algorithm is the method which extracts the 3D information from 2D images acquired by short range depth camera. In this paper, we propose the EDF algorithm using the edge informations of images and the average values of all pixel on z-axis to improve the performance of conventional method. To verify the performance of the proposed method, we use the various synthetic images made by point spread function(PSF) algorithm. We can correctly make a comparison between the performance of proposed method and conventional one because the depth information of these synthetic images was known. Through the experimental results, the PSNR of the proposed algorithm was improved about 1 ~ 30 dB than conventional method.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

3차원 측정하는 방법은 주사식 전자현미경 (scanning probe microscope) , [3] 위상 천이 간섭계(phase shifting interferometiy) [4], 동 초점 주사 현미경(confbcal scanning microscope) [5], 백색광 주사 간섭계(whitolight scanning interferometiy) [6] 등 여러 가지가 있다. 본 논문에서는 3차원 정보 추출의 방법 중 저비용, 대면적의 검사영역과 ㎛단위의 정보를 측정할 수 있는 확장된 피사계 심도(EDF: Extended Depth of Focus) 방법 [기에 대해 논하겠다.

가설 설정

존재하고, 그림 7(d)처럼 오른쪽이 잘 맞은 영상이 존재할 것이다. 두 영상을 보면 사람 눈으로 봐도 경계가 보일 정도다.
그림 2(a) 처럼 여러 장의 입력 영상0S浦), 眼g), W浦), - , 姊(*, ;))을 모두 소벨 마스크를 사용하여 엣지 영상 ’G워(砌), S2(x, y), S3{x, y), ", %(旳/))을 만든다. 영상이 선명하다면 엣지값은 클 것이고, 영상이 흐리다면 엣지 값은 작을 것이다. 이를 그래프로 나타내면 그림 2(c)처럼 그려진다.
토대로 평균값과 최댓값, 최솟값을 구한다. 평균값은 흐려진 화소값에 근접한 값일 것이다. 평균값으로부터 최댓값까지의 차이와 평균값으로부터 최솟값까지의 차이를 비교했을 때 차이가 더 큰 쪽이 평균값과는 다른 값이다.

제안 방법

PSF 알고리즘을 사용하여 가상의 합성 영상을 만들었기 때문에 깊이 정보를 정확히 알고 있는 상태로 실험결과의 정량적 비교가 가능하며, 이를 기준으로 비교 및 평가가 진행되었다. 가상의 합성 영상을 만들기 위해 사용된 수식은 식 (4), 식 (5)이며, 파라미터 값은 % =0.2, %=1.2로 하여, 총 80장의 256x256 크기를 갖는 입력 영상을 합성하여 실험을 진행하였다. 텍스쳐 영상(/)과 깊이 정보(p)는 매 실험마다 다르기 때문에 실험마다 언급하도록 하겠다.
각 화소마다 정확하게 선명한 부분을 찾기 위해 1차 미분 2차 미분, 푸리에 변환(fburier transform), 웨이블렛 변환 (wavelet transform) 등을 사용하는데 二L중 몇 가지만 서술하고자 한다.
깊이 정보가 볼록하게 나온 부분은 흰색, 오목하게 들어간 부분은 검은색을 띄며 실제 영상에 가깝게 영상을 만들기 위해 약간의 잡음이 들어간 텍스쳐 영상을 가지고 실험을 하였다. 즉, 텍스쳐와 깊이 정보가 비슷한 형태를 가지며, 텍스쳐 명암대비가 좋은 영상을 가지고 실험을 하였다.
텍스쳐 영상(/)과 깊이 정보(p)는 매 실험마다 다르기 때문에 실험마다 언급하도록 하겠다. 또한 실제의 영상에 대해서도 정성적 성능비교를 위해 실제로 촬영된 영상을 사용하여 실험결과를 정성적으로 비교하였다.
비교 알고리즘 대상은 II장에서 언급한 엣지를 사용한 알고리즘과 평균값을 사용한 알고리즘, Shape from fbcus(SFF) 알고리즘 [11] 에서 4회 반복을 진행한 방법 (SFF(4th)), 그리고 제안한 알고리즘의 결과가 깊이 정보의 기준값(ground truth, GT)과 얼마나 차이가 나는지를 비교하였다. 두 영상 간의 차이를 수치적으로 표현하기 위하여 신호 대 잡음 비(peak signal to noise ratio, PSNR), 제곱근오차 (root mean square error, RMSE)를 사용하였다.
실험에 사용한 영상은 실제로 촬영된 영상을 사용할 경우 실제 물체의 깊이 정보의 정확한 기준값을 알 수 없어서 각각의 알고리즘의 객관적 성능 비교가 어려운 관계로 우리가 이미 알고 있는 텍스쳐 영상과 깊이 정보를 사용하여 앞서 설명했던 PSF 알고리즘을 통해 실제 영상에 가까운 가상의 합성 영상을 만들어 사용한다. PSF 알고리즘을 사용하여 가상의 합성 영상을 만들었기 때문에 깊이 정보를 정확히 알고 있는 상태로 실험결과의 정량적 비교가 가능하며, 이를 기준으로 비교 및 평가가 진행되었다.
앞에서 설명한 기존의 확장된 피사계 심도 알고리즘의 문제점 해결을 위하여 제시한 방법들을 종합하여 기존의 알고리즘보다 성능이 개선된 알고리즘을 제안한다. 제안한 확장된 피사계 심도 알고리즘의 처리과정은 그림 10과 같다.

대상 데이터

그림 14(a)를 식 (5)의 f 로, 그림 14(b)를 식 (5)의 p로 사용하여 80장의 가상 영상을 만들어 사용하였다. 깊이가 급격히 변하는 부분, 평평한 면인 부분이 조합돼 있는 깊이 정보를 가지고 있으며, 텍스쳐는 벽돌 무늬 영상을 사용하였다.
그림 16. 실험에 사용된 실제 촬영 영상들.

데이터처리

가상의 합성 영상을 만들어 사용한다. PSF 알고리즘을 사용하여 가상의 합성 영상을 만들었기 때문에 깊이 정보를 정확히 알고 있는 상태로 실험결과의 정량적 비교가 가능하며, 이를 기준으로 비교 및 평가가 진행되었다. 가상의 합성 영상을 만들기 위해 사용된 수식은 식 (4), 식 (5)이며, 파라미터 값은 % =0.
truth, GT)과 얼마나 차이가 나는지를 비교하였다. 두 영상 간의 차이를 수치적으로 표현하기 위하여 신호 대 잡음 비(peak signal to noise ratio, PSNR), 제곱근오차 (root mean square error, RMSE)를 사용하였다.

성능/효과

결과 영상에서 밝기 값이 밝을수록 높이가 높고, 밝기 값이 어두울수록 높이가 낮음을 나타내었다.
그림 13은 실험 결과 영상이며, 원본 영상인 그림 12(c) 와 시각적으로 비교해 봤을 경우 평균을 사용한 그림 13(c)가 가장 좋지 않은 결과를 보인다. 라플라시안을 사용하면 잡음에 민감하기 때문에 약간의 오류가 보이며, 제안한 알고리즘의 결과도 약간의 오류가 존재하지만 라플라시안을사용한 결과 보다는 적은 것을 확인할 수 있다. 이를 수치적으로 나타내면 표 1과 같다.
반대로 2차 미분 연산자인 라플라시안을 사용한 결과들을 보면 소벨에 비해 잡음에 민감하여 결과에서 한두 화소씩 오류가 발생하는것을 확인할 수 있다. 하지만 엣지가 얇게 나오기에 결과를 보면 소벨에 비해 매끄럽게 나오는 것을 확인할 수 있다.
제안한 방법은 위에서 설명한 엣지나, 평균을 사용한 알고리즘을 조합함으로써 작게는 Idb에서 많게는 30dB까지 성능이 개선된 것을 확인하였다. 하지만 엣지나, 평균을 사용한 알고리즘으로 좋은 결과를 얻을 수 없는 경우라면, 제안한 알고리즘 역시 잘 찾지 못하는 단점이 존재한다.
종합적으로 살펴보면 1차 미분 연산자인 소벨을 사용한 결과들을 보면 소벨의 특징인 잡음에 강한 것을 육안으로확인 할 수 있다. 하지만 엣지가 두껍게 나오는 경향이 있어 주변의 영향을 주기에 결과를 보면 매끄럽지 못하고 오돌토돌한 결과를 확인할 수 있다.
깊이 정보가 볼록하게 나온 부분은 흰색, 오목하게 들어간 부분은 검은색을 띄며 실제 영상에 가깝게 영상을 만들기 위해 약간의 잡음이 들어간 텍스쳐 영상을 가지고 실험을 하였다. 즉, 텍스쳐와 깊이 정보가 비슷한 형태를 가지며, 텍스쳐 명암대비가 좋은 영상을 가지고 실험을 하였다. 그림 13은 실험 결과 영상이며, 원본 영상인 그림 12(c) 와 시각적으로 비교해 봤을 경우 평균을 사용한 그림 13(c)가 가장 좋지 않은 결과를 보인다.

후속연구

본 논문에서 제안한 알고리즘은 단지 깊이 정보가 천천히 변하는 경우, 텍스쳐 영상에서 텍스쳐 성분이 많이 존재하는 경우에서만 결과가 잘 나오므로, 향후 연구 방향으로는 깊이 정보가 급격히 변하는 경우, 텍스쳐 영상에서 텍스쳐 성분이 적게 존재하는 경우에 대해 적합한 알고리즘 개발이 필요하다.

참고문헌 (13)

M. S. Kim, "Development of a vision system for inspecting mura defects on FPD classes," M. S. Thesis (in Korean), Hoseo University, 2007.
C. W. Chu, J. Y. Park, H. W. Kim, J. C. Park, S. J. Lim, and B. K. Koo, "Recent trends of 3D reconstruction technology," J. of Electronics and Telecommunications Trends, vol. 22, no. 4, pp. 1-11, 2007.
R. Wiesendanger, Scanning Probe Microscopy and Spectroscopy, Cambridge Univ. Press, 1994.
H. Schreiber and J. H. Bruning, Optical Shop Testing, Chap. 14, Wiley, New York, 2006.
G. X. Zhang, Y. M. Fan, X. Gao, S. G. Liu, Z. R. Qiu, C. Z. Jiang, X. F. Li, and J. B. Guo, "A confocal probe based on time difference measurement," Manufacturing Technology, vol. 53, no. 1, pp. 417-420, 2004.
J. C. Wyant, "White light extended source shearing interferometer," Applied Optics, vol. 13, no. 1, pp. 200-202, Jan. 1974.

상세보기
K. M. Ryu, H. N. Joo, J. S. Kim, D. C. Park, and I. H. Choi, "On the study of initializing extended depth of focus algorithm parameters," J. of Broadcast Eng., vol. 17, no. 4, pp. 625-633, 2012.

원문보기 상세보기
G. Y. Song, "Extended depth of focus algorithm using Gaussian feedback," M. S. Thesis (in Korean), Chungnam National University, 2004.
A. G. Valdecasasa, D. Marshallb, J. M. Becerraa, and J. J. Terrero, "On the extended depth of focus algorithms for bright field microscopy," Micron., vol. 32, no. 6, pp. 559-569, Aug. 2001.

상세보기
R. C. Gonzalez and R. E. Woods, Digital Image Processing, 2nd ed. Prentice Hall, 2002.
S.-O. Shim and T.-S. Choi, "A novel iterative shape from focus algorithm based on combinatorial optimization," Pattern Recognition, vol. 43, no. 10, pp. 3338-3347, 2010.

상세보기
R. J. Pieper and A. Korpel, "Image processing for extended depth of field," Applied Optics, vol. 22, no. 10, pp. 1449-1453, 1983.

상세보기
F. Aguet, Dimitri Van De Ville, and M. Unser, "Model-Based 2.5-D deconvolution for extended depth of field in brightfield microscopy," IEEE Trans. on Image Process., vol. 17, no. 7, pp. 1144-1153, Jul. 2008.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증