[논문]SPAD과 CNN의 특성을 반영한 ToF 센서와 스테레오 카메라 융합 시스템

김동엽; 이재민; 전세웅

doi:10.7746/jkros.2018.13.4.230

SPAD과 CNN의 특성을 반영한 ToF 센서와 스테레오 카메라 융합 시스템
Fusion System of Time-of-Flight Sensor and Stereo Cameras Considering Single Photon Avalanche Diode and Convolutional Neural Network 원문보기

로봇학회논문지 = The journal of Korea Robotics Society, v.13 no.4, 2018년, pp.230 - 236

김동엽 (Intelligent Robotics Research Center, Korea Electronics Technology Institute (KETI)) , 이재민 (Intelligent Robotics Research Center, Korea Electronics Technology Institute (KETI)) , 전세웅 (Intelligent Robotics Research Center, Korea Electronics Technology Institute (KETI))

Abstract ▼ AI-Helper

3D depth perception has played an important role in robotics, and many sensory methods have also proposed for it. As a photodetector for 3D sensing, single photon avalanche diode (SPAD) is suggested due to sensitivity and accuracy. We have researched for applying a SPAD chip in our fusion system of time-of-fight (ToF) sensor and stereo camera. Our goal is to upsample of SPAD resolution using RGB stereo camera. Currently, we have 64 x 32 resolution SPAD ToF Sensor, even though there are higher resolution depth sensors such as Kinect V2 and Cube-Eye. This may be a weak point of our system, however we exploit this gap using a transition of idea. A convolution neural network (CNN) is designed to upsample our low resolution depth map using the data of the higher resolution depth as label data. Then, the upsampled depth data using CNN and stereo camera depth data are fused using semi-global matching (SGM) algorithm. We proposed simplified fusion method created for the embedded system.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

1절에서 언급했듯이, 우리는 기존 Depth 센서보다 광특성 이 훌륭한 SPAD를 활용한 로봇용 저가 3차원 센서를 개발하는 것을 목표로 하고 있다.
ToF 센서와 RGB 스테레오 카메라는 상호 보완적인 센서로서, 본 논문에서는 이를 융합하여 보다 다양한 환경에서 대응이 가능한 3차원 센서를 제안하였다. 특히, 본 논문에서는 64 × 32의 저해상도 SPAD의 한계를 극복하기 위하여 상용의 레퍼런스 ToF 센서를 활용하여 128 × 64로 upsampling 하는 CNN을 적용하였다.
본 논문에서는 SPAD 센서칩을 적용하여, 고가의 외부 광학필터 없이 운용이 가능하면서 20,000 lux 이상의 야외에서 감지가 가능한 3D 센서를 개발하는 것을 목표로 하였다.
본 논문에서는 ToF센서와 스테레오 카메라를 융합하기 위한 알고리즘을 제안한다.
이를 위하여, 현재 2~3m를 타겟으로 하는 고정 융합비율이 아니라 상황에 따라 적응적으로(adaptive) 융합 비율이 변하는 연구를 진행할 계획이다. 뿐만 아니라, [19]에서 제안된 출력직전에 디컨벌루션(Deconvolution) 을 이용한 업샘플링을 로봇을 위한 저가형 3차원 센서에 맞게 최적화하는 연구를 통해 본 논문이 제안하는 CNN의 성능을 개선하고자 한다.
특히, 본 논문에서는 64 × 32의 저해상도 SPAD의 한계를 극복하기 위하여 상용의 레퍼런스 ToF 센서를 활용하여 128 × 64로 upsampling 하는 CNN을 적용하였다. 이 결과를 바탕으로 ToF 센서와 스테레오 카메라를 융합하는 알고리즘을 제안하여 SPAD 센서를 저가형 로봇용 3D 센서모듈에 적용하기 위한 연구를 수행하였다. 실험을 통하여 제안하는 CNN 결과의 PSNR로 유효성을 검증하였으며, 융합 결과로 각 센서의 한계를 극복할 수 있음을 확인하였다.
이를 위하여, 현재 2~3m를 타겟으로 하는 고정 융합비율이 아니라 상황에 따라 적응적으로(adaptive) 융합 비율이 변하는 연구를 진행할 계획이다. 뿐만 아니라, [19]에서 제안된 출력직전에 디컨벌루션(Deconvolution) 을 이용한 업샘플링을 로봇을 위한 저가형 3차원 센서에 맞게 최적화하는 연구를 통해 본 논문이 제안하는 CNN의 성능을 개선하고자 한다.

제안 방법

본 논문에서는 이를 극복하기 위하여 컨벌루션 뉴럴 네트워크(Convolution Neural Network, CNN)를 활용하여 고해상도 ToF 센서 수준의 해상도로 업샘플링(upsampling)하는 네트워크를 적용하였다.
이 원형구멍의 중심을 특징점으로 해서 [13]에서 제안하는 방법으로 캘리브레이션을 수행했다.
특히, 로봇적용을 위한 저가형 3차원 실내외 공간 인식 센서를 목표로 SPAD의 성능을 활용하였다.
Anaconda 5.2 for Windows, Python 3.6, CUDA 9.0, TensorFlow 1.10, NVIDIA GTX1080 (dual SLI) 환경에서 2절에서 제안한 CNN을 구현하였다. 학습(Training)을 위한 파라미터(parameter)로, 러닝 레이트(learning rate)는 0.
Convolution layer 2에서는 5 × 5 × 64 크기, 그리고 Convolution layer 3과 아웃풋 레이어(output layer)에서는 3 × 3 × 32 크기를 적용하였다.
3]의 네트워크는 업샘플링이 목적이므로 특징점(feature)의 위치(shift)를 보상하기 위한 풀링 레이어(pooling layer)는 생략되었다. ^[7]과 같이, 본 논문에서도 저가형 로봇용 센서모듈을 목표로 하기 때문에 컨벌루션 레이어(Convolution layer)의 개수를 제한하여 계산 부담이 적게 설계하였다. Convolution layer 1에서는 7× 7 × 3 크기의 filter를 64개 적용하였다.
둘째, ToF 센서는 64 × 32의 SPAD 데이터를 2절에서 제안하는 CNN 기반의 방법으로 128 × 64로 upsampling을 한 후에 1280 × 720으로 바이큐빅 보간법(Bicubic interpolation)을 수행한다. 두 센서 데이터를 하나의 좌표계로 합치기 위해 1절에서 제안하는 방법으로 얻어진 이종센서간 캘리브레이션을 적용하여 ToF 데이터를 기준 카메라(Reference camera)인 왼쪽 카메라 좌표계로 변환한다. 이 단계에서, 스테레오 카메라와 ToF 센서 데이터 모두 동일한 방향을 가리키는 각 픽셀에 depth 값이 저장된 depth map 형태로 되어있다.
둘째, ToF 센서는 64 × 32의 SPAD 데이터를 2절에서 제안하는 CNN 기반의 방법으로 128 × 64로 upsampling을 한 후에 1280 × 720으로 바이큐빅 보간법(Bicubic interpolation)을 수행한다.
라인 11과 12에서 ToF 센서와 RGB 스테레오 카메라가 정상적인 상황일 때 융합을 하는 비율을 고정하고 있다. 많은 연구들에서 해당비율을 상황에 맞게 (adaptive) 조정하는 방법들을 제시하고 있으나, 본 논문에서는 본 센서모듈을 로봇에 적용한다는 점과 CNN에 소요되는 시간을 고려하여 이를 적용하지 않는 것으로 결정하였다.
학습 데이터셋의 양을 늘리기 위하여(data enrich) 좌우반전(horizontal flip)을 하여 2,800장의 데이터를 생성하였다. 본 논문에서는 모바일 로봇의 3차원 센서를 목표로 하기 때문에, 상하반전 (vertical flip) 데이터, 즉depth map에서 바닥이 영상의 윗면에 있는 영상은 무의미하다고 판단하여 배제하였다. [Fig.
위에서 취득한 2,800장의 학습 데이터셋(training set)으로 150 epoch, 1,000 epoch, 2,000 epoch 3,000 epoch을 수행한 결과가 [Table 1]이다. 성능비교를 위하여 [7]과 동일하게 PSNR을 측정하였다. [Fig.
이를 바탕으로, 본 논문에서 제안하는 ToF 센서와 스테레오 카메라를 융합하는 방법이 [Fig. 4]이다. 첫째, 스테레오 카메라는 Semi-Global Matching (SGM) 알고리즘을 활용하여 1280 × 720의 depth map으로 변환한다^[18].
9]는 제안하는 캘리브레이션 방법론의 유효성을 알기 위하여 SSIM (Structual Similarity Index)를 계산하기 위한 입력영상이다. 측정의 정확도를 위하여 SGBM 결과 영상과 ToF 센서 영상에서 전경(foreground)만 남긴 이진화 영상(binaryimage)을 생성하여 입력하였다. [Fig.
특히, 본 논문에서는 64 × 32의 저해상도 SPAD의 한계를 극복하기 위하여 상용의 레퍼런스 ToF 센서를 활용하여 128 × 64로 upsampling 하는 CNN을 적용하였다.

대상 데이터

2절에서 제안한 대로, SPAD에서 얻어진 64 × 32의 입력영상을 업샘플링하기 위해 레퍼런스 ToF 센서인 미래컴퍼니社 MDC600SB를[17] 활용하여 1,600장의 320 × 240 고해상도 ToF 센서 데이터를 취득하였다.
활용하여 1,600장의 320 × 240 고해상도 ToF 센서 데이터를 취득하였다. 이를 1,400장의 학습 데이터셋(training set_과 200장의 test set으로 분리하였다. 학습 데이터셋의 양을 늘리기 위하여(data enrich) 좌우반전(horizontal flip)을 하여 2,800장의 데이터를 생성하였다.
이를 1,400장의 학습 데이터셋(training set_과 200장의 test set으로 분리하였다. 학습 데이터셋의 양을 늘리기 위하여(data enrich) 좌우반전(horizontal flip)을 하여 2,800장의 데이터를 생성하였다. 본 논문에서는 모바일 로봇의 3차원 센서를 목표로 하기 때문에, 상하반전 (vertical flip) 데이터, 즉depth map에서 바닥이 영상의 윗면에 있는 영상은 무의미하다고 판단하여 배제하였다.

이론/모형

(d)에서 보이듯이 카메라와 ToF 깊이(depth) 이미지에서 허프 원 알고리즘(Hough Circle algorithm)으로 캘리브레이션 지그에 있는 원형구멍의 중심을 측정했다.
본 논문에서는 [Fig. 1]과 같이 [11]에서 제안하는 ToF센서와 스테레오 카메라를 융합하는 방법론을 따랐다.
첫째, 스테레오 카메라는 Semi-Global Matching (SGM) 알고리즘을 활용하여 1280 × 720의 depth map으로 변환한다[18].
본 논문에서 제안하는 센서융합 방법을 설명하기에 앞서서각 센서의 감지범위에 대해서 언급을 하겠다. 첫째, 스테레오 카메라는 [Fig. 1]의 (e)에서 볼 수 있듯이 왼쪽 카메라와 오른쪽 카메라가 있는 공간적 스테레오 기법(spatial stereo)을 적용하였다. 이 방법의 장점은 스테레오 카메라의 disparity의 거리 단위(meter)로 변환이 용이하고, 시간적 스테레오 기법(temporal stereo, 또는 moving stereo) 대비 센서모듈의 위치가 변하지 않아도 depth 정보를 취득할 수 있다는 점이다.

성능/효과

이 결과를 바탕으로 ToF 센서와 스테레오 카메라를 융합하는 알고리즘을 제안하여 SPAD 센서를 저가형 로봇용 3D 센서모듈에 적용하기 위한 연구를 수행하였다. 실험을 통하여 제안하는 CNN 결과의 PSNR로 유효성을 검증하였으며, 융합 결과로 각 센서의 한계를 극복할 수 있음을 확인하였다.
8]의 (a1)과 (b1)은 1절에서 제안한 방식으로 캘리브레이션을 수행하여 ToF 데이터를 흑백의 RGB 영상에 overlay한 것이다. 이를 통하여 ToF 데이터 캘리브레이션이 유효함을 확인할 수 있다. 참고로, (a1)과 (b1)은 융합 결과가 아니라 ToF 데이터를 출력한 영상이기 때문에, ToF의 단점인 빈영역(hole)이 두드러진다.
반면에 CNN 결과는 영상의선명도가 상대적으로 낮지만 이웃 depth 픽셀과의 유사성이 높기 때문에 depth 센서의 데이터로서 더적합하다. 이와 관련하여, 단순하게 Bicubic interpolation을 10배 하는 것보다, 2배의 CNN upsampling과 5배의 Bicubic interpolation을 하는 것이 더 유리하는 결론을 얻었다.

후속연구

향후 연구로서, 본 논문이 제안하는 방법이 20 m의 장거리, 90도의 광시야각에서도 적용이 가능하고, 생산성을 확보하기 위한 연구를 진행할 예정이다. 이를 위하여, 현재 2~3m를 타겟으로 하는 고정 융합비율이 아니라 상황에 따라 적응적으로(adaptive) 융합 비율이 변하는 연구를 진행할 계획이다. 뿐만 아니라, [19]에서 제안된 출력직전에 디컨벌루션(Deconvolution) 을 이용한 업샘플링을 로봇을 위한 저가형 3차원 센서에 맞게 최적화하는 연구를 통해 본 논문이 제안하는 CNN의 성능을 개선하고자 한다.
향후 연구로서, 본 논문이 제안하는 방법이 20 m의 장거리, 90도의 광시야각에서도 적용이 가능하고, 생산성을 확보하기 위한 연구를 진행할 예정이다. 이를 위하여, 현재 2~3m를 타겟으로 하는 고정 융합비율이 아니라 상황에 따라 적응적으로(adaptive) 융합 비율이 변하는 연구를 진행할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	3차원 공간지능을 위한 센서는 어떤 것들이 있는가?	이러한 3차원 공간지능을 위한 센서로서, 반송시간을 측정하는 Time-of-Flight (ToF) 센서, 카메라의 양안시차(disparity)를 활용하는 스테레오 카메라, 구조광 (structured light), 적외선 패턴을 투광하여 패턴의 왜곡을 감지하는 라이트 코딩(lightcoding)등이 있다[5]. 최근에는 센서칩설계 기술과 광학계 기술의 발전으로 ToF방식의 3D센서가 널리 보급되고 있다.
	딥러닝 방법을 활용한 단일 센서의 업샘플링의 경우 학습데이터의 해상도를 넘을수 없는 구조적인 한계점때문에 제안된 알고리즘은?	하지만 딥러닝 방법을 활용한 단일 센서의 업샘플링의 경우에는 학습 데이터(training dataset)의 해상도를 넘을 수 없다는 구조적인 한계가 있다. 이 문제를 해결하기 위해서 오랫동안 이종센서(heterogeneous sensor)를 융합하는 알고리즘들이 제안되어 왔다. [10]에서는 구속 최적화기법(constrained optimization) 을 활용하여 176 × 144 해상도의 ToF센서(MESA SR4000)를 1280 × 960 RGB카메라(Point Grey社 Flea)와 융합하였다.
	스패드는 무엇인가?	최근에는 센서칩설계 기술과 광학계 기술의 발전으로 ToF방식의 3D센서가 널리 보급되고 있다. 스패드(Single Photon Avalanche Diode, SPAD)는 ToF 센서 칩의 한 종류로서, 민감도(sensitivity)와 정확도(accuracy)가 높은 광검출기(photodetector)이다 [6]. 본 논문에서는 SPAD 센서칩을 적용하여, 고가의 외부 광학필터 없이 운용이 가능하면서 20,000 lux 이상의 야외에서 감지가 가능한 3D 센서를 개발하는것을목표로하였다.

참고문헌 (19)

S.-H. Kim, D.-K. Lee, J.-H. Cheon, S.-J. Kim, and K.-H. Yu, "Design and Flight Tests of a Drone for Delivery Service," Journal of Institute of Control, Robotics and System, vol. 22, no. 3, pp. 204-209, Mar., 2016.

원문보기 상세보기
S. Cho, D. Lee, Y. Jung, U. Lee, and D. H. Shim, "Development of a Cooperative Heterogeneous Unmanned System for Delivery Services," Journal of Institute of Control, Robotics and System, vol. 20, no. 12, pp. 1181-1188, Dec., 2014.

원문보기 상세보기
V. Magnanimo, S. Walther, L Tecchia. C. Natale, and T. Guhl, "Safeguarding a mobile manipulator using dynamic safety fields," 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Daejeon, South Korea, pp. 2972-2977, 2016.
J.-H. Moon, H.-D. Choi, N.-H. Park, C.-H. Kim, Y.-W. Park, and E.-T. Kim, "Database based global positioning system correction," Journal of Korea Robotics Society, vol. 7, No. 3, pp. 205-215, Sep., 2012.

원문보기 상세보기
C. Song and S.-H. Kim, "Robust vehicle occupant detection based on rgb-depth-thermal camera," Journal of Korea Robotics Society, vol. 13, No.1, pp. 31-37, Mar., 2018.

원문보기 상세보기
D. Shin, B. Park, Y. Chae, and I. Yun, "Structure variation effects on device reliability of single photon avalanche diodes," Microelectronics Reliability, vol. 76-77, pp. 610-613, Sep., 2014.
Y. Choi, N. Kim, S. Hwang, and I. S. Kwon, "Thermal image enhancement using convolutional neural network," 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Daejeon, South Korea, pp. 223-230, 2016.
S. Wang, Z. Su, L. Ying, X. Peng, S. Zhu, F. Liang, D. Feng, and D. Liang, "Accelerating magnetic resonance imaging via deep learning," 2016 IEEE 13th International Symposium on Biomedical Imaging (ISBI), Prague, Czech Republic, pp. 514-517, 2016.
B. Zhu, J. Z. Liu, S. F. Cauley, B. R. Rosen, and M. S. Rosen, "Image reconstruction by domain-transform manifold learning," Nature, vol. 555, pp. 487-492, Mar., 2018.

상세보기
J. Park, H. Kim, Y.-W. Tai, M. S. Brown, and I. Kwon, "High quality depth map upsampling for 3d-tof cameras," 2011 International Conference on Computer Vision, Barcelona, Spain, pp. 1623-1630, 2011.
R. Nair, F. Lenzen, S. Meister, H. Schafer, C. Garbe, and D. Kondermann, "High accuracy tof and stereo sensor fusion at interactive rates," European Conference on Computer Vision, pp. 1-11, 2012.
G. Agresti, L. Minto, G. Marlin, and P. Zanuttigh, "Deep learning for confidence information in stereo and TOF data fusion," 2017 IEEE International Conference on Computer Vision Workshops (ICCVW), Venice, Italy, pp. 697-705, 2017.
Z. Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, pp. 1330-1334, Dec., 2000.

상세보기
J. M. Lee, D. Y. Kim, I. Kim, S. Jun, and C.-W. Park, "A study on heterogeneous sensor calibration between ToF sensor and RGB camera," Korean Society for Precision Engineering Spring Conference, Jeju, Korea, pp. 108-109, 2016.
D. Y. Kim, Y.-O. Kim, C.-W. Park, J.-M. Lee, and S. Jun, "System and method for concurrent calibration of camera and depth sensor," Korea Patent, Application No. 10-2015-0095091, Jul., 3, 2015. DOI: 10.8080/1020150095091.
D. Y. Kim, C.-W. Park, J.-M. Lee, Y.-O. Kim, I. Kim, S. Jun, and J.-H. Hwang, "System and method for 3-dimensional calibration of camera and depth sensor, and calibration device and calibration jig thereof," Korea Patent, Registration No. 10-1803705, Nov., 2017. DOI: 10.8080/1020160057145.
http://www.cube-eye.co.kr/en/#/spec/product_MDC600S.html, [Online] Accessed: Jul. 24, 2018.
D. Hernandez-Juarez, A. Chacon, A. Espinosa, D. Vazquez, J. C. Moure, and A. M. Lopez, "Embedded real-time stereo estimation via semi-global matching on the GPU," Procedia Computer Science, Vol. 80, pp. 143-153, Jun., 2016.

상세보기
C. Dong, C. C. Loy, and X. Tang, "Accelerating the super-resolution convolutional neural network," European Conference on Computer Vision, Amsterdam, The Netherlands, pp. 391-407, 2016.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증