실내에서 카메라를 이용한 로봇 응용이나 가상현실(Virtual Reality) 응용의 경우 평면을 찾고 추정하는 기술은 매우 중요한 기술이다. RGB-D 카메라의 경우 실내의 평면에서 질감 정보가 없는 평면에서도 3차원 관측 데이터를 얻을 수 있지만, 이미지 영역에서 점군 데이터(Point-cloud Data)를 처리하기 위해서는 많은 연산량이 필요하다. 더군다나 현재 관측되고 있는 평면의 개수가 몇 개인지 미리 알 수 없으며, 평면으로 검출(Plane Detection) 하더라도 강인하게 3차원에서 평면을 추정(Plane Estimation)하려면 추가적인 연산이 필요하다. 본 논문에서는 연속 데이터를 이용해 실시간으로 평면의 개수를 선택하며 평면을 추정하는 방법을 제시하고자 한다. 실험 결과를 통해 제안하는 방법이 전체 데이터를 처리하는 것에 비해 약 22배의 속도 개선을 가져 올 수 있음을 보였다.
실내에서 카메라를 이용한 로봇 응용이나 가상현실(Virtual Reality) 응용의 경우 평면을 찾고 추정하는 기술은 매우 중요한 기술이다. RGB-D 카메라의 경우 실내의 평면에서 질감 정보가 없는 평면에서도 3차원 관측 데이터를 얻을 수 있지만, 이미지 영역에서 점군 데이터(Point-cloud Data)를 처리하기 위해서는 많은 연산량이 필요하다. 더군다나 현재 관측되고 있는 평면의 개수가 몇 개인지 미리 알 수 없으며, 평면으로 검출(Plane Detection) 하더라도 강인하게 3차원에서 평면을 추정(Plane Estimation)하려면 추가적인 연산이 필요하다. 본 논문에서는 연속 데이터를 이용해 실시간으로 평면의 개수를 선택하며 평면을 추정하는 방법을 제시하고자 한다. 실험 결과를 통해 제안하는 방법이 전체 데이터를 처리하는 것에 비해 약 22배의 속도 개선을 가져 올 수 있음을 보였다.
In the case of robot and Argument Reality applications using a camera in environments, a technology to estimate planes is a very important technology. A RGB-D camera can get a three-dimensional measurement data even in a flat which has no information of the texture of the plane;, however, there is a...
In the case of robot and Argument Reality applications using a camera in environments, a technology to estimate planes is a very important technology. A RGB-D camera can get a three-dimensional measurement data even in a flat which has no information of the texture of the plane;, however, there is an enormous amount of computation in order to process the point-cloud data of the image. Furthermore, it could not know the number of planes that are currently observed as an advance, also, there is an additional operation required to estimate a three dimensional plane. In this paper, we proposed the real-time method that decides the number of planes automatically and estimates the three dimensional plane by using the continuous data of an RGB-D camera. As experimental results, the proposed method showed an improvement of approximately 22 times faster speed compared to processing the entire data.
In the case of robot and Argument Reality applications using a camera in environments, a technology to estimate planes is a very important technology. A RGB-D camera can get a three-dimensional measurement data even in a flat which has no information of the texture of the plane;, however, there is an enormous amount of computation in order to process the point-cloud data of the image. Furthermore, it could not know the number of planes that are currently observed as an advance, also, there is an additional operation required to estimate a three dimensional plane. In this paper, we proposed the real-time method that decides the number of planes automatically and estimates the three dimensional plane by using the continuous data of an RGB-D camera. As experimental results, the proposed method showed an improvement of approximately 22 times faster speed compared to processing the entire data.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
같은 평면을 이루는 점들은 3차원 공간에서 같은 법선 벡터를 갖는다는 가정을 이용하여 평면을 검출하고 추정하고자 한다[11, 12]. 본 논문에서는 Holz가 제안한 방법으로 평면을 검출하고자 한다[8]. 이 방법은 실시간으로 평면을 뽑아내기 위한 방법을 제시하였는데 그 과정은 다음의 순서로 표현되어 있다.
본 논문에서는 RGBD카메라를 이용하여 빠르고 강인하게 평면을 추정하는 방법을 제안하였다. 각 포인트의 데이터를 벡터로 변환하고 외적을 구해서 쉽게 법선 벡터의 방향성을 계산하고 이를 계층적 군집화 알고리즘으로 같은 평면에 속하는 포인트 들을 하나의 집합으로 만들었다.
이 데이터를 사용하여 적은 연산량으로 평면을 추정 하는 방법은 여러 접근 방법이 있는데 본 논문에서는 Holtz [8]의 각 포인트 들에서 법선 벡터(Normal vector) 를 계산하여 같은 평면에 속했는지 방향성을 보는 방법을 적용하고자 한다. 이후 각 포인트들의 법선 벡터 데이터를 계층적 클러스터링 방법으로 유사한 데이터 끼리 같은 모으는 방법을 제시한다.
가설 설정
1]에서 측정된 거리데이터로 복도 구조를 분석하기 위해서는 우선 평면 후보 점들을 검출하는 것이 가장 중요하다. 같은 평면을 이루는 점들은 3차원 공간에서 같은 법선 벡터를 갖는다는 가정을 이용하여 평면을 검출하고 추정하고자 한다[11, 12]. 본 논문에서는 Holz가 제안한 방법으로 평면을 검출하고자 한다[8].
매트랩의 경우 일반적인 C 코드에 비해 상대적으로 느리기 때문에 측정된 연산 시간이 일반적인 프로그램의 속도보다 매우 느릴 수 있다[18]. 만약 본 논문의 내용을 C 코드로 작성하게 되면 비교하게 되는 결과보다 훨씬 빠를 것이다.
제안 방법
본 논문에서는 RGBD카메라를 이용하여 빠르고 강인하게 평면을 추정하는 방법을 제안하였다. 각 포인트의 데이터를 벡터로 변환하고 외적을 구해서 쉽게 법선 벡터의 방향성을 계산하고 이를 계층적 군집화 알고리즘으로 같은 평면에 속하는 포인트 들을 하나의 집합으로 만들었다. 그리고 같은 평면에 속하는 포인트들을 강인하게 평면 방정식으로 만들기 위해 RANSAC 평면 추정 방법을 적용하여 강인하게 추정할 수 있었다.
반대로 너무 촘촘하게 포인트를 선택하게 되면 연산 시간이 너무 많아져서 실시간성이 떨이지게 된다. 본 논문에서는 실험을 통해 적절한 간격인 9픽셀로 결정하였다. 선택된 포인트의 데이터는 다음의 식 (1)과 같이 표현된다.
이 데이터를 사용하여 적은 연산량으로 평면을 추정 하는 방법은 여러 접근 방법이 있는데 본 논문에서는 Holtz [8]의 각 포인트 들에서 법선 벡터(Normal vector) 를 계산하여 같은 평면에 속했는지 방향성을 보는 방법을 적용하고자 한다. 이후 각 포인트들의 법선 벡터 데이터를 계층적 클러스터링 방법으로 유사한 데이터 끼리 같은 모으는 방법을 제시한다. 최종적으로 같은 집합으로 모인 포인트를 각 평면을 방정식으로 표현하게 되는데 이 때 강인하게 평면을 추정하기 위해 3차원 데이터를 랜덤하게 묶어서 추정하는 RANSAC을 평면을 추정하는 방법을 적용하였다[9, 10].
최종적으로 같은 집합으로 모인 포인트를 각 평면을 방정식으로 표현하게 되는데 이 때 강인하게 평면을 추정하기 위해 3차원 데이터를 랜덤하게 묶어서 추정하는 RANSAC을 평면을 추정하는 방법을 적용하였다[9, 10]. 제안된 방법이 기존의 모든 픽셀을 처리하는 것에 비해서 얼마나 연산량을 줄이고 강인하게 처리할 수 있는지 실행 시간의 비교를 통해 보이도록 하겠다.
이후 각 포인트들의 법선 벡터 데이터를 계층적 클러스터링 방법으로 유사한 데이터 끼리 같은 모으는 방법을 제시한다. 최종적으로 같은 집합으로 모인 포인트를 각 평면을 방정식으로 표현하게 되는데 이 때 강인하게 평면을 추정하기 위해 3차원 데이터를 랜덤하게 묶어서 추정하는 RANSAC을 평면을 추정하는 방법을 적용하였다[9, 10]. 제안된 방법이 기존의 모든 픽셀을 처리하는 것에 비해서 얼마나 연산량을 줄이고 강인하게 처리할 수 있는지 실행 시간의 비교를 통해 보이도록 하겠다.
이론/모형
각 포인트의 데이터를 벡터로 변환하고 외적을 구해서 쉽게 법선 벡터의 방향성을 계산하고 이를 계층적 군집화 알고리즘으로 같은 평면에 속하는 포인트 들을 하나의 집합으로 만들었다. 그리고 같은 평면에 속하는 포인트들을 강인하게 평면 방정식으로 만들기 위해 RANSAC 평면 추정 방법을 적용하여 강인하게 추정할 수 있었다. 향후 본 논문의 결과를 로봇의 실내 주행이나 로봇의 작업 등에 적용하고자 한다.
1 장에서 검출된 법선 벡터 외적의 결과에 대해 군집화(Clustering)를 사용하여 평면들을 묶는다. 본 논문에서는 계층적 클러스터링(Hierarchical clustering) 기법을 사용하였으며[13, 14], 클러스터링을 묶는 한계값(Threshold value)은 실험에 의해 결정해서 진행하였다.
본 논문에서는 구현의 단순성을 위하여 매트랩(Matlab)을 이용하였다[16, 17]. 매트랩의 경우 일반적인 C 코드에 비해 상대적으로 느리기 때문에 측정된 연산 시간이 일반적인 프로그램의 속도보다 매우 느릴 수 있다[18].
이 때 3차원의 데이터를 이용하게 되는데 평면 방정식을 결정하기 위해서는 이상 포인트들(Outlier points)을 걸러내고 안정적으로 참 포인트들(Inlier points)을 선택하는 것이 매우 중요하다. 본 논문에서는 임의의 세 포인트를 선택하고 전체 데이터들이 평면에서 가장 근접하게 위치하게 되며 이상 포인트들을 쉽게 걸러낼 수 있는 방법인 RANSAC을 이용한 평면 추정 방법을 적용하였다[13]. 이 때 나온 결과는 [Fig.
성능/효과
11초이다. 본 논문에서 제안한 방법을 이용하여 [Fig. 2]에서 보이고 있는 9픽셀 간격의 연산을 하게 되면 법선 벡터를 구하는 시간은 0.14초, 평면을 추정하게 되는 시간은 0.51초가 걸리게 된다. 총 연산 시간은 평균 0.
후속연구
그리고 같은 평면에 속하는 포인트들을 강인하게 평면 방정식으로 만들기 위해 RANSAC 평면 추정 방법을 적용하여 강인하게 추정할 수 있었다. 향후 본 논문의 결과를 로봇의 실내 주행이나 로봇의 작업 등에 적용하고자 한다.
질의응답
핵심어
질문
논문에서 추출한 답변
평명 방정식을 결정하기 위해 이상 포인트들을 걸러내야 하는데 이때 본 논문에서 적용한 방법은 무엇인가?
이 때 3차원의 데이터를 이용하게 되는데 평면 방정식을 결정하기 위해서는 이상 포인트들(Outlier points)을 걸러내고 안정적으로 참 포인트들(Inlier points)을 선택하는 것이 매우 중요하다. 본 논문에서는 임의의 세 포인트를 선택하고 전체 데이터들이 평면에서 가장 근접하게 위치하게 되며 이상 포인트들을 쉽게 걸러낼 수 있는 방법인 RANSAC을 이용한 평면 추정 방법을 적용하였다[13]. 이 때 나온 결과는 [Fig.
RGBD 카메라의 단점은 무엇인가?
최근 Kinect 등의 RGBD 카메라가 중저가로 구매할 수 있기 때문에 많은 사람들이 사용하고 있으며 개발자를 위한 SDK 소프트웨어도 배포되어 있다[5, 6]. 하지만 이때 관측되는 픽셀의 정보가 가로픽셀*세로픽셀* 깊이 데이터 까지 합쳐서 수백만 가지의 3차원 데이터를 가질 수 있기 때문에 이를 관리하기 위한 데이터 용량과 처리하기 위한 연산량이 필요하다.
RGBD 카메라의 장점은 무엇인가?
특히 실내에서 주행을 하거나 사람들을 안내하고 요리를 하는 등의 복잡한 작업의 경우 카메라를 이용해 실내구조를 파악하거나 작업대 위의 평면을 추정하는 등의 평면 추정은 가장 중요하고 기본적인 기능이다. 많이 사용되는 카메라 센서 중에서 RGBD 카메라는 적외선의 패턴을 이용해 이를 수광하여 대상 픽셀까지의 거리를 한 번에 알아 낼 수 있다는 장점이 있다. 최근 Kinect 등의 RGBD 카메라가 중저가로 구매할 수 있기 때문에 많은 사람들이 사용하고 있으며 개발자를 위한 SDK 소프트웨어도 배포되어 있다[5, 6].
참고문헌 (18)
C. Roh and W. Na, "Acceleration sensor, and embedded system using location-aware," Journal of IT Convergence Society for SMB, Vol.3, No.2, pp.51-56, 2013
B. Chung and W. Na, "A Study on the Smart Fire Detection System using the Wireless Communication," Journal of IT Convergence Society for SMB, Vol.6, No.3, pp.37-41, 2016
J. Han, "Color and Brightness Calibration Convergence Technology for 5D Virtual Reality Attractions," Journal of the Korea Convergence Society, Vol. 7. No. 1, pp. 25-30, 2016
B. Kang and K. Lee, "Fire Alarm Solutions Through the Convergence of Image Processing Technology and M2M," Journal of the Korea Convergence Society, Vol. 7. No. 1, pp. 37-42, 2016
K. Orland, "News - Microsoft Announces Windows Kinect SDK For Spring Release," Gamasutra, March 16, 2011.
R. El-Laithy, J. Huang, and M. Yeh, "Study on the use of Microsoft Kinect for robotics applications," 2012 IEEE/ION Position Location and Navigation Symposium (PLANS), 2012.
J. Yoon, "A Motion Capture and Mapping System: Kinect Based Human-Robot Interaction Platform," Journal of the Korea Academia-Industrial cooperation Society, Vol. 16, No. 12, pp. 8563-8567, 2015.
D. Holz, S. Holzer, R. B. Rusu, and S. Behnke, "Real-time Plane Segmentation using RGB-D Camera," RoboCup Symposium, 2011.
P. Kovesi, MATLAB and Octave Functions for Computer Vision and Image Processing, From: http://www.peterkovesi.com/matlabfns/
S.-W. Jang and M.-H. Huh, "Target Object Detection Based on Robust Feature Extraction," Journal of the Korea Academia-Industrial cooperation Society, Vol. 15, No. 12, pp. 7302-7308, 2014.
R. Hartley and A. Zisserman, "Multiple View Geometry in Computer Vision," pp 101-113, Cambridge University Press, 2001.
G. Y. Kim and S. M. Son, "Realistic 3D model generation of a real product based on 2D-3D registration," Journal of the Korea Academia-Industrial cooperation Society, Vol. 14, No. 11, pp. 5385-5391, 2013.
L. Rokach and O. Maimon, "Clustering methods," Data mining and knowledge discovery handbook, Springer US, pp. 321-352, 2005.
S.-W. Jang, H.-J. Choi, and M.-H. Huh, "Segmentation of Target Objects Based on Feature Clustering in Stereoscopic Images," Journal of the Korea Academia-Industrial cooperation Society, Vol. 13, No. 10, pp. 4807-4813, 2012.
M. Fishler and R. Boles, "Random sample concensus: A paradigm for model fitting with applications to image analysis and automated cartography," Comm. Assoc. Comp, Mach., Vol 24, No 6, pp. 381-395, 1981.
Guide, MATLAB User'S, "The mathworks," Inc., Natick, MA 5, 1998.
Y.-S. Heo, J.-G. Kim, J.-M. Kim, B.-M. Kwon, and H.-J. Song, "Prediction and Analysis of Photovoltaic Modules's Output using MATLAB," Journal of the Korea Academia-Industrial cooperation Society, Vol. 11, No. 8, pp. 2963-2967, 2010.
F. Cornelissen, P. Enno, and J. Palmer, "The Eyelink Toolbox: eye tracking with MATLAB and the Psychophysics Toolbox," Behavior Research Methods, Instruments, & Computers 34.4, pp. 613-617, 2002.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.