[논문]Kinect(RGB-Depth Camera)를 활용한 실내 공간 정보 모델(BIM) 획득

김준희; 유세웅; 민경원

doi:10.7734/coseik.2018.31.4.207

Kinect(RGB-Depth Camera)를 활용한 실내 공간 정보 모델(BIM) 획득
Microsoft Kinect-based Indoor Building Information Model Acquisition 원문보기

한국전산구조공학회논문집 = Journal of the computational structural engineering institute of Korea, v.31 no.4, 2018년, pp.207 - 213

김준희 (단국대학교 건축공학과) , 유세웅 (단국대학교 건축공학과) , 민경원 (단국대학교 건축공학과)

초록
AI-Helper

본 연구에서는 건물 실내 공간 정보 획득을 위해 Microsoft사의 $Kinect^{(R)}$ v2를 활용한 point cloud 기법을 도입하였다. 카메라로 취득한 2차원의 투영 공간 이미지 픽셀 좌표를 각 카메라의 보정을 거쳐 3차원 이미지 변환하며 이를 토대로 공간 정보를 구현하였다. 기준점을 중심으로 $360^{\circ}$ 회전하여 취득한 3차원 이미지를 통해 거리 측정이 불가한 기존의 2차원 이미지의 한계를 개선하였으며, 이 과정을 통해 얻은 point cloud를 통해 3차원 map을 형성하였다. 형성된 3차원 map은 기존의 공간정보 융 복합을 위한 센서와 비슷한 수준의 측정 효율을 가지면서 동시에 렌즈 왜곡 현상에 대한 후처리 과정을 통해 공간 정보를 정확하게 측정할 수 있도록 하였다. 측정한 결과를 2D 도면과 실제 공간 및 구조부재의 길이 및 위치 등과 비교하여 검증하였다.

Abstract ▼ AI-Helper

This paper investigates applicability of Microsoft $Kinect^{(R)}$, RGB-depth camera, to implement a 3D image and spatial information for sensing a target. The relationship between the image of the Kinect camera and the pixel coordinate system is formulated. The calibration of the camera provides the depth and RGB information of the target. The intrinsic parameters are calculated through a checker board experiment and focal length, principal point, and distortion coefficient are obtained. The extrinsic parameters regarding the relationship between the two Kinect cameras consist of rotational matrix and translational vector. The spatial images of 2D projection space are converted to a 3D images, resulting on spatial information on the basis of the depth and RGB information. The measurement is verified through comparison with the length and location of the 2D images of the target structure.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 Kinect v2를 이용하여 3차원 이미지를 구현하고 이를 활용해 공간 정보를 획득하는 방법을 파악하였다. 세부적으로, 카메라의 이미지, 픽셀 좌표계 간의 관계를 파악하였으며 각 카메라의 보정을 거쳐 깊이 정보와 RGB 정보를 취득하고 실험을 통해 실내 공간을 구현하였다.
본 논문에서는 카메라로 취득한 3차원 좌표를 2차원의 투영 공간 이미지 픽셀 좌표로 변환하고 IR 공간 좌표를 RGB 공간 좌표 및 이미지로 투영하는 방법에 대해 논한다(Branko, 2015). Matlab의 pcfromKinect 함수를 사용하여 얻은 IR 이미지와 RGB 이미지를 토대로 식 (5)로부터 얻은 IR 카메라의 공간상의 좌표를 RGB 카메라의 공간상의 좌표로 변환한다.
본 논문의 목적은 RGB, Depth 좌표(6개의 공간 좌표)를 획득하고 이를 통해 실내 공간 정보를 구현하는 것으로 단국대학교 제1공학관 건축동역학 실험실(Fig. 6)의 가로 7m, 세로 7.2m 공간에서 실험을 진행하였다.

제안 방법

Kinect v2의 내부 변수의 값 중 왜곡 보정 계수인 d1 , d2 , d3 (방사형 왜곡 계수), p1, p2 (접선 왜곡 계수)를 사용하여 RGB 이미지와 IR 이미지에 발생하는 왜곡 현상을 보정하여 실험을 진행하였다.
RGB 이미지에 맞게 결합된 IR 이미지의 공간 좌표를 다시 이미지의 픽셀 좌표로 변환하는 과정을 거쳐 IR 공간 좌표를 RGB 이미지로 투영시킨다.
또한 취득한 정보를 바탕으로 3D map을 형성하여 건물 실내·외 공간 정보 획득에 활용하고 이를 통해 다방면의 미래 산업의 부가가치를 창출한다.
Matlab의 calib_gui 함수를 사용하여 실험을 진행하였으며 다양한 각도로 촬영한 여러 장의 체커보드 이미지를 취득하였다. 본 논문에서는 총 17장의 체커 보드 이미지의 918개의 좌표를 획득하고 카메라의 추정 좌표와의 비교를 통해 변수 값들을 추정하였다.
본 논문에서는 Kinect v2를 이용하여 3차원 이미지를 구현하고 이를 활용해 공간 정보를 획득하는 방법을 파악하였다. 세부적으로, 카메라의 이미지, 픽셀 좌표계 간의 관계를 파악하였으며 각 카메라의 보정을 거쳐 깊이 정보와 RGB 정보를 취득하고 실험을 통해 실내 공간을 구현하였다. IR 카메라와 RGB 카메라로부터 입력받은 2개의 이미지를 결합할 때 각 카메라의 FOV의 차이로 인해 깊이 정보가 생기지 않는 RGB 이미지의 일부분은 제외하였으며 본 건물의 설계도면과의 비교를 통해 실험의 유효성을 입증하였다.
실험 결과의 정량적 정밀도 분석을 위해 실험실의 주요 구조 부재와 비교하였다. Table 3은 가로(장변) 길이 7m, 세로 (단변) 길이 7.
이 때 깊이 정보가 주어지지 않은 1920×1080의 2차원 IR 좌표는 결합 대상에서 제외하였으며 각 이미지에 발생되는 왜곡 현상에 대한 보정을 거쳐 실험을 진행하였다.
5m까지의 깊이 정보 취득이 가능하고 장비의 이동성이 능동적이기 때문에 실내 공간 정보 및 위치 정보 획득이 용이하다. 이러한 Kinect v2를 사용해 RGB, Depth 좌표 (6개의 공간 좌표)를 획득하고 실험을 통한 성능 검토 및 적용성 확인, 3D 공간 정보를 구현하는 방법론과 연구방향성에 대해 제안한다.
IR 카메라와 RGB 카메라로부터 입력받은 2개의 이미지를 결합할 때 각 카메라의 FOV의 차이로 인해 깊이 정보가 생기지 않는 RGB 이미지의 일부분은 제외하였으며 본 건물의 설계도면과의 비교를 통해 실험의 유효성을 입증하였다. 최종적으로 Kinect v2를 활용한 3차원 실내 공간 정보 point cloud의 기존 설계도면과의 비교를 통해 정확도를 확인하였다.
취득한 이미지는 60° 회전 변환으로 회전행렬(R(α,β,γ))을 사용하여 결합하였으며 실제 카메라의 회전 각도와 이미지의 회전 각도를 비교하여 계산된 카메라의 Χ축, Υ축, Ζ축의 회전각 R(0, 60, 0)을 적용한 후 각 이미지를 결합하는 과정을 반복하여 실험을 진행하였으며 이를 토대로 3차원 point cloud로 나타내었다(Fig.11).
카메라 좌표계 Υ축 기준으로 회전하여 공간 전체 이미지를 취득하였으며 그 중 일부 이미지를 비교하였다.
카메라의 제한된 FOV로 인한 바닥 및 천장 정보를 제외한 공간 정보를 취득하였으며 실험을 통해 얻은 3차원 point cloud를 2D 캐드도면과 비교하여 실험의 유효성을 입증하였다 (Fig. 12).

대상 데이터

이러한 3차원 이미지를 활용해 IT, 통신, 센싱 등의 기술 융·복합을 통한 스마트 건축에 대한 연구가 급증하고 있다. 3차원 이미지는 기존의 2차원 이미지에 깊이 정보가 추가된 형태이며 이러한 이미지 정보는 카메라와 레이저 센서를 이용해 취득한다. 또한 취득한 정보를 바탕으로 3D map을 형성하여 건물 실내·외 공간 정보 획득에 활용하고 이를 통해 다방면의 미래 산업의 부가가치를 창출한다.
카메라 좌표계 Υ축 기준으로 회전하여 공간 전체 이미지를 취득하였으며 그 중 일부 이미지를 비교하였다. 실험에 사용된 이미지는 IR 이미지와 RGB 이미지를 상호 변환시킨 것으로 RGB 이미지를 기준으로 IR 이미지를 변환하여 최적의 이미지를 취득하였다(Fig. 8).
실험에 사용된 장비(Fig. 7)는 깊이 정보와 이미지 및 3차원 좌표를 인식할 수 있는 RGB-Depth 카메라인 Microsoft사의 Kinect v2를 사용하였으며 Χ, Υ, Ζ축 회전이 가능한 Manfrotto사의 3자유도 삼각대를 사용하여 실험을 진행하였다.

데이터처리

두 좌표를 최적화 해주는 관계값(α)을 계산하기 위해 Matlab의 go_calib_optim함수를 사용하여 실험을 진행하였으며 취득한 데이터를 토대로 식 (8)을 이용해 각 카메라의 최적의 내부 변수 값을 도출하였다.
외부 변수 취득을 위해 RGB 카메라와 IR 카메라의 내부 변수를 근거로 사용하였으며 Matlab의 stereo_gui 함수를 사용하여 두 좌표계 사이의 최적의 회전 및 평행이동 변수 # 값을 추출하였다(Smisek, 2011).

이론/모형

Kinect v2의 IR 카메라는 카메라의 광원(IR emitter) 으로부터 측정물의 표면 방향으로 적외선을 보내어 수신되는 파의 위상차로부터 거리를 계산하는 TOF(time of flight)와 카메라 두 대 사이의 픽셀 정보를 조율하고 깊이 정보를 추출하는 스테레오 비전 시스템을 사용한다(Fig. 3). 그림과 같이 각 카메라로부터 입력되는 거리 정보를 투영 공간으로 표현하여 2차원 배열에 대한 각 픽셀 정보를 구성한다(Lembit, 2016).
4)을 통해 최적의 값을 도출하였다(Michael, 2016). Matlab의 calib_gui 함수를 사용하여 실험을 진행하였으며 다양한 각도로 촬영한 여러 장의 체커보드 이미지를 취득하였다. 본 논문에서는 총 17장의 체커 보드 이미지의 918개의 좌표를 획득하고 카메라의 추정 좌표와의 비교를 통해 변수 값들을 추정하였다.
본 연구에서는 기존의 고가형 기계식 LiDAR의 단점을 보완하는 저가형 전자식 LiDAR인 Kinect v2(Yulu, 2017)를 사용하였다. Microsoft사의 Kinect v2는 v1의 후속 모델로 센서의 정확성 및 측정 가능 범위를 향상시킨 모델이다.

성능/효과

세부적으로, 카메라의 이미지, 픽셀 좌표계 간의 관계를 파악하였으며 각 카메라의 보정을 거쳐 깊이 정보와 RGB 정보를 취득하고 실험을 통해 실내 공간을 구현하였다. IR 카메라와 RGB 카메라로부터 입력받은 2개의 이미지를 결합할 때 각 카메라의 FOV의 차이로 인해 깊이 정보가 생기지 않는 RGB 이미지의 일부분은 제외하였으며 본 건물의 설계도면과의 비교를 통해 실험의 유효성을 입증하였다. 최종적으로 Kinect v2를 활용한 3차원 실내 공간 정보 point cloud의 기존 설계도면과의 비교를 통해 정확도를 확인하였다.
RGB 카메라의 FOV 는 84.1°×53.8°, IR 카메라의 FOV는 70.6°×60°로 두 이미지가 취득하는 이미지의 크기가 다른 것을 확인하였다(Fig. 9).
실험 결과의 정량적 정밀도 분석을 위해 실험실의 주요 구조 부재와 비교하였다. Table 3은 가로(장변) 길이 7m, 세로 (단변) 길이 7.2m의 실험실의 실제 구조부재와 비교한 것으로 평균 5% 이내의 오차로 실험실 내 구조부재와 매우 유사한 길이 정보를 취득한 것을 확인할 수 있었으며 가구 등을 제외한 전체 공간과 비교하였을 때 평균 3% 오차를 확인할 수 있었다.
03°만큼의 회전을 통해 두 이미지를 보정하였다. 또한 평행이동변수 (translate vector)는 t = [52.7732 - 1.0308 1.3045]로 RGB 카메라와 IR 카메라(RGB 이미지와 IR 이미지) 사이의 실제 거리가 약 5cm인 것과 비교하였을 때 5%이내의 오차를 확인하였다.

질의응답

핵심어	질문	논문에서 추출한 답변
	Kinect v2란 무엇인가?	Kinect v2는 RGB 카메라, IR(infrared) Emitter와 IR 카메라로 구성된 복합 장치로서 깊이 정보와 이미지 및 3차원 좌표를 인식할 수 있는 카메라이다. Fig.
	Kinect v2의 장점은?	Microsoft사의 Kinect v2는 v1의 후속 모델로 센서의 정확성 및 측정 가능 범위를 향상시킨 모델이다. 22만 개의 복수 포인트 센서를 사용하는 Kinect v2는 한 번에 많은 양의 데이터를 얻을 수 있으며 경제성이 우수하고 조작이 간단하다. 또한 4.
	3차원 이미지의 취득 후 활용은?	3차원 이미지는 기존의 2차원 이미지에 깊이 정보가 추가된 형태이며 이러한 이미지 정보는 카메라와 레이저 센서를 이용해 취득한다. 또한 취득한 정보를 바탕으로 3D map을 형성하여 건물 실내·외 공간 정보 획득에 활용하고 이를 통해 다방면의 미래 산업의 부가가치를 창출한다. 이러한 행보에 발맞추어 구글은 2014년, Tango Project[1]를 발표하였다.

참고문헌 (18)

Bc, J.S. (2011) 3D Camera Calibration, Center For Machine Perception, pp.4-34.
Branko, K. (2015) Calibration of Kinect type RGB-D Sensors for Robotic Applications, FME Trans., 47, pp.47-54.
Dal Mutto, C., Zanuttigh, P., Cortelazzo, G.M. (2013) Time of Flight Cameras and Microsoft Kinect, pp.3-68.
Lembit, V. (2016) 3D Reconstruction using Kinect v2 Camera, Bachelor's thesis (12 ECTP).
Michae, J.L., Benjamin, Y.C., Peter, A.B. (2016) Simulating Kinect Infrared and Depth Images, IEEE Trans. Cybern., 6(12), pp.3018-3031.
Nima, R., Jie, G., Mohsin, K.S., Chris, G., H. Elix, L. (2012) Analysis of XBOX Kinect Sensor Data for use on Construction Sites: Depth Accuracy and Sensor Interference Assessment, Construction Research Congress, pp.848-857.
Smisek, J., Jancosek, M., Paidla, T. (2011) 3D with Kinect, 2011 IEEE Int. Conf. Computer Vision Workshops, Barcelona, Spain, pp.1154-1160.
Walid, D., Shenjum, T., Wenbin, L., Wu, C. (2017) A New Calibration Method for Commercial RGB-D Sensors, Sensor, 17.

상세보기
Yulu, L.C., Mohamed, A., Mohammad, R.J., Sami, F.M. (2017) Color and Depth Data Fusion using and RGB-D Sensor for Inexpensive and Contactless Dynamic Displacement Field Measurement, Wiley, pp.1-14.
https://en.wikipedia.org/wiki/Tango_(platform)
https://en.wikipedia.org/wiki/Velodyne_LiDAR
https://en.wikipedia.org/wiki/Quanergy
https://en.wikipedia.org/wiki/Faro
https://en.wikipedia.org/wiki/Sick_AG
http://www.zf-laser.com/Z-F-PROFILER-R-9012.2d_laserscanner.0.html?&L1
http://www.riegl.com/company/about-riegl/
https://www.ibeo-as.com/projects/
https://autonomoustuff.com/product-category/lidar/hokuyo-laser-scanners/

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

Kinect(RGB-Depth Camera)를 활용한 실내 공간 정보 모델(BIM) 획득
Microsoft Kinect-based Indoor Building Information Model Acquisition 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

질의응답

참고문헌 (18)

이 논문을 인용한 문헌

저자의 다른 논문 :

연구과제 타임라인

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

Kinect(RGB-Depth Camera)를 활용한 실내 공간 정보 모델(BIM) 획득 Microsoft Kinect-based Indoor Building Information Model Acquisition 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

데이터처리

이론/모형

성능/효과

질의응답

참고문헌 (18)

이 논문을 인용한 문헌

저자의 다른 논문 :

김준희 (9) 유세웅 (1) 민경원 (75)

연구과제 타임라인

전체(0) 논문(0) 특허(0) 보고서(0)

전체(0) 논문(0) 특허(0) 보고서(0)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

Kinect(RGB-Depth Camera)를 활용한 실내 공간 정보 모델(BIM) 획득
Microsoft Kinect-based Indoor Building Information Model Acquisition 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper