[학위논문]UAV 지역화와 리트로피팅 시스템에서의 증강현실을 위한 LiDAR와 IMU의 통합 시스템 LiDAR & IMU Integrated System for UAV Localization and Augmented Reality in Retrofitting Applications원문보기
건설 엔지니어링에서의 자동화는 공사 및 기존시설의 개보수를 위한 설계, 기획을 포함한 의사결정에 널리 사용되는 효과적인 도구이다. BIM은 건설 엔지니어링에서 널리 사용되고 있는 도구이지만, BIM 환경과의 실시간 커뮤니케이션의 효과는 한정된 상호 작용과 시각화 기술로 인해 다소 제한적이다. 최근의 대중적인 증강현실 기술은 몰입형 시각화 경험의 방법을 바꾸고, 현실에서 시각적인 컨텐츠와 상호작용할 수 있는 훌륭한 가능성을 보여준다. 본 논문의 ...
건설 엔지니어링에서의 자동화는 공사 및 기존시설의 개보수를 위한 설계, 기획을 포함한 의사결정에 널리 사용되는 효과적인 도구이다. BIM은 건설 엔지니어링에서 널리 사용되고 있는 도구이지만, BIM 환경과의 실시간 커뮤니케이션의 효과는 한정된 상호 작용과 시각화 기술로 인해 다소 제한적이다. 최근의 대중적인 증강현실 기술은 몰입형 시각화 경험의 방법을 바꾸고, 현실에서 시각적인 컨텐츠와 상호작용할 수 있는 훌륭한 가능성을 보여준다. 본 논문의 증강 현실프레임 워크는 GPS 거부 환경에서 UAV의 위치파악과 실시간 비디오와 포인트 클라우드 모델의 중첩을 포함한다. 알려지지 않은 환경에서 차량의 자율적인 탐색 능력은 많은 분야에서 점점 중요해지고 있고, 다양한 야외 위치추적 응용은 GPS 시스템의 출현으로 실질적으로 가능해 졌지만 실내, 또는 밀집된 숲과 같은 GPS가 거부된 지역에서의 위치추적 능력에 대한 수요가 급격하게 증가하고 있다. 따라서, 오늘날 자동차의 자율 주행 및 지도 제작 환경을 위한 센서융합(LiDAR / IMU / CAMERA)에 의한 위치추적 및 환경 매핑 기술이 연구 개발의 관심을 받고 있다. 다양한 형태의 센서 입력과 계산을 기반으로 한 많은 접근 방법이 성공적으로 로봇 위치 파악에서 활용되었음에도 불구하고, 고도와 운동 동역학의 차이로 무인 항공기(UAV)의 위치파악은 어려움이 있다. GPS가 거부된 환경에서 자율적으로 작동할 수 있는 UAV는 감시, 조사 및 구조를 포함한 다양한 응용이 가능하고, 최근에는 인간의 접근이 제한적인 엔지니어링 어플리케이션에서 사용된다. 특히 가스 파이프라인 네트워크와 같은 환경에서 사람이 검사하거나 수정하는 작업을 직접 수행하기 까다로운 환경에서의 3D 재구성은 엔지니어로 하여금 효과적으로 임무 분석을 수행할 수 있게 해준다. 정확한 위치파악은 정밀한 환경의 3D 재구성 및 분석을 달성하기 위해 중요하다. 본 논문에서는 UAV를 위한 견고하고 효율적인 실내 환경 매핑 및 위치추적 솔루션을 3D 환경 구성 및 산업 플랜트 엔지니어링 분야의 응용 어플리케이션과 함께 제안한다. UAV는 LiDAR와 관성 측정 장치(IMU) 센서와 통합되고, 실내 환경의 전형적인 기하학적 구조를 고려하여 UAV의 평면 위치는 수평 스캐닝 LiDAR의 점대점 스캔 매칭 알고리즘으로부터 효과적으로 계산되며, UAV의 고도는 수직 스캐닝 LiDAR를 사용하여 정확하게 측정된다. 최종적으로, 칼만 필터를 통해 수평, 수직 LiDAR 데이터를 융합하여 3D 위치를 계산한다. 또한, 본 논문에서는 위치추적을 확장하여 기존의 산업 플랜트 시설의 가상 리트로피팅 및 업그레이드를 위해 네 가지를 한번에 정렬하는 방식을 사용하는 새로운 증강 현실 프레임 워크를 제안한다. 제안된 리트로피팅 프레임 워크 프로세스는 물리적 환경을 스캐닝한 실시간 부분적 포인트 클라우드를 이용하여 사전에 정합된 전역 포인트 클라우드 데이터의 방향과 위치를 측정하고, 실시간 카메라 뷰에서 조정된 전역 포인트 클라우드를 정렬하여 HMD로 제공한다. 직관적인 사용자 인터페이스를 제공하기 위해 폴리머스 G4 모션 추적 장치가 사용되었다. 실험 결과는 제안된 네비게이션 시스템의 타당성과 산업 플랜트 엔지니어링 영역에서 증강 현실 어플리케이션과의 통합 가능성을 보여준다.
건설 엔지니어링에서의 자동화는 공사 및 기존시설의 개보수를 위한 설계, 기획을 포함한 의사결정에 널리 사용되는 효과적인 도구이다. BIM은 건설 엔지니어링에서 널리 사용되고 있는 도구이지만, BIM 환경과의 실시간 커뮤니케이션의 효과는 한정된 상호 작용과 시각화 기술로 인해 다소 제한적이다. 최근의 대중적인 증강현실 기술은 몰입형 시각화 경험의 방법을 바꾸고, 현실에서 시각적인 컨텐츠와 상호작용할 수 있는 훌륭한 가능성을 보여준다. 본 논문의 증강 현실 프레임 워크는 GPS 거부 환경에서 UAV의 위치파악과 실시간 비디오와 포인트 클라우드 모델의 중첩을 포함한다. 알려지지 않은 환경에서 차량의 자율적인 탐색 능력은 많은 분야에서 점점 중요해지고 있고, 다양한 야외 위치추적 응용은 GPS 시스템의 출현으로 실질적으로 가능해 졌지만 실내, 또는 밀집된 숲과 같은 GPS가 거부된 지역에서의 위치추적 능력에 대한 수요가 급격하게 증가하고 있다. 따라서, 오늘날 자동차의 자율 주행 및 지도 제작 환경을 위한 센서융합(LiDAR / IMU / CAMERA)에 의한 위치추적 및 환경 매핑 기술이 연구 개발의 관심을 받고 있다. 다양한 형태의 센서 입력과 계산을 기반으로 한 많은 접근 방법이 성공적으로 로봇 위치 파악에서 활용되었음에도 불구하고, 고도와 운동 동역학의 차이로 무인 항공기(UAV)의 위치파악은 어려움이 있다. GPS가 거부된 환경에서 자율적으로 작동할 수 있는 UAV는 감시, 조사 및 구조를 포함한 다양한 응용이 가능하고, 최근에는 인간의 접근이 제한적인 엔지니어링 어플리케이션에서 사용된다. 특히 가스 파이프라인 네트워크와 같은 환경에서 사람이 검사하거나 수정하는 작업을 직접 수행하기 까다로운 환경에서의 3D 재구성은 엔지니어로 하여금 효과적으로 임무 분석을 수행할 수 있게 해준다. 정확한 위치파악은 정밀한 환경의 3D 재구성 및 분석을 달성하기 위해 중요하다. 본 논문에서는 UAV를 위한 견고하고 효율적인 실내 환경 매핑 및 위치추적 솔루션을 3D 환경 구성 및 산업 플랜트 엔지니어링 분야의 응용 어플리케이션과 함께 제안한다. UAV는 LiDAR와 관성 측정 장치(IMU) 센서와 통합되고, 실내 환경의 전형적인 기하학적 구조를 고려하여 UAV의 평면 위치는 수평 스캐닝 LiDAR의 점대점 스캔 매칭 알고리즘으로부터 효과적으로 계산되며, UAV의 고도는 수직 스캐닝 LiDAR를 사용하여 정확하게 측정된다. 최종적으로, 칼만 필터를 통해 수평, 수직 LiDAR 데이터를 융합하여 3D 위치를 계산한다. 또한, 본 논문에서는 위치추적을 확장하여 기존의 산업 플랜트 시설의 가상 리트로피팅 및 업그레이드를 위해 네 가지를 한번에 정렬하는 방식을 사용하는 새로운 증강 현실 프레임 워크를 제안한다. 제안된 리트로피팅 프레임 워크 프로세스는 물리적 환경을 스캐닝한 실시간 부분적 포인트 클라우드를 이용하여 사전에 정합된 전역 포인트 클라우드 데이터의 방향과 위치를 측정하고, 실시간 카메라 뷰에서 조정된 전역 포인트 클라우드를 정렬하여 HMD로 제공한다. 직관적인 사용자 인터페이스를 제공하기 위해 폴리머스 G4 모션 추적 장치가 사용되었다. 실험 결과는 제안된 네비게이션 시스템의 타당성과 산업 플랜트 엔지니어링 영역에서 증강 현실 어플리케이션과의 통합 가능성을 보여준다.
Automation in construction engineering is an effective tool which is widely used during designing, planning, decision making process during construction and modification of existing structures. Building Information Modelling (BIM) is a tool which is widely used in in construction engineering. But th...
Automation in construction engineering is an effective tool which is widely used during designing, planning, decision making process during construction and modification of existing structures. Building Information Modelling (BIM) is a tool which is widely used in in construction engineering. But the effectiveness of real-time communication with the BIM environment is somehow restrained due to the limited interaction and visualization techniques. Augmented Reality (AR) as a most popular technique, shows a great potential of changing the way of immersive visualization experience and interacting with virtual content in real world. The framework of augmented reality system includes localization of UAV in GPS denied environment and augmentation of point cloud in the camera scene in real time. Autonomous ability to navigate the vehicle in unknown environments has become increasingly important for a rising number of applications. Many outdoor positioning applications greatly benefited with the emergence of Global Position Satellite positioning system. But there is demand for positioning capabilities of in GPS-denied locations such as indoor areas, dense forests and so on rapidly growing. Therefore, these days Multisensory (LiDAR / IMU / CAMERA) integrated Simultaneous Localization and Mapping technology for the navigation of autonomous vehicle and mapping environment of a vehicle become a focus of research and development. Although many approaches based on various types of sensory inputs and computational concepts have been successfully utilized for ground robot localization, there is difficulty in localizing an unmanned aerial vehicle (UAV) due to variation in altitude and motion dynamics. UAVs that can autonomously operate in GPS-denied environments has a variety of applications such including surveillance, search and rescue and most recently in the applications of engineering where access to humans is limited. Especially environments such as gas pipeline networks, it’s hard for the human operator to perform the inspections and modification tasks. 3D reconstruction of such hostile environments will allow engineers to perform analysis effectively. Indeed, precise localization is crucial in order to achieve accurate 3D reconstruction of environment and analysis. In this thesis, a robust and efficient indoor mapping and localization solution for a UAV is proposed along with its applications in the 3D map construction and industrial plant engineering. Here, UAV integrated with low-cost Light Detection and Ranging (LiDAR) and Inertial Measurement Unit (IMU) sensors. Considering the advantage of the typical geometric structure of indoor environments, the planar position of UAVs can be efficiently calculated from a point-to-point scan matching algorithm using measurements from a horizontally scanning primary LiDAR. The altitude of the UAV with respect to the floor can be estimated accurately using a vertically scanning secondary LiDAR scanner, which is mounted orthogonally to the primary LiDAR. Furthermore, a Kalman filter is used to derive the 3D position by fusing primary and secondary LiDAR data. In addition to localization approach, this thesis also presents novel augmented reality framework for the retrofitting application using 4 in 1 alignment approach that mainly aims at virtual modification and upgradation of existing industrial plant facilities. Proposed retrofitting framework process includes estimation of the position and orientation of preprocessed point cloud data with respect to the physical environment using partial point cloud data in real time. Further, alignment of coordinated preprocessed point cloud data in the real-time camera view using the frame to frame registration and finally immersive visualization provided using the VR head mounted device (HMD). In order to provide the intuitive user interface, Polhemus G4 motion tracking device used. Experimental results are provided to determine the feasibility of the proposed navigation system and its integration with augmented reality application in industrial plant engineering.
Automation in construction engineering is an effective tool which is widely used during designing, planning, decision making process during construction and modification of existing structures. Building Information Modelling (BIM) is a tool which is widely used in in construction engineering. But the effectiveness of real-time communication with the BIM environment is somehow restrained due to the limited interaction and visualization techniques. Augmented Reality (AR) as a most popular technique, shows a great potential of changing the way of immersive visualization experience and interacting with virtual content in real world. The framework of augmented reality system includes localization of UAV in GPS denied environment and augmentation of point cloud in the camera scene in real time. Autonomous ability to navigate the vehicle in unknown environments has become increasingly important for a rising number of applications. Many outdoor positioning applications greatly benefited with the emergence of Global Position Satellite positioning system. But there is demand for positioning capabilities of in GPS-denied locations such as indoor areas, dense forests and so on rapidly growing. Therefore, these days Multisensory (LiDAR / IMU / CAMERA) integrated Simultaneous Localization and Mapping technology for the navigation of autonomous vehicle and mapping environment of a vehicle become a focus of research and development. Although many approaches based on various types of sensory inputs and computational concepts have been successfully utilized for ground robot localization, there is difficulty in localizing an unmanned aerial vehicle (UAV) due to variation in altitude and motion dynamics. UAVs that can autonomously operate in GPS-denied environments has a variety of applications such including surveillance, search and rescue and most recently in the applications of engineering where access to humans is limited. Especially environments such as gas pipeline networks, it’s hard for the human operator to perform the inspections and modification tasks. 3D reconstruction of such hostile environments will allow engineers to perform analysis effectively. Indeed, precise localization is crucial in order to achieve accurate 3D reconstruction of environment and analysis. In this thesis, a robust and efficient indoor mapping and localization solution for a UAV is proposed along with its applications in the 3D map construction and industrial plant engineering. Here, UAV integrated with low-cost Light Detection and Ranging (LiDAR) and Inertial Measurement Unit (IMU) sensors. Considering the advantage of the typical geometric structure of indoor environments, the planar position of UAVs can be efficiently calculated from a point-to-point scan matching algorithm using measurements from a horizontally scanning primary LiDAR. The altitude of the UAV with respect to the floor can be estimated accurately using a vertically scanning secondary LiDAR scanner, which is mounted orthogonally to the primary LiDAR. Furthermore, a Kalman filter is used to derive the 3D position by fusing primary and secondary LiDAR data. In addition to localization approach, this thesis also presents novel augmented reality framework for the retrofitting application using 4 in 1 alignment approach that mainly aims at virtual modification and upgradation of existing industrial plant facilities. Proposed retrofitting framework process includes estimation of the position and orientation of preprocessed point cloud data with respect to the physical environment using partial point cloud data in real time. Further, alignment of coordinated preprocessed point cloud data in the real-time camera view using the frame to frame registration and finally immersive visualization provided using the VR head mounted device (HMD). In order to provide the intuitive user interface, Polhemus G4 motion tracking device used. Experimental results are provided to determine the feasibility of the proposed navigation system and its integration with augmented reality application in industrial plant engineering.
주제어
#Laser Scanning LiDAR Point clouds 3D reconstruction 3D Modelling Geometric modeling Pipe plant Indoor Navigation UAV Localization Augmented reality BIM
학위논문 정보
저자
지 아제이 쿠말
학위수여기관
중앙대학교 첨단영상대학원
학위구분
국내박사
학과
영상 영상공학-CG/VR
지도교수
채영호
발행연도
2018
총페이지
113 p.
키워드
Laser Scanning LiDAR Point clouds 3D reconstruction 3D Modelling Geometric modeling Pipe plant Indoor Navigation UAV Localization Augmented reality BIM
※ AI-Helper는 부적절한 답변을 할 수 있습니다.