초록 ▼

용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

증강현실은 발전하고 있으며 미래에는 틀림없이 산업의 주요 기술이 될 것이다. 증강현실(AR)은 우리의 눈으로 직접 보는 세상에 가상 정보를 추가하는 사실적인 이미지다. 사용자가 증강현실 애플리케이션을 가장 생생한 방식으로 경험할 수 있도록 하기 위해, 이러한 AR 애플리케이션은 실제 세계 내에서 정확한 위치에 증강될 물체를 등록해야 하며, 처리 시스템은 사용자의 카메라 움직임을 추적하고 사용자와 환경 사이의 공간적 연관성을 추정하고 렌더링된 가상 객체는 사용자가 이동할 때 안정적으로 표시돼야 한다. 시각 기반(Vision-based)과 위치 기반(Location-based)은 현재 물체의 위치를 추적하는 데 사용되는 두 가지 가장 인기 있는 방법이다. 위치 기반 방법을 지리적 기반(Geo-based) 방법이라고 부르기도 한다. 이 방식들은 장치의 위치와 장소(position and ...

증강현실은 발전하고 있으며 미래에는 틀림없이 산업의 주요 기술이 될 것이다. 증강현실(AR)은 우리의 눈으로 직접 보는 세상에 가상 정보를 추가하는 사실적인 이미지다. 사용자가 증강현실 애플리케이션을 가장 생생한 방식으로 경험할 수 있도록 하기 위해, 이러한 AR 애플리케이션은 실제 세계 내에서 정확한 위치에 증강될 물체를 등록해야 하며, 처리 시스템은 사용자의 카메라 움직임을 추적하고 사용자와 환경 사이의 공간적 연관성을 추정하고 렌더링된 가상 객체는 사용자가 이동할 때 안정적으로 표시돼야 한다. 시각 기반(Vision-based)과 위치 기반(Location-based)은 현재 물체의 위치를 추적하는 데 사용되는 두 가지 가장 인기 있는 방법이다. 위치 기반 방법을 지리적 기반(Geo-based) 방법이라고 부르기도 한다. 이 방식들은 장치의 위치와 장소(position and location)를 감지하기 위해 GPS 모바일 데이터와 디지털 나침반 데이터를 수집한다. 데이터가 획득되면, 앱은 가상 정보(이미지, 가상 3D 모델 등)를 현실 세계에 추가해야 할 위치를 결정할 수 있다. 그러나 이 방법은 정적 객체에 적용될 수 있고 상점, 경기장 등과 같이 장소가 정확히 알려져 있거나 또는 카메라 바로 앞에서 단순하게 표시할 수 있는 상황에서 적용될 수 있다. 실제로 애플리케이션이 많은 다른 영역과 환경을 적용해야 하는 경우 더 많은 것을 요구한다. 비전 기반 추적은 효과적인 인식 방법 중 하나이며, 추적 문제의 해결책을 찾기 위해 여러 컴퓨터 비전(CV) 기법을 기반으로 하여 카메라만 입력 장치로 사용한다. 더욱이 오늘날에는 기술의 발달로 스마트폰, 태블릿 또는 심지어 HMD와 같은 장치들이 깊이 센서, 자이로스코프, 가속도계 등을 갖추고 있어 물체 추적 과정의 정학도와 안정성을 크게 높일 수 있다. 물체 추적 방식은 마커 기반(Marker-based)과 마커리스 기반(Markerless-based)으로 나눌 수 있다. 마커 기반의 인식은 모두 이미지 인식에 관한 것이다. 기본적으로 AR 애플리케이션은 스마트폰 카메라를 통해 사전 설정된 마커(QR 코드, 사진, 패턴, 기호)를 식별하도록 프로그램 되어있다. 시스템에 이미 내장되어 있는 시각적 마커를 식별함으로써, 가상 요소의 정합을 위해 실제 세계에서 객체를 검출한다. AR 애플리케이션은 실제 이미지와 관련하여 카메라의 위치와 회전을 추정한다. 이러한 형태의 추적은 약 10년 전에 AR에서 제시되었다. 이것은 충분히 강력하고 정확하며, 마커 기반의 추적 방법은 지금까지 개발되고 판매된 거의 모든 AR SDK에서 널리 지원되었다.
그러나 마커 기반 알고리즘에는 많은 단점이 있다. 부분적으로 마커가 가려졌을 때 동작하지 않고, 작업장으로 마커를 가져가는 것 자체가 허용되지 않는 경우(예: 실외)가 생길 수 있다. 이와는 대조적으로 마커리스 기반 추적 방법은 마커보다 주변으로부터 추출한 자연스러운 형상을 이용하려고 한다. 캡처된 장면의 시각적 또는 깊이 정보를 사용하여 카메라 자세(pose)를 추정하므로, 카메라 보정(calibration)에 특별한 마커가 필요하지 않지만 더 높은 계산 복잡성을 필요로 한다. 모바일 하드웨어와 소프트웨어 기술의 새로운 발전으로 최근 마커리스 증강현실이 등장하게 되었다. 이 접근방식은 상호작용 제한 마커 기반 증강 현실을 극복하는 특징점(feature point) 기반, 3D CAD 모델 기반 또는 객체 윤곽선 기반 등의 3D 객체 추적 시스템의 필요성을 감소시켰고, 마커 기반 증강현실의 상호작용적인 한계를 극복했다. 마커리스 기반 증강현실 기법은 현실세계의 모든 객체를 객체 타겟(target) 또는 가상 객체가 정합되어 겹쳐질 기준위치로 사용될 수 있다. 특징점 기반 추적(Feature-based Object Tracking, FOT), 움직임 기반 구조(Structure from Motion, SfM) 또는 visual SLAM과 같은 몇몇의 컴퓨터 비전 기반 방법들에 마커리스 기반 증강현실 추적 프로세스가 적용됐고, 많은 연구 프로젝트들이 선택된 정욕 영역 내에서 AR 문제를 해결하기 위해 이를 적용하고 있다. 그럼에도 불구하고, 다른 환경과 다른 목적을 위한 AR 애플리케이션의 제작을 돕는 고수준의 애플리케이션 설계자나 개발자에게 장려되는 공통 소프트웨어 개발 프레임워크는 단 한 가지이다. 증강 현실 안경의 최근 개발은 개발자에게 스마트 폰과 같이 너무 많은 작업을 처리할 수 없는 낮은 사양의 장치에 적용할 수 있도록 프레임 워크를 최적화하는 것을 요구한다. 증강 현실 안경의 장점은 이러한 장치에서 AR 응용 프로그램을 사용하는 것이 다른 장치에 비해 많은 긍정적 인 점을 보여줍니다. 따라서 이러한 장치와 호환되는 기존의 프레임 워크를 향상시키거나 새 프레임워크를 만들어야 한다.
이 작업에서는 AR 안경을 위한 개념적 마커리스 AR 프레임 워크 시스템을 제안한다. 이 프로세스는 디자이너와 개발자를 위한 서버 세션과 최종 사용자를 위한 클라이언트 세션의 두 단계로 구분된다. 서버 세션에서는 실제 장면에서 객체의 변형을 평가하기 위해 개발 프레임 워크에 두 가지 유형의 객체 추적 응용 프로그램, 특징점 매칭 및 윤곽선 매칭이 통합되어 있다. 물체의 이미지는 패턴 이미지로 사용되어 패턴 이미지에 위치한 특징점과 쿼리 이미지 (실제 장면) 사이의 호모그래피(homography) 변환 행렬을 결정한다. 객체의 CAD 모델은 윤곽 일치 단계에서 실제 객체의 가장 정확한 변환을 선택하는 데 사용된다.

Abstract ▼ AI-Helper

Augmented reality is developing and will definitely become the leading technology of industry in the future. Augmented Reality (AR) represents realistic images that you perceive with your own eyes and add virtual information to it. In order to ensure that users can experience augmented reality appli...

Augmented reality is developing and will definitely become the leading technology of industry in the future. Augmented Reality (AR) represents realistic images that you perceive with your own eyes and add virtual information to it. In order to ensure that users can experience augmented reality applications in the most vivid way, those AR applications have to register the augmentations in the exact locations within the tangible world. The processing system has to track the user’s camera movement and estimate the spatial association between the user and the environment to ensure the rendered virtual objects are displayed in a stable and accurate way when the user moves. Vision-based and location-based are the two most popular methods currently used to track the location of the object. The location-based method is sometimes called geo-based method. They collate GPS mobile data and the digital compass to detect the location and position of the device. Once the data have been acquired, the app can determine where it should add virtual information (such as images, virtual 3D model) into the real world. However, this method can exclusively be applied to static objects whose locations are predefined exactly, such as stores, stadiums, etc. or simply display virtual objects right in front of the camera based on device’s sensors. Actual requirements demand more to ensure applications can be practically applied into many different areas and environments. Vision-based tracking is one of the effective recognition methods and uses only ordinary cameras as input devices. This approach is chiefly based on several computer vision (CV) techniques to solve the remaining object tracking problems. Moreover, today, with the development of technology, modern devices such as smartphones, tablets or even HMDs are equipped with many intelligent sensors (depth sensor, gyroscope, accelerator, etc.) that help greatly increase the accurate and stable intensity of object tracking process. The vision-based tracking approach can customarily be divided into two primary techniques: marker-based and markerless. The marker-based technique is all about image recognition. Principally, these AR applications are programmed to identify specific preset markers (QR code, picture, pattern, symbol) through the smartphone camera. By use of identifying visual markers already embedded within the system, physical world objects are detected for superimposition of virtual elements. This technique is generally used for developing AR applications which need to estimate the position and rotation of the camera collated with the real-world image. This form of tracking was presented in AR about a decade ago. It has been proven as a powerful and precise tracking method has been popularly supported by almost all AR SDKs on the market so far. However, there are many disadvantages of the marker-based technique. Typically, it cannot work if it is partially overlapped. Moreover, it constantly requires carrying a marker into the workplace, which may be unacceptable in some cases (e.g. outdoors). In contrast, markerless tracking methods try exploiting the natural features extracted from a surrounding rather than the fiducial detecting markers. It uses the visual or depth information of the captured scene to estimate the camera pose, thus no special marker is needed in this system. Nonetheless, it requires higher computation complexity. Recent advances in mobile hardware and software technologies led to an upgrade of the techniques applied in markerless augmented reality. This approach has inspired 3D object tracking systems based on features, 3D CAD models or object contours, etc. to overcome the interactivity limitations of marker-based and traditional markerless augmented reality methods. Markerless AR technique allows the use of any or all parts of the real environment as the object target which is the starting point for placing overlaid virtual objects. Several CV-based methods, such as Feature-based Object Tracking (FOT), Structure from Motion (SfM) or visual SLAM, are applied for the process of markerless augmented reality tracking. They are implemented in many research projects to solve AR problems depending on the application area. Nevertheless, there are not many software development frameworks that encourage the higher-level application designers or developers or help them to customize their AR application for different surroundings and diverse purposes. In addition, the recent development of augmented reality glasses requires developers to optimize their applications to adapt lower-specification devices which cannot handle too many tasks or a large amount of work like smartphones. However, the advantages of augmented reality glasses show that the use of AR applications on these devices possesses a lot of positive points compared to other devices. Therefore, it is necessary to improve or define new frameworks compatible with these kinds of devices.
In this work, a conceptual markerless AR framework system for AR glasses is proposed. The process is separated into two stages - the server session for the designers and developers, and the client session for the final users. In the server session, two types of object tracking application, Feature-Matching, and Contour-Matching are integrated into the development framework for estimating the transformation of the object in the real scene. An image of the object is exploited as a pattern image to determine the homography transformation matrix between feature points located on the pattern image and the query image (real scene). The CAD model of the object will be utilized in the contour-matching phase to select the most correct transformation of the real object. In the client session, a model is proposed to minimize the amount of work that must be handled on the device while ensuring the quality of augmented reality applications.

주제어