선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 레퍼런스 DB 데이터와 입력 영상과의 비교 시간을 줄이기 위해서 이전 입력 영상에서 매칭된 결과 값을 활용하였다. 이전 입력 영상에서 레퍼런스 DB 데이터와 매칭된 특징점의 현재 입력 영상에서 위치 추적을 위해 OpticalFlow를 사용하였다.
- 본 논문에서는 마커를 사용하지 않고 현실 객체 인식 기반 모바일 증강현실 게임에 대해서 소개한다.
- 본 논문에서는 비마커 기반의 현실 객체 인식 기술을 사용하여 실내 및 실외 객체를 대상으로 증강현실 콘텐츠를 실험하였다. 콘텐츠들은 트래킹이 잘되는 환경에서 23fps 이상의 성능을 보였으나, 트래킹이 안되는 환경에서는 10∼13fps정도의 성능을 보였다.
제안 방법
- 맵 빌드 과정은 증강현실을 위한 레퍼런스 DB 데이터를 만드는 단계로써, 현실세계의 영상 데이터로부터 특징점을 추출하고 추출된 특징점을 일정 시간 추적하여 궁극적으로 특징점에 대한 3차원 위치값을 계산하게 된다. PTAM, ATAM, ORB Slam 등 다양한 오픈 소스를 활용해서 특징점에 대한 3차원 위치값을 계산할 수 있으나, 본 논문에서는 ATAM 소스 코드를 기반으로 하여 특징점에 대한 3차원 위치값을 계산하였다. ORB Slam은 인접한 두장의 영상에서 매칭되는 특징점을 찾기 위해서 ORB 디스크립터를 사용하는 반면, ATAM의 경우 인접한 두장의 영상에서 매칭되는 특징점을 찾기 위해서 Optical flow 추적[9,10] 방법을 주로 사용하기에 ORB Slam에 비해 상대적으로 빠른 연산이 가능하다.
- 이 두개의 이미지가 없는 상태에서 맵 빌딩을 시도하였으나, 경회루 디오라마의 바닥면이 단일색이고 빛에 대한 반사가 많아 안정적인 맵 빌드가 불가능하였다. 경회루 디오라마의 맵 빌드를 위해 배치한 두개의 이미지는 증강현실 게임 플레이 시에는 불필요하기 때문에 맵 데이터 편집 단계를 통해 두개의 이미지에서 추출된 3차원의 위치값을 제거하였다.
- 카메라 초기화 단계는 두장의 카메라 영상으로 부터 첫번째 영상에 대한 두번째 영상의 상대적인 카메라 포즈를 계산하는 단계로, 이를 위해서는 두 영상에서 공통으로 매칭되는 특징점에 대한 2차원 좌표 값이 필요하다. 공통으로 매칭되는 특징점들을 가지고 Essential 매트릭스를 계산하고, 계산된 Essential 매트릭스 값으로부터 첫번째 영상에 대한 두번째 영상의 상대적인 카메라 포즈 매트릭스를 계산한다. 또한 카메라 초기화 단계에서는 두 영상에서 공통으로 매칭되는 특징점에 대해서 삼각측량법을 사용하여 3차원 좌표 값을 계산한다.
- 실외 환경에서의 실험은 건물을 대상으로 하였다. 넓은 지역을 대상으로 하기 때문에 맵 빌딩시 기준마커를 사용하지 않고 사용자가 임의로 두 장의 영상을 선택하여 카메라를 초기화 하였다. 맵 데이터는 총 15장의 키프레임과 3,223개의 포인트 클라우드 데이터로 구성되어졌다.
- 2]는 기준 마커를 사용한 실내환경(경회루 디오라마)에서의 맵 빌드 과정을 보여주는 영상으로 기준 마커위에 와이어프레임으로 큐브를 세웠다. 또한 바닥면이 단일색이어서 특징점 추출이 되지 않아 바닥면에 레고 블럭 그림 이미지를 추가하여 특징점 추출을 용이하게 했다. [Fig.
- OpticalFlow 추적은 입력 영상으로부터의 특징점 추출 및 디스크립터 생성 과정이 필요 없고, 또한 레퍼런스 DB 데이터와 특징점 디스크립터 매칭 과정이 필요 없어, 이전 입력 영상에서 매칭된 특징점의 현재 입력 영상에서의 위치 변화 추적을 빠르게 할 수 있다. 또한 본 논문에서는 모바일 기기상에서의 맵 매칭 속도 향상을 위해서 매칭되는 특징점이 일정수 이상일 경우 특징점에 대한 디스크립터 매칭 과정없이 OpticlaFlow 추적만 수행하여 현재 입력 영상에 대한 카메라 포즈를 계산하였다.
- 맵 데이터는 총 15장의 키프레임과 3,223개의 포인트 클라우드 데이터로 구성되어졌다. 맵 데이터의 편집없이 사용하였으며, 지면에 가상 몬스터를 배치하였고, 건물 유리창에 정합의 정확도 확인을 위해 2개의 WE:AR 로그 문자를 배치하였다. [Fig.
- 4]는 경회루 디오라마 대상 맵 빌딩 결과로 얻어진 포인트 클라우드 데이터를 가시화한 화면이다. 맵 빌드 단계에서 기준 마커로 사용할 마커를 경회루의 오른쪽에 배치하였고, 경회루 왼쪽 바닥면에는 많은 수의 특징점 추출을 위해서 레고 블럭 이미지를 배치하였다. 이 두개의 이미지가 없는 상태에서 맵 빌딩을 시도하였으나, 경회루 디오라마의 바닥면이 단일색이고 빛에 대한 반사가 많아 안정적인 맵 빌드가 불가능하였다.
- 실내 환경에서는 경회루 건물의 모형을 제작하여 실험하였고, 실외 환경에서는 건물 외벽을 대상으로 적용하였다. 맵 빌드와 맵 편집, 게임 제작 작업은 PC환경에서 수행하였고, 맵 매칭 단계는 모바일 단말(갤럭시 S7)에서 수행하였다. 맵 매칭시 입력 영상은 640x480 해상도의 영상을 사용하였고, 입력 영상으로부터 특징점 추출은 최대 400개로 설정하여 실험 하였다.
- 트래킹이 잘되는 환경에서는 추적중인 특징점에 대해서 Optical flow 추적을 통해서 카메라 포즈를 계산하지만, 추적이 잘 안되는 환경에서는 입력 영상에 대해서 특징점을 추출하고 추출된 특징점에 대해서 디스크립터를 만든 후 이 디스크립터를 레퍼런스 DB 데이터와 매칭하여 카메라 포즈를 계산하기에 부하가 많이 발생하였다. 본 논문에서는 매칭되는 특징점이 30개 이상 유지되면 Optical flow추적만을 수행하여 카메라 포즈를 계산하였으며, 30개 이하로 떨어지면 Optical flow 추적과 디스크립터 매칭을 병행하여 카메라 포즈를 계산하였다. 실내외 증강현실 콘텐츠 실험에서 초기 카메라 포즈를 계산할 때는 10∼13fps의 성능을 보였으나, 이 후 안정적으로 특징점을 추적한 후에는 실내 기준으로 31fps 이상의 성능을 보여 실시간 증강현실 콘텐츠 플레이가 가능하였다.
- 본 논문에서는 맵 데이터 편집을 위해서 특정 키프레임 영상의 삭제기능과 여러장의 키프레임 영상에서 공통으로 참조하고 있는 3차원 위치값의 삭제 기능을 추가하였다. 키프레임 영상의 삭제 기능은 연속된 여러장의 키프레임 영상 중 인접한 다른 키프레임 영상과 많이 겹치거나, 맵 빌드 단계에서 카메라 초기화를 위해 사용한 기준 마커 영상에 대한 키프레임 영상을 삭제하는데 사용 가능하다.
- 맵 매치 단계는 맵 빌드 단계에서 만들어진 포인트 클라우드 데이터를 읽어들인 후, 실시간에 카메라로 부터 입력되는 영상과 비교(매칭)하여 현재 영상에 대한 카메라 포즈를 계산한다. 이후 계산된 카메라 포즈를 사용하여 가상의 영상을 만들고 이를 실사 영상과 정합하여 증강현실 영상을 만들어 내게 된다. 일반적으로 증강현실 콘텐츠 제작은 맵 빌드, 게임 객체 배치, 게임 실행(맵 매치) 단계를 거치게 되나 본 논문에서는 맵 매칭의 속도 향상을 위해서 맵 빌드에서 만들어진 맵 데이터를 편집하는 단계를 추가 하였다.
- 이후 계산된 카메라 포즈를 사용하여 가상의 영상을 만들고 이를 실사 영상과 정합하여 증강현실 영상을 만들어 내게 된다. 일반적으로 증강현실 콘텐츠 제작은 맵 빌드, 게임 객체 배치, 게임 실행(맵 매치) 단계를 거치게 되나 본 논문에서는 맵 매칭의 속도 향상을 위해서 맵 빌드에서 만들어진 맵 데이터를 편집하는 단계를 추가 하였다.
- 1]에서 보는 바와 같이 입력 영상에 대한 카메라 포즈 계산은 레퍼런스 DB에 저장된 영상과 카메라로 부터 들어오는 영상과의 비교를 통해 이루어진다. 즉 레퍼런스 DB에 저장된 영상에서 추출된 특징점으로부터 만들어진 디스크립터와 카메라 입력 영상에서 추출된 특징점으로부터 만들어진 디스크립터를 비교하여 매칭되는 특징점만을 필터링 한 후 PnP(Perspective-n-Point) 연산을 거쳐 카메라의 포즈를 계산 한다.
대상 데이터
- 3차원 위치값 삭제 기능은 실제 증강현실 게임을 플레이 할 때 노이즈로 작용하는 3차원 위치값을 제거 할 때 사용된다. 경회루 디오라마 대상의 맵 빌딩에서는 왼쪽에 배치된 레고 블럭 이미지에서 추출된 3차원 위치값 데이터와 기준 마커에서 생성되는 3차원 위치값 데이터를 삭제하여 [Fig. 5]와 같이 최종 734개의 포인트 클라우드 데이터로 구성된 맵 데이터를 생성하였다.
- 넓은 지역을 대상으로 하기 때문에 맵 빌딩시 기준마커를 사용하지 않고 사용자가 임의로 두 장의 영상을 선택하여 카메라를 초기화 하였다. 맵 데이터는 총 15장의 키프레임과 3,223개의 포인트 클라우드 데이터로 구성되어졌다. 맵 데이터의 편집없이 사용하였으며, 지면에 가상 몬스터를 배치하였고, 건물 유리창에 정합의 정확도 확인을 위해 2개의 WE:AR 로그 문자를 배치하였다.
- 맵 빌드와 맵 편집, 게임 제작 작업은 PC환경에서 수행하였고, 맵 매칭 단계는 모바일 단말(갤럭시 S7)에서 수행하였다. 맵 매칭시 입력 영상은 640x480 해상도의 영상을 사용하였고, 입력 영상으로부터 특징점 추출은 최대 400개로 설정하여 실험 하였다.
- 실내 환경에서 실험의 경우 경회루 건물이 회색조로 특징점 추출이 많이 이루어지지 않아 마커 이미지와 특징점 추출용 이미지를 디오라마 바닥에 부착하여 맵 빌딩을 하였다. 맵 빌딩된 데이터는 총 18장의 키프레임 영상과 2,819개의 포인트 클라우드 데이터로 구성되어졌다. 이중 바닥에 놓여진 이미지로부터 추출된 특징점과 디오라마 영역밖에서 추출된 특징점을 제거하여 734개의 포인트 클라우드 데이터와 17장의 키프레임 영상을 최종 맵 데이터로 활용하였다.
- 본 논문에서는 현실 객체 인식 기반 모바일 증강현실 게임기술을 사용하여 실내와 실외 환경의 객체를 대상으로 실험하였다. 실내 환경에서는 경회루 건물의 모형을 제작하여 실험하였고, 실외 환경에서는 건물 외벽을 대상으로 적용하였다.
-
3.2 실외 환경 대상 실험
실외 환경에서의 실험은 건물을 대상으로 하였다. 넓은 지역을 대상으로 하기 때문에 맵 빌딩시 기준마커를 사용하지 않고 사용자가 임의로 두 장의 영상을 선택하여 카메라를 초기화 하였다.
- 맵 빌딩된 데이터는 총 18장의 키프레임 영상과 2,819개의 포인트 클라우드 데이터로 구성되어졌다. 이중 바닥에 놓여진 이미지로부터 추출된 특징점과 디오라마 영역밖에서 추출된 특징점을 제거하여 734개의 포인트 클라우드 데이터와 17장의 키프레임 영상을 최종 맵 데이터로 활용하였다. 갤럭시 S7 모바일 단말상에서의 카메라 트래킹 속도는 30fps 이상을 보였다.
이론/모형
- 본 논문에서는 게임 객체 배치를 위해서 Unity를 사용하였다. 증강현실 게임에서는 게임 객체 배치시 현실객체의 위치를 기준으로 하여 객체를 배치하여야 하는데, 이를 위해서 앞서 맵 빌딩 단계에서 만들어진 맵 데이터에서 3차원 위치 값만 별도로 빼내어 FBX 파일로 Export 했다.
- 본 논문에서는 레퍼런스 DB 데이터와 입력 영상과의 비교 시간을 줄이기 위해서 이전 입력 영상에서 매칭된 결과 값을 활용하였다. 이전 입력 영상에서 레퍼런스 DB 데이터와 매칭된 특징점의 현재 입력 영상에서 위치 추적을 위해 OpticalFlow를 사용하였다. OpticalFlow 추적은 입력 영상으로부터의 특징점 추출 및 디스크립터 생성 과정이 필요 없고, 또한 레퍼런스 DB 데이터와 특징점 디스크립터 매칭 과정이 필요 없어, 이전 입력 영상에서 매칭된 특징점의 현재 입력 영상에서의 위치 변화 추적을 빠르게 할 수 있다.
성능/효과
- 맵 빌드 단계에서 기준 마커로 사용할 마커를 경회루의 오른쪽에 배치하였고, 경회루 왼쪽 바닥면에는 많은 수의 특징점 추출을 위해서 레고 블럭 이미지를 배치하였다. 이 두개의 이미지가 없는 상태에서 맵 빌딩을 시도하였으나, 경회루 디오라마의 바닥면이 단일색이고 빛에 대한 반사가 많아 안정적인 맵 빌드가 불가능하였다. 경회루 디오라마의 맵 빌드를 위해 배치한 두개의 이미지는 증강현실 게임 플레이 시에는 불필요하기 때문에 맵 데이터 편집 단계를 통해 두개의 이미지에서 추출된 3차원의 위치값을 제거하였다.
- 콘텐츠들은 트래킹이 잘되는 환경에서 23fps 이상의 성능을 보였으나, 트래킹이 안되는 환경에서는 10∼13fps정도의 성능을 보였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.