$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

증강현실 요소기술과 동향 - 비전기반 추적 기술을 중심으로 - 원문보기

한국멀티미디어학회지, v.20 no.4, 2016년, pp.24 - 36  

박한훈 (부경대학교 전자공학과) ,  박종일 (한양대학교 컴퓨터공학부)

초록이 없습니다.

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 본고에서는 객체 인식 및 추적을 위한 비전 기반 기술을 중심으로 설명하고, 최근 동향을 살펴본다. 또 증강현실 구현을 위해서는 카메라를 통해 들어온 실사영상과 컴퓨터가 만들어낸 그래픽 영상(CG)을 자연스럽게 합성하는 기술이 필요하며, 실시간 상호작용을 위한 다양한 인식기술도 요구되므로 이에 대해서도 살펴보기로 한다.
  • 증강현실의 가장 기본적이고 핵심적인 기술은 객체(object)나 장면(scene)을 카메라로 비추어 인식하고 그 움직임을 추적하는 것이다. 본고에서는 객체 인식 및 추적을 위한 비전 기반 기술을 중심으로 설명하고, 최근 동향을 살펴본다. 또 증강현실 구현을 위해서는 카메라를 통해 들어온 실사영상과 컴퓨터가 만들어낸 그래픽 영상(CG)을 자연스럽게 합성하는 기술이 필요하며, 실시간 상호작용을 위한 다양한 인식기술도 요구되므로 이에 대해서도 살펴보기로 한다.
  • 본고에서는 증강현실 요소기술의 개념과 원리를 설명하고 최신 동향을 살펴보았다. 증강현실 구현의 핵심기술이라고 할 수 있는 비전 기반의 카메라 추적 기술을 중심으로 자세히 살펴보았으며, 영상 합성과 실시간 상호작용 기술의 원리와 최신 동향에 대해서도 다루었다.
  • 객체 추적(tracking)은 연속된 카메라 영상에서 카메라나 관심 객체의 움직임 또는 카메라와 관심 객체 사이의 상대적인 포즈 변화를 추정 하는 기술을 말한다. 이를 위해 카메라(비전 센서), 가속도 센서, GPS, 자이로스코프, RFID 등의 다양한 센서를 활용할 수 있으나, 본고에서는 카메라를 이용하는 비전 기반 기술을 중심으로 논한다. 비전 기반 객체 인식 및 추적을 위해서는 카메라 투영(projection) 행렬 계산, 영상 특징(image feature) 검출(detection)/서술(description)/매칭(matching), 3차원 모델링과 같은 요소 기술을 필요로 한다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
비전 기반 객체 인식 및 추적을 위해선 어떤 기술이 필요한가? 이를 위해 카메라(비전 센서), 가속도 센서, GPS, 자이로스코프, RFID 등의 다양한 센서를 활용할 수 있으나, 본고에서는 카메라를 이용하는 비전 기반 기술을 중심으로 논한다. 비전 기반 객체 인식 및 추적을 위해서는 카메라 투영(projection) 행렬 계산, 영상 특징(image feature) 검출(detection)/서술(description)/매칭(matching), 3차원 모델링과 같은 요소 기술을 필요로 한다.
텍스처 기반 인식/추적 기법은 어떤 장점을 지녔는가? 텍스처 기반 방법은 관심 객체의 3차원 모델이 텍스처 정보를 가져야 하며, 일반적으로 특징 검출/서술 방법을 활용한다. 3차원 모델과 카메라 영상으로부터 특징을 검출하고 서술하여 대응 관계를 구함으로써 각 특징에 대해 3차원-2차원 대응 쌍을 획득할 수 있고, 이로부터 PnP(Perspective-n-point) 방법을 통해 카메라 포즈를 계산할 수 있다[11]. 관심 객체가 2차원 평면일 경우 3차원 모델 정보를 필요로 하지 않으며, 임의 시점에서의 카메라 영상을 참조 영상(Z w가 0인 3차원 모델로 볼 수 있음)으로 하여 현재 시점에서의 카메라 영상과의 특징 대응 쌍을 획득한 후, 호모그래피(homography) 관계를 이용하여 보다 간단하면서도 정확하게 카메라 포즈를 계산할 수 있다[10]
증강현실이란 어떤 기술을 말하는가? 증강현실은 기본적으로 현실세계에 가상의 정보나 콘텐츠를 자연스럽게 병치하여 인간의 감각과 인식을 확장시키는 실감미디어 기술이다. 증강현실은 가상현실과 달리 현실공간을 미디어로 활용하기 때문에 실감있는 가상세계 구성을 위한 3차원 모델링/렌더링의 부담을 줄인 반면, 사용자의 움직임이나 의도, 주변 환경 변화에 대응하여 가상 정보나 콘텐츠를 적응적으로 제공해야 하므로 새로운 기술적인 어려움을 해결해야 한다[4].
질의응답 정보가 도움이 되었나요?

참고문헌 (57)

  1. 방준성, 이동춘, 서상현, 김용준, 이헌주, 손욱호, "VR/AR 게임기술 동향," 전자통신동향분석, 31(1), pp. 146-156, 2016년 2월. 

    원문보기 상세보기

  2. 김경호, 장종찬, 한상철, "자동차 증강현실 기술 현황과 전망," KEIT PD ISSUE REPORT, 15-3, pp. 13-29, 2015년 3월. 

  3. http://www.pokemongo.com/ 

  4. 3D융합산업 기술 동향 분석, 경북대학교 3D 융합기술지원센터, 2015년 6월 

  5. 엄기열, 김규진, 김문현, "증강현실 환경하에서 비마커 기반 객체 인식 및 추적 기술 동향," 정보과학회지, 28(8), pp. 54-66, 2010년 8월. 

    원문보기 상세보기

  6. 박영민, 우운택, "증강현실을 위한 인식 및 3D 추적 기술 동향과 전망," 정보처리학회지, 17(4), pp. 40-48, 2010년 7월. 

    원문보기 상세보기

  7. 박종일, 서병국, 최지윤, 박정식, "실재감과 상호작용의 영상 기술: 3D/UHD, VR, 그리고 AR," 정보과학회지, 28(8), pp. 26-37, 2010년 8월. 

    원문보기 상세보기

  8. 박한훈, 서병국, 박종일, "모델 기반 카메라 추적 기술 동향," 전자공학회지, 39(2), pp. 66-75, 2012년 2월. 

    원문보기 상세보기

  9. E. Marchand, H. Uchiyama, and F. Spindler, "Pose estimation for augmented reality: a hands-on survey," IEEE Transactions on Visualization and Computer Graphics, doi:10.1109/TVCG.2015.2513408 

    상세보기 crossref

  10. R. Hartley and A. Zisserman, Multiple View Geometry, 2nd Ed., Cambridge University Press, 2003. 

  11. V. Lepetit, F. Moreno-Noguer, and P. Fua, "EPnP: An accurate O(n) solution to the PnP problem," IJCV, vol. 81, pp. 155-166, 2009. 

    상세보기 crossref

  12. Kinect, https://developer.microsoft.com/en-us/windows/kinect/ 

  13. ARToolkit, https://www.hitl.washington.edu/artoolkit/ 

  14. H. Park and J.-I. Park, "Invisible marker tracking for AR," Proc. of ISMAR, pp. 272-273, 2004. 

  15. 3D scanning using structured lighting, http://mesh.brown.edu/byo3d/source.html 

  16. R. A. Newcombe, et al., "KinectFusion: Real-time dense surface mapping and tracking," Proc. of ISMAR, pp. 127-136, 2011. 

  17. D. P. Robertson and R. Cipolla, "Structure from motion," Practical Image Processing and Computer Vision, John Wiley, 2009. 

  18. G. Klein and D. Murray, "Parallel tracking and mapping for small AR workspaces," Proc. of ISMAR, 2007. 

  19. S. Hinterstoisser, V. Lepetit, S. Ilic, P. Fua, and N. Navab, "Dominant orientation templates for real-time detection of texture-less objects," Proc. of CVPR, 2010. 

  20. 박한훈, 최준영, 문광석, "파티클 집단 최적화를 이용한 가려짐에 강인한 마커 기반 증강 현실," 한국HCI학회 논문지, 제11권, 1호, pp. 39-45, 2016년 5월. 

    원문보기 상세보기

  21. C. Harris and M. Stephens, "A combined corner and edge detector," Proc. of Alvey Vision Conference, pp. 147-151, 1988. 

  22. D. G. Lowe, "Distinctive image features from scale-invariant keypoints," IJCV, vol. 60, issue 2, pp. 91-110, 2004. 

    상세보기 crossref

  23. H. Bay, T. Tuytelaars, and L. V. Gool, "SURF: Speeded up robust features," Proc. of ECCV, 2006. 

  24. E. Rosten and T. Drummond, "Machine learning for high-speed corner detection," Proc. of ECCV, 2006. 

  25. S. Leutenegger, M. Chli, and R. Y. Siegwart, "BRISK: Binary robust invariant scalable keypoints," Proc. of ICCV, 2011. 

  26. M. Ozuysal, M. Calonder, V. Lepetit, and P. Fua, "Fast keypoint recognition using random ferns," IEEE Trans. on PAMI, vol. 32, no. 3, pp. 448-461, 2010. 

    상세보기 crossref

  27. S. Taylor, E. Rosten, and T. Drummond, "Robust feature matching in 2.3us," Proc. of CVPRW, pp. 15-22, 2009. 

  28. T. Nakai, K. Kise, and M. Iwamura, "Use of affine invariants in locally likely arrangement hashing for camera-based document image retrieval", LNCS 3872, pp. 541-552, 2006. 

  29. OpenCV, http://opencv.org 

  30. A. Davison, I. Reid, N. D. Molton, and O. Stasse, "MonoSLAM: Real-time single camera SLAM," IEEE Trans. on PAMI, vol. 29, issue 6, pp. 1052-1067, 2007. 

    상세보기 crossref

  31. R. A. Newcombe, S. J. Lovegrove, and A. J. Davison, "DTAM: Dense tracking and mapping in real-time," Proc. of ICCV, 2011. 

  32. J. Engel, T. Schops, D. Cremers, "LSD-SLAM: Large-scale direct monocular SLAM," Proc. of ECCV, vol. 8690, pp. 834-849, 2014. 

  33. B.-K. Seo, H. Park, J.-I. Park, S. Hinterstoisser, and S. Ilic, "Optimal local searching for fast and robust textureless 3D object tracking in highly cluttered backgrounds," IEEE Trans. on Vis. and Comp. Grap., vol. 20, no. 1, pp. 99-110, 2014. 

    상세보기 crossref

  34. B.-K. Seo and H. Wuest, "Robust 3D object tracking using an elaborate motion model," Adjunct Proc. of ISMAR, pp. 70-71, 2016. 

  35. A. Torres-Gomez and W. Mayol-Cuevas, "Recognition and reconstruction of transparent objects for augmented reality," Proc. of ISMAR, pp. 129-134, 2014. 

  36. A. Crivellaro and V. Lepetit, "Robust 3D tracking with descriptor fields," Proc. of CVPR, 2014. 

  37. T. Schops, J. Engel, and D. Cremers, "Semi-dense visual odometry for AR on a smartphone," Proc. of ISMAR, 2014. 

  38. C. Paulus, N. Haouchine, D. Cazier, and S. Cotin, "Augmented reality during cutting and tearing of deformable objects," Proc. of ISMAR, 2015. 

  39. N. Haouchine, M.-O. Berger, and S. Cotin, "Simultaneous pose estimation and augmentation of elastic surfaces from a moving monocular camera," Proc. of ISMAR, 2016. 

  40. N. Haouchine, J. Dequidt, M.-O. Berger, and S. Cotin, "Single view augmentation of 3D elastic objects," Proc. of ISMAR, 2014. 

  41. I. Leizea, H. Alvarez, I. Aguinaga, and D. Borro, "Real-time deformation, registration and tracking of solids based on physical simulation," Proc. of ISMAR, pp. 165-170, 2014. 

  42. L. Carozza, F. Bosche, and M. Abdel-Wahab, "Visual-inertial 6-DOF localization for a wearable immersive VR/AR system," Proc. of ISMAR, pp. 257-258, 2014. 

  43. C. Sweeney, J. Flynn, B. Nuernberger, M. Turk, and T. Hollerer, "Efficient computation of absolute pose for gravity-aware augmented reality," Proc. of ISMAR, 2015. 

  44. X. Yang, X. Si, T. Xue, and K.-T. T. Cheng, "Fusion of vision and inertial sensing for accurate and efficient pose tracking on smartphones," Proc. of ISMAR, 2015. 

  45. C. Poglitsch, C. Arth, D. Schmalstieg, and J. Ventura, "A particle filter approach to outdoor localization using image-based rendering," Proc. of ISMAR, pp. 132-135, 2015. 

  46. J. R. Rambach, A. Tewari, A. Pagani, and D. Stricker, "Learning to fuse: a deep learning approach to visual-inertial camera pose estimation," Proc. of ISMAR, pp. 71-76, 2016. 

  47. I. Ihm, Y. Kim, J. Lee, J. Jeong, and I. Park, "Low-cost depth camera pose tracking for mobile platforms," Adjunct Proc. of ISMAR, pp. 123-126, 2016. 

  48. I. A. Kakadiaris, M. M. Islam, T. Xie, C. Nikou, and A. B. Lumsden, "iRay: Mobile AR using structure sensor," Adjunct Proc. of ISMAR, 2016. 

  49. J. Park, B.-K. Seo, and J.-I. Park, "Binocular mobile augmented reality based on stereo camera tracking," J. of Real-Time Image Processing, 2016. doi:10.1007/s11554-016-0640-9 

    상세보기 crossref

  50. P. Fleck, C. Arth, C. Pirchheim, and D. Schmalstieg, "Tracking and mapping with swarm of heterogeneous clients," Proc. of ISMAR, pp. 136-139, 2015. 

  51. A. Bapat, E. Dunn, and J.-M. Frahm, "Towards kilo-hertz 6-DoF visual tracking using an egocentric cluster of rolling shutter cameras," IEEE Trans. on Vis. and Comp. Grap., vol. 22, no. 11, 2016. 

  52. Kai Rohmer, Wolfgang Buschel, Raimund Dachselt, and Thorsten Grosch, "Interactive Near-Field Illumination for Photorealistic Augmented Reality on Mobile Devices" Proc. of ISMAR 2014. (IEEE TVCG DOI: 10.1109/TVCG.2015.2450717) 

    상세보기 crossref

  53. Shotten et al., "Real-Time Human Pose Recognition in Parts from a Single Depth Image," Proc. of CVPR 2011. 

  54. Ha et al., "WeARHand: Head-Worn, RGB-D Camera-Based, Bare-Hand User Interface with Visually Enhanced Depth Perception," Proc. of ISMAR 2014. 

  55. Qian et al., "Realtime and Robust Hand Tracking from Depth," Proc. of CVPR 2014. 

  56. Sinha et al., "DeepHand: Robust Hand Pose Estimation by Completing a Matrix Imputed with Deep Features," Proc. of CVPR 2016. 

  57. J. Park and J.-I. Park, "Interactive deformation of real objects," Proc. of ISMAR 2014. 

저자의 다른 논문 :

관련 콘텐츠

저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로