[논문]YOLOv3 객체 검출을 이용한 AR 관광 서비스 프레임워크

김인선; 정치서; 정계동

doi:10.7236/jiibc.2021.21.1.195

초록
AI-Helper

교통 수단과 모바일의 발전으로 관광 여행 수요가 증가하고 관련 산업 또한 크게 발전하고 있다. 디지털 미디어 기술 중 한 분야인 증강현실과 관광 콘텐츠의 접목 또한 활발하게 연구 중이며 인공지능은 이미 관광 산업과 다양한 방향으로 접목되어 관광객의 여행 경험을 풍부하게 만들어준다. 본 논문에서는 관광지역을 축소해 제작한 미니어처 모형을 스캔하면, 사전에 딥러닝을 이용해 학습된 모델을 기반으로 해당 관광지를 찾은 뒤 관련 정보와 3D 모델을 AR 서비스로 제공하는 시스템을 제안한다. 다양한 딥러닝 신경망 중 하나인 YOLOv3 신경망을 사용해 모델 학습과 객체 검출을 진행하므로, 빠른 속도로 물체 검출이 이루어져 실시간으로 서비스를 제공할 수 있다.

Abstract ▼ AI-Helper

With the development of transportation and mobiles demand for tourism travel is increasing and related industries are also developing significantly. The combination of augmented reality and tourism contents one of the areas of digital media technology, is also actively being studied, and artificial ...

With the development of transportation and mobiles demand for tourism travel is increasing and related industries are also developing significantly. The combination of augmented reality and tourism contents one of the areas of digital media technology, is also actively being studied, and artificial intelligence is already combined with the tourism industry in various directions, enriching tourists' travel experiences. In this paper, we propose a system that scans miniature models produced by reducing tourist areas, finds the relevant tourist sites based on models learned using deep learning in advance, and provides relevant information and 3D models as AR services. Because model learning and object detection are carried out using YOLOv3 neural networks, one of various deep learning neural networks, object detection can be performed at a fast rate to provide real-time service.

주제어

표/그림 (9)

그림 그림 1. 제안하는 프레임워크 Fig. 1. Proposed Framework
그림 그림 2. 서울 주요 지역 축소 모형 Fig. 2. The Miniature Model of Seoul's Major Areas
그림 그림 3. YOLOv3 학습을 위한 레이블링 Fig. 3. Labeling for YOLOv3 Learning
그림 그림 4. 레이블의 형식 Fig. 4. Format of Label
그림 그림 5. mAP 측정 결과 Fig. 5. The Result of mAP Measurement
그림 그림 6. 맥스타일 검출 결과 Fig. 6. The Result of Detection of Maxillae
그림 그림 7. mAP 측정 결과 Fig. 7. The Result of mAP Measurement
그림 그림 8. 흥인지문 검출 결과 Fig. 8. The Result of Detection of Heunginjimun
그림 그림 9. 제안된 AR 관광 서비스 적용 예 Fig. 9. Examples of Applications of The Proposed System

AI 본문요약
AI-Helper

문제 정의

본 논문은 관광지 모형을 스캔하면 딥러닝을 이용해 해당하는 관광지를 검출한 후 AR 서비스를 제공하는 시스템을 제안한다. 제안한 시스템의 특징은 다음과 같다.

제안 방법

다양한 관광지 모형 검출에 대한 테스트를 진행하기 위해 맥스타일 건물이 아닌 흥인지문 건물의 검출을 위해 학습을 진행하였다. 맥스타일 데이터셋의 학습 환경과 동일한 환경에서 단일 클래스로 총 230회 반복하여 학습을 진행하였다.
본 논문에서 제안하는 시스템은 관광지 모형을 스캔하면, 사전에 딥러닝을 이용해 학습된 모델을 기반으로 해당 관광지를 찾은 뒤 관련 정보와 3D 모델을 AR 서비스로 제공한다.
서버에서 이미지를 전송받으면 사전에 학습된 모델과 YOLOv3 예측기를 통해 해당 모형에 해당하는 관광지를 예측한다. 그리고 데이터베이스에 접근해 예측된 관광지에 해당하는 AR 콘텐츠를 클라이언트 측에 전송한다.
92이다. 학습을 완료한 후 학습기에 입력하지 않은 사진을 이용해 물체 검출 테스트를 진행하였다. 그림 6과 같이 맥스타일 건물을 검출한 것을 확인하였다.

대상 데이터

레이블의 형식은 그림 4와 같다. 레이블링이 완료된 후 실제로 YOLOv3 신경망을 사용해 학습을 진행하였다. 입력된 데이터의 개수는 총 374개이며, 80%의 데이터는 학습에 이용하고 20%의 데이터는 성능 측정에 이용했다.
그림 2는 서울특별시의 주요 행정구역을 축소해 제작된 모형이다. 본 논문에서는 서울특별시 중구의 관광지인 맥스타일을 검출하기 위한 데이터를 구축하고 테스트한다.
레이블링이 완료된 후 실제로 YOLOv3 신경망을 사용해 학습을 진행하였다. 입력된 데이터의 개수는 총 374개이며, 80%의 데이터는 학습에 이용하고 20%의 데이터는 성능 측정에 이용했다. 단일 클래스로 학습했으며 30번 반복하여 학습했다.
학습에 이용되는 데이터 구성은 2D 이미지와 이미지에 해당하는 레이블이다. 레이블링 진행은 그림 3과 같이 yolo mark를 활용하였다.

성능/효과

셋째, 관광지역 모형을 스캔하여 해당 관광지에 대한 3D 모델과 관련 정보를 AR 서비스로 제공한다. 넷째, 애플리케이션이 아닌 웹으로만 서비스를 제공하여 시스템을 유지, 보수하기 용이하다. 추후에는 GNN 등의 다른 딥러닝 객체 검출 알고리즘을 적용하여 정확도와 속도를 높일 예정이다.
첫째, 관광 모형을 스캔할 때 2D 이미지를 이용하므로 스마트폰 기종에 큰 영향을 받지 않는다. 둘째, YOLOv3 을 활용하여 빠른 속도로 물체 검출이 이루어져 실시간으로 서비스를 제공할 수 있다. 셋째, 관광지역 모형을 스캔하여 해당 관광지에 대한 3D 모델과 관련 정보를 AR 서비스로 제공한다.
둘째, YOLOv3 을 활용하여 빠른 속도로 물체 검출이 이루어져 실시간으로 서비스를 제공할 수 있다. 셋째, 관광지역 모형을 스캔하여 해당 관광지에 대한 3D 모델과 관련 정보를 AR 서비스로 제공한다. 넷째, 애플리케이션이 아닌 웹으로만 서비스를 제공하여 시스템을 유지, 보수하기 용이하다.
제안한 시스템의 특징은 다음과 같다. 첫째, 관광 모형을 스캔할 때 2D 이미지를 이용하므로 스마트폰 기종에 큰 영향을 받지 않는다. 둘째, YOLOv3 을 활용하여 빠른 속도로 물체 검출이 이루어져 실시간으로 서비스를 제공할 수 있다.

후속연구

추후에는 GNN 등의 다른 딥러닝 객체 검출 알고리즘을 적용하여 정확도와 속도를 높일 예정이다. 다만, 크기가 작은 건물에 대해서는 검출 정확도가 떨어지는 경향이 있어 학습 및 검출 실행에 주의가 필요하다. 또한, 다양한 지역의 데이터를 구축하여 더욱 많은 지역과 관광지에 대한 서비스를 제공할 수 있도록 해야 할 것이다.
다만, 크기가 작은 건물에 대해서는 검출 정확도가 떨어지는 경향이 있어 학습 및 검출 실행에 주의가 필요하다. 또한, 다양한 지역의 데이터를 구축하여 더욱 많은 지역과 관광지에 대한 서비스를 제공할 수 있도록 해야 할 것이다.
넷째, 애플리케이션이 아닌 웹으로만 서비스를 제공하여 시스템을 유지, 보수하기 용이하다. 추후에는 GNN 등의 다른 딥러닝 객체 검출 알고리즘을 적용하여 정확도와 속도를 높일 예정이다. 다만, 크기가 작은 건물에 대해서는 검출 정확도가 떨어지는 경향이 있어 학습 및 검출 실행에 주의가 필요하다.

참고문헌 (11)

Eun-Suk Park, "How Mobile Tour Information Affects the Image and Satisfaction on that Spots", Journal of Tourism and Leisure Research, The Korea Academic Society Of Tourism And Leisure, Vol. 27, No. 9, pp. 41-58, Sep 2015.
Hyung-Chul Kang, "A Study on Smart Tourism Content Using Augmented Reality", A Journal of Brand Design Association of Korea, Brand Design Association Of Korea, Vol. 17, No. 3, pp. 165-174, Sep 2019. DOI : https://doi.org/10.18852/bdak.2019.17.3.165

상세보기
Hye-rin Lee, "Seminar on the Role of Tourism Industry and Artificial Intelligence", Korean Tourism Policies, Korea Culture & Tourism Institute, No. 75, pp. 123-128, Mar 2019
Hyun-ju Oh, Ji-sol Jung, So-jung Park. Ki-Yong Lee, "Development of a tour information system for smart phones using CNN", Journal of the Korean Institute of Information Scientists and Engineers 2019 Korea Computer Science Competition, Korean Institute of Information Scientists and Engineers, pp. 1642-1644, Jun 2019.
Jin-Seon Oh, In-Gook Chun1, "Implementation of Smart Shopping Cart using Object Detection Method based on Deep Learning", Journal of the Korea Academia-Industrial cooperation Society, The Korea Academia-Industrial cooperation Society, Vol. 21, No. 7, pp. 262-269 July 2020. DOI: https://doi.org/10.5762/KAIS.2020.21.7.262

원문보기 상세보기
Redmon, Joseph and Farhadi, Ali, "YOLOv3: An Incremental Improvement", arXiv preprint arXiv:1804.02767, Apr 2018.
Chang-Beom Jin, Jae-Yeul Lee, Myoung-Kil Youn, Min-Soo Kang, "A study on the sustainable growth of off-line stores using AR technology", The Journal of the Institute of Internet, Broadcasting and Communication(JIIBC), Vol. 17, No. 5, pp.103-109, Oct 2017. DOI : https://doi.org/10.7236/JIIBC.2017.17.5.103

원문보기 상세보기
Jae-woo Shin, Chun-sung Lim, "A Study on the Development of Service Classification System by Analyzing Augmented Reality (AR) Service Cases", Journal of Korean Institute Of Industrial Engineers Autumn Conference, pp. 3141-3155, Nov 2020.
Ki-Hwan Ko, "A Study on the Graphic Production Technology for AR Augmented Reality Game", The Journal of Korean Institute of Information Technology , Korean Institute of Information Technology, Vol. 16, No. 11, pp. 123 - 132, Nov 2018. DOI: https://doi.org/10.5762/KAIS.2020.21.7.262

원문보기 상세보기
Sung-hwan Oh, Ki-duk Kim, "Study on Establishment of Deoksugung Palace, Tourist Information Services using Augmented Reality(AR) Technology", MUN HWA JAE - Annual Review in Cultural Heritage Studies, National Research Institute of Cultural Properties, pp. 26-45, June 2013.
Blair Maclntyre; Trevor F. Smith, "Thoughts on the Future of WebXR and the Immersive Web", 2018 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct), IEEE, pp. 338-342, Apr 2019. DOI: https://doi.org/10.1109/ISMAR-Adjunct.2018.00099

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

[국내논문] YOLOv3 객체 검출을 이용한 AR 관광 서비스 프레임워크
AR Tourism Service Framework Using YOLOv3 Object Detection 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (9)

표/그림 (9)

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

참고문헌 (11)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

[국내논문] YOLOv3 객체 검출을 이용한 AR 관광 서비스 프레임워크 AR Tourism Service Framework Using YOLOv3 Object Detection 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (9) 모든 표/그림 보기

표/그림 (9) 슬라이드로 보기

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

성능/효과

후속연구

참고문헌 (11)

이 논문을 인용한 문헌

저자의 다른 논문 :

정계동 (85)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

[국내논문] YOLOv3 객체 검출을 이용한 AR 관광 서비스 프레임워크
AR Tourism Service Framework Using YOLOv3 Object Detection 원문보기

초록
AI-Helper

표/그림 (9)

표/그림 (9)

AI 본문요약
AI-Helper