[논문]증강현실 기반의 음식 메뉴 안내 시스템 설계 및 구현

오연재; 김응곤

doi:10.13067/jkiecs.2020.15.3.573

증강현실 기반의 음식 메뉴 안내 시스템 설계 및 구현
Design and Implementation of Augmented Reality based Food Menu Guidance System 원문보기

한국전자통신학회 논문지 = The Journal of the Korea Institute of Electronic Communication Sciences, v.15 no.3, 2020년, pp.573 - 578

초록
AI-Helper

최근 요식업의 경쟁이 심화되면서 색다른 음식을 제공하는 식당들이 늘어가고 있다. 그러나 메뉴판이 제공하는 정보는 음식들의 재료와 가격에 한정되어 있어 손님들이 메뉴를 고르는데 도움이 되지 못한다. 이러한 문제점을 해결하기 위해 본 논문에서는 증강현실 기술을 활용한 음식 메뉴 안내 시스템을 제안한다. 제안된 시스템은 증강현실 기술과 동영상 콘텐츠를 결합하여 메뉴판의 음식에 대한 정보를 동영상으로 제공한다. 따라서 기존 메뉴판이 단순 이미지 형태로 음식 정보를 제공하는 것에 비해　보다 더 현실감 있고 생동감 있는 영상을 제공한다. 또한 제안된 시스템은 관광지 전시관, 박물관, 미술관에 적용시켜 텍스트와 이미지 위주의 안내 책자의 한계를 벗어난 새로운 형태의 안내 시스템으로 활용될 수 있을 것으로 기대된다.

Abstract ▼ AI-Helper

Recently, as competition in the food industry intensifies, restaurants offering unusual foods are increasing. However, the information provided by the menu is limited to the ingredients and prices of the foods, which does not help the guests choose the menu. In order to solve this problem, this paper proposes a food menu guidance system using augmented reality technology. The proposed system combines augmented reality technology and video content to provide information about food on the menu as a video. Therefore, it provides more realistic and vibrant images than the existing menu board provides food information in a simple image format. In addition, the proposed system is expected to be applied to tourist attractions, museums and galleries as a new type of guidance system beyond the limitations of text and image-oriented brochures.

주제어

표/그림 (11)

표 표 1. 요리와 관련된 증강현실 시스템들 Table 1. Augmented reality systems related to food
그림 그림 1. 특징점 데이터베이스 구축 Fig. 1 Building a feature database
표 표 2. 메뉴판 영상인식을 위한 사전 단계 Table 2. Preliminary Steps for Menu Image Recognition
표 표 3. 메뉴판 인식 및 동영상 증강단계 Table 3. Steps for menu recognition and enhanced video
그림 그림 2. 메뉴 인식 및 동영상 증강과정 Fig. 2 Steps for menu recognition and enhanced video
그림 그림 3. 동영상 정합 위치, 스케일, 회전각도 계산 Fig. 3 Calculation of enhanced video location, scale, rotation
표 표 4. 특징점 테이블 Table 4. Feature table
그림 그림 4. 메뉴판 샘플 Fig. 4 Sample of menu
그림 그림 5. 샘플 동영상 Fig. 5 Sample video
그림 그림 6. 구현 결과 Fig. 6 Implementation result
표 표 5. 개발환경 Table 5. Development environment

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 식당을 찾는 손님들을 대상으로 메뉴를 안내하는 증강현실 기술을 활용한 메뉴 안내 시스템을 제안하였다.
본 논문에서는 음식 메뉴 안내에 증강현실 기술을 접목하여 음식점을 찾는 손님들에게 음식에 대한 다 양한 정보를 스마트폰이나 태블릿PC에 증강된 동영상 콘텐츠를 통해 제공하는 음식 메뉴 안내 시스템을 제안한다.

제안 방법

Kato가 제시한 방법을 이용하여 , , ⋯,  과 , , 을 구하여[14] 카메라 좌표계를 계산한 다음 동영상의 각 프레임별로 회전 및 이동변환을 수행하여 스마트폰의 화면에 표시한다.
먼저 10개의 메뉴판의 이미지를 촬영하여 이미지 데이터베이스를 구축하고 이들의 특징점들을 추출하여 특징점 데이터베이스를 구축하였다. 그림 4는 메뉴 판 이미지와 이에 대한 특징점 추출 결과를 나타낸다
먼저 스마트폰 또는 태블릿PC의 카메라를 메뉴판에 향하게 하여 카메라 영상을 취득하고 취득한 영상에서 특징점을 추출한다. 카메라 영상에서 추출된 특징점과 특징점 데이터베이스에 저장된 특징 점들을 SURF 알고리즘을 이용하여 유사도 검사를 수행해 영상 매칭을 시도한다.
본 논문에서는 음식점을 찾는 손님들이 맨 처음 접 하는 메뉴판을 통해 각 음식에 대한 조리과정, 재료의 원산지, 완성된 후의 영상, 주방장의 음식에 대한 마인드 등을 증강현실을 통해 동영상으로 제공하는 메뉴판 안내 시스템을 제안한다. 제안하는 메뉴판 안내 시스템은 스마트폰이나 태블릿PC의 카메라로 메뉴판을 비추면 메뉴판의 음식을 인식하여 음식 위에 정합된 동영상에서 음식에 대한 다양한 정보를 제공한다.
앞에서 제안된 메뉴판 안내 시스템을 구현하기 위 해 카메라 영상 위에 동영상을 증강시키는 안드로이드 앱을 개발하였다. 개발환경은 다음과 같다.
제안된 시스템은 증강현실 기술과 동영상 콘텐츠를 결합하여 메뉴판의 음식에 대한 정보를 동영상으로 제공함으로써 기존 메뉴판이 단순 이미지 형태로 음식 정보를 제공하는 것에 비해 더욱더 현실감 있고 생동감 있는 영상을 제공한다. 따라서 손님들에게 더욱 편리하고 재미있게 음식의 유래, 조리과정, 영양분 등의 스토리텔링 등을 제공할 수 있다.
제안하는 메뉴판 안내 시스템은 스마트폰이나 태블릿PC의 카메라로 메뉴판을 비추면 메뉴판의 음식을 인식하여 음식 위에 정합된 동영상에서 음식에 대한 다양한 정보를 제공한다.
먼저 스마트폰 또는 태블릿PC의 카메라를 메뉴판에 향하게 하여 카메라 영상을 취득하고 취득한 영상에서 특징점을 추출한다. 카메라 영상에서 추출된 특징점과 특징점 데이터베이스에 저장된 특징 점들을 SURF 알고리즘을 이용하여 유사도 검사를 수행해 영상 매칭을 시도한다.

대상 데이터

메뉴판 위에 증강시킬 동영상은 태블릿PC의 사양을 고려하여 16:9 비율의 854×480 해상도로 메뉴판 샘플와 동일한 10개를 제작하였다.

성능/효과

제안된 시스템은 증강현실 기술을 이용하여 자연스럽게 메뉴판과 음식 정보를 결합함으로써 기존의 디지털 메뉴판이 단순 이미지 형태로 음식 정보를 제공하는 것에 비해 더욱더 현실감 있고 생동감 있는 영 상을 제공함으로써 손님들에게 편리하고 재미있게 음 식의 유래, 조리과정, 영양분 등의 스토리텔링을 제공할 수 있다.

후속연구

따라서 손님들에게 더욱 편리하고 재미있게 음식의 유래, 조리과정, 영양분 등의 스토리텔링 등을 제공할 수 있다. 또한, 제안된 시스템은 관광지 전시관, 박물관, 미술관에 적용해 텍스트와 이미지 위주의 안내 책자의 한계를 벗어난 새로운 형태의 안내 시스템으로 활용될 수 있을 것으로 기대된다.
또한, 제안된 시스템은 국내외 관광지 전시관, 박물관, 미술관에 적용시켜 텍스트와 이미지 위주의 안내 책자의 한계를 벗어난 새로운 형태의 안내 시스템으로 활용될 수 있을 것으로 기대한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	증강현실의 정의는 무엇인가?	증강현실은 모든 환경을 컴퓨터 프로그램으로 제작하는 가상환경과는 달리 사용자가 보고 느끼는 환경에 가상의 정보를 덧씌워 보여주는 기술로 현실의 정보에 데이터, 영상, 3D 모델 등의 다양한 정보를 같이 보여주는 기술로써 교육, 의료, 관광, 제조업, 교통 등 의 다양한 분야에서 널리 활용되고 있다.
	증강현실의 장점은 무엇인가?	음식점을 찾는 손님들은 음식의 재료, 원산지, 조리방법 및 효능에 대한 많은 정보들에 알고 싶어 하지만, 음식점에서 제공되는 메뉴판은 단순한 이미지와 텍스트로 구성되어 있어 상세한 정보를 제공하지 못한다. 증강현실(Augmented Reality, AR)은 실제 세상에서 가상의 물체를 정합하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 기술로써 손쉽게 다양한 정보를 제공할 수 있어, 교육, 의료, 관광, 제조업, 교통 등의 다양한 분야에서 널리 활용되고 있다[2-7]. 예를 들면 가구를 구매할 때도 증강현실로 미리 배치한 결과물을 확인하고, 의상을 미리 가상으로 입어보며, 온라인 안경점에서도 구매할 안경을 가상으로 써 봄으로써, 구매 만족도를 올리며 반품률을 낮출 수 있다.

참고문헌 (14)

S. Y. Ryu and B. W. Jung, "A Study of Incentive Tourist Experience, Experiential Value and Life Satisfaction," Korea Tourism Research Association, vol. 26, no. 2, 2012, pp. 57-71.
Y. J. Oh and E. K. Kim, "Implementation and Analysis of 3D Fish Encyclopedia for Children Education in Mobile Environment," J. of the Korea Institute of Electronic Communication Sciences, vol. 8, no. 2, 2013, pp. 355-366.

원문보기 상세보기
H. Y. Sim, S. H. Cho, and H. J. Kim, "Development and Effect of Convergence Talent Education Program based on the Augmented Reality (AR) for the 4th Industrial Revolution," J. of culture industry, vol. 17, no. 3, 2017, pp. 119-127.
Y. S. Suh, Y. J. Oh, and E. K. Kim, "Augmented Reality Based Drawing Learning System for Toddler's Art Education," J. of the Korea Institute of Electronic Communication Sciences, vol. 11, no. 5, 2016, pp. 505-510.

원문보기 상세보기
Y. S. Suh, Y. J. Oh, and E. K. Kim, "Effective Color Block Play Coding System for Thinking Development for Infants," J. of the Korea Institute of Electronic Communication Sciences, vol. 11, no. 12, 2016, pp. 1251-1258.

원문보기 상세보기
Y. J. Oh, O. H. Jo, and E. K. Kim, "Design of 3D Ship Display System using Android," J. of the Korea Institute of Electronic Communication Sciences, vol. 7, no. 5, 2012, pp. 1011-1016.
Y. J. Oh and E. K. Kim, "Development of Mobile AR Contents for Infant English Cognitive Training," J. of the Korea Institute of Electronic Communication Sciences, vol. 10, no. 2, 2015, pp. 297-304.

원문보기 상세보기
M. S. Albayrak, A. Oner, I. M. Atakli, and H. K. Ekenel, "Personalized Training in Fast-Food Restaurants Using Augmented Reality Glasses," 2019 International Symposium on Educational Technology (ISET), Hradec Kralove, Czech Republic, 2019, pp. 129-133.
H. I. Kong and K. H. Han, "The Influence of Food Image Presentation on Purchase Intention With the Use of Augmented Reality: The Mediation Effect of User Engagement," Korean Society of Emotion and Sensibility, Emotional Science, vol. 22, no. 3, 2019, pp. 65-76.
I. S. Koh, H. S. Lee, D. S. Lee, S. J. Ahn, and S. M. Choi, "Table Manners Education System Based on Projected Augmented Reality," In Proceedings of HCI Korea 2019, Jeju, Republic of Korea, 2019, pp. 52-56.
K. Nakano, N. Sakata, and K. Kiyokawa. "DeepTaste: Augmented Reality Gustatory Manipulation with GAN-based Real-time Food-to-food Translation," 2019 IEEE International Symposium on Mixed and Augmented Reality, vol. 10, no. 1109, 2019, pp. 328-339.
A. Sonderegger, D. Ribes, N. Henchoz, and E. Groves, "Food Talks: Visual and Interaction Principles for Representing Environmental and Nutritional Food Information in Augmented Reality," 2019 IEEE International Symposium on Mixed and Augmented Reality Adjunct (ISMAR-Adjunct), Beijing, China, 2019, pp. 98-103.
H. Bay, T. Tuytelaars, and L. V. Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding, vol. 110, no. 3, 2008, pp. 346-359.

상세보기
H. Kato and M. Billinghurst, "Marker Tracking and HMD Calibration for a Video-Based Augmented Reality Conferencing System," In Proceedings of the 2nd International Workshop on Augmented Reality(IWAR99), San Francisco, USA, 1999, pp. 84-94.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증