[논문]증강 현실 기반 음식점 서빙 상황훈련 시스템

정광일; 김성진; 김부년; 김태영; 임철수

[국내논문] 증강 현실 기반 음식점 서빙 상황훈련 시스템
A Situational Training System for the food serving in the restaurant based on the Argumented Reality 원문보기

한국게임학회 논문지 = Journal of Korea Game Society, v.9 no.1, 2009년, pp.135 - 142

정광일 (서경대학교 컴퓨터공학과) , 김성진 (서경대학교 컴퓨터공학과) , 김부년 (서경대학교 컴퓨터공학과) , 김태영 (서경대학교 컴퓨터공학과) , 임철수 (서경대학교 컴퓨터공학과)

초록
AI-Helper

최근 정보통신 기술과 복지수준이 발전함에 따라 장애인들을 위한 여러 인터페이스 장비나 훈련 시스템들이 연구되고 있으나 발달 장애인을 위한 훈련시스템은 미흡한 실정이다. 본 논문 에서는 발달 장애인의 상황 대처 능력 향상과 사회 적응훈련을 목적으로 '음식점 서빙' 이라는 주제에 따른 증강 현실기반 상황 훈련 시스템을 제안한다. 본 시스템은 실제 훈련환경에 마커를 두고 실제 공간에서는 사용하기 어려운 물체들을 가상 물체로 대체한 증강 현실 공간을 구성하여 안전하고 주변 환경의 제약없이 반복훈련이 가능하도록 한다. 훈련자는 HMD를 착용하고 훈련 공간 주위를 볼 수 있으며, 음성 멘트에 따라 행동을 함으로써 시나리오에 따른 훈련이 가능하게 된다.

Abstract ▼ AI-Helper

Nowadays, many interface devices or training systems for the disabled are being developed and introduced with the recent development in IT technology but only few training systems for the developmental disabled are introduced. In this paper, we present a situation training system based on the argumented reality in order to help the developmental disabled to increase their management level of capability to the certain situation. Our system is specifically based on the food serving in the restaurant. This maker-based system provides trainees to safely experience various different situations and take the training session under any circumstances. The trainees for this program are able to look around with the HMD on, take the training easily by following the voice instruction, and try situational scenario.

Keyword

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 학습자가 카메라가 부착된 HMD를 착용하고 증강 현실 공간을 움직이면서 설정된 상황에 대해 훈련을 하는 상황훈련 시스템을 제안한다. 제안하는 시스템은 카메라를 통해 얻어진 실세계 영상에 가상 모델들을 삽입하여 증강 현실을 구성하고, 이를 HMD를 통해 디스플레이 함으로써 훈련자에게 보다 정확한 시각정보를 전달해준다.
발달장애인들의 인지 능력을 향상시키고, 처한 상황에 맞는 적절한 대응 행동을 하는데 도움을 주기위한 훈련에는 교통안전훈련, 위험한 도구 사용법 학습, 상점이나 음식점 이용 훈련 등이 있다. 본 논문에서는 이러한 훈련 중 음식점의 종업원이 되어 직접 음식 서빙을 해보는 상황을 기반으로 시나리오를 작성하였다. 이를 위한 기본적인 훈련 시나리오는 [표 1]과 같다.
본 연구에서는 일상생활에서 훈련하기 어려운 “레스토랑의 음식점 서빙”이라는 주제를 모델로 하여 시나리오를 구성 하였으며, 이러한 시나리오에 체험감을 증폭시키기 위하여 훈련 공간을 현실과 같이 느낄 수 있는 증강 현실 환경을 구성하고 이를 위한 요소 기술을 기술하였다.
본 논문에서는 발달장애인들의 부족한 인지 능력과 상황 대처 능력 향상에 도움을 주기 위한 시스템을 제안한다. 이 시스템은 발달 장애인들의 사회적응 훈련을 컴퓨터와 기타 장비를 사용함으로서 훈련의 안전성을 높이고, 기능적이고 지능적인 훈련으로 발전시켜 발달 장애인들의 사회 진출에 도움을 주기 위한 도구로 사용될 것을 목표로 한다.
본 논문에서는 발달장애인들의 부족한 인지 능력과 상황 대처 능력 향상에 도움을 주기 위한 시스템을 제안한다. 이 시스템은 발달 장애인들의 사회적응 훈련을 컴퓨터와 기타 장비를 사용함으로서 훈련의 안전성을 높이고, 기능적이고 지능적인 훈련으로 발전시켜 발달 장애인들의 사회 진출에 도움을 주기 위한 도구로 사용될 것을 목표로 한다.

제안 방법

본 논문에서는 학습자가 카메라가 부착된 HMD를 착용하고 증강 현실 공간을 움직이면서 설정된 상황에 대해 훈련을 하는 상황훈련 시스템을 제안한다. 제안하는 시스템은 카메라를 통해 얻어진 실세계 영상에 가상 모델들을 삽입하여 증강 현실을 구성하고, 이를 HMD를 통해 디스플레이 함으로써 훈련자에게 보다 정확한 시각정보를 전달해준다. 훈련자는 마커를 통해 획득된 정보를 기반으로 삽입된 가상의 물체들을 현실상의 물체와 동일하게 인지할 수 있으며, 실제 물체를 이동시키는 것처럼 가상의 물체들을 움직일 수 있다.
또한 예측 가능한 돌발 상황에 대한 조건을 정의하고 이에 따른 처리를 추가하였고, CAM 과 HMD만 사용한 최소화된 장비로 훈련을 가능하도록 하였다. 마커로 인한 혼동을 최소화하기 위하여 마커를 선택하는데 있어서 일반적인 기호나 문자는 사용하지 않고, 의미 없는 이진 문양을 이용하였다.
상황훈련 시나리오에서 장애인의 잘못된 행동에 대한 처리가 필요하다. 다만, 모든 상황을 예측 할 수 있는 것이 아니므로, 예측가능하며 시나리오 흐름에 영향을 미치는 돌발 상황을 정의하고, 이에 대한 피드백 처리를 하였다.
본 논문에서는 카메라 영상을 분석하여 미리 정의된 패턴의 마커의 위치 정보를 획득하고, 그 정보를 활용하는 카메라 기반의 마커 추적 방식을 사용한다. 마커 추적이란 영상에서 사용자가 정의한 특정한 모양을 찾아내서 좌표를 추적하는 것을 말한다.
미리 정의된 마커를 기준으로 하여 입력 영상에서 얻어낸 마커를 비교하여 3차원 공간에서의 좌표를 만들어 낸다. 이미지의 크기와 모양을 통하여 위치와 방향을 얻어 낼 수 있으며, 4 by 4 형태의 매트릭스로 표현되는 이 정보는 카메라를 원점으로 하였을 때의 마커의 위치좌표와 회전 정보를 포함한다.
본 논문에서는 사람의 시야를 카메라 영상으로 대체하기 위하여 HMD와 카메라를 붙여서 사용한다. 따라서 사용자 행동 파악도 카메라에 들어오는 영상 기반의 마커 매트릭스로 파악한다.
본 논문에서 시스템 구현에 사용한 장비 성능은 표 2와 같으며 증강 현실 구현에 필요한 마커 검출과 영상 정합을 위하여 각각 ARToolkit[7] 과 DirectX 9.0을 사용했다. 실험 결과 카메라 해상도 640X480 에서 30프레임을 유지 하면서 잘 동작함을 확인하였다.
발달장애인들에게 무거운 장비를 착용하거나 어려운 장비를 사용하도록 요구하는 것은 장애인들에게 많은 어려움이 따른다. 따라서 본 논문에서는 간소화된 장비를 목표로 [그림 6]과 같은 카메라가 부착된 HMD 를 구성했다. 또한 사람의 시야와 근접한 카메라 영상을 얻기 위하여 HMD 정면에 소형의 카메라를 부착하였다.
따라서 본 논문에서는 간소화된 장비를 목표로 [그림 6]과 같은 카메라가 부착된 HMD 를 구성했다. 또한 사람의 시야와 근접한 카메라 영상을 얻기 위하여 HMD 정면에 소형의 카메라를 부착하였다.
본 논문에서 제안하는 시스템은 장애인들이 동일한 동작의 훈련을 반복하는 것은 교육에 큰 의미가 있다는 장애인 학교 선생님의 의견에 따라 훈련자가 정해진 제한시간과 성공 조건을 충족시키지 못하면 동일한 훈련을 반복하도록 설계되었다.

성능/효과

0을 사용했다. 실험 결과 카메라 해상도 640X480 에서 30프레임을 유지 하면서 잘 동작함을 확인하였다.
본 연구에서는 일상생활에서 훈련하기 어려운 “레스토랑의 음식점 서빙”이라는 주제를 모델로 하여 시나리오를 구성 하였으며, 이러한 시나리오에 체험감을 증폭시키기 위하여 훈련 공간을 현실과 같이 느낄 수 있는 증강 현실 환경을 구성하고 이를 위한 요소 기술을 기술하였다. 실제 장애인을 대상으로 실험한 결과 흥미유발이 가능하고 반복 훈련을 통한 훈련 결과 개선의 효과가 컸음이 입증되었다.

후속연구

예를 들어 특정 훈련에 있어서 몇 번의 시도로 조건을 충족시키는지, 어떠한 시나리오에서 가장 많은 시간을 소요하는지 등은 차후 훈련자의 훈련 계획을 세우는데 도움이 된다. 또한 기록된 데이터들은 현재와 비교하여 훈련자의 발전 상황을 보여주는 정보로 사용될 수 있다.
향후 연구 방향으로 위에 언급했던 기술적인 문제를 해결하고 추가적인 시나리오의 확장으로 발달장애인들에게 다양한 훈련을 제공하여 상황 훈련의 활용도를 늘릴 예정이다. 또한 훈련 결과에 대한 평가 분석 기법에 대해서도 연구할 예정이다.
향후 연구 방향으로 위에 언급했던 기술적인 문제를 해결하고 추가적인 시나리오의 확장으로 발달장애인들에게 다양한 훈련을 제공하여 상황 훈련의 활용도를 늘릴 예정이다. 또한 훈련 결과에 대한 평가 분석 기법에 대해서도 연구할 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	본 연구에서 제안한 시스템은 디바이스 제어 모듈, 영상처리 모듈, 상황 제어 모듈로 구성되는데 각각의 기능은 무엇인가?	- 디바이스 제어 모듈 : 카메라의 입력 영상과 HMD의 출력 영상을 제어할 디바이스 제어 모듈로서 카메라와 HMD의 장비 초기화와 카메라 영상을 HMD 화면 연동하는 프로그램 모듈. - 영상처리 모듈 : 입력 영상을 기반으로 하여 특정 마커를 검출하고, 상황 제어 모듈로 부터 주어진 상황에 맞게 모델을 정합하는 모듈. - 상황 제어 모듈 : 마커 정보를 기반으로 현재 시나리오에서 훈련자의 행동을 분석하고 시나리오 흐름을 제어 하는 모듈.
	마커 추적은 어떤 과정으로 이루어지는가?	마커 추적이란 영상에서 사용자가 정의한 특정한 모양을 찾아내서 좌표를 추적하는 것을 말한다. 마커 추적은 입력영상을 이진화, 레이블링, 윤곽선 검출, 패턴비교의 알고리즘을 수행하여 미리 정의한 마커를 찾아내는 것으로 이루어진다[5]. 그림 3은 이러한 과정을 도식화 한 것이다.
	마커 추적이란 무엇인가?	본 논문에서는 카메라 영상을 분석하여 미리 정의된 패턴의 마커의 위치 정보를 획득하고, 그 정보를 활용하는 카메라 기반의 마커 추적 방식을 사용한다. 마커 추적이란 영상에서 사용자가 정의한 특정한 모양을 찾아내서 좌표를 추적하는 것을 말한다. 마커 추적은 입력영상을 이진화, 레이블링, 윤곽선 검출, 패턴비교의 알고리즘을 수행하여 미리 정의한 마커를 찾아내는 것으로 이루어진다[5].

참고문헌 (7)

우영종, “발달 장애의 개념과 소아과 의사의 역할”, Korean Journal of Pediatrics Vol. 49, No. 10, 2006.
서희전, 김용훈, 이수웅, 이준석, “혼합현실기반 이러닝 기술 동향,” 전자통신동향분석 제22권 제4호, pp.87-95, 2007.

원문보기 상세보기
Z. Zhou, A. Cheok, J. Pan, and Y. Li, “Magic StoryCube: An Interactive Tangible Interface for Storytelling,” Proc. of SIGCHI ACE, pp.364-365, 2004.
D. Wagner, T. Pintaric, F. Ledermann, and D. Schmalstieg, “Towards Massively Multi-user Augmented Reality on Handheld Devices,” PERVASIVE 2005, LNCS 3468, pp.208-219, 2005.
강선경, 이상설, 정성태 “Development of a Detection and Recognition System for Rectangular Marker”, Journal of the Korea society of computer and information
백재원, 문재경, 박순용, “영상처리 : 3차원 기하정보 및 특징점 추적을 이용한 다시점 거리영상의 온라인 정합”, 정보처리학회논문지B, Vol.14, No.7, Startpage 493, Endpage 502, Totalpage 10
http://www.hitl.washington.edu/artoolkit/

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증