선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 9개의 기능의 명칭과 구현 의도는 Table 1 에서 확인할 수 있다. 각 기능들은 사용자가 동화책을 읽는 동안 자연스러운 시나리오진행에 도움을 줄 수 있도록 구현하였다.
- 때문에 가상공간 스토리북이 실제로 아이들의 흥미를 이끌어내는지, 실제 물체를 가상의 공간으로 집어 넣는 과정이 아이들에게 혼돈을 주지는 않는지를 알아보기 위해 구현한 결과물로 사용자 실험을 하였다. 실험대상은 다섯 살 아이 2명으로 각각 여자 어린이와 남자 어린이로 4차에 걸쳐 실험하였다.
- 가상현실은 어떤 특정한 환경이나 상황을 컴퓨터로 제작하여 사용자가 가상환경과 상호작용하는 것을 말하며, 증강현실이란 현실의 정보위에 가상의 이미지를 증강시켜 사용자에게 추가적인 정보를 제공하는 것을 말한다. 본 연구에서는 가상공간을 기반으로 현실공간이 증강되는 형태의 스토리북을 구현하고 스토리북을 체험하는 유저의 반응 확인하고자 한다.
- 증강현실 동화책 역시 책자에 인쇄된 이미지 마커나 QR코드를 기반으로 앱이 구동되고 있는 스마트 디바이스를 향해야만 증강현실을 체험할 수 있다. 이러한 증강현실 책은, 기존의 종이 기반의 책과 증강현실을 결합하여 학생들에게 여러 가지의 경험을 전달해주는 것을 목적으로 한다.
제안 방법
- 와이어프레임은 각 기능의 비중을 고려하여 제작하였다. 가상공간 스토리북에서 가장 큰 비중을 차지하는 사용자 참여로 인해 실제 사물을 가상공간으로 넣는 행위가 이루어지는 부분은 화면의 가운데에 오도록 하였다.
- 가상공간 스토리북에서는 적절한 사물의 활용을 이끌어낼 수 있도록 북유럽의 구전 동화인 백설공주 이야기를 토대로 하여 콘텐츠를 적용 하였다. Figure 5는 가상 공간 스토리북의 시나리오 내부 동작 시퀀스를 나타낸다.
- 가상공간 스토리북을 체험하는 사용자의 흥미을 끌고 인터랙션 적으로 흥미를 돋우기 위해, 색 조절 슬라이더 바를 구현하였다. 유저는 색 조절 슬라이더 바를 사용하여 동화책의 이 미지를 자신이 원하는 색으로 변화시킬 수 있다.
- 가상공간 스토리북의 구현에 앞서, 증강현실 콘텐츠와 증강현실 동화책의 사전 연구조사를 진행 하였다. 증강현실 동화책으로 아동들이 증강현실 그림책을 통한 아동의 흥미와 이해력에 긍정적인 영향을 주며, 증강현실 그림책 읽기 활동으로 만 5세의 아동에게 긍정 적 인 영향을 끼칠 수 있다[2].
- 가상공간 스토리북의 기능을 적용하여 스케치 작성 후화면 와이어프레임을 제작하였다. 와이어프레임은 각 기능의 비중을 고려하여 제작하였다.
- 설계하였다. 가상공간에 삽입할 물체를 카메라로 입력 받은 후 실제 물체 판단은 사전 훈련 머신러닝 모델의 정보와 비교분석하여 실제물체의 정보를 판단하는 것으로 구성하였다. 구현한 소프트웨어는 사용자에게 몰입감을 느낄 수 있도록 스마트폰 환경으로 제공하는 것이 아니라, 테이블 위에 프로젝션하고, 마치 스마트폰을 터치 하듯이 사용자가 직접 물리적인 터치 인터랙션이 가능하도록 구성 하였다.
- 가상공간 스토리북의 각 장면에 삽입되어 있는 색깔 제어 슬라이더 바는 3개로 나뉘어 있다. 각각의 슬라이더는 Red , Green, Blue를 뜻하며, 0-1 까지의 숫자를 조절할 수 있도록 구현하였다.
- 모바일넷은 오픈 라이브러리 모델로 인공지능기반 컴퓨터 비전 머신러닝 사전 훈련 모델이다. 구현은 유니티 3D(Unity3D)를 사용하여 가상의 환경을 구축하고 이를 시각화 하였다. 인공지능 기반의 가상공간 스토리북의 메인 소프트웨어는 안드로이드 OS 어플리케이션으로 제작하였다.
- 가상공간에 삽입할 물체를 카메라로 입력 받은 후 실제 물체 판단은 사전 훈련 머신러닝 모델의 정보와 비교분석하여 실제물체의 정보를 판단하는 것으로 구성하였다. 구현한 소프트웨어는 사용자에게 몰입감을 느낄 수 있도록 스마트폰 환경으로 제공하는 것이 아니라, 테이블 위에 프로젝션하고, 마치 스마트폰을 터치 하듯이 사용자가 직접 물리적인 터치 인터랙션이 가능하도록 구성 하였다. 이 과정을 통한 가상공간 스토리북의 구현 컨셉은 Figure 3과 같다.
- 유니티에 적용한 나래이션은 백설공주 시나리오를 읽어서 녹음하였다. 녹음을 마친 음성 파일은 각 장면에 맞도록 적용하였으며 각 장면이 시작 될 때 자동으로 출력되게 구현 하였다. 이는 Figure 10에서 확인할 수 있다.
- 사용자가 가상공간 안으로 들어간다는 느낌이 발생하지 않는다. 때문에 사용자가 가상의 공간으로 들어간다는 느낌을 주기 위해 제작한 앱을 프로젝터에 업로드 하였다.
- 이 프로젝터는 내장 카메라가 달려있으며, 일종의 적외선 키보드인 적외선 센서로 사용자의 손가락 위치를 읽어, 터치가 가능한 스크린을 생성해 주는 것이 특징이다. 때문에 터치 프로젝터를 활용하여 본 연구에서는 가상의 공간에 실제 물체를 활용하여 가상의 증강된 이미지를 구현하는 특징을 가진 가상공간 스토리북을 구현하도록 구성하였다. 소니 터치 프로젝터와 실제 물체와의 공간 구성은 Figure 12에서 확인할 수 있다.
- 기존의 증강현실 스토리북의 마커는 2D이미지로 카메라 인식이 되면 마커와 연결된 그래픽 이미지나 애니메이션이 AR 스토리북의 물리적인 페이지를 기반으로 스마트폰의 화면 위에 증강되는 형태로 나타나게 된다. 본 연구에서는 기존의 AR 스토리 북이 가지고 있는 전통적인 마커 인식 방법과는 완전히 반대로, 가상의 공간을 기반으로 실제의 물체를 증강하며, 사용자의 참여를 적극적으로 이끌어 내는 가상공간 스토리 북을 기획하고 구현하였다. 제작한 가상공간 스토리북은 실제 책이 아니라 책상 위에놓여진 가상의 공간이며 다음과 같은 절차에 따라 진행이 된다.
- 사용자가 가상으로 구현된 공간에 실제의 사물을 집어넣는다는 행위를 유도하고 완성시키기 위해, 프로젝션으로 가상의 공간을 생성하였다. 이 연구에 사용된 프로젝터는 소니에서 개발하여 판매하는 제품을 사용하였다.
- 이 각각의 장면은 RGB 제어 슬라이더가 적용되 어 있다. 슬라이더바 조절 구현은 유니티의 GLSL 쉐이더에 2D 텍스쳐를 입힌 메테리얼의 조절로 통해 구현하였다.
- 실제 물체 판단 시, 보다 극적인 물체 판단 효과를 얻기 위해 실제 물체가 가상공간의 특정 부분에 위치할 때에만 증강될 이미지인 가상의 이미지가 나타나도록 하도록 하였다. 이 조건은 콘텐츠 화면의 스크린 좌표계중 특정한 x, y좌표를 미리 설정하고 그 조건에 모델이 위치하면 도출되는 것으로.
- 실제 사물을 인식하는 과정을 사용자가 시각적으로 확인할 수 있도록 사물 판독 후, 사물의 좌표 값을 실시간으로 얻을 수 있도록 구현 하였다. 아래의 Figure 8과 같이 카메라 영상을 통한 사물 인식 전에는 왼쪽의 그림과 같은 '미인식, 의 단어가 도출되고, 아무런 이미지가 출력되지 않는다.
- 남자 어린이를 대상으로 시행한 실험은 4차 실험으로, 2019년 5월 28일에 진행하였다. 실험은 연구자가 먼저 시범을 보인 후 실험대상이 자유롭게 가상공간 스토리북을 즐기는 방식으로 진행하였다.
- 여자 어린이의 경우 실험 시 아이의 의견과 실제 콘텐츠를 사용하는 모습을 관찰하여 점차적으로 발전된 형태를 실험하는 것으로 총 3번 실험하였다.
- 이 연구에서는 사전 훈련된 머신러닝 모델을 사용하여 실제 물체를 가상공간에 삽입하여 실제사물과 가상의 이미지를 증강하는 가상공간 스토리북을 제작하였다. 가상공간개념은 가상공간을 기반으로 증강하는 것으로 현실 공간을 기반으로 가상의 이미지를 합성하는 증강현실과는 다르다고 할 수 있다.
- 컬러링 북이다. 이 책은 미리 스케치 된 컬러링 북에 사용자가 직접 원하는 색으로 자유롭게 칠하고, 그것을 스마트폰의 카메라로 촬영하여 적용하면 사용자의 스마트폰 화면에 컬러링북 위로 사용자가 실제로 색 칠한 부분이 적용된 증강현실 모델이 도출되는 방식을 가지고 있다. 이 책은 이미지 마커 기반의 증강현실 스토리북에서 확장된 형태로 2D 이미지 판독방식을 가지고 있다.
- 소니 터치 프로젝터의 공식 명 칭은 Sony Xperia Touch 이다. 이 프로젝터는 내장 카메라가 달려있으며, 일종의 적외선 키보드인 적외선 센서로 사용자의 손가락 위치를 읽어, 터치가 가능한 스크린을 생성해 주는 것이 특징이다. 때문에 터치 프로젝터를 활용하여 본 연구에서는 가상의 공간에 실제 물체를 활용하여 가상의 증강된 이미지를 구현하는 특징을 가진 가상공간 스토리북을 구현하도록 구성하였다.
- 스토리북이 가지고 있는 시나리오는 총 13단계로 나뉘어진다. 이에 맞추어 시나리오를 설명하는 나래이션도 13가지로 작업하였다. 유니티에 적용한 나래이션은 백설공주 시나리오를 읽어서 녹음하였다.
- 구현은 유니티 3D(Unity3D)를 사용하여 가상의 환경을 구축하고 이를 시각화 하였다. 인공지능 기반의 가상공간 스토리북의 메인 소프트웨어는 안드로이드 OS 어플리케이션으로 제작하였다. 구현한 어플리케이션은 터치 인터랙션이 가능한 프로젝터에 업로드 하였다.
- 정의한 시나리오 구현을 바탕으로 가상공간 스토리북의 소프트웨어를 구현하였다. 가상공간 스토리북 소프트웨나눌 수
- 가상공간개념은 가상공간을 기반으로 증강하는 것으로 현실 공간을 기반으로 가상의 이미지를 합성하는 증강현실과는 다르다고 할 수 있다. 제시한 가상공간 개념을 구체화 하기위해, 인공지능 가상공간스토리 북을 구현하였다. 연구 결과에 따라, 제작한 인공지능 가상공간 스토리북은 가상공간 공간에서 이루어지는 스토리북의 가능성을 확인 할 수 있었으며, 구한한 결과물이 아동을 위한 몰입형 스토리북 콘텐츠로서도 긍정적인 효과를 얻을 수 있을 것으로 확인 할 수 있었다.
- 제작한 소프트웨어는 가상공간에 실제 물체를 삽입할 수 있도록 설계하였다. 가상공간에 삽입할 물체를 카메라로 입력 받은 후 실제 물체 판단은 사전 훈련 머신러닝 모델의 정보와 비교분석하여 실제물체의 정보를 판단하는 것으로 구성하였다.
- 먼저 스토리북의 시나리오에 따라 카메라가 동작한다. 카메라 입력으로 얻은 이미지와 실제 물체를 사전 훈련 머신러닝 모델과 비교하여 실제의 사물을 판단한다. 판단이 끝난 후 실제 사물과 대응되는 그래픽을 실제 사물과 함께 증강한다.
- 구현한 소프트웨어는 제시된 사용자 시나리오에 따라서 물체를 인식하여 미리 학습된 데이터 모델과 비교하여 사물을 식별하는 기능이 탑재되었다. 해당 소프트웨 어는 안드로이드OS 환경의 어플리케 이션 환경에서 작동할 수 있도록 구현 하였다. 배경 (가상) 을 스마트폰에 디스플레이하여 사용자가 폰을 들고 있는 경우, 가상의 공간으로 사물을 집어 넣는다는 느낌보다는 스마트폰에 업로드 된 콘텐츠를 바라본다는 느낌이 강하게 들기 때문에.
대상 데이터
- 가상공간 스토리북은 5살 어린이를 타겟층으로 선정하여 구현하였다. 때문에 가상공간 스토리북이 실제로 아이들의 흥미를 이끌어내는지, 실제 물체를 가상의 공간으로 집어 넣는 과정이 아이들에게 혼돈을 주지는 않는지를 알아보기 위해 구현한 결과물로 사용자 실험을 하였다.
- 1차) 2019년 2월 5일, 2차) 2019년 4월 6일, 3차) 2019년 5월 14일. 남자 어린이를 대상으로 시행한 실험은 4차 실험으로, 2019년 5월 28일에 진행하였다. 실험은 연구자가 먼저 시범을 보인 후 실험대상이 자유롭게 가상공간 스토리북을 즐기는 방식으로 진행하였다.
- 때문에 가상공간 스토리북이 실제로 아이들의 흥미를 이끌어내는지, 실제 물체를 가상의 공간으로 집어 넣는 과정이 아이들에게 혼돈을 주지는 않는지를 알아보기 위해 구현한 결과물로 사용자 실험을 하였다. 실험대상은 다섯 살 아이 2명으로 각각 여자 어린이와 남자 어린이로 4차에 걸쳐 실험하였다.
- 가상의 공간을 생성하였다. 이 연구에 사용된 프로젝터는 소니에서 개발하여 판매하는 제품을 사용하였다. 이 프로젝터는 안드로이드 기반으로 안드로이드 기반의 응용프로그램을 설치할 수 있는 장점을 가지고 있다.
이론/모형
- 실제의 사물을 실시간으로 판단할 수 있도록 사전훈련 모델 (Pre-trained Machine Learning models) 인 MobileNets을 사용하여 실제 사물의 판단을 작동시킨다. 모바일넷은 오픈 라이브러리 모델로 인공지능기반 컴퓨터 비전 머신러닝 사전 훈련 모델이다.
성능/효과
- 연구 결과에 따라, 제작한 인공지능 가상공간 스토리북은 가상공간 공간에서 이루어지는 스토리북의 가능성을 확인 할 수 있었으며, 구한한 결과물이 아동을 위한 몰입형 스토리북 콘텐츠로서도 긍정적인 효과를 얻을 수 있을 것으로 확인 할 수 있었다. 가상공간 콘텐츠는 실제의 사물을 마커로 삼아 Augmented Virtuality를 실현하는 데에 가능성이 있다고 것을 확인 할 수 있었으며 결과적으로 몰입감 있는 가상공간과 현실을 융합하는 것을 확인 할 수 있었다. 향후, 다양한 산업군 과, 광고업계 , 예술 업계 등 에서도 이러한 가상공간 스토리북 방식을 사용하여 보다 확장된 공간 을 구현 할 수 있을 것이다.
- 또한 연구자의 시범에도 불구하고 실제의 물체를 가상공간에 삽입 후, 출력된 이미지만을 가지고 노는 것을 확인 할 수 있었다. 이는 아이들은 사물 인식 이후, 목적성이 사라진 물체에 더 이상 흥미를 가지지 않는 것을 알 수 있었다.
- 세 번째, 실제 물체와 대응되는 이미지가 증강되어 실제물체와 가상물체가 함께 존재한다. 사용자는 증강된 가상이미지와 실제 물체가 함께 공존하는 것을 확인 할 수 있다.
- 제시한 가상공간 개념을 구체화 하기위해, 인공지능 가상공간스토리 북을 구현하였다. 연구 결과에 따라, 제작한 인공지능 가상공간 스토리북은 가상공간 공간에서 이루어지는 스토리북의 가능성을 확인 할 수 있었으며, 구한한 결과물이 아동을 위한 몰입형 스토리북 콘텐츠로서도 긍정적인 효과를 얻을 수 있을 것으로 확인 할 수 있었다. 가상공간 콘텐츠는 실제의 사물을 마커로 삼아 Augmented Virtuality를 실현하는 데에 가능성이 있다고 것을 확인 할 수 있었으며 결과적으로 몰입감 있는 가상공간과 현실을 융합하는 것을 확인 할 수 있었다.
- 총 4회에 걸친 실험으로 아이들은 매우 적극적으로 가상공간 스토리북을 체험하는 것이 관찰되었다. 프로젝션 된 가상공간 스토리북에 자신의 얼굴이 나타날 때면 본인이 동화책 안으로 들어가 있다고 말을 하기도 하였다.
후속연구
- 가상공간 콘텐츠는 실제의 사물을 마커로 삼아 Augmented Virtuality를 실현하는 데에 가능성이 있다고 것을 확인 할 수 있었으며 결과적으로 몰입감 있는 가상공간과 현실을 융합하는 것을 확인 할 수 있었다. 향후, 다양한 산업군 과, 광고업계 , 예술 업계 등 에서도 이러한 가상공간 스토리북 방식을 사용하여 보다 확장된 공간 을 구현 할 수 있을 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.