보고서 정보
주관연구기관 |
일루니 |
연구책임자 |
조가비
|
보고서유형 | 최종보고서 |
발행국가 | 대한민국 |
언어 |
한국어
|
발행년월 | 2023-05 |
과제시작연도 |
2022 |
주관부처 |
문화체육관광부 Ministry of Culture, Sports and Tourism |
과제관리전문기관 |
한국콘텐츠진흥원 Korea Creative Content Agency |
등록번호 |
TRKO202300028472 |
과제고유번호 |
1375027426 |
사업명 |
문화기술연구개발 |
DB 구축일자 |
2023-11-08
|
키워드 |
메타버스.에듀테인먼트.인공지능.아바타.동화교육.Metaverse.Edutainment.Artificial Intelligence.Avatar.StoryBook Education.
|
초록
▼
연구개발 목표 및 내용
최종 목표
1. 기존 우수과제를 통해 상용화한 포토리얼리스틱 얼굴 캐릭터 생성 기술 기반의 사용자 주인공 동화 콘텐츠 서비스를 모바일과 TV를 넘나드는 유아동 메타버스 AI 동화교육 에듀테인먼트 서비스로의 발전 개발.
- 사용자의 사진을 찍으면 성별(남자/여자) 인식, 나이 인식, 인종 인식, 액세서리(안경/모자) 인식, 머리스타일 인식 및 포토리얼리스틱 3D 얼굴 캐릭터를 생성 하여서 콘텐츠 속 캐릭터에 맞춤형으로 얼굴 캐릭터 입력.
- 모바일에서 콘텐츠를 제작한 후, 모바일의 계정이
연구개발 목표 및 내용
최종 목표
1. 기존 우수과제를 통해 상용화한 포토리얼리스틱 얼굴 캐릭터 생성 기술 기반의 사용자 주인공 동화 콘텐츠 서비스를 모바일과 TV를 넘나드는 유아동 메타버스 AI 동화교육 에듀테인먼트 서비스로의 발전 개발.
- 사용자의 사진을 찍으면 성별(남자/여자) 인식, 나이 인식, 인종 인식, 액세서리(안경/모자) 인식, 머리스타일 인식 및 포토리얼리스틱 3D 얼굴 캐릭터를 생성 하여서 콘텐츠 속 캐릭터에 맞춤형으로 얼굴 캐릭터 입력.
- 모바일에서 콘텐츠를 제작한 후, 모바일의 계정이 TV계정과 연동이 되어서, 생성한 포토리얼리스틱 얼굴 캐릭터 및 커스텀된 콘텐츠가 계정연동된 TV를 통해 공유가 되어 제작된 콘텐츠를 공유할 수 있는 시스템 제공.
- 예: 학급 계정그룹에 철수(남자, 5살), 영희(여자, 5살), 나리(여자, 5살) 사진이 등록이 되어 있다면, 각 태블릿 계정으로 로그인을 하면, 학급 친구들의 포토리얼리스틱 얼굴 캐릭터가 함께 등장하고, 친구들의 캐릭터와 함께 동화 속 주인공이 될 수 있는 기회를 제공하는 콘텐츠. 또한 친구들의 동화 놀이 활동을 공유할 수 있는 콘텐츠(예: 타계정이 만든 동화 콘텐츠 열람 가능 등)
- 예: , 각 태블릿 계정으로 로그인을 하면, 학급 친구들의 포토리얼리스틱 얼굴 캐릭터가 함께 등장하고, 친구들의 캐릭터와 함께 동화 속 주인공이 될 수 있는 기회를 제공하는 콘텐츠. 또한 친구들의 동화 놀이 활동을 공유할 수 있는 콘텐츠(예: 타계정이 만든 동화 콘텐츠 열람 가능 등)
- 예: 모바일의 스토리셀프에서 얼굴사진을 촬영하여 얼굴 캐릭터를 생성한 후, 내가 주인공인 동화 콘텐츠를 내 얼굴, 내 목소리, 내가 쓴 글, 내가 그린 그림으로 만든 후, TV 환경에서의 스토리셀프와 계정 연동을 하면, TV에서 내가 만든 콘텐츠가 나오는 콘텐츠.
2. 유아동 메타버스 AI 동화교육 서비스를 위하여 아동 사진을 기반으로 생성된 포토리얼리스틱 얼굴 캐릭터를 다양한 계정간에서 서로 공유할 수 있는 얼굴 캐릭터 연동 시스템 개발.
- 학생이 자신이 주인공인 얼굴 캐릭터를 제작을 한 후, 얼굴 캐릭터 공유하기 기능을 사용하여, 다른 계정에서 해당 얼굴 캐릭터를 사용할 수 있게 하여, 계정간 콘텐츠 공유가 가능한 기능 제공
- 아이의 계정에서 만든 얼굴캐릭터로 만든 콘텐츠를, 부모의 계정에서 확인이 가능한 기능 제공
전체 내용
○ 사용자의 사진을 촬영하면 머신러닝 알고리즘을 기반으로 사용자의 3D 얼굴 형태를 분석하고 자동리깅을 통하여 다양한 표정을 표현하는 포토리얼리스틱 얼굴 캐릭터를 생성해내는 기술 개발
- 사용자의 사진을 찍으면 성별(남자/여자) 인식, 나이 인식, 인종인식, 액세서리(안경/모자) 인식, 머리스타일 인식을 하여서 3D 포토리얼리스틱 얼굴 캐릭터를 생성.
- 모바일(iPhone XS)에서 1초 내로 한번의 연산으로 ‘성별(남자/여자 인식 나이 인식 ) , , 인종 인식, 액세서리(안경/모자) 인식, 머리스타일 인식’ 정보를 분석 가능한 딥러닝 모델 개발.
- 포토리얼리스틱 3D 얼굴 캐릭터 추정을 위한 인공지능 학습용 얼굴 특징점 데이터 최소 누적 1만 5천장 데이터베이스 수집 및 레이블링 구축.
○ 포토리얼리스틱 얼굴 캐릭터 기반으로 학급 아이/친구들이 한 공간 안에 등장하는 메타버스 동화교육 세상 개발.
- 선생님 계정을 통해 아이들의 사진을 입력하면 포토리얼리스틱 얼굴 캐릭터를 생성.
- 선생님 계정에서 학생의 얼굴 캐릭터를 생성한 후, 얼굴 캐릭터 공유하기 기능을 통해 학생 계정으로 연동되어서 등장 가능한 기능 제공.
- 학생 계정에서 다른 학생 친구들의 포토리얼리스틱 얼굴 캐릭터와 함께 다양한 동화 놀이 교육을 할 수 있는 콘텐츠 제공.
- 학생 계정에서 다른 학생 친구들이 직접 만든 얼굴캐릭터 콘텐츠를 감상할 수 있는 메타버스 공간 제공.
○ 모바일(스마트폰/태블릿 등)에서 제작한 포토리얼리스틱 얼굴 캐릭터가 TV화면에서 등장하고, 여러 명의 계정에서 각각 만든 얼굴 캐릭터를 TV 화면에서 적용할 수 있는 연동 시스템 개발
- 각각의 계정에서 만든 얼굴 캐릭터를 한 계정에서 연동해서 콘텐츠를 제작할 수 있는 연동 시스템 개발
- TV 화면에서 여러계정의 포토리얼리스틱 3D 얼굴 캐릭터를 활용해서 콘텐츠를 제작할 수 있는 시스템 개발
- KT 지니TV를 통해 IPTV 시장에서 사업화가 되어 실제로 활용되는 메타버스 동화 콘텐츠 개발
○ 일루니의 등록 특허 기술(등록 6건, 출원 1건)을 이용한 표정 애니메이션이 풍부한 3D 얼굴 캐릭터 생성 개발
--[10-1902553호][등록][스토리텔링 콘텐츠 툴 제공 단말기 및 스토리텔링 콘텐츠 제공 방법][사용자가 사진을 찍으면 딥러닝 기반으로 얼굴인식 후, 3차원 얼굴 캐릭터를 생성해서 콘텐츠에 자연스럽게 이입시키는 기술]
--[10-2023633호][등록][3차원 움직임 모델 생성 방법 및 장치]
[표정 애니메이션을 다차원 혼합 형태(multi level blend shape)으로 생성하여 더욱 고도화된 표정 모델을 만들며, 생성한 표정 모델을 임의의 얼굴 모델에 표정 전파하는 기술]
--[10-2087917호][등록][2차원 배경으로의 3차원 움직임 모델 투영 방법 및 장치][3D 움직임 모델을 입체감을 살려서 2D 이미지에 투영시키고 애니메이팅을 하기 위하여, 3D 움직임 모델을 입체투영 후, 이미지로 만든 후, 해당 이미지를 2D 이미지에 다시 한 번 투영시키는 애니메이션 기술]
--[10-2180576호][등록][사용자의 플레잉에 기초하여 재프로그래밍되는 인터랙티브 콘텐츠 제공 방법 및 장치][인터랙티브 실감 콘텐츠를 개발하는 방법과 관련된 기술]
--[10-1734212호][등록][표정연습시스템][3D 얼굴 모델을 활용하여 표정 연습을 할 수 있는 방법을 제공하는 기술]
--[10-2318111호][등록][사용자의 얼굴을 캐릭터에 반영하는 스티커 제공 스토리북 생성 방법 및 장치][사용자의 얼굴 정보를 캐릭터에 반영하는 커스텀 스티커를 제작하여서 종이 동화책을 자신이 주인공인 종이 동화책으로 제작하는 기술]
--[10-2021-0165249호][출원][따라읽기 자막 제작/재생 기반의 인터랙티브 콘텐츠 제공 방법 및 장치][따라읽기 자막을 제작하는 방법에 관한 기술]
연구개발성과
연구개발성과 활용계획 및 기대 효과
○ 유치원 및 초등 저학년에서 활용 가능한 메타버스형 아동 동화교육 콘텐츠 플랫폼
- 학급 친구들이 모두 동화 속 주인공이 되어서 함께 새로운 메타버스 동화 세계를 즐길 수 있는 콘텐츠 제공
○ 디지털 네이티브 시대에 맞는 아동 메타버스 AI 동화 콘텐츠의 방향성 제시
- 시중에 나와있는 기존 사용자 주인공 서비스들 같이 일회성의 일방적인 콘텐츠로 소비되는 것이 아니라, 가족 구성원들이 직접 메타버스 동화 세계의 주인공이 되어 다양한 인터랙티브 콘텐츠를 느껴보고, 직접 글을 제작하고, 동화책 장면을 꾸미며, 자신의 목소리를 콘텐츠에 입력하여 자신만의 동화책을 만들 수 있는 기회를 제공함. 이로부터 자신만의 동화책 세상을 창조하는 놀이교육을 제공할 수 있음.
- 4차 산업 혁명 시대의 아동 도서 및 아동 콘텐츠 시장이 나아가야할 새로운 형태의 인터랙티브 융합현실 콘텐츠 시장의 방향성을 제시함.
- 스마트 아일랜드라는 사회적 현상으로 생기는 가족간에 단절, 저퀄리티 대량생산형의 수동적 미디어영상에 자녀 노출이라는 문제로부터 StorySelf는 디지털 네이티브 세대가 돈독한 가족애를 형성할 수 있도록 지향하고, 올바른 콘텐츠의 방향성을 제시 할 수 있음.
○ 유치원 및 초등학교에서의 역할놀이 및 읽기 교육 교구재로의 활용
- 현재 유치원 및 초등학교에서는 동화 영상의 자막을 직접 아이들이 녹음을 하여서 하나의 영상으로 편집하여서 어린이 성우 역할놀이를 하는 교육 시장이 형성되어 있음.
- StorySelf는 이와 같은 시장에 교구재로서 활용이 가능한 에듀테인먼트 콘텐츠를 제공할 수 있음
- 4차 산업 혁명 기술 기반의 에듀테인먼트 콘텐츠를 아동 교육에 활용함으로서 4차 산업 혁명 기술을 아동들에게 체험시킬 수 있음
- 누리교육과정에서 강조하는 체험 및 놀이에 기반한 아이들의 역할놀이 및 글읽기 교육을 제공함으로서, 더욱 효과적인 누리교육 제공
(출처 : 요약문 3p)
목차 Contents
- 표지 ... 1
- 요 약 문 ... 2
- 목차 ... 7
- 1. 연구개발과제의 개요 ... 8
- 1-2. 기술개발 차별성 ... 11
- 2. 연구개발과제의 수행 과정 및 수행 내용 ... 13
- 2-2. 연구개발 성과 및 평가방법 ... 15
- 2-3. 연구개발 세부 내용 ... 18
- 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 22
- 1. 연구개발 수행 결과 ... 22
- 4. 목표 미달 시 원인분석 ... 34
- 1. 목표 미달 원인(사유) 자체분석 내용 ... 34
- 2. 자체 보완활동 ... 34
- 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 35
- 6. 연구개발성과의 관리 및 활용 계획 ... 35
- 끝페이지 ... 36
※ AI-Helper는 부적절한 답변을 할 수 있습니다.