초록 ▼

□ 연구개요
본 연구의 최종목표는 ‘포스트 코로나시대 비대면 헤어 트레이닝을 위한 멀티플레이 협업 XR (eXtended Reality) 헤어 스타일링 재현 기술’을 개발하는 것이다. 제안 기술은 언택트(Untact) 뷰티헤어교육 XR 헤어디자인 서비스가 가능하도록 하며 원격지에서 다중 헤어 디자인 교육생에게 헤어 트레이닝이 가능한 멀티플레이 협업 확장현실 기술 개발을 목표로 한다. 본 연구에서는 포스트 코로나 시대에 적합한 비대면 기술로 시공간적 제약을 해소하며 헤어 미용을 위한 재료와 도구 없이도 체험 교육이 가능한 실감형

□ 연구개요
본 연구의 최종목표는 ‘포스트 코로나시대 비대면 헤어 트레이닝을 위한 멀티플레이 협업 XR (eXtended Reality) 헤어 스타일링 재현 기술’을 개발하는 것이다. 제안 기술은 언택트(Untact) 뷰티헤어교육 XR 헤어디자인 서비스가 가능하도록 하며 원격지에서 다중 헤어 디자인 교육생에게 헤어 트레이닝이 가능한 멀티플레이 협업 확장현실 기술 개발을 목표로 한다. 본 연구에서는 포스트 코로나 시대에 적합한 비대면 기술로 시공간적 제약을 해소하며 헤어 미용을 위한 재료와 도구 없이도 체험 교육이 가능한 실감형 다중 사용자 뷰티헤어교육 XR 헤어 디자인기술을 제안한다. 이는 개인의 요구를 충족시키기 위해 헤어미용을 위한 재료에서 나오는 화학적 물질과 개인 모발상태의 제약을 받지 않는다. 또한, 기존의 온라인 뷰티헤어교육은 대부분 사이버 동영상을 시청하거나 오프라인으로 진행되어 왔다. 언택트 뷰티헤어교육을 위한 멀티플레이 협업 환경이 절실히 필요한 현실이다. 최근 COVID-19 팬데믹으로 인한 뉴노멀에 따라 비대면 언택트 기술이 주목받고 있다. 이러한 시대적 요구를 비추어 볼 때, 제안된 멀티플레이 협업 모델은 교수자나 학습자 상호간 언택트 실습교육과 헤어디자인 연출을 가능하게 하는 XR기술로서 그 효용성과 파급효과가 클 것으로 예상된다.

□ 연구 목표대비 연구결과
● 미용도구 재질 특징 분석 및 동작 모듈 개발
실제와 같은 미용동작을 VR 인터렉션으로 재현하기 위해서는 미용커트에서 요구되는 동작에 따라 핑거 트래킹이 가능한 컨트롤러에 바인딩 동작을 매핑했다. 매핑된 동작은 미용가위의 소지걸이와 연결된 환에 약지를 넣고 아래 환에 엄지손가락을 넣어 가동범위에서 가위를 벌리고 가위를 오므릴 수 있도록 개발 하였다.
● 헤어 컷트 요소기술 분석 및 모듈 개발
머리카락 자르는 것은 기본적으로 도구를 사용하여 원하는 부분을 자르는 것이다. 물체를 자르기 위해 3D 물체를 자를 수 있는 방법에 대해 연구했다. 3D 물체는 삼각형으로 되어있는 폴리곤이 여러 개 모여 이어져 있는 폴리곤 메쉬로 이루어져 있다. 물체를 자를 때 폴리곤 메쉬가 절단되면서 계산에 의해 물체가 잘린다. 메쉬의 정점과 잘린 지점의 교차점에 의해 물체가 잘려지고 메쉬는 세분화가 된다. BzSoft의 Mesh Slicer을 사용하여 메쉬 절단 방식으로 머리카락을 자르는 방법을 적용하였다.
● 헤어스타일 세그멘테이션과 헤어 매칭
사용자의 얼굴로부터 헤어를 분할하는 기능을 개발하기 위해 FCN을 분석하고 적용하였다. PSNet, DeepLabV3+, MobileNet을 적용하여 가장선능이 우수한 MobilbeNet 를 선택하고 최적 파라미터를 도출하기 위한 실험을 진행하였다. 헤어 스타일을 14가지로 정의하여 분류체계를 완성하였고 헤어 스타일을 코드화하여 명료화 하였다. 사용자의 얼굴 사진으로부터 헤어 부분을 세그먼테이션하여 가장 적합한 헤어 스타일을 매칭하고 그 결과의 정확성을 실험적으로 제시함으로 SURF만을 이용하는 매칭방식에 비해 효율성이 향상되었음을 보였으며 전 과정이 자동화로 제공되기에 사용자의 편이성이 향상되었다.
● 매칭된 헤어와 일치한 3D 헤어 모델 병합
매칭된 헤어와 일치하는 3D 헤어모델을 불러오는 체계를 완성하였고 헤어와 얼굴이 정확하게 병합되면서 3D 헤어 아바타를 생성해내었다. 플레이 텍스트 파일의 헤어 카테고리를 읽어서 카테고리와 일치하는 3D 헤어를 찾아 생성해내고 얼굴에 정확히 병합하면서 자동으로 진행되는 과정을 통해 사용자의 편이성과 효율성이 향상되었음을 보인다.
● 헤어 세이딩
사용자에게 최종적으로 보여지는 헤어 색상은 셰이딩 실험을 통하여 적함한 렌더링을 연출하고 컬러링이 용이하도록 사용자 환경을 제공하였다. 마우스 인터렉션에서 VR 형태에 맞는 컨트롤러 인터렉션으로 수정시키면서 사용자가 VR기기를 쓰고 컨트롤러를 움직이면서 염색이 가능하도록 했고, 사용자가 Ray를 통해 헤어 색상을 선택하였을 때 해당 색상이 적용된 헤어가 바로 보여지면서 사용자 헤어 염색 환경을 제공하였다.
● 멀티 환경에서의 헤어 퍼머넌트 로직
멀티 환경에서 실시간으로 파마하는 모습이 동기화되는 것이 중요하였으며, 이를 구현하기 위해 UNITY PHOTON에서 제공하는 RPC 기능을 통해 패킷을 보내면서 실시간으로 동기화되도록 구현하였다. 롯드 와인딩은 오브젝트의 On/Off와 애니메이션으로 진행되는데 오브젝트의 On/Off는 RPC를 사용하는 것에 대해 문제가 없었지만, 애니메이션을 동기화하는데 어려움을 겪었고 이를 해결하기 위해 상당히 많은 시간이 필요하였다. 이에 실시간으로 동기화되는 헤어 퍼머넌트 과정을 통해 특히 Visitor인 학습자가 헤어 펌에 대해 학습하는 질이 크게 향상되었다.
● 멀티 환경에서의 Host 접근 권한
멀티 환경에서 헤어 디자인 트레이닝을 재현하기 위해 먼저 헤어 스타일리스트는 MasterClient로 방을 만들어 입장하며 이후 수강생들이 입장하게 하면서 진행한다. 헤어 컷, 펌, 머리 초기화 선택지를 수강생들은 제어하지 못하고 헤어 스타일리스트에게만 제어하게 하면서 사용자들이 수강이 원활하게 진행할 수 있는 환경을 조성하였다.
● 사용자 평가
지금까지 진행한 전체적인 시스템 플로우를 설명하는 영상을 토대로 진행한 사용자 평가에서 항목은 Hair Matching, 3D 헤어 모델링, 헤어 커트, 펌, 염색, 기타 포함 4가지로 나누었으며, 10개의 항목으로 진행하였다. 모든 항목에서 대부분 긍정적인 답변을 주었고, 특히 해당 연구가 헤어 교육에 도움이 되며, 헤어 디자인 트레이닝에 맞게 플로우가 자연스럽게 흘러간다는 질문에서 가장 높은 긍정적인 평가를 받아서 해당 연구가 사용자들이 느꼈을 때 가상 공간에서 헤어 디자인 트레이닝이 가능하다는 긍정적인 지표를 받았다. 하지만 3D 헤어와 아바타와 헤어 가위질의 자연스러움에 대한 평가는 다른 질문보다 아쉽다는 평가를 받게 되어 한계점으로 존재한다.

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
● 팬데믹으로 인한 언택트 시대가 시작됨에 따라 시공간의 제약을 극복하여 사용자들이 직접 체험 가능하도록 하는 XR 기반 기술로 활용.
● 교육사업의 일환으로 활용이 가능하며 대표적으로 헤어미용 교육과 자격증을 대비하여 각종 콘텐츠를 언택트 뷰티헤어 디자인을 준비 가능하도록 함.
● 게임, 애니메이션, 인공지능 사업 등 여러 콘텐츠에 영향을 줄 수 있는 원천기술로 활용.
● 완성된 헤어를 골라서 사용자의 모습에 적용하는 증강현실(AR) 방식이 아닌 사용자의 3D 모델링을 화면에 띄워 멀티플레이어 환경에서 직접 고객이 원하는 스타일에 맞춰 선제적으로 헤어스타일을 커스터마이즈드 도구로 활용가능.
● 팬대믹으로 비대면 상황에서 가상 헤어디자인 기술로 적용 가능
● 헤어디자인 분야 튜터와 튜티가 사용 가능한 뷰티헤어교육 분야에 기여.
● 다중사용자가 서로 협업할 수 있는 멀티플레이 협업 가능
● 커스터마이즈드 헤어디자인으로 개인의 개성 연출

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 4
• 1. 연구개발과제의 개요 ... 5
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 5
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 19
• 1) 정성적 연구개발성과(연구개발결과) ... 19
• 2) 세부 정량적 연구개발성과 ... 21
• 3) 목표 달성 수준 ... 21
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 21
• 5. 연구개발성과의 관리 및 활용 계획 ... 22
• 6. 자체점검표 ... 22
• 7. 참고문헌 ... 22
• 끝페이지 ... 31