초록 ▼

Ⅳ. 연구개발결과
1. 최종목표 달성결과
컬러과학 기반의 실감 피부 컬러재현(Realistic Facial Color Reproduction) 기술을 이용하여 첫째, 자신의 외형과 동일하게 구현된 3D 페이셜 아바타 모델을 생성하기 위한 3D 페이셜 스캐너와 복원 기술을 개발하였으며, 둘째, 가상의 분장 도구를 활용하여 실제와 동일한 분장 및 특수분장 효과를 사실적으로 구현하는 분장/특수분장 스타일링 시뮬레이터인 IAM(Interactive Avatar Makeup)을 개발하여 최종 목표를 100% 달성하였다.
2.

Ⅳ. 연구개발결과
1. 최종목표 달성결과
컬러과학 기반의 실감 피부 컬러재현(Realistic Facial Color Reproduction) 기술을 이용하여 첫째, 자신의 외형과 동일하게 구현된 3D 페이셜 아바타 모델을 생성하기 위한 3D 페이셜 스캐너와 복원 기술을 개발하였으며, 둘째, 가상의 분장 도구를 활용하여 실제와 동일한 분장 및 특수분장 효과를 사실적으로 구현하는 분장/특수분장 스타일링 시뮬레이터인 IAM(Interactive Avatar Makeup)을 개발하여 최종 목표를 100% 달성하였다.
2. 세부 연구개발 목표 달성결과
1 연구개발 목표 3D 페이셜 아바타 실감 표현 (모델링, 렌더링, 애니메이션) 기술 개발
달성도 100 %
연구개발 내용
멀티 스테레오 기반 3D 페이셜 스캐닝 시스템 및 통합 3D 모델링, 표준 페이셜 모델 기반 3D 모델링 기술, Depth 정보 기반의 모바일 3D 페이셜 모델링 기술, 3D 페이셜 모델의 실사 재현 기술, 분장/특수분장 시뮬레이션 시스템, Depth 정보 기반 모바일용 3D 페이셜 애니메이션 기술,
1. 멀티 스테레오 기반3D 페이셜 스캐닝 시스템 및 통합 3D 모델링
o 고해상도 스테레오 영상을 사용하여 정확한 피부색 분석 및 피부 분석이 가능한 고품질 3D 페이셜 아바타 그래픽 데이터를 생성
- 분장 시뮬레이션을 위한 3D 페이셜 모델 제작
- 멀티스테레오 기반 3D 복원 알고리즘을 사용하여 얼굴의 옆면까지 복원
- 3가지 광원(일반광, 편광, UV광)하에서 촬영 후 복원을 수행하여 분장 시뮬레이션 및 3D 피부 분석을 위한 복원 흉상 모델 제공
- 상용 스캐너로 스캔한 모델과 개발된 3D 페이셜 스캐너로 스캔한 결과의 기하정보 오차율 측정하여 개발된 3D 페이셜 스캐너의 복원 정확도 검증
- 안면 모델을 표준 얼굴 모델을 이용하여 분장 시뮬레이션 시스템에서 사용할 표준 흉상 모델을 제작하는 통합 3D 모델링 기술 개발
- 상용 스캐너(Cyberware 3030)를 이용한 스캔 모델과 개발된 스캐너를 이용한 생성 모델간의 기하정보 오차율 측정2.8% (평가기준 3.0% 이하)기록
2. 표준 페이셜 모델 기반 3D 모델링 기술
o 3차원 얼굴의 표준 모델과 모바일 디바이스에서 촬영한 2차원 사진 영상을 이용하여 분장 시뮬레이션을 위한 빠른 3차원 모델 합성
- 2차원 영상을 촬영하여 단순한 조작으로 3차원 분장 시뮬레이션에 사용할 수 있는 기반 기술
- 3차원 모델과 사진 영상의 정합을 위한 조작에 소요되는 시간을 제외하고 분장 시뮬레이션에 사용하기 위한 새로운 얼굴 데이터를 5초 이내에 생성
- 정합된 얼굴에서 3차원 모델의 형상을 변형하기위한 특징점(눈, 코, 입술, 얼굴 크기) 추출
분석된 얼굴 특징점들의 위치와 거리비례를 기준으로 선택된 표준 모델의 부분별 크기 변형
정합된 3차원 얼굴 모델을 포인트 기반의 분장 시뮬레이션에 사용하기 위한 형태의 데이터로 변환
- 제작된 표준 모델별로 모델 생성을 위한 조작의 평균 시간과 처리 시간을 측정
- iPad 2에서 150,000부터 200,000개의 정점을 가진 얼굴 모델을 처리하여 평균
3.36(±0.63)초 (평가 기준 5초 이하) 가 소요
3. Depth 정보 기반의 모바일 3D 페이셜 모델링
o Kinect를 이용한 모바일 3D 페이셜 모델 생성 기술 개발
- 새로운 3D 얼굴 모델을 생성을 위한 다양한 얼굴형의 표준 페이셜 모델 템플릿 구축
- Kinect로부터 대상 얼굴의 color와 depth영상 획득 후 모바일 기기(iPad)로 전송
- 3D facial topology를 이용하여 얼굴형을 파악하기 위한 주요 포인트들을 추출
- 추출된 포인트를 기준으로 표준 모델의 형상 변형 및 texture fitting - 기하정보 비교를 위한 3차원 얼굴 형상 데이터 수집
Geometrix, Cyberware 3030, High-Quality Single-Shot Capture of Facial Geometry, ETH Zurich
- 3차원 얼굴의 형상 비교 및 기하정보 오차의 백분율화
두 3D 얼굴의 기하정보를 비교하기 위해 눈과 입술을 기준으로 모델의 위치를 정렬하고 이를 두 모델을 정면의 z축을 기준으로 2차원 평면에 투영하여 기저의 수를 줄임
2차원 투영된 얼굴 모델의 z축에 대한 깊이값을 1024 x 1024 크기의 2차원 이미지에 저장
두 영상의 동일한 x, y좌표위의 깊이값을 비교하여 두 얼굴 모델표면의 기하정보 차이를 계산
두 영상에서 얼굴이 차지하는 영역을 산정한 후, 두 영상의 깊이값의 차이를 계산하여 그 오차가 허용범위를 넘어서는 영역이 전체 얼굴영역의 몇%를 차지하는지 측정
- 평균 4.48 (±0.5, 평가 기준 5% 이내)의 기하 정보 오차율 달성
4. 3D 페이셜 모델의 실사 재현 정확도
o 분장 시뮬레이션 시스템에서 생성한 3D 페이셜 모델의 실사 재현 정확도 평가
- 평가의 목적은 분장 시뮬레이션 시스템의 분장 결과물이 실사 모델을 얼마나 효과적으로 표현하는지 여부를 판단하는 것
- 주관적 평가는 30명을 대상으로 수행하였으며, 22세에서 45세 사이의 남자 22명, 여자 8명으로 구성
- 실제 촬영된 영상과 연구 결과에 의해 생성된 가상의 렌더링 영상과의 유사도를 조사하는 방식으로 실제 촬영된 영상의 사실감 만족도를 100%로 고려하고 이에 대한 렌더링 영상의 만족도를 상대적으로 비교
- 설문 평가 결과 91.5% 이상의 실사 재현 정확도 (평가기준: 실사재현정확도 90%)를 기록
5. 분장/특수분장 시뮬레이션 시스템
o 복원된 3D 페이셜 모델에 스펙트럼 기반의 컬러 재현 기술 및 가상 분장 도구를 이용한 분장 시뮬레이션 시스템 개발
- 분장 시뮬레이션 시스템 프로토타입 테스트 결과를 반영한 분장 스타일링 시뮬레이션 시스템 구현
- 16채널의 스펙트럼 데이터를 이용한 실시간 컬러 재현 구현
- 스트로크의 undo/redo 기능을 위한 스펙트럼 기반의 다중 레이어 실시간 처리 기술
- 분장 시뮬레이션 시스템을 모바일 및 낮은 성능의 PC에서도 사용 가능하도록 하기위한 시스템 사용 리소스 경량화 수행
- GUI 아이템(버튼, 윈도우)을 Ogre3D 렌더링 엔진을 이용해 출력하고, 렌더링 화면에 그리는 마우스 커서 사용 및 실시간 커서 이미지 변화 효과를 적용하기 위해 분장 컬러 재현 알고리즘 최적화 및 렌더링 고속화 수행하여 성능 향상
- 1M 이상의 메시를 갖는 모델에 대한 사실적 렌더링 속도 평균 29 fps 이상 (평가기준: 1M 메쉬 15 fps 이상)을 구현함
6. Depth 정보 기반의 얼굴 특징점 추출과 트래킹 기술 및 모바일용 3D 애니메이션
o GPU기반의 병렬처리를 이용한 실시간 3D 얼굴 모델 애니메이션 기술
- 매개변수화된 3D 얼굴 (Candide-3) 모델을 이용한 3D 얼굴 모션캡쳐 기술
- CUDA를 이용하여 3D 형상변형 알고리즘을 병렬처리화
- 모바일 기반의 3D 얼굴 모델 기하 정보 변형 알고리즘 구현 핸들 포인트들을 제외한 포인트들의 위상차를 계산 위상차를 각 점들의 가중치로 계산하여 실제 이동량을 계산
- Kinect를 이용한 모션캡쳐 기술의 최적화를 위해 수정된 Candide-3 사용
- 113개의 포인트 가운데 불필요한 24개를 제외한 89개를 현상변형을 위한 핸들 포인트로 사용
- 50,000개 이상의 정점을 가진 얼굴 모델을 대상으로 평균 32fps (평가 기준 30fps 이상)의 모션캡쳐 및 애니메이션 속도 달성
2 연구개발 목표 컬러과학 기반 실감 어피어런스 시뮬레이션 기술 개발
달성도 100 %
연구개발 내용
피부, 화장품 및 조명의 상호작용 기반 화장품 컬러 재현, ICC 프로파일 기반 영상 장비 컬러 특성화 및 컬러 일치, 셰이더 기반 펄 화장품 분석 및 펄 효과 렌더링 시뮬레이션, 주변 광원에 따른 분장 컬러 시뮬레이션
1. 피부, 화장품 및 조명의 상호작용 기반 화장품 컬러 재현
- 피부, 화장품, 조명의 스펙트럼 정보를 기반으로 분장 전 후 스펙트럼의 변화 모델링 및 분장 컬러 재현
- 분장 전 후의 피부 스펙트럼 변화에 대한 측정을 통해 스펙트럼 변화율을 추정하여 분장하는 과정에 대한 컬러 변화를 재현
2. ICC 프로파일 기반 영상 장비 컬러 특성화 및 컬러 일치
- 스펙트럼 기반 카메라 특성화 알고리즘을 개발하고 이를 이용하여 스캐너의 출력 영상에 대한 멀티 카메라 캘리브레이션, 컬러 특성화를 수행
- 복원된 3D 모델의 텍스쳐 정보로부터 카메라 특성화 모델을 이용하여 스펙트럼 맵을 추출하고 이를 분장 컬러 재현에 이용
- 디스플레이 특성화를 통해 정확한 분장 컬러를 재현
- 컬러 특성화 정보를 표준 ICC 프로파일 형태로 저장하여 상용 ICC 프로파일을 이용하여 분장 컬러 재현이 가능
- 영상의 RGB 값에 대한 고속 변환을 위해 LUT 기반 컬러 변환 알고리즘을 개발
3. 셰이더 기반 펄 화장품 분석 및 펄 효과 렌더링 시뮬레이션
- 화장품의 펄 효과 렌더링을 위해 화장품의 특성 분석, 3D 모델 정보 분석 등을 통해 펄 효과를 모델링
- 펄 분포 맵 16종과 가상 분장 도구의 분장 시뮬레이션을 통한 펄 마스크, 텍스쳐의 스펙트럼 정보, 3D 정보를 이용하여 셰이더 기반 펄 렌더링 알고리즘 개발 및 구현
4. 주변 광원에 따른 분장 컬러 시뮬레이션
- 표준 조명(D 광원 4,000K°-12,000K°) 하 에서의 3D 모델의 스펙트럼 기반 피부 컬러 시뮬레이션 기술 개발
- 셰이더 기반 조명의 xy 값에 따른 컬러 재현 알고리즘 개발 및 구현
3 연구개발 목표 가상 분장/특수분장 도구 및 재료 실감 표현 (모델링, 인터페이스) 기술 개발 및 DB 구축
달성도 100%
연구개발 내용
물리 기반 가상 분장 도구 모델링
가상 특수분장 재료(헤어, 수염) 모델링
분장/특수분장 스타일링 시뮬레이션 시스템
피부, 화장품, 분장 도구 DB 구축
전문가 분장 스타일 DB 구축
3D 페이셜 아바타 표정 분류 및 애니메이션 최적화
1. 물리 기반 가상 분장 도구 모델링
o 3D 페이셜 아바타 모델의 분장 시뮬레이션을 적용하기 위한 실제 분장사가 사용하고 있는 분장 도구 표현 기술 구현
- 분장 도구를 분장이 적용되는 면의 형태에 따라 분류하고, 동일한 적용면의 형태를 갖는 여러 크기의 도구들은 분장 도구 시뮬레이션의 적용 면적을 변화하여 구현
- 실제 분장사가 사용하는 분장 도구는 크게 붓, 펜, 스펀지로 구분할 수 있으며, 각각의 도구를 사용하는 방법을 시뮬레이션 하기 위해 찍기/긋기/쓸기로 사용법을 구분하여 구현
- 도구별 사용 화장품에 따라 달리 적용되는 분장 형태를 분석하여 패턴을 정의하고, 도구의 사용방법(찍기, 긋기, 쓸기)에 따라 정의 패턴을 이용하여 분장 결과를 시뮬레이션
· 분장 도구는 적용면의 형태에 따라 둥근붓, 뾰족붓, 둥근머리펜, 뾰족머리펜, 스펀지, 분첩으로 구분되며, 동일한 적용면의 형태를 갖는 다양한 크기의 도구들이 사용되고 있음
· 실제 분장에서 사용되고 있는 분장 도구에 대해 형태에 따라 둥근붓 / 뽀족붓 / 펜 / 스펀지 / 분첩 타입으로 구분하여 시뮬레이션 패턴을 정의
- 각 분류에 따라 둥근붓 타입 2종, 뽀족붓 타입 2종, 펜 타입 2종, 스펀지 1종, 분첩 1종 등 총 8종의 분장도구 (평가기준: 분장도구 5종 이상) 모델 구현
- 압력 감지형 입력 장치를 이용한 화장품 그룹 특성별 농도변화 모델 정의 및 가변 농도 변화를 통해 자연스러운 분장 도구 효과 표현
2. 가상 특수분장 재료(헤어, 수염) 모델링
o 3D 페이셜 아바타 모델의 분장 시뮬레이션을 적용하기 위한 실제 분장사가 사용하고 있는 분장 도구 표현 기술 구현
- 복원된 3D 페이셜 모델에 특수분장 재료(헤어, 수염)를 합성하기 위한 3D 모델 제작
- 특수분장 재료와 페이셜 모델의 합성을 위한 헤어, 수염 모델 요구사항 정의
·고해상도 텍스처를 제작하여 실제와 유사한 질감 표현
·복원된 3D 페이셜 모델과 합성을 위한 컨트롤 포인트 삽입
·자연스러운 형상 변형을 위해 컨트롤 포인트와 헤어, 수염을 구성하는 조각 템플릿을 인접 컨트롤 포인트에 바인딩
- 실제 분장에서 사용하는 헤어, 수염과 동일한 형태의 3D 헤어/수염 10종(평가기준: 특수분장 재료 5종 이상) 모델 제작
3. 가상 분장 도구의 사실적 재현 만족도 평가
o 분장 시뮬레이션 시스템에서 가상 분장 도구를 이용하여 생성한 3D 페이셜 특수 분장 모델의 사실적 재현에 대한 주관적 평가
- 평가의 목적은 분장 시뮬레이션 시스템의 분장 결과물이 기존의 스케치 방식과 비교하여 얼마나 유용한지 여부를 판단하는 것
- 주관적 평가는 30명을 대상으로 수행하였으며, 22세에서 45세 사이의 남자 22명, 여자 8명으로 구성
- 연구 결과에 의해 생성된 가상의 렌더링 영상과 현재 분장관련 업계에서 사용하는 방식인 스케치를 통해 생성된 영상간의 선호도 조사
- 렌더링 영상과 스케치 영상의 만족도를 각각 조사하여 비교하여 평가
- 설문 평가 결과 98.0% 이상의 압도적인 사실적 재현 만족도 (평가기준: 시실적 재현 만족도 80% 이상)를 기록
4. 피부, 화장품, 분장 도구 DB 구축
o 실감 분장 시뮬레이션을 위한 피부 특성에 따른 DB와 분장용 화장품 및 분장 도구에 대한 DB 구축
- 피부와 화장품의 상호 작용에 따른 사실적인 색 표현 및 얼굴 스캔을 통한 피부 진단 시스템을 위해 피부 임상 시험 전문 기관인 (주)엘리드와의 협조를 통하여 성별, 나이, 보습량, 피부 밝기값 등에 따른 피부 데이터를 구축
- 현장에서 사용되는 파운데이션, 립스틱, 아이라이너 등의 총 164개 화장품에 대하여 스펙트럼 측색 장비를 이용하여 화장품의 스펙트럼 정보를 측정하였으며, 브랜드, 품명, 색상, 화장품 종류, 스펙트럼 정보, 사진에 따른 화장품 DB를 구축
- 현장에서 사용되는 화장품 적용을 위한 브러쉬, 스펀지, 분첩 등의 96개의 분장 도구에 대하여 사용 화장품, 브랜드, 품명, 호수에 따른 분장 도구 DB를 구축
- 현장 전문가의 자문을 기반으로 220개 피부, 164개의 화장품, 96개의 분장 도구에 대한 DB 구축 (평가기준 : 피부 20, 화장품 20, 10개 분장 도구)
화장품 DB: 브랜드, 품명, 색상, 사진 파일명, 화장품 종류, 스펙트럼 정보, 사진을 포함한 164개 화장품 DB 구축
피부 DB: 성별, 나이, 보습량, 피지량, 밝기 값을 포함한 220개 피부 DB 구축
분장도구 DB: 사용화장품, 브랜드, 품명, 호수에 대한 분장도구 96개에 대한 DB 구축
5. 전문가 분장 스타일 DB 구축
o 전문 분장사의 분장 작업 과정을 구조화하여 DB를 구축하여 분장 스타일 연구 및 분장 교육용으로 활용
- 전문가의 분장과정은 분장 템플릿의 형식으로 기록되며, 분장 템플릿은 분장의 각 세션별 사용한 화장품, 화장도구, 분장 소요시간, 분장 영역 등의 정보를 포함함
- 사극, 경극, 코믹, 뮤지컬 분장 포함 총 10종의 분장 스타일 DB 구축(평가기준: 분장 스타일 10종 )
6. 분장 시뮬레이션 시스템 표정 분류 및 애니메이션 최적화
o 모바일 단말기에 부착된 카메라를 이용하여 사용자의 연속된 안면영상을 입력받고 사용자의 표정을 분류하는 기술
- 다양한 표정을 고려한 표정 데이터베이스를 구축하여 여러 가지 표정의 특징점 집합을 자동으로 추출할 수 있는 기술
- 기계학습 알고리즘을 사용해서 표정 별 특징점 집합의 패턴을 분석하고 입력된 사용자의 얼굴표정을 분류하여 분류결과를 3D 얼굴 아바타로 애니메이션 하여 가시화
- 학습 모델을 이용하여 실시간으로 입력되는 안면 표정의 패턴을 5가지 표정으로
분류 가능
·3D 얼굴 아바타에 적용할 애니메이션 데이터는 무표정에서 완전히 변화된 표정을 모션 캡처하여 30프레임으로 정리한 데이터를 사용
·다양한 얼굴 표정에 대한 3차원 아바타의 모션 캡처 데이터 생성
·무표정, 기쁨, 놀람, 분노, 슬픔에 대한 표정패턴을 50개씩 총 250개를 사용하여 학습모델을 생성
·사용자의 새로운 표정패턴이 입력되면 5가지 표정을 분류하기 위해 평균 0.001초가 소요됨
- 분류된 사용자 표정을 기반으로 3차원 얼굴 아바타의 5가지 표정 애니메이션(평가기준: 애니메이션 표정 개수 5종) 수행
· 애니메이션 기법을 적용한 수염모델을 사용한 3D 얼굴 아바타 애니메이션
· 표정 애니메이션으로 변화되는 입모양에 따라서 자연스러운 소품 모델 변형 가능
3. 성과목표 달성결과
가. 연구 성과
ㅇ 논문
-SCI
• Adaptive Surface Splatting for Facial Rendering (김현중, Computer Animation and Virtual Worlds, Vol.23, 2012년 5월)
• Feature Detection and Simplification of 3D Face Data with Facial Expressions (김용국, ETRI Journal, Vol. 34, No. 5, 2012년 10월)
• Use of an Evolutionary Inductive Self-organizing Network for Uncertain Nonlinear System and Humanoid Robot (김동원, International Journal of Advanced
Robotic Systems, Vol. 9, 2012년 10월)
• Spectrum-Based Color Reproduction Algorithm For Makeup Simulation of 3D Facial Avatar (장인수, ETRI Journal, Vol. 35, No. 6, 2013년 12월)
-비SCI
• 3D 아바타 실감 재현을 위한 스펙트럼 기반 카메라 특성화(장인수, 24회 영상처리 및 이해에 관한 워크샵, 2012년 1월)
• 사실적인 포인트 기반 렌더링을 위한 서브서피스 스캐터링 방법 (김현중, 컴퓨터그래픽스학회 논문지, Vol. 18, No. 1, 2012년 3월)
• 사실적인 얼굴 데이터를 이용한 3차원 메이크업 시뮬레이션 (이상훈, 한국정보과학회 KCC 2012 학술대회, Vol. 39, No. 1, 2012년 6월)
• Tablet-PC 기반의 3차원 얼굴 메이크업 시뮬레이션 (최진호, 한국정보과학회 KCC 2012 학술대회, Vol. 39, No. 1, 2012년 6월)
• 스마트폰 기반 모델 워킹 용 3D 아바타 얼굴표정 제어기 (최인호, 한국정보과학회 KCC 2012 학술대회, Vol. 39, No. 1, 2012년 6월)
• Development Of a Skin Analysis System Based ON The 3D Facial Avatar(김재우, International Colour Association (AIC), 2012년 9월)
• Makeup Color Representation Based On Spectral Characteristics(장인수, International Colour Association (AIC), 2012년 9월)
• 모바일 플랫폼에서의 사실적인 3차원 얼굴 메이크업 시뮬레이션 (최수미, 한국정보과학회, 2012년 11월)
• 모바일 플랫폼에서의 3D 패션 아바타 (김용국, 한국정보과학회, 2012년 11월)
• 파노라마 기반 콘텐츠 증강 시스템 (김희재, 한국정보과학회, 2012년 11월)
• 정확한 메이크업 컬러 시뮬레이션을 위한 화장품 컬러 분석 및 상호작용 모델링(유주연, 한국화상학회지, 2012년 12월)
• 스펙트럼 맵 기반의 3D 컬러 모델링 및 렌더링 기법 (장인수, 한국화상학회지, 2012년 12월)
• Makeup Color Reproduction Based on Spectrum Data (장인수, FCV 2013, 2013년 1월)
• Makeup Simulation on 3D Facial Models using Color Reproduction Technology(김재우, ICEIC 2013, 2013년 1월)
• 3차원 얼굴 메이크업을 위한 사실적인 피부 렌더링(이상훈, 한국멀티미디어학회 논문지, Vol.16, No.4, 2013년 4월)
• 분장 디자인을 위한 3차원 얼굴과 특수 분장 소품의 자동 정합(최진호, 2013년 한국 컴퓨터종합학술대회 논문지, 2013년 6월)
• 스테레오 기기 성능을 고려한 이용한 3D 아바타의 혼합 스테레오 렌더링(신일규, 한국컴퓨터그래픽스학회 2013 학술대회 학술발표집, 2013년 6월)
• Estimation of Skin Color under Various Illuminants Using Spectrum Data(유주연, 12th Congress of the International Colour Association, 2013년 7월)
• 3D Facial Scanner using True Colour Reproduction Technology(권순영, 12th Congress of the International Colour Association, 2013년 7월)
• Vision-based Animation of 3D Facial Avatar(조태훈, BigComp2014, 2014년 1월)
• Mobile Augmented Reality System for In-situ 3D Modeling and Authoring(유한규, BigComp2014, 2014년 1월)
• 모바일 플랫폼상에서 특수분장 디자인을 위한 3차원 메이크업 시뮬레이션(최진호, HCI2014 학술대회, 2014년 1월)
• 분장 디자인을 위한 3차원 얼굴과 특수 분장 소품의 자동 정합(최진호, 한국정보과학회 논문지: 소프트웨어 및 응용, 2014년 3월 게재 예정)
ㅇ 특허 출원
-스펙트럼 정보 메타데이터와 분장 아바타 메타데이터를 이용한 실감 피부 컬러 재현 장치 및 방법 (ETRI, KR 2012-0043569, 2012년 4월)
-피부분석을 위한 3차원 얼굴 모델 생성 장치 및 그 방법 (ETRI, KR 2012-0094619, 2012년 08월 29일)
-삼차원 지오메트릭 정보를 활용한 가상 메이크업 장치 (ETRI, KR 2012-0102803, 2012년 09월 17일)
-분광 분포를 이용한 피사체 컬러 재현 장치 및 방법 (ETRI, KR 2012-0114299, 2012년 10월 15일)
-측정 데이터를 이용한 메이크업 시뮬레이션 장치 및 방법 (ETRI, KR 2012-0124309, 2012년 11월 05일)
-다중 카메라로 촬영된 영상의 처리 장치 및 방법 (ETRI, KR 2012-0143999, 2012년 12월 11일)
-영상 처리 방법 및 이를 이용하는 영상 처리 장치 (ETRI, KR 2012-0145937, 2012년 12월 14일)
-3차원 얼굴 스캐닝 장치 (ETRI, KR 2012-0146863, 2012년 12월 14일)
-영상에 화장 효과를 재현하는 방법 (ETRI, KR 2012-0146866, 2012년 12월 14일)
-화장품 추천 방법 및 이를 이용하는 장치 (ETRI, KR 2012-0145965, 2012년 12월 14일)
-분장 아바타 생성 장치 및 그 방법 (ETRI, KR 2013-0002021, 2013년 01월 08일)
-가상 분장 방법 및 장치 (ETRI, KR 2013-0008498, 2013년 01월 25일)
-APPARATUS AND METHOD FOR PRODUCING MAKEUP AVATAR (ETRI, US 13/754222, 2013년 01월 30일)
-APPARATUS AND METHOD FOR VIRTUAL MAKEUP (ETRI, US 13/754202, 2013년 01월 30일)
-APPARATUS AND METHOD FOR CREATING 3D FACE MODEL FOR SKIN ANALYSIS (ETRI, US13/789571, 2013년 03월 07일)
-분장 템플릿을 이용한 자동 가상 분장을 위한 리브러싱 장치 및 방법(ETRI, CN201310520437.3, 2013년 10월 29일 )
-3D 프린터를 이용한 특수분장용 주형 제작 장치 및 방법(ETRI, KR2013-0095399,2013년 8월12일)
-분장 전 후 컬러 변화 특성을 고려한 분장 컬러 재현 장치 및 방법(ETRI, KR2013-0145333, 2013년 11월 27일)
-다중 모델 정합 방법 및 그 장치 (세종대, KR 2013-0164181, 2013년 12월 26일)
-3D 얼굴 모델 촬영을 위한 스캐닝 장치(ETRI, KR 2014-0001469, 2014년 1월 6일)
-사용자 피부 정보 기반 화장품 추천 장치 및 방법(ETRI, KR 2014-0019283, 2014년 2월 19일)
-APPARATUS AND METHOD THEREOF FOR MAKEUP COLOR REPRESENTATION BY ANALYSING CHANGE OF SKIN COLOR BEFORE AND AFTER MAKEUP (ETRI, US 14/189987, 2014년 02월 25일)
-APPARATUS AND METHOD FOR MAKING A MOLD FOR SPECIAL MAKEUP USING 3D PRINTER (ETRI, US 14/189992, 2014년 02월 25일)
-3D SCANNER SYSTEM FOR FACIAL MODEL (ETRI, US 14/228144, 2014년 월 일)
ㅇ 특허 등록
- 3차원 객체 영상 렌더링을 위한 적응형 표면 스플래팅 방법 및 장치 (세종대, KR10-1284446, 2013년 7월 3일)
ㅇ 기타 지식재산권(프로그램 등록)
-LUT를 이용한 특성화 프로그램 (ETRI, 2011년 12월 15일)
-색감 시뮬레이션 (ETRI, 2011년 12월 15일)
-영상의 색감 분석 (ETRI, 2011년 12월 15일)
-Subsurface Scattering 프로그램 (세종대, 2012년 01월 31일)
-빛을 적용한 3차원 얼굴 메이크업 시뮬레이션 (세종대, 2012년 01월 31일)
-디스플레이 특성화 및 컬러 보정 SW (ETRI, 2012년 06월 14일)
-멀티 카메라 컬러 보정 및 특성화 SW (ETRI, 2012년 06월 14일)
-페이스 모델러 (ETRI, 2012년 12월 17일)
-스테레오 카메라 컨트롤 프로그램 (ETRI, 2012년 12월 17일)
-조명 스펙트럼을 이용한 영상 변환 (ETRI, 2012년 12월 17일)
-양방향 반사 분포함수를 위한 영상 캡처 소프트웨어 (ETRI, 2012년 12월 17일)
-피부분석 시스템 사용자 인터페이스 (ETRI, 2012년 12월 17일)
-피부분석 알고리즘 (ETRI, 2012년 12월 17일)
-분장 시뮬레이션 사용자 인터페이스 소프트웨어 (ETRI, 2012년 12월 17일)
-분장 스트로크 처리 프로그램 (ETRI, 2012년 12월 17일)
-분장 컬러 재현 (ETRI, 2012년 12월 17일)
-페이스 모델러 1.5 (ETRI, 2013년 12월 17일)
-피부 수치에 따른 컬러 클러스터링 (ETRI, 2013년 12월 17일)
-유사 컬러 화장품 추천 (ETRI, 2013년 12월 17일)
-합성용 모델 관리 툴 (ETRI, 2013년 12월 17일)
-컬러프로파일기반 컬러 재현 (ETRI, 2013년 12월 17일)
-분장 컬러 및 카메라 특성화 라이브러리 (ETRI, 2013년 12월 17일)
-분장컬러 재현 어플리케이션 프로그래밍 인터페이스 (ETRI, 2013년 12월 17일)
-가상 분장 도구 관리툴 (ETRI, 2013년 12월 17일)
-분장 스타일링 시뮬레이션 유저 인터페이스 (ETRI, 2013년 12월 17일)
-사용자 스트로크 처리 테스트 베드 (ETRI, 2013년 12월 17일)
ㅇ 표준화
-Requirements on avatar metadata for realistic appearance (ETRI, ISO/IEC JTC1 SC29 WG11, 기고서 채택, m22615, 2011년 11월 28일, 국외)
-Binary representation and software for color correction effect type in ISO/IEC 23005-3 (ETRI, ISO/IEC JTC1 SC29 WG11, 기고서 채택, m23878, 2012년 2월 6일, 국외)
-A technical background of the makeup avatar usage scenario (ETRI, ISO/IEC JTC1 SC29 WG11, 기고서 채택, m24777, 2012년 04월 29일, 국외)
-Proposition of makeup avatar schemes for ISOIEC 23005-4 (ETRI, ISO/IEC JTC1 SC29 WG11, 기고서 채택, m24778, 2012년 04월 29일, 국외)
-Proposition of spectrum camara sensor schems for ISOIEC 23005-5 (ETRI, ISO/IEC JTC1 SC29 WG11, 기고서 채택, m24779, 2012년 04월 29일, 국외)
-Details about makeup avatar process and additional scenario (ETRI, ISO/IEC JTC1 SC29 WG11, 기고서 채택, m26753, 2012년 10월 14일, 국외)
-Modified proposition of makeup avatar schemes for ISOIEC 23005-4 (ETRI, ISO/IEC JTC1 SC29 WG11, 기고서 채택, m26754, 2012년 10월 14일, 국외)
-Modified proposition of spectrum camara sensor schemes for ISOIEC 23005-5 (ETRI, ISO/IEC JTC1 SC29 WG11, 기고서 채택, m26755, 2012년 10월 14일, 국외)
-Modification of the camera sensory type in TuC for MPEG-V (ETRI, ISO/IEC JTC1 SC29 WG11, 기고서 채택, m26756, 2012년 10월 14일, 국외)
-RelisticMaterial node for MPEG-4 Part 11 (ETRI, ISO/IEC JTC1 SC29 WG11, 기고서 채택, M28189, 2013년 01월 20일, 국외)
-MakeupInfo node for MPEG-4 Part 16 SBSkinnedModel (ETRI, ISO/IEC JTC1 SC29 WG11, 기고서 채택, M28192, 2013년 01월 20일, 국외)
-MakeupSkinModel proto for MPEG-4 Part 16 (ETRI, ISO/IEC JTC1 SC29 WG11, 기고서 채택, M30563, 2013년 07월 28일, 국외)
-Binary representation for camera sensor type (ETRI, ISO/IEC JTC1 SC29 WG11, 기고서 채택, M39402, 2013년 07월 28일, 국외)
-Binary representation for makeup avatar type (ETRI, ISO/IEC JTC1 SC29 WG11, 기고서 채택, M39403, 2013년 07월 28일, 국외)
-LightSpectrum node for MPEG-4 Part 11 (ETRI, ISO/IEC JTC1 SC29 WG11, 기고서 채택, M31476, 2013년 10월 28일, 국외)
-RelisticMaterial node and its mapping mathod for MPEG-4 Part 11 (ETRI, ISO/IEC JTC1 SC29 WG11, 기고서 채택, M31477, 2013년 10월 28일, 국외)
-멀티 스테레오 기반 3D 페이셜 스캐닝 작업 절차 Part 1. 3D 페이셜 스캐너 시스템(ETRI, 한국정보통신기술협회(TTA), 표준안 반영, TTAK.KO-10.0596, 2012년 12월 21일, 국내)
-멀티 스테레오 기반 3D 페이셜 스캐닝 작업 절차 Part 2. 프로파일 생성 및 관리 (ETRI, 한국정보통신기술협회(TTA), 표준안 반영, TTAK.KO-10.0597, 2012년 12월 21일, 국내)
-멀티 디스플레이 환경의 영상 콘텐츠 색일치 작업 절차(ETRI, 한국정보통신기술협회(TTA), 표준안 반영, TTAK.KO-10.0325, 2012년 12월 21일, 국내)
-모바일 디스플레이 색 일치를 위한 콘텐츠 제작 지침 (ETRI, 한국정보통신기술협회(TTA), 표준안 반영, TTAK.KO-10.0326, 2012년 12월 21일, 국내)
-스펙트럼 정보를 이용한 디지털 영상 컬러재현 작업절차 (ETRI, 한국정보통신기술협회(TTA), 표준안 반영, TTAK.KO-10.0664, 2013년 12월 18일, 국내)
나. 사업화 성과(기술이전, 국내․외 판매 등)
이전기술명: 3D 분장 시뮬레이션 기술: 스펙트럼 기반 컬러 재현 기술
업체명: 락앤소프트
계약일: 2013. 2. 25
기술이전금액: 15,000,000원
다. 기타 성과
■ 국가연구개발 우수성과 선정
1) 국가연구개발 우수성과 100선에 선정(미래창조부/KISTEP, 2013년 8월)
■ 국내외 전시회 참가
1) “2013년 북경국제디자인위크 751국제디자인페어”에 과제 결과물 전시
. 장소: 중국 북경, 751국제디자인페어 한국관
. 일시: 2013년 9월 27일~10월 3일
. 주최기관: 교육부, 문화부, 중국문학예술계연합회, 북경시 인민정부
. 협력기관: 청화대학교, 북경가화문화발전그룹, 북경공업설계촉진센터
. 주중한국대사, KOCCA 중국사무소, 중국 메이크업협회, 그 외 현지 업체 관계자 등 다양한 분야에 과제 결과물 소개
. ETRI와 Live Tank MOU 체결
2) “ACE Fair 2013” 전시회에 과제 결과물 전시
. 장소: 광주
. 일시: 2013년 9월 26일~29일
. KOCCA에서 후원하는 문화기술(CT) 공동관에 참여하여 해외 바이어 및 일반인에게 결과물 소개
. 광주 ACE Fair 사무국을 통해 KONAMI(미국), Sky Digi Ent.(대만) 등 9 업체와 비즈미팅 및 기술 협의
■ 홍보 기사
한국정책방송(KTV) “대한민국의 희망, 창조경제”
. 일시: 2013년 12월 13일
. 방송 내용: 분장 시뮬레이션 기술 소개, 분장사가 직접 분장하는 영상, 대전대 시범적용 영상을 포함하여 9분 8초 분량으로 방송
■ 분장 시뮬레이션 시스템 시범적용
1) 대전대학교 정규 과목에 시범적용
. 대전대학교 뷰티건강학과 2013년 2학기 수업에 적용
. 적용 대상: 일러스트 과목 2개 분반 35명
. 우수 결과물 예시
라. 파급효과
기술적 측면
o 콘텐츠 제작, 서비스 산업에 컬러 원천 기술로 활용할 수 있음
- 다양한 인종의 피부에 대한 정확한 피부 컬러 분석
- 조명, 피부 컬러, 화장품의 복합 상호작용에 따른 컬러 어피어런스 변화 예측
- 사실적인 피부표현을 디지털액터에 적용하여 고품질 애니메이션 제작 가능
- 게임 엔터테인먼트 페이셜 아바타 모델의 피부 컬러 재현
o 분장/특수분장 산업의 새로운 패러다임을 제공함
- 사실적으로 재현된 배우의 3D 모델에 시뮬레이션 결과를 제공함으로서 실제 분장 후 수정 반복 없이 현실성 있고 작품에 부합되는 배역의 분장 스타일 생성
o 3D 인터랙션 기반 실감 3D 표현 기술에 대한 원천, 응용 기술과 지적재산권 확보
경제/산업적 측면
o 제작 사전 준비 및 제작 과정에서 분장 작업의 효율성을 극대화할 수 있어 50% 이상의 생산성 증대와 20%의 제작비 절감의 효과를 기대할 수 있음
- 분장 관련 업체는 콘텐츠 1편 제작에 평균 5~6회의 분장관련 기획 회의가 필요하나, 본 연구 기술을 통해 분장관련 기획 회의에 소요되는 시간 및 경비를 50%이상 절감 가능
o 새로운 기법의 분장/특수분장 스타일을 온/오프라인으로 교육이 가능하여 국내는 물론 국외에서도 재교육이 가능하고, 일반인이 개인 학습용으로도 활용이 가능
- 현실감 있는 가상 교육도구를 활용한 전문가 양성으로 현장에 바로 투입이 가능할 것으로 예상, 50%이상의 생산성 증대효과가 기대됨
o 분장/특수분장 시뮬레이션 원천 기술을 뷰티산업(웨딩, 네일, 메이크업 등)에 활용할 경우 문화적/산업적 파급효과가 클 것으로 기대됨
- 2013년 뷰티산업의 규모는 6조8852억원 규모로 예상됨

Abstract ▼

Ⅳ. Research results
1) Achievement of final goal
The final goal of the research and development was 100% completed by developing first, 3D facial scanner and reconstruction technology, second, realistic make-up simulation styling simulator(IAM: Interactive Avatar Makeup) based on color science

Ⅳ. Research results
1) Achievement of final goal
The final goal of the research and development was 100% completed by developing first, 3D facial scanner and reconstruction technology, second, realistic make-up simulation styling simulator(IAM: Interactive Avatar Makeup) based on color science based realistic facial color reproduction technologies.
2) Detailed research results
1 Goal Development of realistic 3D facial avatar reproduction technology (modeling, rendering, animation)
Achievement 100 %
Content
- Multi-stereo based 3D facial scanning and integrated 3D modeling
- 3D modeling based on standard facial model
- Mobile 3D facial modeling based on depth information
- Realistic reproduction of 3D facial model
- Make-up simulation system
- Mobile 3D facial animation based on depth informaiton
2 Goal Development of realistic appearance simulation based on color
science
Achievement 100 %
Content
- Cosmetic color reproduction based on the interaction between skin, cosmetics and lights
- Color characterization and optimization of imaging devices using ICC profiles
- Analysis of pearl effect and development of pearl effect rendering
- Make-up color simulation based on light condition
3 Goal Development of virtual make-up tool and realistic representation technology
Achievement 100%
Content
- Modeling of physics-based virtual make-up tool
- Modeling of virtual special make-up materials (hair, mustache)
- Make-up styling simulation system
- Construction of DB for skin, cosmetics and make-up tools
- Construcion of DB for experts make-up style
- Optimization of classification for facial expression and animation

목차 Contents

• 표 지 ... 1
• 제출문 ... 4
• 요약서 ... 9
• SUMMARY ... 35
• CONTENTS ... 39
• 목 차 ... 40
• 표 차 례 ... 41
• 그 림 차 례 ... 42
• 제 1 장 연구개발과제의 개요 ... 49
• 제 1 절 개요 ... 49
• 제 2 장 국내외 기술개발 현황 ... 53
• 제 3 장 연구개발 수행 내용 및 결과 ... 60
• 제 1 절 무빙 3D 페이셜 아바타 모델링, 렌더링 및 애니메이션 기술 ... 60
• 제 2 절 주변 환경을 고려한 실감 어피어런스 시뮬레이션 기술 ... 91
• 제 3 절 가상특수분장 재료 실감 표현 및 전문가 분장 스타일 DB 구축 ... 129
• 제 4 장 목표달성도 및 관련 분야에의 기여도 ... 167
• 제 1 절 목표달성도 ... 167
• 제 2 절 관련분야에의 기여도 (평가착안점 기반) ... 181
• 제 5 장 연구개발 결과의 활용계획 ... 183
• 제 1 절 연구개발 결과의 사업화 계획 ... 183
• 제 6 장 연구개발과정에서 수집한 해외과학기술정보 ... 187
• 제 7 장 연구시설ㆍ장비 현황 (NTIS, 국가과학기술시스템 등록 장비) ... 211
• 참고문헌 ... 212
• 끝페이지 ... 214