선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 비사실적인 3차원 그래픽보다 오히려 사람의 실제 얼굴 사진(2차원)에서 화장 효과를 확인하는 것이 더 현실감을 줄 수 있다. 본 논문에서는 간편하고 실용적이며 결과물이 더 현실감을 주는 이미지 기반의 2차원 메이크업을 목적으로 한다.
- 본 논문에서는 디지털 이미지 기반에서 피부와 메이크업의 광학적 특성을 고려한 Kubelka-Munk 모델을 이용하여 메이크업 전/후의 사진에서 메이크업의 반사율과 투과율을 분석하고 도포 두께 맵을 구성하여 이를 다른 사람의 사진 이미지에서 메이크업을 합성하는 방법을 연구하였다. 기존의 Kubelka-Munk 모델을 이용한 파운데이션 합성 연구가 한 점에서만 메이크업 후 색상을 추정한 점을 개선하여 얼굴의 전체 영역에서 Kubelka-Munk모델을 이용하여 메이크업 후 색상을 추정하였다.
제안 방법
- RGB 반사율을 구하기 위해 사진 촬영 직전에 칼라차트를 촬영하고 컬러차트의 흰색을 100% 반사율로 가정하고 RGB 반사율을 구하였다. 이 과정은 조명에 무관한 색상을 보여 주는 역할도 한다.
- Scherbaum[6]은 56명의 여성의 화장 전/후 사진 데이터베이스를 이용하여 자동으로 메이크업을 제안하는 시스템을 구현하였다. 가상 메이크업 대상이 되는 사진과 가장 유사한 사진을 찾고 여러 채널(diffuse, gloss, scattering)에서 메이크업 전/후 변화율을 대상의 사진에 곱하여 메이크업 시뮬레이션을 수행한다. 여러채널을 사용하였지만 기본적으로 변화율을 곱해주는 단순한 색상 발현 모델을 사용하므로 실제의 메이크업 색상 발현과는 차이가 있다 하겠다.
- 첫 번째 단계로 파우더의 산란계수와 흡수계수를 추출하여야 한다. 기존의 Kubelka-Munk 모델을 이용한 메이크업 연구에서는 분광광도계로 측정을 한 것과 달리 본 연구에서는 메이크업 전/후 이미지와 파우더의 이미지로 산란계수와 흡수계수를 추출한다. Fig.
- 8에서 가상 메이크업 결과의 메이크업 맵은 다른 사람의 실제 메이크업에서 추출한 것이기 때문에 실제 메이크업 영상과 직접적인 비교를 하여 메이크업 시뮬레이션의 정확도를 검증하기는 어렵다. 메이크업 모델의 정확도를 검증하기 위하여 Fig. 6의 메이크업 맵을 그 맵이 추출된 사진의 화장 전 얼굴(Fig. 4 좌측)에 적용하여 그 결과를 실제 화장 후(Fig. 4 우측)의 얼굴과 비교하였다. 화장 전/후의 사진을 비교하여 시뮬레이션 오류가 최소화되도록 도포 두께 맵을 구한 것이지만, 산란계수 S와 흡수계수 K는 전체적으로 단일한 RGB 값이고 두께 맵은 스칼라 값이기 때문에 메이크업 시뮬레이션 모델이 부적절 하다면 그 오류가 크게 나타날 수 있다.
- R∞ 는 두꺼운 파우더의 색상 값이다. 메이크업 후 사진에서 파란색 점의 파우더 도포 두께 D를 기준 두께로, 즉 D=1로 하여 파우더의 고유한 산란계수와 흡수계수를 추출한다. 산란계수 S와 흡수계수 K는 다음과 같이 계산되었다.
- 이 연구의 문제점은 다음 단계인 메이크업을 옮기는 과정에서 나타난다. 메이크업 후 얼굴 이미지와 메이크업을 적용할 다른 얼굴 이미지의 skin detail을 가중치의 합으로 계산하여 최종 메이크업을 적용할 skin detail 층으로 구성한다. 실제로 어떤 사람이 한 메이크업을 다른 사람에게 적용하면 그 사람의 고유 피부의 특성이 이미 메이크업을 한 다른 사람의 피부처럼 변하지는 않는다.
- 이 단계에서는 R, G, B의 색 공간에서 공통의 두께 D를 산출한다. 메이크업의 두께를 구하기 위해서는 Kubelka-Munk 모델로 추정된 화장 후 이미지의 RGB 색상 값을 두께 D에 대한 함수로 만들고 이를 실제 화장 이미지의 색상과 비교하여 그 차이를 최소화 시키는 두께 D를 구한다. 이는 다음과 같은 수식으로 표현된다.
- 본 연구에서는 RGB 색공간에서 Kubelka-Munk 모델을 이용하여 파우더의 고유한 산란계수와 흡수계수를 추출하고자 하는 데, gamma가 적용된 RGB 색상이 이에 적합지 않다.
- 본 연구에서는 Thin Plate Spline(TPS) 방법[9]으로 이미지를 변형하여 서로 다른 사진 간의 얼굴을 일치시켰다. TPS는 평면상의 점들을 보간하는 곡면을 찾는 방법이다.
- 본 연구에서는 기존의 Kubelka-Munk 모델을 이용한 파운데이션 합성 연구가 한 점에서만 메이크업 후 색상을 추정한 점을 개선하여 얼굴의 전체 영역에서 Kubelka-Munk 모델을 이용하여 메이크업 후 색상을 추정한다. 그 과정에서 각 점마다 메이크업의 도포 두께를 구할 수 있어 실제 메이크업의 도포 패턴을 추출하여 다른 사람의 얼굴 사진에 적용함으로서 사실적인 도포 패턴을 가지는 가상 메이크업이 가능하다.
- 일반적으로 Kubelka-Munk 모델은 확산 광학 모델로서 diffuse 반사의 분석에 사용된다. 본 연구에서는 카메라 촬영 시에 편광필터로 specular 반사와 diffuse 반사를 분리하여 diffuse 반사 이미지들로만 메이크업 분석 및 합성 방법을 실험하였다. 또한, 가상 메이크업 실험을 하는 데 있어 Kubelka-Munk 모델에 적합한 재질인 파우더를 주된 대상으로 하였다.
- 이는 기존의 KubelkaMunk 모델을 이용한 메이크업 시뮬레이션 연구가 한 점에서만 메이크업 후 색상을 추정한 점을 개선한 것으로 얼굴의 전체 영역에서 Kubelka-Munk 모델을 이용하여 메이크업 후 색상을 추정한다. 본 연구의 방법은 메이크업 전/후 이미지를 비교하여 메이크업이 도포된 두께 정보, 즉 메이크업 도포 패턴을 구할 수 있다. 이를 이용하여 실제 사람 피부에 메이크업을 수행하고 그 도포 두께 패턴을 구한 후 이를 다른 사람의 얼굴에 가상으로 메이크업 하는 데 사용함으로서 가상 메이크업의 사실감을 높일 수 있었다.
- 분광반사율을 측정하고 메이크업의 산란계수와 흡수계수를 추정하는 대신 RGB 반사율 측정하고 이를 분석하여 산란계수와 흡수계수를 추정할 수 있다. 분광반사율이 RGB 색상 값에 비해 파장수가 더 많아 정확하겠지만 화장품이 특정 파장에 민감한 특성이 없는 한 RGB 반사율로 해도 큰 차이가 없으므로 간편하게 카메라에 촬영된 이미지 RGB 색상 값을 메이크업의 산란계수와 흡수계수 계산에 사용할 수 있다.
- 화장 전 후 사진에서 화장의 변화율을 얼굴의 픽셀단위로 계산하여 cosmetic map을 구성한 점과 화장을 적용해야 할 다른 얼굴과 화장의 변화율을 계산 한 얼굴 간의 대칭점을 이용해 일치시켜 cosmetic map을 적용한 점은 주목할 만 하였다.
- Guo[8]는 Tong[7]의 방법이 메이크업 전, 후 사진 모두 필요한 점을 지적하며 대부분의 경우 메이크업 전 사진을 제공하기가 어렵기 때문에 더 편리하고 실용적으로 ‘메이크업 후’ 사진으로만 메이크업 효과를 다른 얼굴에 적용할 수 있는 방법을 제시하였다. 화장 후의 사진과 그 화장을 적용할 다른 얼굴의 사진, 총 두 장의 이미지에서 thin plate spline 방법[9]으로 두 얼굴을 warping으로 일치시키고 CIELAB color space로 변환하여 L* 채널을 밝기 층, a*, b* 채널을 칼라 층으로 분리한다. 밝기 층은 다시 저주파 성분인 face structure과 고주파 성분인 skin detail 층으로 분리된다.
대상 데이터
- 본 연구에서는 카메라 촬영 시에 편광필터로 specular 반사와 diffuse 반사를 분리하여 diffuse 반사 이미지들로만 메이크업 분석 및 합성 방법을 실험하였다. 또한, 가상 메이크업 실험을 하는 데 있어 Kubelka-Munk 모델에 적합한 재질인 파우더를 주된 대상으로 하였다.
이론/모형
- 피부와 메이크업의 광학적 특성을 고려한 기존 연구로 Doi[10]의 연구가 있다. Doi는 파운데이션을 도포한 배경과 파운데이션을 도포하지 않은 배경 그리고 배경에 불투명할 정도로 두껍게 도포한 파운데이션의 분광반사율을 분광 광도계로 측정하고 KubelkaMunk 모델을 이용하여 파운데이션의 고유한 흡수 계수, 산란계수를 추출했다. 그리고 얼굴에서의 한 점에 대한 분광 반사율에 앞서의 흡수계수와 산란계수로 Kubelka-Munk 모델을 적용하여 피부 위에 메이크업이 가상으로 도포된 경우의 반사율을 추정하였다.
- Doi[11]의 방법은 기준점에서만 Kubelka-Munk 모델을 이용하여 메이크업 후 색상 값을 추정한 다음, 전체 얼굴의 민낯 색상 값과 기준점의 민낯 색상 값의 차에 가중치를 곱한 맵에 이를 더하여 메이크업 후의 이미지를 생성한다. Doi의 방법은 분광기를 사용하여 Kubelka-Munk 모델의 추정을 하여야 하지만, 본 연구의 방법과 비교를 위하여 RGB 색 공간에서 KM 모델을 적용하였다. Fig.
- Kubelka-Munk 모델을 이용하여 반사율 Rf 및 투과율 Tf를 식 (7), (8)로 구하였다.
- Doi는 파운데이션을 도포한 배경과 파운데이션을 도포하지 않은 배경 그리고 배경에 불투명할 정도로 두껍게 도포한 파운데이션의 분광반사율을 분광 광도계로 측정하고 KubelkaMunk 모델을 이용하여 파운데이션의 고유한 흡수 계수, 산란계수를 추출했다. 그리고 얼굴에서의 한 점에 대한 분광 반사율에 앞서의 흡수계수와 산란계수로 Kubelka-Munk 모델을 적용하여 피부 위에 메이크업이 가상으로 도포된 경우의 반사율을 추정하였다. Doi[11]는 이 점의 색상을 RGB 색 공간으로 변환하고 기준점으로 정하여 민낯 이미지 얼굴 영역 전체 픽셀의 RGB 색상 값과 민낯 이미지에서 기준 점 위치의 RGB 색상 값의 차를 구하고, 파운데이션 메이크업 효과를 주기 위한 가중치 α를 경험적으로 조절해가며 곱한 후 기준점의 추정 색상 값을 더하여 얼굴 전체의 메이크업 후 색상 값을 계산하였다.
- 본 논문에서는 디지털 이미지 기반에서 피부와 메이크업의 광학적 특성을 고려한 Kubelka-Munk 모델을 이용하여 메이크업 전/후의 사진에서 메이크업의 반사율과 투과율을 분석하고 도포 두께 맵을 구성하여 이를 다른 사람의 사진 이미지에서 메이크업을 합성하는 방법을 연구하였다. 기존의 Kubelka-Munk 모델을 이용한 파운데이션 합성 연구가 한 점에서만 메이크업 후 색상을 추정한 점을 개선하여 얼굴의 전체 영역에서 Kubelka-Munk모델을 이용하여 메이크업 후 색상을 추정하였다.
- 메이크업 맵인 반사율과 투과율은 다른 사람의 얼굴에 적용되기 이전에 thin plate spline 방법[9]을 이용하여 메이크업 맵을 변형하여 얼굴 이미지에 일치시킨다(Fig. 7).
- 메이크업의 분석과 합성에 Kubelka-Munk 모델을 이용한다. Kubelka-Munk 모델에서 안료의 산란 계수와 흡수계수는 안료의 고유 특성이고 안료의 두께에 따라 반사율과 투과율이 결정된다.
- 본 논문에서는 사진 기반 디지털 메이크업에서 피부와 메이크업의 광학적 특성을 고려하기 위해 Kubelka-Munk 모델을 사용한다. 이는 기존의 KubelkaMunk 모델을 이용한 메이크업 시뮬레이션 연구가 한 점에서만 메이크업 후 색상을 추정한 점을 개선한 것으로 얼굴의 전체 영역에서 Kubelka-Munk 모델을 이용하여 메이크업 후 색상을 추정한다.
성능/효과
- 본 연구에서는 RGB 색공간에서 Kubelka-Munk 모델을 이용하여 파우더의 고유한 산란계수와 흡수계수를 추출하고자 하는 데, gamma가 적용된 RGB 색상이 이에 적합지 않다. 따라서 sRGB를 Linear RGB 색 공간으로 변환한 후 모든 계산을 수행하고, 최종 가상 메이크업 합성까지 모든 과정이 끝나면 다시 sRGB로 색 공간으로 변환하여 결과를 보여준다.
- 때문에, 대부분의 3차원 기반 메이크업 시뮬레이션들이 어색한 렌더링을 보여준다. 비사실적인 3차원 그래픽보다 오히려 사람의 실제 얼굴 사진(2차원)에서 화장 효과를 확인하는 것이 더 현실감을 줄 수 있다. 본 논문에서는 간편하고 실용적이며 결과물이 더 현실감을 주는 이미지 기반의 2차원 메이크업을 목적으로 한다.
- 본 연구의 방법은 메이크업 전/후 이미지를 비교하여 메이크업이 도포된 두께 정보, 즉 메이크업 도포 패턴을 구할 수 있다. 이를 이용하여 실제 사람 피부에 메이크업을 수행하고 그 도포 두께 패턴을 구한 후 이를 다른 사람의 얼굴에 가상으로 메이크업 하는 데 사용함으로서 가상 메이크업의 사실감을 높일 수 있었다. 이는 기존의 방법이 한 점에서만 Kubelka-Munk 모델을 이용하여 메이크업 시뮬레이션을 수행하고 이를 얼굴전체에 적용함으로서 색상이 맞지 않고 도포 두께의 변화가 없어 어색한 결과를 생성하는 점을 개선한 것이다.
후속연구
- 보다 더 사실적인 메이크업 시뮬레이션을 위해 피부결 등의 질감 표현을 고려한다면 더욱 정교한 표현이 가능한 모델로 확장 할 수 있을 것이다. 또한, 화장품 중 파우더로 한정하여 연구를 하였는데, 광택이 나거나 펄이 들어있는 화장품에 대해서도 이미지 기반 메이크업 성분 분석 모델을 고안하는 것은 큰 의의가 있을 것이라고 여겨진다.
- 보다 더 사실적인 메이크업 시뮬레이션을 위해 피부결 등의 질감 표현을 고려한다면 더욱 정교한 표현이 가능한 모델로 확장 할 수 있을 것이다. 또한, 화장품 중 파우더로 한정하여 연구를 하였는데, 광택이 나거나 펄이 들어있는 화장품에 대해서도 이미지 기반 메이크업 성분 분석 모델을 고안하는 것은 큰 의의가 있을 것이라고 여겨진다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.