[논문]헤어 스타일링 지원 스마트 미러

노혜민; 주혜원; 문영석; 공기석

doi:10.7236/jiibc.2020.20.1.127

헤어 스타일링 지원 스마트 미러
Smart Mirror to support Hair Styling 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.20 no.1, 2020년, pp.127 - 133

노혜민 (한국산업기술대학교 컴퓨터공학과) , 주혜원 (한국산업기술대학교 컴퓨터공학과) , 문영석 (한국산업기술대학교 컴퓨터공학과) , 공기석 (한국산업기술대학교 컴퓨터공학과)

초록
AI-Helper

본 논문에서는 헤어스타일을 미리 확인하고 변경해 볼 수 있는 헤어 스타일링 지원 스마트 미러 개발을 다루었다. 이 서비스의 핵심 기능은 사용자가 원하는 헤어 이미지를 선택했을 때 해당 이미지를 사용자의 얼굴에 합성해 가상으로 헤어스타일링하는 기능이다. 헤어 이미지 합성 기능의 효용성을 확인하기 위해 기능 수행 상황에 따른 Haar-cascade 알고리즘의 안면인식 성공률 측정 실험을 진행했다. 실험을 통해 피실험자의 두 눈과 눈썹이 모두 보이는 상황에서 95%의 확률로 안면인식이 성공하며 가장 높은 성공률을 보인다는 것을 확인했다. 피실험자의 양쪽 눈썹이 모두 보이지 않거나 한쪽 안구가 가려진 상황에서는 각각 50%, 0%의 안면인식 성공률을 보인다는 것을 확인했다.

Abstract ▼ AI-Helper

This paper deals with the development of a smart mirror to support changing hair styles. A key function of the service is the ability to synthesize the image into the user's face when the user chooses a desired hair image and virtually styling the hair. To check the effectiveness of the hair image synthesis function, the success rate measurement experiment of Haar-cascade algorithm's facial recognition was conducted. Experiments have confirmed that the facial recognition succeeds with a 95 percent probability, with both eyes and eyebrows visible to the subjects. It is the highest success rate. It confirmed that if either of the eyebrows of the subjects are not visible or one eyeball is covered, the success rate of facial recognition is 50% and 0% respectively.

주제어

표/그림 (13)

표 표 1. 관련 제품들 Table 1. Related Products
그림 그림 1. 스마트 미러 구성 Fig. 1. Smart Mirror configuration
그림 그림 2. 시스템 구성도 Fig. 2. System configuration
표 표 2. HW 환경 Table 2. Hardware environment
표 표 3. SW 개발환경 Table 3. Software development environment
그림 그림 3. 헤어 스타일링 기능 SW 구성도 Fig. 3. SW configuration of HairStyling function
그림 그림 4. 헤어 영역 추출 기능 수행 시나리오 Fig. 4. Scenario of performing hair extraction function
그림 그림 5. 헤어 영역 추출 기능 Fig. 5. Hair extraction function
그림 그림 6. 헤어 이미지 매칭 기능 수행 시나리오 Fig. 6. Scenario of performing hair image matching function
그림 그림 7. 헤어 매칭 결과 Fig. 7. A result of Image Overlaying
그림 그림 8. 이미지 매칭 알고리즘 Fig. 8. Image Overlaying Algorithm
그림 그림 9. 헤어 색 변환 알고리즘 Fig. 9. Image Color Converting Algorithm
그림 그림 10. 상황에 따른 이미지 매칭 성공률 Fig. 10. A success rate of Image matching

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 Haar-cascade 알고리즘을 활용해 사용자의 안면을 인식하고 안면 위치를 기반으로 이미지를 합성하는 기능을 제공한다. 안면인식 시스템은 입력된 얼굴 이미지의 특성에 따라 성능이 크게 좌우되는 문제점을 가지고 있다.
본 논문에서는 헤어 스타일링 지원 스마트 미러를 개발하여 생활편의 기능은 기본적으로 제공하고 헤어 미용 고민을 해소할 가상 헤어 스타일링 기능을 제공하였다.
본 논문에서는, 사용자가 조사한 헤어 스타일을 미리 자신에게 적용시키고 확인해봄으로서 헤어 변화의 실패확률을 줄이며 생활 편의 서비스를 지원하는 스마트 미러 개발을 다룬다.
이미지를 선택하고 장착된 카메라를 통해 사진을 촬영 후 매칭된 결과물을 확인할 수 있다. 스마트 미러를 통해 반사되어 보이는 본인의 모습과 매칭 이후의 결과물을 동시에 볼 수 있기 때문에 본인이 원하는 헤어 변화가 만족스러울지 미리 확인 하고 현재의 모습과 비교하기에 편리하도록 개발했다.

제안 방법

Haar feature-based Cascade 분류기는 폴 비올라(Paul Viola)와 마이클 존스(Michael Jones)의 논문에서 제안한 효과적인 객체탐지 방법이다.^[8] Open CV에서 직접 제공하는 1226KB의 안면 객체의 특징을 담은 학습 데이터를 활용해 Haar Object Detector로 안면인식 기능을 수행한다. 성재경의 논문에서 언급된 얼굴 검출 기술 중 특징 기반 방법을 사용해 얼굴 요소들의 크기, 모양, 상호 연관성, 얼굴의 색상과 질감 정보, 또는 이러한 요소들의 혼합된 형태의 정보를 이용해 얼굴을 검출한다.
총 네 가지의 상황은 두 눈썹이 가려진 경우, 두 눈썹이 보이는 경우, 한쪽 눈이 가려진 경우, 눈을 감은 경우이다. 각 20번의 매칭 기능을 수행해 안면인식 성공 여부를 확인했다. 다음 그림10은 네 가지 상황에 따른 이미지 매칭 성공률이다.
강한 빛 노출이 없는 공간에서 안면의 패턴에 대해서만 변화를 주어 실험을 진행했다. 총 네 가지의 상황은 두 눈썹이 가려진 경우, 두 눈썹이 보이는 경우, 한쪽 눈이 가려진 경우, 눈을 감은 경우이다.
헤어 이미지 매칭 알고리즘은 아래 그림 8과 같다. 매칭 될 이미지의 원본 이미지와 촬영된 사용자 이미지에서 안면인식 기능을 수행하고 안면의 크기를 확인한다. 원본 헤어 이미지에서의 안면 크기와 사용자의 안면 크기의 비율 차이를 계산하고 매칭 될 헤어 이미지의 크기를 조절한다.
헤어 영역 추출 기능 알고리즘은 아래 그림 5와 같다. 배경 제거를 위해 이미지의 객체를 탐색하고 객체의 외곽선을 검출하여 인물의 위치를 제외한 배경 영역을 추출한 후 인물 객체만 저장한다. 저장된 이미지에서 머리카락 추출기능이 수행한다.
본 논문의 스마트 미러는 메모, 날씨 정보를 확인 할 수 있는 생활 편의 기능을 제공하면서 헤어 스타일링 기능을 접목해 차별화를 주었다. 모바일 애플리케이션과의 연동 기능이 제공되어 편리하게 휴대전화로 원하는 헤어스타일 이미지를 등록하고 등록한 이미지를 즉시 미러를통해 가상으로 스타일링 해볼 수 있다.
본 논문의 스마트 미러에서 이미지 매칭 기능을 구현하기 위해서는 안면인식 기술을 필요로 한다. 안면인식 기능을 위한 대표적인 라이브러리로 DLib^[5]와 Open CV의 Haar Object Detector^[6]가 있다.
아래 그림 2는 스마트 미러의 시스템 구성을 나타낸다. 사용자가 제어할 수 있는 모바일 애플리케이션, 웹 애플리케이션, 스마트 미러, 데이터 처리 및 저장 역할을 하는 Firebase Server, Google Cloud Storage^[16], Firebase Database로 구성되어 있으며, RestAPI방식을 이용해 데이터를 송수신 한다.
^[8] Open CV에서 직접 제공하는 1226KB의 안면 객체의 특징을 담은 학습 데이터를 활용해 Haar Object Detector로 안면인식 기능을 수행한다. 성재경의 논문에서 언급된 얼굴 검출 기술 중 특징 기반 방법을 사용해 얼굴 요소들의 크기, 모양, 상호 연관성, 얼굴의 색상과 질감 정보, 또는 이러한 요소들의 혼합된 형태의 정보를 이용해 얼굴을 검출한다.^[9]
^[19] 안면인식 실패는 이미지 매칭 기능의 실패로 이어지게 된다. 안면인식 성공률을 높이는 안면의 패턴을 확인하기 위해 네 가지 상황에 따른 안면 인식률 비교 실험을 수행하였다.
방식을 활용해 서버와 통신하는 웹 애플리케이션, 모바일 애플리케이션로 구성되어 있다. 웹 애플리케이션을 통해서 날씨, 메모 정보를 출력, 사용자 기반 이미지 리스트를 확인하고 선택된 이미지를 매칭, 결과물 출력, 저장할 수 있게 구현했다. 모바일 애플리케이션은 가상 스타일링을 원하는 이미지를 등록하고 수정 또는 삭제 할 수 있는 헤어 이미지 갤러리와 웹 애플리케이션에서 수행된 이미지 매칭 결과물을 확인할 수 있는 매칭 결과 갤러리로 구성되어 있다.
DLib는 머신러닝 알고리즘과 도구를 제공하는 C++툴킷이다. 이미지 처리 관련 기본 라이브러리 및 학습을 위한 convolutional neural network 알고리즘을 제공한다. DLib의 Object Detector^[7] 활용해 안면인식 기능을 수행하면 안면의 전체적인 외곽 좌표와 모든 이목구비의 외곽 좌표를 얻을 수 있다.
개발 과정에서, 사용자의 안면이 제대로 인식되지 않은 경우 이미지 매칭 기능이 수행되지 않는 문제점이 발견되었다. 해당 경우를 예방하는 방법으로 안내 문구를 노출 시키게 되었다. 하지만 이는 사용자의 수동적인 촬영 준비과정이 필요하므로 한쪽 눈만이 인식 된 경우에도 이미지 매칭이 수행될 수 있도록 예외적 상황에 대한 소프트웨어적 개선이 필요하다.

대상 데이터

본 서비스는 RestAPI^[2] 방식을 활용해 서버와 통신하는 웹 애플리케이션, 모바일 애플리케이션로 구성되어 있다. 웹 애플리케이션을 통해서 날씨, 메모 정보를 출력, 사용자 기반 이미지 리스트를 확인하고 선택된 이미지를 매칭, 결과물 출력, 저장할 수 있게 구현했다.
스마트 미러는 터치 패널이 부착된 모니터와하프미러필름을 활용해 제작했다. 웹 애플리케이션을 출력하고 터치패널을 활용해 입력을 받아 기능을 수행하게 된다.
아래의 그림 3은 스마트 미러의 주요 기능인 헤어스타일링 기능의 SW 구성도를 나타낸 것이다. 헤어 영역 추출 모듈, 헤어 이미지 매칭 모듈, 헤어 색 변환 모듈 총 3개의 모듈로 구성되어 있다.

성능/효과

최근 사람들의 머리 모양 변화에 대한 관심과 전반적인 의식 수준이 높아졌다. 1년에 2-4회 변화 주기를 통해 정기적으로 변화를 줄 정도로 관심을 갖고 있으며 헤어스타일 변화 패턴도 소극적인 경향에서 벗어나 적극적으로 자신의 트렌드와 개성에 맞게 가꾸고 이를 중시하는 경향이 높아졌다.^[1]
헤어 스타일링 시스템은 세 가지 기능으로 구성되어있다. 사용자의 가상 헤어 스타일링을 위한 헤어 영역 추출 기능, 헤어 이미지 매칭 기능, 헤어 색 변환 기능이 구현되었다. 각 기능의 수행 과정과 알고리즘에 대해 설명한다.
실험 결과를 종합하면 두 눈과 눈썹이 잘 보이는 경우 가장 안면인식 확률을 높을 것으로 판단된다. 따라서 이미지 매칭 기능 수행 이전에 두 눈과 눈썹이 잘 보이는 정적인 상태에서 기능을 수행하라는 안내 문구를 노출한다면 이미지 매칭 기능 성공 확률을 높일 수 있다.
위의 두 기존 제품들의 각각의 장점은 디스플레이를 통해 시술 메뉴를 확인하고, 시술 시간 동안 고객의 지루함을 해소하는 영상, 잡지 등 미디어 콘텐츠를 제공하는 점과 각 사용자의 피부 타입을 측정하여 미용 제품을 추천해 사용자에게 유용한 정보를 제공할 수 있다는 점이다. 두 제품 모두 상당한 관심을 받은 제품이었지만 가격이 비싸고 실용성이 낮아 판매량이 부진하여 판매가 중단되었다.
해당 실험을 통해 두 눈썹이 보이는 상태가 가장 인식 성공 확률이 높다는 것을 확인했다. 한쪽 눈이 가려진 상태에서는 인식이 연속적으로 실패한다는 사실 또한 확인했다.

후속연구

Haar-cascade 알고리즘에 활용될 학습 데이터에 눈, 코, 입 객체 형태에 대한 학습 데이터를 추가해 안면 전체 인식 실패 시 눈, 코, 입의 인식을 수행해 눈, 코, 입의 위치를 기반으로 헤어 이미지를 매칭하는 기능을 추가 구현해 개선할 계획이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	본 연구에서의 헤어스타일링 모바일 애플리케이션은 무엇으로 구성되어 있는가?	웹 애플리케이션을 통해서 날씨, 메모 정보를 출력, 사용자 기반 이미지 리스트를 확인하고 선택된 이미지를 매칭, 결과물 출력, 저장할 수 있게 구현했다. 모바일 애플리케이션은 가상 스타일링을 원하는 이미지를 등록하고 수정 또는 삭제 할 수 있는 헤어 이미지 갤러리와 웹 애플리케이션에서 수행된 이미지 매칭 결과물을 확인할 수 있는 매칭 결과 갤러리로 구성되어 있다.
	본 논문에서 무엇을 활용해 스마트 미러를 제작하였는가?	스마트 미러는 터치 패널이 부착된 모니터와하프미러필름을 활용해 제작했다. 웹 애플리케이션을 출력하고 터치패널을 활용해 입력을 받아 기능을 수행하게 된다.
	본 논문의 스마트 미러는 모바일 애플리케이션과 연동하여 어떠한 기능을 나타내는가?	본 논문의 스마트 미러는 메모, 날씨 정보를 확인 할 수 있는 생활 편의 기능을 제공하면서 헤어 스타일링 기능을 접목해 차별화를 주었다. 모바일 애플리케이션과의 연동 기능이 제공되어 편리하게 휴대전화로 원하는 헤어스타일 이미지를 등록하고 등록한 이미지를 즉시 미러를통해 가상으로 스타일링 해볼 수 있다. 가상 헤어 스타일 매칭을 통해 헤어 스타일 변화 실패 상황을 예방할 수 있다.

참고문헌 (19)

Hyun-Ha Nam, Byung-Jun Kang, Kang-Ryoung Park, "Comparison of Computer and Human Face Recognition According to Facial Components", Journal of Korea Multimedia Society vol.15, no.1, pp.40-50, 2012. DOI: http://dx.doi.org/10.9717/kmms.2012.15.1.040

원문보기 상세보기
Rest API, https://mangkyu.tistory.com/46
Samsung Mirror Display, http://bit.ly/2LNVKCP
LG U+ LTE Magic Mirror, http://biz.newdaily.co.kr/site/data/html/2017/01/25/2017012510086.html
Davis King, "Dlib-ml: A Machine Learning Toolkit", Journal of Machine Learning Research, vol.10, pp.755-1758, Dec. 2009. DOI: 10.1145/1577069.1755843
OpenCV(Face Detection using Haar Cascades), https://docs.opencv.org/3.4.3/d7/d8b/tutorial_py_face _detection.html
DLib(object_detector), http://dlib.net/imaging.html#object_detector
P. Viola, M. Jones, "Rapid object detection using a boosted cascade of simple features", Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2001), Feb. 2001. DOI: http://dx.doi.org/10.1109/CVPR.2001.990517.
Jae-Kyung Sung, In-Ho Choi, Sang-Min Park, Yong-Guk Kim, "Measure and Analysis of Open-Close Frequency of Mouth and Eyes for Sleepiness Decision",The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 14, No. 3, pp.89-97, Jun. 30, 2014. DOI:http://dx.doi.org/10.7236/JIIBC.2014.14.3.89

원문보기 상세보기
Exabio X2200EW plus Touchmonitor Touchscreen, https://www.itenjoy.co.kr/view.php?num4065666
Half Mirror Film 25, http://www.any-mall.co.kr/shop/shopdetail.html?branduid111053&xcode029&mcode001&scode&typeX&search&sortorder
Microsoft HD-3000, http://www.noteforum.co.kr/news/index.htm?nm13495
VisualStudio Code Documentation, https://code.visualstudio.com/docs
Firebase Documentation, https://firebase.google.com/docs
Android Studio Documentation, https://developer.android.com/studio/intro/?hlko
Google Cloud Storage, https://cloud.google.com/storage/docs/
Weather Forecast API, https://www.data.go.kr/dataset/15000099/openapi.do
Seung Ho Lee, "A Method for Determining Face Recognition Suitability of Face Image," Journal of the Korea Academia-Industrial cooperation Society(JKAIS), Vol. 19, No. 11 pp. 295-302, 2018. DOI: https://doi.org/10.5762/KAIS.2018.19.11.295

원문보기 상세보기
Min-Koo Kang, "Research of Decision Tree Based Blob Occlusion Solution Method Using Time Series Feature," The Journal of KIIT, Vol. 15, No. 12, pp.9-15, 2017. DOI: https://doi.org/10.14801/jkiit.2017.15.12.9

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증