[논문]영상처리를 이용한 가상거울 시스템 개발

변영섭; 정세기; 김재명; 노영주

영상처리를 이용한 가상거울 시스템 개발
Development of Virtual Mirror System 원문보기

변영섭 (한국산업기술대학교 컴퓨터공학과) , 정세기 (한국산업기술대학교 컴퓨터공학과) , 김재명 (한국산업기술대학교 컴퓨터공학과) , 노영주 (한국산업기술대학교 컴퓨터공학과)

이미지 프로세싱 기술을 응용하여 실시간 가상거울 시스템을 개발하였다. 본 가상거울에서는 머리의 색을 정적으로 바꿀 수 있을 뿐만 아니라, 비추는 방향에 따라 동적으로 바꿀 수도 있다. 본 논문에서는 이러한 가상거울 시스템 구현에 적용한 알고리즘과 구현한 방법을 설명하였다. 본 논문에서는 개발을 중심으로 설명하고자 하였으며, 자세한 내용은 본문에서 기술한다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이로 인해 고성능을 필요로 하는 각종 기술들, 영상처리나 가상현실, 증강현실 기술들이 점점 실생활에 응용할 수 있을 정도의 발전이 이루어지고 있다. 본 논문은 이러한 점에 초점을 맞춰 실생활에서 응용할 수 있는 가상거울 시스템을 설계하고 구현하였다.
현재 발전된 CPU 및 그래픽 처리장치의 성능과 실제 거울 역할을 할 수 있는 모니터, 거기에 카메라의 성능이 발전하면서 이제 단순 거울과 같이 사용자의 모습을 비추는 정도는 매우 선명하며 실제 거울과 비교했을 때 위화감이 없을 정도이다. 이 프로그램은 이러한 점을 이용하여 사용자의 모습을 변화시켜 적용해볼 수 있는 가상거울 시스템을 목표로 한다.

제안 방법

머리 부분 인식으로 한 좌표가 선택이 되면 이 좌표를 바탕으로 머리 전체의 영역을 파악하도록 구현을 하였다. 8방향 검출 알고리즘 두 가지를 사용하였는데 실시간 영상처리를 위해 매 프레임마다 이 알고리즘을 사용하여 머리 부분의 이동이 발생할 경우라도 추적을 할 수 있게 하였고, 속도를 향상시키기 위하여 두 가지의 알고리즘을 스레드를 사용하여 실시간 영상처리가 좀 더 빨리 되도록 하였다.
PC와 Arduino는 Serial 통신을 이용하여 통신을 하고 Arduino와 APP은 Bluetooth를 이용하여 통신을 한다. APP에서 사용자가 요구사항을 입력하면 이 요구사항이 Arduino로 전달이 되고 Arduino에서 이 요구사항을 Serial 통신을 이용하여 PC에 전달을 해주는 방식으로 양방향 통신이 가능하도록 구현되었다.
Opencv에서 제공하는 haarcascade_frontface_alt2.xml이란 훈련 알고리즘을 이용하여 캠으로 촬영되고 있는 실시간 영상에서 사람의 얼굴부분을 인식하여 인식된 얼굴부분을 사각형으로 표시를 하고 이 좌표를 저장하도록 구현하였다.[3] 기존의 논문에서 사용하던 윤곽선 검출 방식보다 좀 더 인식률이 높은 훈련알고리즘을 사용함으로써 시스템의 정확도를 상승시켰고, 훈련알고리즘을 사용하기 때문에 얼굴인식이 되지 않은 경우에도 지속적인 훈련을 통해 인식률을 상승시킬 수 있도록 하였다.
이러한 방법들을 사용할 경우 배경과 얼굴의 구분이 모호할 경우 검출이 어려워지는 경우가 생기고, 가상의 이미지를 입력시키는 경우 실제 이미지와는 다른 모습의 변화된 모습이 보여지게 된다. 따라서 이러한 단점을 극복하기 위하여, 기존의 논문과는 다른 얼굴검출 방식과, 색 변경 방식을 사용 및 구현하게 되었다.
또 알고리즘을 하나로만 검출을 하였을 경우 인식되지 않는 머리 부분이 생겨서 두 가지의 검출 알고리즘을 사용하여 정확도를 상승시켰다. 다음은 8방향 검출 알고리즘의 내용이다.
머리 부분 인식으로 한 좌표가 선택이 되면 이 좌표를 바탕으로 머리 전체의 영역을 파악하도록 구현을 하였다. 8방향 검출 알고리즘 두 가지를 사용하였는데 실시간 영상처리를 위해 매 프레임마다 이 알고리즘을 사용하여 머리 부분의 이동이 발생할 경우라도 추적을 할 수 있게 하였고, 속도를 향상시키기 위하여 두 가지의 알고리즘을 스레드를 사용하여 실시간 영상처리가 좀 더 빨리 되도록 하였다.
모니터의 경우 현재 디스플레이 기술들은 거울 수준의 얇고 선명한 화질을 자랑하며 실제 거울처럼 만들 수 있는 수준에 있으므로 이런 디스플레이를 상정한 모니터를 사용하며 간단한 캠 카메라를 이용하여 촬영되는 영상을 실시간으로 영상처리를 하여 사용자의 모습을 변화시킬 수 있도록 한다. 본 논문에 쓰이는 프로그램은 사용자의 머리색을 바꾸어 실제 염색 시 바뀌게 되는 모습을 확인하고 비교해 볼 수 있도록 사용자의 모습을 보여준다.
본 논문에서 다룬 프로그램은 카메라와 PC 내 영상처리 기술의 연동을 통하여 사용자에게 자신의 머리색깔을 변화시키고 그것을 직접 화면을 통하여 실시간으로 확인할 수 있는 증강현실을 서비스한다.
색을 비교할 경우 RGB값을 비교하여 검출을 하게 되는데 다음과 같은 특징들을 활용하여 머리 부분 검출 시 정확도를 상승시켰다.
이러한 단점들을 보안하기 위해 이 논문에서는 머리영역에 임의의 이미지를 입히는 방식이 아닌 검출한 부분의 RGB 값을 변화시키는 방법을 선택하였다. 염색을 할 때에 기존에 머리색에 변화시키고자 하는 색을 입히듯이, 이 시스템에서도 기존의 머리 영역의 RGB값을 구한 후 사용자가 원하는 색으로 RGB값을 변화시키는 방법을 사용하여, 실제 모습과 가상 거울 안에서의 모습이 최대한 유사하게 나오도록 하였다.
영상에서 사람의 얼굴 부분을 인식할 때 프로그램을 사용하지 않는 다른 사람의 얼굴도 검출될 가능성이 있기 때문에 일정 영역을 지정해 놓은 다음 그 부분에 있는 사용자의 얼굴만 인식하도록 구현하였다.
시스템에 몇몇 색상을 입력시켜 놓고 사용자가 변경하기 원하는 색상을 선택하면 머리 부분의 색이 실시간으로 변경 되는 기능이다. 위에서 검출을 통해 획득한 좌표의 RGB 값을 변화를 시켜주어 화면을 통해서 염색을 한 사용자의 모습을 볼 수 있도록 한다.
만약 이 조건을 만족하지 못할 경우 반복문을 돌려 조건이 맞는 좌표가 나올 때 까지 반복을 하도록 하였다. 이때 빛, 각도 등 여러 조건과 환경에 따라 인식률 및 정확도가 달라질 수 있는데 이를 보안하기 위해 피부색 검출 시 RGB 영상보다 성능이 좋은 YCrCb 영상을 추가로 사용하여 인식률을 높혔고, 영상에서 여러 가지 조건을 추가 하여 다양한 비교를 통해 정확한 머리 부분을 인식하도록 하였다 [4].
기존의 논문에서는 머리 영역에 가상의 이미지를 입히는 방식을 사용하여 실제 모습과 변경된 모습이 유사하지 않고, 변경된 모습이 어색하다는 단점이 있었다. 이러한 단점들을 보안하기 위해 이 논문에서는 머리영역에 임의의 이미지를 입히는 방식이 아닌 검출한 부분의 RGB 값을 변화시키는 방법을 선택하였다. 염색을 할 때에 기존에 머리색에 변화시키고자 하는 색을 입히듯이, 이 시스템에서도 기존의 머리 영역의 RGB값을 구한 후 사용자가 원하는 색으로 RGB값을 변화시키는 방법을 사용하여, 실제 모습과 가상 거울 안에서의 모습이 최대한 유사하게 나오도록 하였다.
한 좌표를 기준으로 8방향으로 비교를 해가면서 기준점이 되는 좌표와 유사한 색이면 배열 안에 좌표 값을 넣어놓고 재귀호출을 통해 검출을 계속하고 유사한 색이 아니면 검출을 그만하도록 하였다.

성능/효과

xml이란 훈련 알고리즘을 이용하여 캠으로 촬영되고 있는 실시간 영상에서 사람의 얼굴부분을 인식하여 인식된 얼굴부분을 사각형으로 표시를 하고 이 좌표를 저장하도록 구현하였다.[3] 기존의 논문에서 사용하던 윤곽선 검출 방식보다 좀 더 인식률이 높은 훈련알고리즘을 사용함으로써 시스템의 정확도를 상승시켰고, 훈련알고리즘을 사용하기 때문에 얼굴인식이 되지 않은 경우에도 지속적인 훈련을 통해 인식률을 상승시킬 수 있도록 하였다.

후속연구

이를 해결하기 위해 Smartphone application으로써의 전환 작업의 필요가 있을 것이다. 따라서 본 프로그램의 스마트폰 내 이식과 원활한 동작을 위한 최적화 작업과 스마트폰 내부 기능과 연계한 추가 기능 구현에 대한 충분한 검토와 연구가 필요하다.
또한, 지속적인 피드백을 통한 기능의 개선과 추가가 가능하다. 본 프로그램의 경우 미용실, 스티커 사진기 등의 장소와 접목을 시켜 유용하게 활용 될 수 있을 것으로 예상된다.

핵심어

질문

논문에서 추출한 답변

가상 헤어변경 시스템이란 무엇인가?

현재 실제로 미용실에서 쓰이고 있는 기계로 자리에 앉은 미용실 손님의 머리모양을 변경해 볼 수 있는 가상 헤어변경 시스템이 있다. 이 시스템은 거울처럼 사용할 수 있는 모니터에 정면에서 보이는 헤어스타일을 미리 이미지로 저장한 뒤 화면에 나타내어 사용자가 머리 위치를 맞춰 확인해보는 시스템이다.

얼굴인식에서 인식 여부에 영향을 미치는 것에는 어떠한 것들이 있는가?

사람의 얼굴을 인식하는 기술은 상당히 발전하여 이제 대부분의 사람을 인식할 수 있는 수준에 이르렀지만 아직 단점이 없는 것은 아니다. 얼굴인식의 경우 채광, 사용자의 자세나 위치, 액세서리의 유무 등으로 인식여부에 차이가 생기게 된다. 그러나 거울 시스템을 상정한 경우 사용자의 목적이 분명하며 사용자의 위치는 큰 변화가 생기지 않는다.

가상 헤어변경 시스템의 단점은 무엇인가?

해당 시스템의 단점은 어디까지나 이미지 파일이기에 상당히 어색하며 사용자의 머리 위치를 파악 하는 게 아닌 정면에 이미지파일을 나타내어 사용자가 직접 위치를 맞춰주는 시스템이기에 거리가 조금만 다르거나 위치가 틀어지면 제대로 맞춰 볼 수 없다는 단점을 가지고 있다. 결국 이러한 단점으로 인해 미용실에서 사용하는 이 시스템은 사용하더라도 어색하고 사용하는데 나오는 불편함 때문에 설치를 하더라도 사용되지 않는 기계가 되게 된다. 이런 단점을 해결하여 사용자가 맞춰볼 필요 없이 사용자를 인식하며 어색한 이미지를 통한 헤어스타일 확인 보다는 염색 시 변경되는 색상 확인이 더 필요성 있는 기능이 된다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

영상처리를 이용한 가상거울 시스템 개발
Development of Virtual Mirror System 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

영상처리를 이용한 가상거울 시스템 개발 Development of Virtual Mirror System 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

영상처리를 이용한 가상거울 시스템 개발
Development of Virtual Mirror System 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper