선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 고정 카메라가 아닌 카메라의 이동을 허락하는 색상을 기반으로 얼굴을 추적하는 지식 기반의 얼굴 추적 시스템을 구현하였다. 피부색 추출은 조건문에 의한 단순한 추출이 아닌 피부색 화소를 색공간에 배치한 후 이를 바탕으로 구성한 함수를 이용하되 이를 위해 피부색 추출의 향상을 위한 조명 보정을 제안하였고, 얼굴 내 특징점을 찾는 방법을 구성하여 얼굴을 정확히 구분하였으며, 특징점을 통한 얼굴을 추적하는 전과정을 처리하는 시스템을 구현하였다.
- 본 연구에서는 고정된 카메라에서 대상 물체의 움직임을 추적하는 시스템이 아닌 카메라의 이동도 허락하는 얼굴 추적 시스템을 구현하였다. 얼굴 추적 초기 단계에서 피부색 화소 추출이 중요하나 광에 의한 왜곡으로 피부색 범위를 벋어나는 화소를 위해 조명 보정 함수를 제안하였으며, 입력 영상의 1/100 크기부터 전체 화면 크기의 얼굴을 추적할 수 있는 시스템으로 통계적 기법을 통해 얼굴 특징 점을 빨리 찾을 수 있도록 시스템을 구성하였다.
제안 방법
- ‘1차 얼굴 후보 영역 판정’은 피부색으로 판단된 블록별 화소수로 판단하는 것으로 본 연구에서는 입력 영상의 규모 1/100 크기를 경계로 하여 1/100이하 피부색 블록은 1차 판정에서 제거하였다.
- ‘특징점 추출’은 눈의 위치는 ‘2차 후보 영역 판정’에서 찾은 눈을 인정하였으며, 두 눈의 위치를 기준하여 축을 구성하고 표1의 통계 자료에서 얻어진 값을 중심하여 비교적 축소된 범위 내에서 코끝의 위치를 찾고, 또 입술의 범위를 찾았다.
- Rein-Lien Hsu는 ‘FACE DETECTION IN COLOR IMAGES’ 논문에서 Heinrich-Hertz-Institute(HHI) 이미지 데이터베이스에서 137개의 이미지를 가져와 853,571개의 피부색 화소를 추출하고, 이를 9개의 색 공간에 배치한 후, 색 공간에 피부색 화소가 배치된 모습에서 적당한 피부색 추출 함수를 만들 수 있는 지 여부를 비교 관찰하였다[11].
- 모두 동일한 위치에서 60초 정도에 360도 회전하며 영상을 취득하였으며, 자동차 안의 경우 차를 몰아 360도 회전을 하였다. 구성된 프로그램은 실험에 사용한 컴퓨터에서 프레임당 처리 속도가 3초 정도 소모되어 60초의 동영상을 촬영한 후 이를 60개의 정지 영상파일로 변환하여 이를 차례로 읽어 처리하게 하였다.
- 이진화 후 눈의 위치 파악은 TwoPassCCL을 통한 라벨링 후 블록의 크기와 추정 구조를 정보로 하여 판단하였다. 눈은 구조상 비교적 둥그런 구조로 추출된다는 점과 두 눈의 대칭성을 반영하는 평가 함수를 적용한 후 눈을 인식하는 방법을 이용하였다. 즉 블록 별로 x축과 y축의 양 끝점을 추출하여 두 점간에 길이가 긴 것을 축으로 하여 길이로 하고 이축을 중심으로 폭을 찾아 비가 6:4 이내의 것을 후보로 하였으며, 이 후보 블록을 기준하여 다른 반의 블록 안에 후보 블록이 있을 때 대칭성을 갖는다고 판단하여 이를 눈으로 간주하고, 이 블록의 무게 중심을 눈의 중점으로 하였다.
- 앞 단계를 거치며 판단된 후보 영역을 바탕으로 얼굴을 판단한다. 눈의 위치와 표1의 통계 자료를 바탕으로 코와 입의 검증을 수행하였다.
- YCbCr에서 Y는 휘도 성분의 단일 값으로 비록 흰색과 같은 영상의 화소가 있지만 Y 성분을 이용하면 빛의 밝기를 어느 정도 반영할 수 있다. 따라서 Y 분야의 값을 밝기를 제공할 채널로 하였다. 또 이 채널을 바탕으로 입력되는 화소를 어두운 곳은 좀 큰 비율의 비례 값으로 밝게 하고, 밝은 부분은 좀 적은 비율의 비례 값으로 좀 어둡게 할 함수가 필요하였다.
- 후보군의 얼굴 확정에는 눈, 코, 입의 존재 파악이 중요하다. 따라서 예비 작업으로 눈, 코, 입의 얼굴 특징 점 요소의 위치들의 통계 분석을 하였다. 한국인 180명의 정면 얼굴의 눈 사이 거리를 100으로 하여 두 눈 중점으로부터 코끝과 윗입술 턱끝의 위치 분포 조사하였다.
- 본 연구에서는 비록 사람의 시각에는 도움이 되지 않더라도 피부색이 잘 추출되도록 하는 별도의 방법이 구성하였다. 얼굴을 찾는 과정 중 피부색을 찾는 과정의 조명 보정의 목적은 조명을 받아 피부색 중 희어진 부분은 빛의 양을 줄이고, 그림자에 의해 빛의 양이 적어 어둡게 된 부분은 밝게 빛의 양을 늘여주면 되는 것이다.
- 본 연구에서의 얼굴 추출은 ‘입력 영상의 조명 보정’ -> ‘색상 정보를 이용한 피부색 화소 추출’ -> ‘피부색 추출 후 후처리’ -> ‘피부색 화소 블록 구성’ -> ‘블록 규모를 이용한 1차 얼굴 후보 영역 판단’ -> ‘볼록 다각형 구성을 이용한 얼굴 후보 마스크 구성’ -> ‘마스크 영역 내에서 눈 찾기를 통한 2차 얼굴 후보 영역 판단’ -> ‘입 찾기와 코 찾기 후 요소들 사이의 관계에 따른 얼굴 검출’ 단계로 수행된다.
- 본 연구에서의 얼굴 추출은 색상 영역에서 피부색을 바탕으로 후보군을 형성하고, 후보군 블록에서 다양한 후처리 작업을 통해 얼굴을 인식 추적한다. 후보군의 얼굴 확정에는 눈, 코, 입의 존재 파악이 중요하다.
- 본 연구에서는 고정된 카메라에서 대상 물체의 움직임을 추적하는 시스템이 아닌 카메라의 이동도 허락하는 얼굴 추적 시스템을 구현하였다. 얼굴 추적 초기 단계에서 피부색 화소 추출이 중요하나 광에 의한 왜곡으로 피부색 범위를 벋어나는 화소를 위해 조명 보정 함수를 제안하였으며, 입력 영상의 1/100 크기부터 전체 화면 크기의 얼굴을 추적할 수 있는 시스템으로 통계적 기법을 통해 얼굴 특징 점을 빨리 찾을 수 있도록 시스템을 구성하였다. 비교적 성능이 좋으며 본 시스템에 의해 추출된 얼굴은 100% 얼굴로 얼굴이 아닌데 얼굴로 오인식하는 결과는 없었으나, 얼굴임에도 조명에 의한 피부색 왜곡 시 잘 추출하지 못하며, 옆 얼굴과 같이 두 눈이 보이지 않는 영상의 경우도 얼굴로 추적하지 못하는 문제를 가지고 있다.
- ‘피부색 추출 후 후 처리’는 격리된 피부색 픽셀과 피부색으로 둘려 쌓인 피부색 속에 잡음의 복원으로 메디안 필터 방법을 이용하여 복원하고, 돌출 픽셀은 4-연결 링크를 이용하여 제거하였다. 이 후 한 번씩의 수축과 팽창 연산을 수행하였다.
- YCbCr 상의 Cb에서 눈은 비교적 높은 값으로 나타나나 Cr 상에서의 눈은 비교적 낮은 값으로 나타난다. 이를 이용하여 대비시켜 찾으며, 휘도 상에서도 눈동자와 흰자위를 이용하여 한번은 밝은 성분이 득세하도록 만들고 한 번은 검은 성분이 득세하도록 만든 후 두 영상을 대비시켜 눈을 찾은 후 채도 성분에서 찾은 것과 논리곱 연산을 통하여 검증 확정하는 것이다. 이 방법은 영상의 크기에 의존적이지 않고 매우 견고하게 잘 추출된다.
- 이후 밝기 순 상위 10%를 경계값으로 하여 이진화를 수행한다. 이진화 후 눈의 위치 파악은 TwoPassCCL을 통한 라벨링 후 블록의 크기와 추정 구조를 정보로 하여 판단하였다. 눈은 구조상 비교적 둥그런 구조로 추출된다는 점과 두 눈의 대칭성을 반영하는 평가 함수를 적용한 후 눈을 인식하는 방법을 이용하였다.
- 따라서 입 추출 연산은 통계 정보를 이용 입 부분만을 Canny필터로 외곽선을 추출하고 단일 화소와 보푸라기 잡음 화소를 제거하며, 한 칸 떨어진 선들은 연결하고, 수축과 팽창 연산을 통해 외각 선을 정리한 후 발화하는 입은 구멍이므로 구멍 채움 연산을 수행한다. 이후 앞에서 한 팽창 연산보다 하나 큰 값으로 스케일 구조를 통한 모폴로지 침식 연산을 하여 라인 이미지를 모두 제거하고, 한 픽셀 정도의 값을 팽창 연산을 통하여 복원해 준다. 그리고 남은 영상에서 외곽선을 추출한다.
- 입술 영역 찾기는 입술 내부 영역 찾기로 축소된 범위 내의 Cr 영상의 관찰로부터 추출된 아이디어를 수행하였다. Cr 영상을 보면 입 내부의 무채색부분과 입술에 해당하는 붉은색 개통의 영역 경계가 확실히 보인다.
- 눈은 구조상 비교적 둥그런 구조로 추출된다는 점과 두 눈의 대칭성을 반영하는 평가 함수를 적용한 후 눈을 인식하는 방법을 이용하였다. 즉 블록 별로 x축과 y축의 양 끝점을 추출하여 두 점간에 길이가 긴 것을 축으로 하여 길이로 하고 이축을 중심으로 폭을 찾아 비가 6:4 이내의 것을 후보로 하였으며, 이 후보 블록을 기준하여 다른 반의 블록 안에 후보 블록이 있을 때 대칭성을 갖는다고 판단하여 이를 눈으로 간주하고, 이 블록의 무게 중심을 눈의 중점으로 하였다.
- 코끝 찾기는 찾은 눈과 입 상단의 축소된 범위 영역 내에서 Canny 필터 외각선을 이용하여 추출한 화소 수 중 3픽셀 두께 합 최고 지점으로 두 눈을 이용하여 수직으로 그은 얼굴 중심선 교차점을 통계적 처리에 의하여 코의 위치로 추출하고, 이렇게 얼굴 구성 요소를 찾고 이를 이용하여 확신도에 의한 얼굴을 판하고 이를 바탕으로 추적을 수행하였다.
- 본 논문에서는 고정 카메라가 아닌 카메라의 이동을 허락하는 색상을 기반으로 얼굴을 추적하는 지식 기반의 얼굴 추적 시스템을 구현하였다. 피부색 추출은 조건문에 의한 단순한 추출이 아닌 피부색 화소를 색공간에 배치한 후 이를 바탕으로 구성한 함수를 이용하되 이를 위해 피부색 추출의 향상을 위한 조명 보정을 제안하였고, 얼굴 내 특징점을 찾는 방법을 구성하여 얼굴을 정확히 구분하였으며, 특징점을 통한 얼굴을 추적하는 전과정을 처리하는 시스템을 구현하였다. 2장에서는 관련 연구를 기술하며, 3장에서는 본 연구에서 구현한 전과정을 기술하고 4장에서는 실험 결과와 분석을 기술하며, 5장에서는 결론을 기술한다.
- 따라서 예비 작업으로 눈, 코, 입의 얼굴 특징 점 요소의 위치들의 통계 분석을 하였다. 한국인 180명의 정면 얼굴의 눈 사이 거리를 100으로 하여 두 눈 중점으로부터 코끝과 윗입술 턱끝의 위치 분포 조사하였다. 이렇게 통계 분석한 이유는 얼굴 구성 요소의 탐색 공간을 축소하여 찾는 계산량을 줄이려는 의도이다.
대상 데이터
- 제안한 방법의 타당성을 검증하기 위하여 10명을 대상으로 실내, 자동차 안, 실외 세 곳에서 초당 1프레임씩 60초의 동영상 총 1800 프레임을 취득하여 실험하였다. 20대에서 50대까지의 성인 남녀로 구성하였으며, 모두 동양인이었다. 모두 동일한 위치에서 60초 정도에 360도 회전하며 영상을 취득하였으며, 자동차 안의 경우 차를 몰아 360도 회전을 하였다.
- 제안한 방법의 타당성을 검증하기 위하여 10명을 대상으로 실내, 자동차 안, 실외 세 곳에서 초당 1프레임씩 60초의 동영상 총 1800 프레임을 취득하여 실험하였다. 20대에서 50대까지의 성인 남녀로 구성하였으며, 모두 동양인이었다.
데이터처리
- Rein-Lien Hsu는 ‘FACE DETECTION IN COLOR IMAGES’ 논문에서 Heinrich-Hertz-Institute(HHI) 이미지 데이터베이스에서 137개의 이미지를 가져와 853,571개의 피부색 화소를 추출하고, 이를 9개의 색 공간에 배치한 후, 색 공간에 피부색 화소가 배치된 모습에서 적당한 피부색 추출 함수를 만들 수 있는 지 여부를 비교 관찰하였다[11]. 비교 관찰은 Gaussian unimodal과 mixture 두 개의 밀도 모델로 하였으며, 이 비교로부터 Tint-Saturation-Luma (TSL) 모델에서 최고의 결과를 발견하였다. 그러나 실제 시스템 구축에는 TSL 색 공간을 사용하지 않고 YCbCr 모델을 사용하였다.
이론/모형
- ‘얼굴 후보 마스크 구성’은 볼록 다각형을 구성하는 것으로 Graham scan 알고리즘을 이용하였다.
- ‘피부색 추출 후 후 처리’는 격리된 피부색 픽셀과 피부색으로 둘려 쌓인 피부색 속에 잡음의 복원으로 메디안 필터 방법을 이용하여 복원하고, 돌출 픽셀은 4-연결 링크를 이용하여 제거하였다.
- ‘피부색 화소 블록 구성’은 영상 내에서 연결이 되어 있는 화소들을 하나의 블록으로 구성하는 것으로 Two Pass Connected Component Labeling(CCL) 기법을 이용하였다.
- 비교 관찰은 Gaussian unimodal과 mixture 두 개의 밀도 모델로 하였으며, 이 비교로부터 Tint-Saturation-Luma (TSL) 모델에서 최고의 결과를 발견하였다. 그러나 실제 시스템 구축에는 TSL 색 공간을 사용하지 않고 YCbCr 모델을 사용하였다. YCbCr 모델의 채택 이유는 YCbCr 모델이 TSL 모델과 유사하게 피부색 집단의 분포 조밀성과 지각적 균일성을 가지고 있으며, 휘도 성분과 채도 성분이 분리되는 구조라는 점, 또한 널리 사용되는 비디오 압축 표준이라는 이유 때문이었다.
성능/효과
- 그림 3의 (a) (b)는 피부색 화소 추출을 위한 조명 적용전과 적용 후의 결과 중 하나를 보인 것이다. 20개의 무작위 추출된 영상으로 실험해 보았을 때 피부화소를 피부 화소로 추출한 경우는 약 8% 증가하였으나 피부가 아닌 화소를 피부 화소로 추출하는 경우도 약 4% 정도 증가하는 결과를 보였다. 따라서 약 4%의 개선 효과를 보았다고 주장 할 수 있었다.
- 약 20개의 이미지를 이용한 실험에서 sigmoid 함수에 의한 변형은 어두운 것을 너무 밝게 하는 경향이 있어 피부색이 아닌 것을 피부색의 영역으로 변환시키는 문제가 있었으며, 여러 가지로 조절해 보았으나 적절한 파라미터의 값을 찾을 수 없었다. 반면에 sine 함수에 의한 변형은 진폭과 주기 조절을 통하여 양극단을 적절히 제어할 수 있어 피부색이 아닌 것을 피부색으로 변환시키는 경우를 어느 정도 제어할 수 있었으며, 조명에 의하여 제외되었던 피부 영역을 많이 회복시키는 결과를 보여주었다. 본 논문의 실험에 사용된 sigmoid-wave와 sine를 이용한 조명 보정식은 아래와 같다.
- 그림 4는 얼굴 추적에 성공한 예의 결과를 보인 것으로 결과에서는 얼굴이 있는 블록을 범위로 하여 출력하도록 하였다. 실외의 경우 눈이 감긴 경우를 제외하면 모두 얼굴을 잘 추적하고 있었으며, 실내의 경우도 눈이 감긴 경우와 광량이 부족하여 지극히 왜곡된 경우를 제외하면 차량 안과 비교할 때 비교적 높은 얼굴 추적률을 보였다. 차량 안의 경우 근본적으로 빛이 들어오는 방향이 치우쳐 있는 관계로 인식률이 떨어지는 편이다.
- 두 함수를 이용하여 차별적 변형을 할 때 피부가 아닌 것이 피부색을 갖도록 조절되는 것을 방지할 필요가 있다. 약 20개의 이미지를 이용한 실험에서 sigmoid 함수에 의한 변형은 어두운 것을 너무 밝게 하는 경향이 있어 피부색이 아닌 것을 피부색의 영역으로 변환시키는 문제가 있었으며, 여러 가지로 조절해 보았으나 적절한 파라미터의 값을 찾을 수 없었다. 반면에 sine 함수에 의한 변형은 진폭과 주기 조절을 통하여 양극단을 적절히 제어할 수 있어 피부색이 아닌 것을 피부색으로 변환시키는 경우를 어느 정도 제어할 수 있었으며, 조명에 의하여 제외되었던 피부 영역을 많이 회복시키는 결과를 보여주었다.
후속연구
- 향후 개선 방향으로는 환경에 적응적인 조명 보정을 고려해 필요가 있으며, 차량 안과 같이 조명 영향으로 얼굴의 반만 찾을 경우 나머지를 지식 기반으로 찾으려는 노력이 필요하며, 피부색 블록이 다수가 추출된 영상으로 얼굴 추적에 실패한 영상의 경우 인접하는 피부색 블록과 결합 블록을 구성하여 얼굴을 다시 추적하는 노력이 필요한 것으로 보인다. 또한 프레임과 프레임 사이에서 얼굴 추적에 실패한 경우 앞의 프레임에서 찾은 얼굴 정보를 바탕으로 추적하는 지식 기반 추적 노력도 필요한 것으로 보인다.
- 향후 연구 과제로 피부색 추정에 도움이 되는 환경 적응적 조명 보정에 대한 연구와 조명의 영향 등의 이유로 일부 얼굴이 추출될 경우 지능을 바탕으로 나머지를 추정하여 추출해 내는 연구와 옆면 얼굴도 추적하는 연구가 필요한 것으로 사료된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.