[논문]키넥트 센서를 이용한 실용적인 3차원 안면 진단기 연구

장준수; 도준형; 김장웅; 남지호

doi:10.15188/kjopp.2015.06.29.3.218

키넥트 센서를 이용한 실용적인 3차원 안면 진단기 연구
Study on the Practical 3D Facial Diagnosis using Kinect Sensors 원문보기

동의생리병리학회지 = Journal of physiology & pathology in Korean Medicine, v.29 no.3, 2015년, pp.218 - 222

장준수 (한국한의학연구원 한의기반연구부) , 도준형 (한국한의학연구원 한의기반연구부) , 김장웅 (한국한의학연구원 한의기반연구부) , 남지호 (한국한의학연구원 한의기반연구부)

Abstract ▼ AI-Helper

Facial diagnosis based on quantitative facial features has been studied in many Korean medicine fields, especially in Sasang constitutional medicine. By the rapid growing of 3D measuring technology, generic and cheap 3D sensors, such as Microsoft Kinect, is popular in many research fields. In this study, the possibility of using Kinect in facial diagnosis is examined. We introduce the development of facial feature extraction system and verify its accuracy and repeatability of measurement. Furthermore, we compare Sasang constitution diagnosis results between DSLR-based system and the developed Kinect-based system. A Sasang constitution diagnosis algorithm applied in the experiment was previously developed by a huge database containing 2D facial images acquired by DSLR cameras. Interrater reliability analysis result shows almost perfect agreement (Kappa = 0.818) between the two systems. This means that Kinect can be utilized to the diagnosis algorithm, even though it was originally derived from 2D facial image data. We conclude that Kinect can be successfully applicable to practical facial diagnosis.

주제어

AI 본문요약
AI-Helper

문제 정의

이러한 이유로 안면 진단에 있어서 3차원 측정 기기의 사용이 선호되고 있다. 본 연구도 실제 크기 정보 측정을 위해서 기존의 2차원 측정방법을 3차원 측정으로 대체하여 그 활용성을 확인하는 것을 목적으로 한다.
본 연구에서는 3차원 계측의 장점 중 하나인 실제 길이 측정의 용이성을 활용하여 기존의 2차원 안면 진단이 Kinect와 같은 3차원 측정 방법으로 대체될 수 있는지 알아보았다. 2차원 기반 방법과의 진단 일치도 비교를 위해서 3차원 측정에서만 활용할 수 있는 곡면 길이, 형태 등의 새로운 얼굴 특징은 활용되지 못하였으나 이는 향후 과제를 통하여 발전시켜 나가야 할 것이다.
본 연구에서는 3차원 측정기기의 일종인 Microsoft사의 Kinect 센서를 활용한 안면 진단 가능성을 보고자 한다. Kinect 센서는 Microsoft Xbox 게임기용 모션 인식센서로 나왔지만, 추후 3차원 측정 등의 다양한 목적에 활용될 수 있도록 독립 센서로 판매되어 전 세계 대학 및 연구소에서 관련 연구가 활발히 진행되고 있다11,12).
따라서 기존의 2차원 데이터 기반으로 만들어진 진단 알고리즘을 3차원 측정에서도 이용할 수 있는지 살펴보는 것이 중요하다. 이에 본 논문에서는 가정이나 소규모 한의원에서도 사용 가능한 실용적인 3차원 안면 진단기 개발을 위해서, Kinect 센서를 이용한 안면 측정 및 특징 추출 프로그램 개발 결과를 소개하고 기존의 진단 알고리즘에 적용 가능함을 보인다.

제안 방법

Kinect 센서는 SDK를 활용하여 실험 목적에 맞는 다양한 소프트웨어 개발이 용이하며, 본 연구에서도 SDK를 기반으로 3차원 측정을 위한 소프트웨어를 개발하여 사용하였다.
자세한 특징점과 특징값의 정의는 기존연구에 정리되어 있으며6) 본 연구에서도 동일한 것을 사용한다. 안면 영상에서 다양한 패턴 인식 기술을 활용하여 개발된 소프트웨어를 이용하여 특징값을 자동 추출한다15,16). 안면 특징값 중에 측정 거리(깊이)에 따라 영상에서 그 값이 변화하는 특징인 길이, 면적 특징값은 추후 깊이 추정을 통하여 변환이 필요하다.
측정 정확도를 확보하기 위해서 카메라 보정을 수행하였다. 총 24장의 격자 패턴 영상을 이용하여 카메라 보정을 수행하여, 보정후 reprojection error가 0.3 픽셀 이하로 유지됨을 확인하였다. 카메라 보정 프로그램은 OpenCV14) 카메라 보정 함수를 활용하여 구현하였다.
안면의 특징점 추출은 기본적으로 2D 영상에서 수행한다. 특징점들은 안면의 주요 위치에 해당하는 사전에 정의된 점들이며, 점들의 조합을 이용하여 길이, 각도, 면적, 비율 등의 특징값을 추출한다. 자세한 특징점과 특징값의 정의는 기존연구에 정리되어 있으며6) 본 연구에서도 동일한 것을 사용한다.

대상 데이터

본 연구에 활용한 Kinect 센서는 Kinect for windows v1으로 구조광 방식의 3차원 카메라이다. Kinect 센서는 일반 가시광선 카메라와 IR 구조광을 발생시키는 부분 및 IR 신호를 감지하는 카메라가 결합되어 있다.

데이터처리

Kinect 측정의 정확도를 알아보기 위해서 남, 녀 얼굴 모형을 10회 측정하여 결과를 분석하였다. Fig.
2). 같은 길이에 대해서 Kinect로 각 모형 당 10회 측정 평균값을 구하여 버니어 캘리퍼스로 측정한 값과의 오차를 계산하고 표준편차 및 변동계수를 분석한다.
진단 일치도 분석을 위해서 5명의 피험자에 대해서 DSLR 및 Kinect로 각 10회 안면 데이터 촬영을 하고 평가자간 일치도(Kappa) 분석을 수행한다.
총 5명의 피험자에 대해서 SCAT의 안면 체질진단 알고리즘6)을 활용하여 DSLR 카메라로 10회 측정(SCAT의 표준작업절차를 따름)한 결과와 Kinect로 10회 측정한 결과를 비교하였다.

이론/모형

Kinect 센서는 얼굴의 외곽부근에서 깊이값을 정확히 제공해 주지 못하므로, 안면 영역 내부의 눈, 코 등의 좌표에서 깊이값을 평균하여 안면 대표 깊이를 계산하고, 얼굴 외곽선에 관계된 길이 특징값들은 추가적인 깊이 보정을 통해서 계산한다10). 깊이값을 이용한 영상좌표와 실제좌표 변환은 pin-hole 카메라 모델을 이용하여 식 (2)와 같이 계산한다.
카메라 보정 프로그램은 OpenCV14) 카메라 보정 함수를 활용하여 구현하였다. 렌즈 왜곡 보정을 위해서 수식 (1)과 같은 광학 중심에서 거리 r에 비례하는 형태의 모델을 사용하였다.
실제 피험자를 대상으로 측정 정확도를 분석하기 이전에 참값을 비교적 정확하게 알기 쉬운 얼굴 모형을 이용하여 Kinect 측정 정확도 및 반복도 평가를 수행한다. 1280*960 해상도에서 수행하며, 2개의 얼굴 모형에 대해서 3종류 길이 값을 버니어 캘리퍼스로 수동 측정한 값을 참값으로 설정한다.

성능/효과

측정 하드웨어나 방식의 변화로 인해서 과거에 축적된 임상 데이터를 이용하여 만들어진 진단 알고리즘을 활용하기 힘들다면, 새로운 측정 방법의 활용도는 제약될 수밖에 없다. Kinect 센서는 과거의 2차원 기반 진단 알고리즘을 그대로 활용하는 데 무리가 없음을 보였다.
기존의 스테레오 카메라를 이용한 안면 측정의 경우 평균 2 mm 내외의 오차를 가진 것으로 보고되었는데8), 본 연구에서는 실제 길이값 특징에 대해서 제한적인 3차원 정보를 활용하였으므로 직접적인 비교는 어렵다. Kinect를 이용한 안면 3차원 측정에 대한 오차는 카메라 보정의 정확도 향상11)과 얼굴 모델링 기법12) 활용을 통해서 본 연구에서는 활용하지 못한 다양한 3차원 특징에 대해서도 1 mm 오차 수준의 확보가 가능한 것으로 보인다.
기존의 DSLR에 의한 SCAT 안면 진단과 Kinect에 의한 SCAT 안면 진단의 일치도는 Kappa 값 0.818로 매우 일치하는 수준이었다. 이는 SCAT에 바로 Kinect가 활용될 수 있음을 보여준다.
안면을 통한 소음인과 소양인의 분류는 아직까지 태음인의 경우보다 그 반복성이 떨어지는데 이는 DSLR에 의한 SCAT과 Kinect에 의한 SCAT 모두에 해당하며, 결과적으로 소음인과 소양인 분류에 있어서 진단 일치도가 떨어지는 것을 확인하였다. 본 연구에서 초점으로 두는 안면의 주요 길이 특징값은 두 측정 방법에서 1 mm 수준의 차이를 보인 것으로 볼 때, 진단 일치도 감소에 미치는 영향은 미약하다고 볼 수 있다. 소음인과 소양인의 안면 진단 반복성 개선을 위해서는 동일인에 대해서 쉽게 변화하는 안면 특징에 둔감한 진단 알고리즘 연구가 수행되어야 할 것이다.
안면을 통한 소음인과 소양인의 분류는 아직까지 태음인의 경우보다 그 반복성이 떨어지는데 이는 DSLR에 의한 SCAT과 Kinect에 의한 SCAT 모두에 해당하며, 결과적으로 소음인과 소양인 분류에 있어서 진단 일치도가 떨어지는 것을 확인하였다. 본 연구에서 초점으로 두는 안면의 주요 길이 특징값은 두 측정 방법에서 1 mm 수준의 차이를 보인 것으로 볼 때, 진단 일치도 감소에 미치는 영향은 미약하다고 볼 수 있다.
818로 매우 일치하는 수준이었다. 이는 SCAT에 바로 Kinect가 활용될 수 있음을 보여준다. 측정 하드웨어나 방식의 변화로 인해서 과거에 축적된 임상 데이터를 이용하여 만들어진 진단 알고리즘을 활용하기 힘들다면, 새로운 측정 방법의 활용도는 제약될 수밖에 없다.
측정기기로서의 성능은 얼굴의 주요 길이 특징에 대해서 0.5~1.4 mm 수준의 오차를 보였으며, 변동계수는 2% 이하로 반복성도 높은 것으로 확인되었다. 고가의 3D 측정장치에 비하면 정확도가 떨어질 수는 있지만, 그 차이는 3D 카메라 시장의 급격한 발전에 따라서 좁혀지고 있으며, 현재 성능으로도 충분히 체질진단 등의 임상 적용이 가능한 수준으로 판단된다.

후속연구

본 연구에서는 3차원 계측의 장점 중 하나인 실제 길이 측정의 용이성을 활용하여 기존의 2차원 안면 진단이 Kinect와 같은 3차원 측정 방법으로 대체될 수 있는지 알아보았다. 2차원 기반 방법과의 진단 일치도 비교를 위해서 3차원 측정에서만 활용할 수 있는 곡면 길이, 형태 등의 새로운 얼굴 특징은 활용되지 못하였으나 이는 향후 과제를 통하여 발전시켜 나가야 할 것이다.
Kinect를 비롯한 범용 3D 카메라 시장이 폭발적으로 성장하고 있는데, 가정이나 소규모 한의원에서도 사용 가능한 저가격의 실용적인 안면 진단기 개발을 위해서 적극적으로 최신 3D 측정 기술을 도입할 필요가 있을 것이다.
본 연구에서 초점으로 두는 안면의 주요 길이 특징값은 두 측정 방법에서 1 mm 수준의 차이를 보인 것으로 볼 때, 진단 일치도 감소에 미치는 영향은 미약하다고 볼 수 있다. 소음인과 소양인의 안면 진단 반복성 개선을 위해서는 동일인에 대해서 쉽게 변화하는 안면 특징에 둔감한 진단 알고리즘 연구가 수행되어야 할 것이다.
이는 SCAT에 바로 Kinect가 활용될 수 있음을 보여준다. 측정 하드웨어나 방식의 변화로 인해서 과거에 축적된 임상 데이터를 이용하여 만들어진 진단 알고리즘을 활용하기 힘들다면, 새로운 측정 방법의 활용도는 제약될 수밖에 없다. Kinect 센서는 과거의 2차원 기반 진단 알고리즘을 그대로 활용하는 데 무리가 없음을 보였다.

참고문헌 (16)

Lee, E.J., Sohn, E.H., Yoo, J.H., Kim, J.W., Kim, K.K., Koh, B.H., Song, I.B. The study of sasangin’s face. J. of Sasang Constitutional Medicine 17(3):55-68, 2005.
Jang, A.R., Jeon, S.H., Park, S.J., Lee, H.M., Kim, K.K., Lee, Y.T., Ji, G.Y., Lee, I.S., Kim, J.W. A Study on the Relationship between Hyungsang Classification and Sasang Constitutional Diagnosis. J. of Sasang Constitutional Medicine 22(3):75-86, 2010.
Lee, S.Y., Koh, B.H., Lee, E.j., Lee, J.H., Hwang, M.W. Systematic Review on Researches of Sasang Constitution Diagnosis Using Facial Feature. J. of Sasang Constitutional Medicine 24(4):17-27, 2012.

원문보기 상세보기
Koh, B.H., Song, I.B., Cho, Y.J., Choi, C.S., Kim, J.W., Hong, S.C., Lee, E.J., Lee, S.Y., Seo, J.S. A Morphologic Study of head and face for Sasang Constitution. J. of Sasang Constitutional Medicine 8(1):101-186, 1996.
Hong, S.C., Lee, E.J., Lee, S.K., Han, G.H., Kho, B.H., Song, I.B. A morphological study for objectification of the Sasang Constitution diagnosis On the So-eumin. J. of Sasang Constitutional Medicine 10(1):171-180, 1998.
Do, J.H., Jang, E.S., Ku, B.C., Jang, J.S., Kim, H.G., Kim, J.Y. Development of an integrated Sasang constitution diagnosis method using face, body shape, voice, and questionnaire information. BMC Complementary and Alternative Medicine 12: 85, 2012.

상세보기
Hong, S.C., Lee, S.K., Song, I.B. A morphological study of upper face according to the sasang constitution. J. of Sasang Constitutional Medicine. 10(1):161-170, 1998.
Suk, J.H., Cho, K.R., Cho, Y.B., Yoo, J.H., Kwak, C.K., Lee, S.K. An error examination of 3D Face Automatic Recognition. J. of Sasang Constitutional Medicine. 18(2):41-49, 2006.
http://www.morpheus3d.co.kr/wp/kr/hardware/neoscanner/
Do, J.H., Ku, B.C., Jang, J.S., Kim, H.G., Kim, J.Y. Analysis of Sasang constitutional types using facial features with compensation for photographic. Integrative Medicine Research. 1(1):26-35, 2012.

상세보기
Khoshelham, K., Elberink, S.O. Accuracy and resolution of Kinect depth data for indoor mapping applications, Sensors 12: 1437-1454, 2012.

상세보기
Wang, R., Hernandez, M., Choi, J., Medioni, G. Accurate 3D face and body modeling from a single fixed Kinect. Proc. of the 4th International Conference on 3D Body Scanning Technologies (3DBST 2013), 2013.
Baek, Y.H., Jin, H.J., Kim, H.S., Jang, E.S., Lee, S.W. An, Overview on the Construction of Korea Constitutional Multicenter Bank for Sasang Constitutional Medicine. J. of Sasang Constitutional Medicine. 24(2):47-53, 2012.

원문보기 상세보기
http://www.opencv.org/
Jang, J.S., Do, J.H., Kim, J.Y. Upper eyelid shape extraction using polynomial curves. Proc. of IEEK summer Conf. pp 1726-1727, 2011.
Do, J.H., Jang, J.S., Kim, S.G., Kim, J.Y. Detection of iris center point by means of Histogram-based filtered mask and donut-shaped template. Proc. of IEEK summer Conf. pp 1724-1725, 2011.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증