[논문]증강현실 기법을 이용한 초음파 미용기의 조사 위치 표시

강문호

doi:10.5762/kais.2020.21.9.25

증강현실 기법을 이용한 초음파 미용기의 조사 위치 표시
Display of Irradiation Location of Ultrasonic Beauty Device Using AR Scheme 원문보기

한국산학기술학회논문지 = Journal of the Korea Academia-Industrial cooperation Society, v.21 no.9, 2020년, pp.25 - 31

강문호 (선문대학교 정보통신학과)

초록
AI-Helper

본 연구에서는 휴대용 초음파 피부 미용기 사용시 집속 초음파의 조사 위치를 증강현실 (Augmented Reality: AR) 기법을 통해 사용자에게 보여주어 안전하게 셀프시술을 하도록 하는 안드로이드 앱을 개발하고 시험을 통해 유용성을 보인다. 사용자가 초음파 미용기로 얼굴 부위를 시술하는 동안에 스마트폰 카메라를 통해 사용자의 얼굴과 얼굴위의 초음파 조사 위치를 실시간 검지한 후, 얼굴 영상위에 조사 위치를 표시하여 사용자에게 보여줌으로서, 초음파가 동일한 부위에 과도하게 중복되어 조사되지 않도록 한다. 이를 위해 ML-Kit를 이용하여 사용자 얼굴의 랜드마크(landmark)들을 실시간 검지하고 얼굴형상 기준 모델과 비교하여 얼굴의 회전과 이동 등의 자세를 추정한다. 미용기의 초음파 조사부위에 LED를 장착하고 조사 중에 작동시킨 후, LED의 불빛의 위치를 탐색하여 스마트폰 화면상의 초음파 조사 위치를 알아내고, 추정된 자세정보를 토대로 얼굴 영상위에 조사 위치를 정합시켜 표시한다. 앱에서 수행되는 각 작업들을 스레드와 타이머를 통해 구현하여 전체 작업이 75ms 이내에서 실행된다. 시험 결과, 120개의 초음파 조사 위치를 정합하고 표시하는 데 걸린 시간은 25ms 이하이고, 얼굴이 크게 회전하지 않는 경우 표시 정확도는 20mm 이내 임을 알 수 있다.

Abstract ▼ AI-Helper

In this study, for the safe use of a portable ultrasonic skin-beauty device, an android app was developed to show the irradiation locations of focused ultrasound to a user through augmented reality (AR) and enable stable self-surgery. The utility of the app was assessed through testing. While the user is making a facial treatment with the beauty device, the user's face and the ultrasonic irradiation location on the face are detected in real-time with a smart-phone camera. The irradiation location is then indicated on the face image and shown to the user so that excessive ultrasound is not irradiated to the same area during treatment. To this end, ML-Kit is used to detect the user's face landmarks in real-time, and they are compared with a reference face model to estimate the pose of the face, such as rotation and movement. After mounting a LED on the ultrasonic irradiation part of the device and operating the LED during irradiation, the LED light was searched to find the position of the ultrasonic irradiation on the smart-phone screen, and the irradiation position was registered and displayed on the face image based on the estimated face pose. Each task performed in the app was implemented through the thread and the timer, and all tasks were executed within 75 ms. The test results showed that the time taken to register and display 120 ultrasound irradiation positions was less than 25ms, and the display accuracy was within 20mm when the face did not rotate significantly.

주제어

표/그림 (11)

그림 Fig. 1. Face and face landmark detection
그림 Fig. 2. Face and face landmark detection (while the ultrasonic beauty device is used)
그림 Fig. 3. Face-landmark movement
그림 Fig. 4. Facial contour expansion (a)without expansion (b)∼(d)with expansion (scaling with seek-bar)
그림 Fig. 5. Detection of ultrasonic irradiation position (a∼c) ((d) prototype of ultrasonic beauty device)
그림 Fig. 6. Procedure of estimation and display of ultrasonic-irradiation location
표 Table 1. Smart-phone specifications and camera-frame size
표 Table 2. landmarks of the 3D face model
그림 Fig. 7. Display of ultrasonic-irradiation locations according to face poses (ultrasonic irradiation on a 19mm pad)
그림 Fig. 8. Display of 120 ultrasonic-irradiation locations according to face poses
표 Table 3. Execution time of each task of the app

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 육안으로 보이지 않는 집속 초음파의 조사 위치를 증강현실을 통해 사용자에게 보여주어 안정한 셀프 시술이 가능하도록 하는 안드로이드 앱을 개발하고 시험을 통해 유용성을 보였다. 본 연구의 수행 내용과 결과는 다음과 같다.
본 연구에서는 휴대용 초음파 피부 미용기 사용시, 육안으로 보이지 않는 집속 초음파의 조사 위치를 증강현실 (Augmented Reality : AR) [2,3] 기법을 통해 사용자에게 보여주어 안전하게 셀프 시술을 하도록 하는 안드로이드 앱을 개발하고 시험을 통해 유용성을 보인다. 사용자가 초음파 미용기를 사용하는 동안, 스마트폰과 태블릿PC 등 모바일 장치의 카메라를 통해 사용자의 얼굴과 얼굴위의 초음파 조사 위치를 실시간 식별하여 사용자에게 보여주어, 셀프 시술 시 초음파의 과도한 중복 조사로 인한 통증 유발이나 시술이 고르게 이루어지지 않는 문제점들을 해결한다.

제안 방법

(1) Dlib와 ML-Kit를 이용하여 얼굴 윤곽을 검지하고 특성을 비교하여, 장애물에 대해 상대적으로 우수한 성능을 보인 ML-Kit를 기준 검지 방식으로 채택했다.
(2) 얼굴의 기울기를 바탕으로 얼굴의 상단부 랜드마크들의 위치를 조절하여, 전체 얼굴 영역에 대한 윤곽을 알아냈다.
이를 위해 ML-Kit [4]를 이용하여 사용자 얼굴과 얼굴의 특징점 (landmark) 들을 실시간 검지하고, 기준 얼굴 모델과 비교하여 얼굴의 회전과 이동 등의 자세를 추정한다 [5-7]. 미용기의 초음파가 조사되는 부위에 LED를 장착하고 조사 중에 작동시킨 후, LED의 불빛의 위치를 탐색하여 스마트폰 화면상의 초음파 조사 위치를 알아내고, 추정된 자세정보를 토대로 얼굴 영상위에 조사 위치를 정합시켜 원 또는 기타 이미지로 표시한다. 얼굴 영상 위의 동일한 부위에서 LED 불빛이 재차 검지되면 이미지의 색을 점점 진하게 하여 중복 조사되는 량을 표시한다.
식(1)은 동차 좌표계 (homogeneous coordinates)를 이용하여 임의의 모델 랜드마크 포인트 (x′, y′, z′)와 검지된 얼굴 랜드마크 포인트 (u′, v′) 사이의 원근 투영 (perspective projection) 관계식으로 [11], 모델과 얼굴의 랜드마크들과 카메라 고유 행렬 (K)이 주어지면 회전행렬과 이동벡터 (R, t)를 추정할 수 있다. 본 연구에서는 opencv의 solvePnP 메서드를 사용하여 얼굴 자세를 구한다. 카메라 행렬에서, skew factor는 무시하고 이미지 평면의 중심은 카메라 영상 이미지의 중심과 같도록 설정하였고, 카메라 초점거리는 안드로이드 카메라 클래스에서 제공하는 메서드를 이용하여 구했다.
본 연구에서는 모바일 장치를 이용하여 실시간으로 얼굴의 랜드마크들을 검지하고 얼굴의 자세를 추정하여 얼굴 영상위에 증강 이미지를 표시해야 한다. 또한, 장애물(초음파 미용기)에 의해 얼굴의 일부가 항상 가려지는 상태이므로 검지 알고리즘이 장애물에 대해 견실한 성능을 지녀야 한다.
시술도중 표시해야 할 초음파 조사 위치의 개수는 시술이 진행됨에 따라 점점 증가한다. 본 연구에서는 초음파 조사가 탐지될 때마다 조사 지점의 스마트폰 화면 (2D 이미지 평면) 좌표에 대한 3D 월드 좌표를 구하여 버퍼 어레이에 순차적으로 저장해 둔다. 이때, 계산된 3D 좌표 값을 어레이에 저장되어 있는 이전 좌표 값들과 비교하여 좌표 값 차이가 특정 범위 이내에 있는 경우에는 새로운 좌표 값을 저장하지 않고 이전 좌표에 대한 중복 횟수만 증가시켜 저장해 둔다.
또한, 장애물(초음파 미용기)에 의해 얼굴의 일부가 항상 가려지는 상태이므로 검지 알고리즘이 장애물에 대해 견실한 성능을 지녀야 한다. 얼굴 검지 알고리즘으로는 비올라-존스의 Harr cascade 분류기(classifier) [8]로부터 최근의 딥러닝(deep learning) [9]에 이르기까지 매우 다양한데, 본 연구에서는 상기한 요구 사항들을 고려하여 일차적으로 Dlib [10]와 ML-Kit를 이용한 얼굴검지 알고리즘을 선택하고 특성을 비교하였다. Dlib는 c++로 작성된 라이브러리로 다양한 분야에서 사용가능한 모바일 머신러닝 모듈들을 포함한다.
얼굴선 (face line)과 같은 방향으로 필요한 얼굴윤곽 확장 길이 (Δfh)가 주어지면, 왼쪽 눈과 오른쪽 눈의 바깥쪽 두 개의 랜드마크 좌표인 (xle, yle)과 (xre, yre)을 이용하여 얼굴의 수평 기울기(eye slope) αe를 계산하고, Δfh와 αe를 이용하여 임의의 랜드마크 포인트 (x, y)로부터 새로운 포인트 (x‘, y’)까지의 좌표 이동치 (Δx, Δy)을 계산한다.
사용자가 초음파 미용기를 사용하는 동안, 스마트폰과 태블릿PC 등 모바일 장치의 카메라를 통해 사용자의 얼굴과 얼굴위의 초음파 조사 위치를 실시간 식별하여 사용자에게 보여주어, 셀프 시술 시 초음파의 과도한 중복 조사로 인한 통증 유발이나 시술이 고르게 이루어지지 않는 문제점들을 해결한다. 이를 위해 ML-Kit [4]를 이용하여 사용자 얼굴과 얼굴의 특징점 (landmark) 들을 실시간 검지하고, 기준 얼굴 모델과 비교하여 얼굴의 회전과 이동 등의 자세를 추정한다 [5-7]. 미용기의 초음파가 조사되는 부위에 LED를 장착하고 조사 중에 작동시킨 후, LED의 불빛의 위치를 탐색하여 스마트폰 화면상의 초음파 조사 위치를 알아내고, 추정된 자세정보를 토대로 얼굴 영상위에 조사 위치를 정합시켜 원 또는 기타 이미지로 표시한다.
하지만 초음파 미용기로부터 얼굴 전체 영역에 걸쳐서 초음파가 조사되므로, 본 연구에서는 얼굴 전체 영역에 대한 윤곽을 알아야 한다. 이를 위해 이마의 상단부 랜드마크들의 위치를 조절하여 얼굴 윤곽을 확장할수 있도록 한다. 그림3은 얼굴 상단의 랜드마크들 중에서 한 개의 위치를 이동시키는 과정을 보인다.
미용기를 사용하는 도중 사용자의 얼굴 영상에 초음파의 조사 위치가 표시되기 위해서는 사용자 얼굴의 자세를 실시간 알아야 한다. 이를 위해, 3D 월드 좌표계에 기준 얼굴 모델을 설정하여 랜드마크 (3D face model landmark)들을 추출하고, ML-kit를 통해 검지한 얼굴 랜드마크 (2D detected face landmark)들 사이의 투영관계를 통해 얼굴의 회전과 이동 등의 자세를 구한다. 식(1)은 동차 좌표계 (homogeneous coordinates)를 이용하여 임의의 모델 랜드마크 포인트 (x′, y′, z′)와 검지된 얼굴 랜드마크 포인트 (u′, v′) 사이의 원근 투영 (perspective projection) 관계식으로 [11], 모델과 얼굴의 랜드마크들과 카메라 고유 행렬 (K)이 주어지면 회전행렬과 이동벡터 (R, t)를 추정할 수 있다.
본 연구에서는 opencv의 solvePnP 메서드를 사용하여 얼굴 자세를 구한다. 카메라 행렬에서, skew factor는 무시하고 이미지 평면의 중심은 카메라 영상 이미지의 중심과 같도록 설정하였고, 카메라 초점거리는 안드로이드 카메라 클래스에서 제공하는 메서드를 이용하여 구했다.

대상 데이터

표 1은 시험에 사용된 스마트폰의 사양과 카메라 영상의 크기를 보인다. 전체적인 앱의 수행 속도를 높이기 위해, 스마트폰 카메라 영상 (해상도 1280, 720)을 그레이 이미지로 변환하고 다운스케일 하여 기본 영상처리 이미지 (해상도 400, 225)로 사용하였다. ML-Kit는 비트맵이나 NV21 형식의 이미지로부터 얼굴 검지에 사용될 이미지(firebase vision image)를 생성하는데, NV21 이미지를 사용하는 경우 검지 속도를 향상시킬 수 있다고 알려져, 다운-스케일 그레이 이미지로부터 yuv-nv21 이미지 어레이를 생성하고 firebase vision image로 변환하여 얼굴 검지에 사용하였다.

데이터처리

currentTimeMillis()를 사용하여 측정했다. 카메라 영상의 프레임 레이트는 평균 14 fps로 openCV의 enableFpsMeter()를 이용하여 구했다.

성능/효과

(3) 증강현실 기법을 활용하여 얼굴 영상위에 초음파 조사 위치와 중복 조사되는 정도를 실시간 표시하여 사용자가 시술도중 확인할 수 있도록 하였다. 시험결과, 120개의 초음파 조사 위치를 표시하는데 걸린 시간은 25ms 이하로 확인되었다.
(4) 앱에서 수행되는 각 작업들은 스레드와 타이머들 이용하여 실행되었고, 얼굴 검지에 가장 긴 시간이 소요되어 앱의 수행 주기는 최대 75ms로 확인되 었다.
앱 프로그램은 안드로이드 장치를 대상으로 하여 앱의 작업 모듈들을 스레드 (thread)로 구현하고 수행 속도를 높이기 위해 일부 루틴들은 c++ ndk를 활용하여 프로그래밍 하였다. 다양한 시험을 통해 앱의 성능과 유용성을 보였고, 전체 작업이 75ms 이내에서 실행되는 것을 확인했다.
(3) 증강현실 기법을 활용하여 얼굴 영상위에 초음파 조사 위치와 중복 조사되는 정도를 실시간 표시하여 사용자가 시술도중 확인할 수 있도록 하였다. 시험결과, 120개의 초음파 조사 위치를 표시하는데 걸린 시간은 25ms 이하로 확인되었다.
시험을 통해 얼굴 자세에 따른 초음파 조사 표시 정확도를 확인한 결과, 대체적으로 양호한 결과를 보였지만 얼굴이 좌우로 회전하는 경우에는 표시 위치가 기준 위치에서 20mm 이상 벗어나는 모습을 보였다. 이는 본 연구에서 사용한 3D 얼굴 모델이 얼굴 정면에 대한 모델이기 때문으로, 얼굴 회전 시에도 정확한 결과를 얻기 위해서는 추가적으로 얼굴 측면 모델이나 또는 더욱 세밀한 3D 얼굴 모델을 사용할 필요가 있어, 앞으로 이에 대한 연구를 수행할 것이다.

후속연구

이는 본 연구에서 사용한 3D 얼굴 모델이 얼굴 정면에 대한 모델이기 때문으로, 얼굴 회전 시에도 정확한 결과를 얻기 위해서는 추가적으로 얼굴 측면 모델이나 또는 더욱 세밀한 3D 얼굴 모델을 사용할 필요가 있어, 앞으로 이에 대한 연구를 수행할 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	최근 휴대식 셀프 HIFU 미용기가 소개되는 이유는 무엇인가?	피부에 외상을 남기지 않으면서 피부의 주름 개선과 피부 리프팅 등 노화개선 효과를 이루기 위해 고강도 집속 초음파 (High Intensity Focused Ultrasound : HIFU) [1]를 적용한 장비가 의료나 뷰티기기 분야에서 사용되고 있다. 최근에는 피부미용의 관심증대로 의료나 미용기관에서만 피부시술을 받는 개념이 가정에서의 셀프 시술에 의한 피부 관리 방식으로 전환되고 있어, 휴대식 셀프 HIFU 미용기가 소개되고 있다. 하지만, HIFU 미용기는 초음파를 한 점에 집중시켜 고강도의 에너지를 발생시키는 강력 집속 초음파를 사용하기 때문에 시술시에 주의가 요구되고 안정성 확보가 필요하다.
	휴대식 셀프 HIFU 미용기 시술시에 주의가 요구되는 이유는 무엇인가?	최근에는 피부미용의 관심증대로 의료나 미용기관에서만 피부시술을 받는 개념이 가정에서의 셀프 시술에 의한 피부 관리 방식으로 전환되고 있어, 휴대식 셀프 HIFU 미용기가 소개되고 있다. 하지만, HIFU 미용기는 초음파를 한 점에 집중시켜 고강도의 에너지를 발생시키는 강력 집속 초음파를 사용하기 때문에 시술시에 주의가 요구되고 안정성 확보가 필요하다.
	고강도 집속 초음파를 적용한 장비가 의료나 뷰티기기 분야에서 사용되는 이유는 무엇인가?	피부에 외상을 남기지 않으면서 피부의 주름 개선과 피부 리프팅 등 노화개선 효과를 이루기 위해 고강도 집속 초음파 (High Intensity Focused Ultrasound : HIFU) [1]를 적용한 장비가 의료나 뷰티기기 분야에서 사용되고 있다. 최근에는 피부미용의 관심증대로 의료나 미용기관에서만 피부시술을 받는 개념이 가정에서의 셀프 시술에 의한 피부 관리 방식으로 전환되고 있어, 휴대식 셀프 HIFU 미용기가 소개되고 있다.

참고문헌 (11)

G. T. Haar and C. Coussios, "High intensity focused ultrasound: Physical principles and devices", International Journal of Hyper-thermia, vol. 23, no. 2, pp. 89-104, 2007. DOI: https://doi.org/10.1109/LSP.2014.2338911

상세보기
D. Schmalstieg and T. Hollerer, Augmented Reality, Principles and Practice, Addison-Wesley, pp. 78-84, 2016.
S. Aukstakalnis, Practical Augmented Reality: A Guide to the Technologies, Applications, and Human Factors for AR and VR, Addison-Wesley, pp. 227-329, 2016.
Karthkeyan NG, Machine Learning Projects for Mobile Applications, pp. 85-108, Packt, 2018.
A. Kumar et al., "Face detection techniques: a review", Artificial Intelligence Review, 52, pp. 927-948, 2019. DOI: https://doi.org/10.1007/s10462-018-9650-2

상세보기
J. Shin and D. Kim, "Hybrid Approach for Facial Feature Detection and Tracking under Occlusion", IEEE Signal Processing Letters, vol. 21, no. 12, pp. 1486-1490, Dec. 2014. DOI: https://doi.org/10.1109/LSP.2014.2338911

상세보기
D. Han et al., "Design and Implementation of Real-time High Performance Face Detection Engine", The Institute of Electronics Engineers of Korea-SP, vol. 47, no. 2, pp. 33-44, 2010.
P. Viola and M. Jones, "Rapid object detection using a boosted cascade of simple features", Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 511-518, 2001. DOI: https://doi.org/10.1109/LSP.2014.2338911
D. Garg et al., "A Deep Learning Approach for Face Detection using YOLO", IEEE Punecon, pp. 1-4, 2018. DOI: https://doi.org/10.1109/LSP.2014.2338911
A. Rosebrock, Facial landmarks with dlib, OpenCV, and Python, https://www.pyimagesearch.com/2017/04/03/facial-la ndmarks-dlib-opencv-python/ 2017.
R. Laganiere, OpenCV Computer Vision Application Programming Cookbook, 2nd Edition, Packt, pp. 281-313, 2014.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증