Development of a prediction model on detecting developmental disabilities in preschool-age children through face expression-driven deep learning in mobile application원문보기
황상호
(Graduate School, Yonsei University
Department of Digital Analytics
국내석사)
발달장애는 신체, 학습, 언어 또는 행동 영역 중 적어도 한 분야의 발달에 있어서 장애를 보이는 현상을 의미하며 개인과 가족 모두의 삶에 부정적인 영향을 미치는 질병이다. 발달장애의 조기식별과 개입은 고통받는 아동의 장기적인 결과를 개선하는데 중요하다. 기존의 발달장애 식별도구는 설문기반의 도구이기 때문에 검사 시간이 오래 소요되고 판단을 위한 숙련된 전문가가 필요하다. 반면 모바일 기반의 선별도구는 검사자가 쉽게 접근할 수 있고 전문가가 필요 없기 때문에 빠른 선별이 가능하다. 또한, 최근 특수 카메라를 활용한 안면의 표정이나 감정 인식을 통한 발달장애 선별 연구가 진행됐는데, 본 논문에서는 모바일 어플리케이션의 일반 카메라를 통해 녹화된 영상에서 안면의 변화와 머리의 움직임 등의 정보를 추출하여 비식별화된 데이터로 발달장애를 분류하고 발달장애 아동과 정상 아동 간의 차이를 확인해 기존 선별도구보다 접근성이 높은 모바일 선별도구의 가능성을 확인하고자 했다. 89명의 어린이 (발달장애 33명, 정상아동 56명)가 분석 대상이었으며 안면 녹화영상에서 특징점인 facial landmark를 추출하고 Bidirectional ...
발달장애는 신체, 학습, 언어 또는 행동 영역 중 적어도 한 분야의 발달에 있어서 장애를 보이는 현상을 의미하며 개인과 가족 모두의 삶에 부정적인 영향을 미치는 질병이다. 발달장애의 조기식별과 개입은 고통받는 아동의 장기적인 결과를 개선하는데 중요하다. 기존의 발달장애 식별도구는 설문기반의 도구이기 때문에 검사 시간이 오래 소요되고 판단을 위한 숙련된 전문가가 필요하다. 반면 모바일 기반의 선별도구는 검사자가 쉽게 접근할 수 있고 전문가가 필요 없기 때문에 빠른 선별이 가능하다. 또한, 최근 특수 카메라를 활용한 안면의 표정이나 감정 인식을 통한 발달장애 선별 연구가 진행됐는데, 본 논문에서는 모바일 어플리케이션의 일반 카메라를 통해 녹화된 영상에서 안면의 변화와 머리의 움직임 등의 정보를 추출하여 비식별화된 데이터로 발달장애를 분류하고 발달장애 아동과 정상 아동 간의 차이를 확인해 기존 선별도구보다 접근성이 높은 모바일 선별도구의 가능성을 확인하고자 했다. 89명의 어린이 (발달장애 33명, 정상아동 56명)가 분석 대상이었으며 안면 녹화영상에서 특징점인 facial landmark를 추출하고 Bidirectional Long Short Term Memory (BiLSTM) 기반 딥러닝 발달장애 분류를 수행했다. 계층화된 교차 검증을 통한 모델의 정확도, 정밀도, 재현율, F1-score는 각각 평균 88%, 91%, 77%, 83%를 기록했다. 그리고 해석가능한 인공지능 기법을 통해 모델의 예측을 해석하고 통계적 검증을 통해 발달장애 아동과 정상 아동 간의 차이가 존재하는 변수를 확인했으며 모델의 성능은 기존의 표준화된 선별도구의 성능에 뒤쳐지지 않는 것을 확인했다. 본 논문은 특수 목적의 카메라가 아닌 모바일 기기에 내장된 일반 카메라로 녹화된 영상에서 민감한 정보로 알려진 안면의 이미지를 그대로 사용하지 않고 안면의 표현, 머리의 움직임 등 비식별화한 정보를 추출해 딥러닝 기법을 통한 발달장애 식별을 통해 사용자가 접근성이 높은 모바일 선별도구가 발달장애 아동을 조기에 진단하는 데 사용될 수 있다는 첫번째 증거를 제공한다.
발달장애는 신체, 학습, 언어 또는 행동 영역 중 적어도 한 분야의 발달에 있어서 장애를 보이는 현상을 의미하며 개인과 가족 모두의 삶에 부정적인 영향을 미치는 질병이다. 발달장애의 조기식별과 개입은 고통받는 아동의 장기적인 결과를 개선하는데 중요하다. 기존의 발달장애 식별도구는 설문기반의 도구이기 때문에 검사 시간이 오래 소요되고 판단을 위한 숙련된 전문가가 필요하다. 반면 모바일 기반의 선별도구는 검사자가 쉽게 접근할 수 있고 전문가가 필요 없기 때문에 빠른 선별이 가능하다. 또한, 최근 특수 카메라를 활용한 안면의 표정이나 감정 인식을 통한 발달장애 선별 연구가 진행됐는데, 본 논문에서는 모바일 어플리케이션의 일반 카메라를 통해 녹화된 영상에서 안면의 변화와 머리의 움직임 등의 정보를 추출하여 비식별화된 데이터로 발달장애를 분류하고 발달장애 아동과 정상 아동 간의 차이를 확인해 기존 선별도구보다 접근성이 높은 모바일 선별도구의 가능성을 확인하고자 했다. 89명의 어린이 (발달장애 33명, 정상아동 56명)가 분석 대상이었으며 안면 녹화영상에서 특징점인 facial landmark를 추출하고 Bidirectional Long Short Term Memory (BiLSTM) 기반 딥러닝 발달장애 분류를 수행했다. 계층화된 교차 검증을 통한 모델의 정확도, 정밀도, 재현율, F1-score는 각각 평균 88%, 91%, 77%, 83%를 기록했다. 그리고 해석가능한 인공지능 기법을 통해 모델의 예측을 해석하고 통계적 검증을 통해 발달장애 아동과 정상 아동 간의 차이가 존재하는 변수를 확인했으며 모델의 성능은 기존의 표준화된 선별도구의 성능에 뒤쳐지지 않는 것을 확인했다. 본 논문은 특수 목적의 카메라가 아닌 모바일 기기에 내장된 일반 카메라로 녹화된 영상에서 민감한 정보로 알려진 안면의 이미지를 그대로 사용하지 않고 안면의 표현, 머리의 움직임 등 비식별화한 정보를 추출해 딥러닝 기법을 통한 발달장애 식별을 통해 사용자가 접근성이 높은 모바일 선별도구가 발달장애 아동을 조기에 진단하는 데 사용될 수 있다는 첫번째 증거를 제공한다.
Early detection and intervention of developmental disabilities (DDs) are critical for improving the long-term outcomes of the afflicted children. Mobile-based applications are easily accessible and may thus help the early identification of DDs. In this paper, we aimed to identify DD by extracting un...
Early detection and intervention of developmental disabilities (DDs) are critical for improving the long-term outcomes of the afflicted children. Mobile-based applications are easily accessible and may thus help the early identification of DDs. In this paper, we aimed to identify DD by extracting unidentified information such as facial expression and head pose from face recording videos and to differentiate the characteristics between children with DD and those without. Eighty-nine children (DD, n=33; typically developing, n=56) were included in the analysis. Using the mobile-based application, we extracted facial landmarks from the recorded videos and performed Bidirectional Long Short-Term Memory (BiLSTM)-based DD classification. Stratified k-fold cross- validation showed that the average values of accuracy, precision, recall, and f1-score of the BiLSTM based deep learning model of DD children were 88%, 91%,77%, and 83%, respectively. Through the interpretation of prediction results using SHapley Additive exPlanations (SHAP), we confirmed that the nodding head angle variable was the most important variable. All of the top 10 variables of importance had significant differences in the distribution between children with DDs and those without (p<0.001). The results provide preliminary evidence that the deep-learning classification model using mobile-based children’s video data could be used for the early detection of children with DDs. And also provide evidence that they can be used as accessible models in diagnosis by extracting and analyzing information from videos obtained with common software, not special depth cameras.
Early detection and intervention of developmental disabilities (DDs) are critical for improving the long-term outcomes of the afflicted children. Mobile-based applications are easily accessible and may thus help the early identification of DDs. In this paper, we aimed to identify DD by extracting unidentified information such as facial expression and head pose from face recording videos and to differentiate the characteristics between children with DD and those without. Eighty-nine children (DD, n=33; typically developing, n=56) were included in the analysis. Using the mobile-based application, we extracted facial landmarks from the recorded videos and performed Bidirectional Long Short-Term Memory (BiLSTM)-based DD classification. Stratified k-fold cross- validation showed that the average values of accuracy, precision, recall, and f1-score of the BiLSTM based deep learning model of DD children were 88%, 91%,77%, and 83%, respectively. Through the interpretation of prediction results using SHapley Additive exPlanations (SHAP), we confirmed that the nodding head angle variable was the most important variable. All of the top 10 variables of importance had significant differences in the distribution between children with DDs and those without (p<0.001). The results provide preliminary evidence that the deep-learning classification model using mobile-based children’s video data could be used for the early detection of children with DDs. And also provide evidence that they can be used as accessible models in diagnosis by extracting and analyzing information from videos obtained with common software, not special depth cameras.
주제어
#Developmental disability Facial landmark Head pose LSTM Deep learning Explainable AI Accessibility 발달장애 안면의 변화 머리의 움직임 딥러닝 해석 가능한 인공지능 모바일 선별도구 접근성 조기진단
학위논문 정보
저자
황상호
학위수여기관
Graduate School, Yonsei University
학위구분
국내석사
학과
Department of Digital Analytics
지도교수
Yu Rang Park
발행연도
2021
총페이지
vi, 32장
키워드
Developmental disability Facial landmark Head pose LSTM Deep learning Explainable AI Accessibility 발달장애 안면의 변화 머리의 움직임 딥러닝 해석 가능한 인공지능 모바일 선별도구 접근성 조기진단
※ AI-Helper는 부적절한 답변을 할 수 있습니다.