[논문]Building Living Lab for Acquiring Behavioral Data for Early Screening of Developmental Disorders

Kim, Jung-Jun; Kwon, Yong-Seop; Kim, Min-Gyu; Kim, Eun-Soo; Kim, Kyung-Ho; Sohn, Dong-Seop

doi:10.9708/jksci.2020.25.08.047

Building Living Lab for Acquiring Behavioral Data for Early Screening of Developmental Disorders 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.25 no.8, 2020년, pp.47 - 54

Kim, Jung-Jun (Korea Institute of Robotics&Technology Convergence) , Kwon, Yong-Seop (Korea Institute of Robotics&Technology Convergence) , Kim, Min-Gyu (Korea Institute of Robotics&Technology Convergence) , Kim, Eun-Soo (Korea Institute of Robotics&Technology Convergence) , Kim, Kyung-Ho (Korea Institute of Robotics&Technology Convergence) , Sohn, Dong-Seop (Korea Institute of Robotics&Technology Convergence)

초록
AI-Helper

발달장애는 영유아 기부터 시작하는 뇌 신경계 발달장애들의 집합으로 언어 및 의사소통, 인지력, 사회성 등의 측면에서 이루어져야 할 발달이 심하게 지체되거나 성취되지 않은 장애를 의미한다. 이러한 발달장애 진단에는 아동의 얼굴 표정과 같은 감정표현의 의미와 맥락 등 비언어적 반응에 대한 관찰로 이루어진다. 이를 사람이 측정기에는 상당히 주관적인 판단이 개입하게 되어 객관적인 기술이 필요하다. 따라서 본 연구에서는 영유아/아동의 언어, 비언어적 행동 반응을 관찰하는 ADOS(Autism Diagnostic Observation Schedule)와 BeDevel(Behavior Development Screening for Toddler) 검사에서 검사자와 피검사자간의 상호작용이 녹화된 영상을 리빙랩 환경에서 획득하여 인공지능 기반의 비정상적/상동적 행동 인지 기술 개발에 필요한 영상 및 음성 데이터 확보를 목표로 한다.

Abstract ▼ AI-Helper

Developmental disorders are impairments of brain and/or central nervous system and refer to a disorder of brain function that affects languages, communication skills, perception, sociality and so on. In diagnosis of developmental disorders, behavioral response such as expressing emotions in proper situation is one of observable indicators that tells whether or not individual has the disorders. However, diagnosis by observation can allow subjective evaluation that leads erroneous conclusion. This research presents the technological environment and data acquisition system for AI based screening of autism disorder. The environment was built considering activities for two screening protocols, namely Autism Diagnostic Observation Schedule (ADOS) and Behavior Development Screening for Toddler (BeDevel). The activities between therapist and baby during the screening are fully recorded. The proposed software in this research was designed to support recording, monitoring and data tagging for learning AI algorithms.

주제어

표/그림 (9)

그림 Fig. 1. Living Lab Structure
그림 Fig. 2. System Software Structure
그림 Fig. 3. Living Lab Appearance
그림 Fig. 4. Video Tagging System UI
표 Table 1. Labeling Video Example
그림 Fig. 5. Synchronization of multiple Azure Kinect.
그림 Fig. 6. Monitoring System Recording Results.
그림 Fig. 7. Example of Autism Screening Test
그림 Fig. 8. Results of Tagging System

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

ADOS, BeDevel 검사에 소요되는 1시간 남짓의 영유아/아동의 행동을 분석하고, 각각의 행동에 대한 눈 맞춤, 호명반응 등의 사회적, 비언어적 반응을 하나씩 추출해 내는 영상 태깅 기능이 필요로 한다. 따라서 본 연구에서는 엑셀을 활용한 타임라인 기반의 영상 태깅 시스템을 구현하였다.
본 논문에서는 영유아/아동의 발달 장애 조기 선별을 위한 리빙랩 구축 및 행동, 반응 데이터 획득 방법을 제안 한다.
본 논문에서는 영유아/아동의 발달 장애 조기 선별을 위한 리빙랩 구축 및 행동, 반응 데이터 획득 방법을 제안 한다.
본 절에서는 영유아/아동의 ASD 판별을 위한 ADOS, BeDevel 검사 공간인 리빙랩 구축 방법과 행동, 반응 데이터 획득을 위한 소프트웨어 설계에 관해 설명 한다.
ASD 의심 아동의 경우 행동패턴이 매우 다양하여 검사실 내 전체 공간을 녹화 할 수 있도록 하였다. 이러한 영상을 바탕으로 검사별 시나리오에 따른 문항별로 태깅 하는 작업을 수행했다.

제안 방법

Fig. 2는 전체적인 시스템에 대한 구조도를 나타내며, 영유아/아동의 ADOS, BeDevel 검사가 진행될 때 치료사들과 아동간의 감정 및 행동 교류에 대한 정보를 추출하기 위해 검사 전체 과정을 녹화하는 모니터링 시스템과 녹화 된 영상을 바탕으로 인공지능 학습을 위한 검사 구간별 아동의 반응을 편집하는 태깅 시스템으로 나누어 구현 했다.
Kinect 7대의 영상 녹화는 SDK를 사용하여 칼라 영상의 경우 MJPG 포맷으로 1536P의 해상도, 30FPS로 설정하였다. Kinect 한 대당 SSD하나 씩 할당하여 영상을 저장하게 구현 하였다. 이 동영상에는 Kinect에서 들어오는 RGB 칼라 영상과, Depth, IR 영상을 포함하고 있으며 약 1시간 녹화에 200GB 형태의 MKV(Matroska Multimedia Container)동영상 포맷으로 저장이 된다.
모니터링 시스템은 먼저 피검사자인 영유아/아동의 식별번호, 나이, 성별, ADOS, BeDevel Type 등에 대한 정보 를 데이터 베이스에 저장했다. 개인을 식별 할 수 있는 이름을 제외하고 연구번호를 각각 부여하여 이들을 식별할 수 있도록 구현했다. Kinect 7대의 영상 녹화는 SDK를 사용하여 칼라 영상의 경우 MJPG 포맷으로 1536P의 해상도, 30FPS로 설정하였다.
음성의 경우 Kinect에 내장된 마이크를 사용하여 녹음 기능을 구현하였다. 검사실 중앙에 있는 마이크에서 음성을 녹음하여 wav 파일 형태로 출력하고, 이를 Kinect 영상 결과물인 mkv 동영상 파일에 병합하여 저장하였다.
같이 UI를 구성하였 다. 데이터베이스에 저장되어 있는 피검사자의 ADOS, BeDevel Type을 불러와 미리 만들어 놓은 샘플 엑셀 파일을 복사하고, 이를 수정하는 방식으로 구현하였다.
이를 해결하기 위해 이 시간을 더 빠르게 조정해 주면 카메라에서 빛을 모으는 시간이 줄어들어 영상이 다소 어둡게 출력되는 것을 확인하였다. 따라서 Gain 값을 높여 주어 영상의 밝기를 조정하였다.
인공지능 기반의 사람의 감정, 행동 인식 기술이 발전 하면서 이를 활용한 ASD 치료에 관한 연구가 진행되고 있다. 로봇을 활용한 ASD 치료는 아동과 로봇간의 상호작용에서 아동의 표정 변화, 포즈 및 제스처 등에 대한 데이터를 획득하고, 이를 인공지능 기술로 분석하였다[12]. 로봇 위에 Kinect V2 카메라 한 대만을 사용하여 아동이 자리를 벗어나거나 카메라에 보이지 않을 경우 데이터 획득이 어렵다는 단점이 있다.
모니터링 시스템은 먼저 피검사자인 영유아/아동의 식별번호, 나이, 성별, ADOS, BeDevel Type 등에 대한 정보 를 데이터 베이스에 저장했다. 개인을 식별 할 수 있는 이름을 제외하고 연구번호를 각각 부여하여 이들을 식별할 수 있도록 구현했다.
태깅에 대한 결과는 ADOS, BeDevel 각각에 대한 엑셀 파일을 Table 1과 같은 형식으로 치료사들이 만들고, 이 엑셀 파일을 태깅 시스템에서 Import하여 해당하는 타임 라인에 맞게 편집되어 Fig 8과 같이 영상파일들로 결과가 출력된다. 본 연구에 참여하는 치료사들에 따라 데이터의 Bias를 줄이기 위해 정성적 항목들은 배제하고, 정량적으로 구분이 가능하고, 기술적으로 구현이 가능한 표정변화 인식, 치료사들과의 눈 맞춤, 호명반응, 행동반응 등의 항목들로 태깅을 하였다.
본 논문에서는 영유아/아동의 발달 장애 조기 선별을 위한 리빙랩 구축 및 행동, 반응 데이터 획득 방법을 제안한다. 실제 영유아/아동의 검사를 진행할 리빙랩을 구축하는 방법과 인공지능 기반 학습 데이터를 확보하기 위한 데이터 획득 방법을 제시 하였다. 국내에서 아직 확보 되지 못한 영유아/아동의 ASD 조기선별에 대한 Dataset을 구축하고, ASD를 판별하는데 필요한 행동반응에 대한 정보를 본 연구를 통해 획득 할 수 있다.
엑셀파일은 Table 1.과 같은 형태로 ADOS, BeDevel 검사 2가지 방식으로 나누어져 있으며, 검사를 진행했던 치료사들이 녹화된 영상을 재생하면서 검사지에 채점했던 문항들에 대한 영상의 타임라인을 시작-끝 시간으로 입력 하도록 하였다. 이 파일들을 태깅 시스템에서 불러와서 MKVToolNix를 사용하여 Kinect1부터 7번에 해당하는 영상을 타임라인에 맞게 편집되어 저장하였다[14].
각 Kinect에서는 RGB영상과 Depth, IR 등 3개의 영상을 획득하였다. 음성의 경우 Kinect 하드웨어에 포함 되어 있는 마이크를 사용하여 녹음을 하였다.
과 같은 형태로 ADOS, BeDevel 검사 2가지 방식으로 나누어져 있으며, 검사를 진행했던 치료사들이 녹화된 영상을 재생하면서 검사지에 채점했던 문항들에 대한 영상의 타임라인을 시작-끝 시간으로 입력 하도록 하였다. 이 파일들을 태깅 시스템에서 불러와서 MKVToolNix를 사용하여 Kinect1부터 7번에 해당하는 영상을 타임라인에 맞게 편집되어 저장하였다[14]. 저장된 영상들에 대한 정보는 엑셀파일과 텍스트 파일 형태로 저장하여 향후 학습에 사용 할 때 어떤 정보가 들어 있는지 쉽게 확인 할 수 있도록 구현 하였다.
이러한 IR 패턴 간섭을 최대한 줄이기 위해 Azure Kienct에서 하드웨어적으로 제공하는 3.5mm 싱크 포트에 케이블을 연결하여 Master-Slave 카메라를 설정하고 카메라당 약 160(microsecond, μs)의 지연시간을 두어 Fig 4.의 아래쪽 그림과 같이 파란색으로 표시한 Kinect 2대에서 빛이 더 이상 새어나오지 않게 지연 시간을 조정해 주었다.
이 파일들을 태깅 시스템에서 불러와서 MKVToolNix를 사용하여 Kinect1부터 7번에 해당하는 영상을 타임라인에 맞게 편집되어 저장하였다[14]. 저장된 영상들에 대한 정보는 엑셀파일과 텍스트 파일 형태로 저장하여 향후 학습에 사용 할 때 어떤 정보가 들어 있는지 쉽게 확인 할 수 있도록 구현 하였다.
검사실에는 모니터TV와 마이크로소프트에서 출시한 RGB-D카메라인 Azure Kinect 7대, Axis ip카메라 7대를 설치하였다. 카메라들의 화각을 고려하여 검사실 전체 영역에 대해 치료사와 영유아/아동의 행동반응을 녹화할 수 있도록 배치하였다.

대상 데이터

본 연구에서의 결과물은 총 15개의 영상 음성 파일로 구성된다. 7대의 Kinect 영상파일은 각각 하나씩 나오게 되지만 내부의 파일에는 Color, Depth, IR 총 3개의 영상을 포함하고 있다. Depth 영상의 경우 밀폐된 공간에서의 7대 Kinect 카메라가 동작하기 때문에 서로 다른 카메라에 대해 간섭이 생기는 현상이 발생 할 수 있다.
3은 실제 검사공간의 모습으로 벽면과 천장, 선반에 카메라를 고정시킨 모습이다. Kinect 카메라와 ip카메라를 한 쌍으로 거의 동일한 위치에 고정하여 영상을 획득하도록 구성했다.
모니터링 시스템의 결과물로는 Fig 6에서 보이듯이, ip 카메라 영상 7개와 7개의 Kinect 이미지 영상으로 이루어 진다. 각 Kinect에서는 RGB영상과 Depth, IR 등 3개의 영상을 획득하였다. 음성의 경우 Kinect 하드웨어에 포함 되어 있는 마이크를 사용하여 녹음을 하였다.
검사실에는 모니터TV와 마이크로소프트에서 출시한 RGB-D카메라인 Azure Kinect 7대, Axis ip카메라 7대를 설치하였다. 카메라들의 화각을 고려하여 검사실 전체 영역에 대해 치료사와 영유아/아동의 행동반응을 녹화할 수 있도록 배치하였다.
리빙랩 전체 공간은 가로 약 4m, 세로 약 6m 정도의 크기로, 실제 영유아/아동을 대상으로 ADOS, BeDevel 검사를 실시하는 검사실과 검사실을 다수의 카메라로 모니터링 하고 영상을 녹화하는 사무실로 구성된다. Fig.
모니터링 시스템의 결과물로는 Fig 6에서 보이듯이, ip 카메라 영상 7개와 7개의 Kinect 이미지 영상으로 이루어 진다. 각 Kinect에서는 RGB영상과 Depth, IR 등 3개의 영상을 획득하였다.
본 연구에서의 결과물은 총 15개의 영상 음성 파일로 구성된다. 7대의 Kinect 영상파일은 각각 하나씩 나오게 되지만 내부의 파일에는 Color, Depth, IR 총 3개의 영상을 포함하고 있다.

성능/효과

국내에서는 서울대학교병원 유희정 교수 연구팀에서 국내 실정에 적합한 선별도구인 BeDevel을 개발하여 622명의 영유아를 대상으로 데이터를 수집하고 검증하였다[8]. 또한, 한국과학기술연구원과 함께 로봇 시스템을 이용한 ASD 아동 대상 사회성 증진 프로그램을 연구하여 사람 치료자가 진행한 동등한 수준의 치료 효과를 나타내었다.
칼라 영상의 경우 프레임 단위로 끊어서 볼 때 초기 셋팅의 Exposure Time이 길게 되어 있어 블러링되는 현상이 발생하였다. 이를 해결하기 위해 이 시간을 더 빠르게 조정해 주면 카메라에서 빛을 모으는 시간이 줄어들어 영상이 다소 어둡게 출력되는 것을 확인하였다. 따라서 Gain 값을 높여 주어 영상의 밝기를 조정하였다.

후속연구

국내에서 아직 확보 되지 못한 영유아/아동의 ASD 조기선별에 대한 Dataset을 구축하고, ASD를 판별하는데 필요한 행동반응에 대한 정보를 본 연구를 통해 획득 할 수 있다. 향후, 확보된 Dataset은 영유아/아동들의 음성, 행동, 표정 반응을 분석하는 인공지능 기술의 학습 데이터로 사용될 예정이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	ASD진단에는 무엇이 필요한가?	ASD진단에는 직접적인 관찰, 양육자와 교사가 제공하는 정보, 성장 과정에 대한 상세한 과거력, 인지능력이나 다른 심리적인 기능에 대한 객관적/정량적 평가, 감별진단을 위한 검사, 신경학적 평가, 뇌기능 검사 등을 필요로 한다. 기존의 ASD 선별 도구들은 사용을 위한 훈련과정이 매우 오래 걸리고, 개별 전문가들의 경험과 능력에 따라 진단의 비일관성이 존재하며, 한명의 아동을 진단 하는데 최소 6~7시간의 검사 시간과 투입되는 자원이 매우 방대하다.
	ADI-R은 무엇으로 구성되는가?	ADI-R(Autism Diagnostic Interview-Revised)는 ADOS와 상호 보완적인 도구로 활용되는데, 피검자의 일차 양육자와의 면담을 통해 다른 유형의 발달 장애를 감별 하는데 필요한 특징적 행동들을 자세히 묘사한 정보를 수 집할 수 있는 도구이다.[4] 사회적 상호작용, 언어와 의사 소통, 행동의 제한적, 반복적, 상동적 패턴 발생시점 평가 등으로 구성된다.
	발달장애는 무엇인가?	발달장애는 영유아 기부터 시작하는 뇌 신경계 발달장애들의 집합으로 언어 및 의사소통, 인지력, 사회성 등의 측면에서 이루어져야 할 발달이 심하게 지체되거나 성취되지 않은 장애를 의미한다. 이러한 발달장애 진단에는 아동의 얼굴 표정과 같은 감정표현의 의미와 맥락 등 비언어적 반응에 대한 관찰로 이루어진다.

참고문헌 (14)

Zeanah, Charles H, et al. "Practice parameter for the assessment and treatment of children and adolescents with reactive attachment disorder and disinhibited social engagement disorder." Journal of the Ameracan Academy of Child & Adolescent Psychiatry, Vol.55, No.11, pp.990-1003, 2016.

상세보기
Wong, Connie, et al. "Evidence-based practices for children, youth, and young adults with autism spectrum disorder: A comprehensive review." Journal of autism and developmental disorders, Vol.45, No.7, pp.1951-1966, 2015.

상세보기
Lord, C., et al. "ADOS-2." Escala de Observacion para el Diagnostico del Autismo-2. Manual (T. Luque, adaptadora). Madrid: TEA Ediciones, 2015.
Lord, Catherine, Michael Rutter, and Ann Le Couteur. "Autism Diagnostic Interview-Revised: a revised version of a diagnostic interview for caregivers of individuals with possible pervasive developmental disorders." Journal of autism and developmental disorders, Vol.24, No.5, (1994): pp.659-685.

상세보기
Schopler, Eric, Robert Jay Reichler, and Barbara Rochen Renner. The childhood autism rating scale (CARS). Los Angeles: WPS, 2010.
Kim, T. R., and R. G. Park. "Korean version of childhood autism rating scale." Seoul: Special Education (1995).
Constantino, John N., and Christian P. Gruber. Social responsiv eness scale: SRS-2. Torrance, CA: Western Psychological Services, 2012.
Bong, Guiyoung, et al. "The Feasibility and Validity of Autism Spectrum Disorder Screening Instrument: Behavior Development Screening for Toddlers (BeDevel)-A Pilot Study." Autism Research Vol.12, No.7, pp.1112-1128 2019.

상세보기
LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. "Deep learning." nature 521.7553 (2015): 436-444.

상세보기
Kossaifi, J., Tzimiropoulos, G., Todorovic, S., & Pantic, M. AFEW-VA database for valence and arousal estimation in-the-wild. Image and Vision Computing, 65, 23-36 2017.

상세보기
KE, Qiuhong, et al. A new representation of skeleton sequences for 3d action recognition. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 3288-3297 2017.
MARINOIU, Elisabeta, et al. "3d human sensing, action and emotion recognition in robot assisted therapy of children with autism." In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 2158-2167 2018.
SHEN, J., et al. Autism data goes big: A publicly- accessible multi-modal database of child interactions for behavioural and machine learning research. In: International Society for Autism Research Annual Meeting. 2018.
Nick Veitch (February 2011). "Video tools. MKVToolNix" (PDF). Linux Format. Future plc (141): 77. ISSN 1470-4234.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증