[논문]가상현실기반 훈련 콘텐츠에서 발달장애인의 시각적 주의집중도 분석

조정희

doi:10.9717/kmms.2020.24.2.328

가상현실기반 훈련 콘텐츠에서 발달장애인의 시각적 주의집중도 분석
Analysis of Visual Attention of Students with Developmental Disabilities in Virtual Reality Based Training Contents 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.24 no.2, 2021년, pp.328 - 335

조정희 (Dept. of Computer Education, Busan National University of Education)

Abstract ▼ AI-Helper

In the era of 'Untact', virtual reality-based job training platforms are actively being used as part of non-face-to-face education for students with developmental disabilities. Because the people with developmental disabilities may lack sufficient cognitive abilities, it is difficult to conduct untact training seamlessly without the help of a third party. Therefore, it is necessary for training programs to identify the right timing to provide help so that the training can be continued. This research analyzed the visual attention of students with developmental disabilities in virtual reality-based job training program in order to determine the point of time when an intervention is required by the trainee. Results showed that students who completed the mission tended to have intense visual attention on a small number of objects for a certain period of time; the visual attention of the students who failed tended to shift erratically among multiple objects.

주제어

표/그림 (5)

그림 Fig. 1. VR contents for barista training.
그림 Fig. 2. Successful completion of training.
그림 Fig. 3. Example of eye transition.
표 Table 1. Statistical data of student 1 for testing hypothesis 4.
표 Table 2. Statistical data of student 2 for testing hypothesis 4.

AI 본문요약
AI-Helper

가설 설정

가설 1
이 가설을 설정한 이유는, 성공한 연구대상자는 단계와 관련 있는 바리스타 객체에, 실패한 연구대상자는 단계와 관련 없는 바리스타 객체에 시선이 집중될 것으로 예측하였기 때문이다. 즉, 가설 1과 가설2 와는 달리 성공/실패의 여부와 관계없이 연구대상자는 바리스타 객체들만 주의를 집중하는 경향이 있고 환경 객체에는 관심이 없을 것으로 예측한 것이다.
가설 3
가설 4
반면, 실패한 연구대상자는 ‘훈련과 관련 없는 바리스타 객체’에 대한 시각적 주의 집중도가 높을 것이다
성공한 연구 대상자는 ‘훈련과 관련 있는 바리스타 객체’에 대한 시각적 주의 집중도가 높을 것이다
성공한 연구대상자는 ‘훈련과 관련 있는 바리스타 객체’에 대한 시각적 주의 집중도가 높을 것이다

제안 방법

연구가 설들을 검증하기 위한 시선 추적 데이터의 분석 방법은 다음과 같다. 먼저 바리스타 실감 콘텐츠의 각 훈련의 단계별로 연구 대상자가 수행 미션을 중재 없이 스스로 완수하여 성공했는지 또는 실패했는지의 여부를 분석하였다.
본 연구는 언택트 환경에서 가상현실 기술 기반의 바리스타 실감 콘텐츠로 발달장애인이 직업훈련을 수행할 때 중재를 제공해야 할 시점을 도출하기 위해, 아이트래커를 이용하여 수집한 발달장애인의 시선 정보를 기반으로 가상 객체들에 대한 시각적 주의집중의 차이를 분석하였으며 그 결과는 다음과 같다. 첫째, 대다수의 연구 대상자는 훈련도중에 어려움을 겪은 후 당황하는 순간에 창문 또는 바닥과 같은 환경 객체들로 시선을 옮기는 것이 아니라, 에스프레소 머신 또는 그라인더와 같은 바리스타 객체들 사이에서 시선을 옮겨가면서 집중적으로 탐색하는 경향이 높게 나타났다.
실험은 연구 대상자들이 스스로 찾아오기 쉽고 익숙한 환경인 본인이 등록된 발달장애인훈련센터에서 실시하였다. 실험 도중에 실감 콘텐츠에서 발생하는 시각 및 청각자극으로 어지러움이 발생할 수도 있으므로 이를 대비하여 발달장애인의 특성에 대한 전문적인 지식과 다년간의 충분한 경험을 갖추고 있는 훈련센터의 전문교사 1인을 실험실에 상주하도록 하여 돌발 상황에 대처하도록 하였다. 연구대상자가 안구의 피로감이나 어지러움을 계속적으로 호소하는 경우에는 발달장애인 훈련센터에서 지정한 병원으로 옮겨 조치하도록 하였으나 실험의 전 과정 동안 이러한 상황은 발생하지 않았다.

대상 데이터

실험에 참여를 희망하는 학생에 한하여 보호자와 대면 또는 통화로 연구 내용을 충분히 설명하였고 보호자가 허락한 경우에 한하여 해당 학생을 연구대상자로 선정하였다. 대상자는 경증 발달장애인으로서 2019년 7월 이전의 기준으로 장애등급 3급 이상의 정상적인 시각과 청각을 가진 학생들로 제한하였다.
실험은 연구 대상자들이 스스로 찾아오기 쉽고 익숙한 환경인 본인이 등록된 발달장애인훈련센터에서 실시하였다. 실험 도중에 실감 콘텐츠에서 발생하는 시각 및 청각자극으로 어지러움이 발생할 수도 있으므로 이를 대비하여 발달장애인의 특성에 대한 전문적인 지식과 다년간의 충분한 경험을 갖추고 있는 훈련센터의 전문교사 1인을 실험실에 상주하도록 하여 돌발 상황에 대처하도록 하였다.
본 연구는 부산에 소재한 대학의 생명윤리위원회로부터 IRB(institutional review board)심사를 신청하여 연구 진행에 대한 승인을 받고 수행되었다. 연구대상자는 발달장애인 훈련센터에 등록된 남녀학생 총 21명을 선정하였다. 이를 위해, 발달장애인훈련센터의 게시판에 모집공고문을 공고하고 훈련센터 교사의 도움으로 수업 중에 모집공고문에 대한 안내를 하였다.

데이터처리

가설 1, 2, 3의 검증을 위해 통계적 분석 방법 중에서 Contingency Table Analysis를 이용하였다. Contingency Table에 입력될 두 개의 변수들은 1) 해당단계의 성공/실패 여부 2) 두 횟수 간의 비율이 1보다 큰지/작은지의 여부이다.
가설 4의 검증을 위해서는 통계적 분석 방법 중에서 unpaired t-test를 이용하였으며 결과는 매우 유의미하였다(P<0.001). Table1과 Table2는 가설4를 검증하기 위한 단계별 통계 데이터 중에 두 명의 연구 대상자의 데이터를 샘플로 발췌한 것이다
그리고 두 횟수 간의 비율이 1과 비교하여 큰지 또는 작은지의 여부를 도출하였다. 마지막으로, 가설 4를 검증하기 위하여 각 훈련 단계별로 연구대상자 시선의 순간적 이동(eyesaccade) 정보를 이용하여 시선 전환의 횟수를 도출하였다. 시선의 순간적 이동이란, 최대 120ms라는 짧은 순간 동안 특정 사물에 시선이 머무는 것을 의미하며 사물과 사물 사이의 순간적 시선이동을 측정할 때 사용된다.

성능/효과

한 예로, '에스프레소 머신 찾기'단계를 성공한 경우, 해당 단계와 관련 있는 ‘에스프레소 머신’보다 관련 없는 ‘그라인더’객체에 대한 시선의 고정 횟수가 매우 높았다. 마지막으로, 특정 훈련 단계에서 수행해야 하는 미션을 중재 없이 스스로 완수한 연구대상자들은 소수의 객체를 일정 시간 동안 응시하면서 작업하는 경향이 있었고, 미션을 스스로 완수함에 실패하여 결국 중재를 제공받아서 미션을 완수한 연구대상자들의 시선은 다수 객체 사이로 무작위로 전환되는 경향이 있었다. 향후 연구방향으로는, 연구 대상자의 컨트롤러와 바리스타 객체들과의 거리의 변화 정보를 기반으로 중재의 필요 시점을 도출하는 방법에 관하여 연구할 예정이다.
본 연구는 언택트 환경에서 가상현실 기술 기반의 바리스타 실감 콘텐츠로 발달장애인이 직업훈련을 수행할 때 중재를 제공해야 할 시점을 도출하기 위해, 아이트래커를 이용하여 수집한 발달장애인의 시선 정보를 기반으로 가상 객체들에 대한 시각적 주의집중의 차이를 분석하였으며 그 결과는 다음과 같다. 첫째, 대다수의 연구 대상자는 훈련도중에 어려움을 겪은 후 당황하는 순간에 창문 또는 바닥과 같은 환경 객체들로 시선을 옮기는 것이 아니라, 에스프레소 머신 또는 그라인더와 같은 바리스타 객체들 사이에서 시선을 옮겨가면서 집중적으로 탐색하는 경향이 높게 나타났다. 한 예로, '에스프레소 머신 찾기'단계를 실패한 경우에 바리스타 객체와 환경 객체에 대한 시선의 고정 횟수는 각각 121vs.
한 예로, '에스프레소 머신 찾기'단계를 성공한 경우, 해당 단계와 관련 있는 ‘에스프레소 머신’보다 관련 없는 ‘그라인더’객체에 대한 시선의 고정 횟수가 매우 높았다

후속연구

마지막으로, 특정 훈련 단계에서 수행해야 하는 미션을 중재 없이 스스로 완수한 연구대상자들은 소수의 객체를 일정 시간 동안 응시하면서 작업하는 경향이 있었고, 미션을 스스로 완수함에 실패하여 결국 중재를 제공받아서 미션을 완수한 연구대상자들의 시선은 다수 객체 사이로 무작위로 전환되는 경향이 있었다. 향후 연구방향으로는, 연구 대상자의 컨트롤러와 바리스타 객체들과의 거리의 변화 정보를 기반으로 중재의 필요 시점을 도출하는 방법에 관하여 연구할 예정이다.

참고문헌 (19)

Korea Creative Content Agency(KOCCA), Industry Survey of Virtual and Augmented Reality Contents, KOCCA19-83, 2020.
Institute of Information & Communications Technology Planning & Evaluation(IITP), Untact era, Direction of Virtual Reality Technology, Weekly ICT Trends, ISSN 1225-6447, 2020.
J.M. Shin, D.S. Choi, S.Y. Kim, and K.B. Jin, "A Study on Efficiency of the Experience Oriented Self-directed Learning in the VR Vocational Training Contents," Journal of Knowledge Information Technology and Systems, Vol. 14, No. 1, pp. 71-80, 2019.

상세보기
K.H. Park, "Educational Application of Virtual Reality Technology," Korea Robotics Society Review, Vol. 15, No. 4, pp. 28-36, 2018.
Ministry of Health and Welfare, Disability Status - Statistical Information Report, 2019.
J.I. Choi, K.R. Kim, and T.Y. Kim, "A Situational Training System based on Augmented Reality for Developmentally Disabled People," Journal of Korea Multimedia Society, Vol. 16, No. 5, pp. 629-636, 2013.

원문보기 상세보기
M.A. Just and P.A. Carpenter, "A theory of reading: From Eye Fixations to Comprehension," Psychological review, Vol. 87, No. 4, pp. 329-354, 1980.

상세보기
H. Deubel, K. O'Regan, and R. Radach, "Attention, Information Processing and Eye Movement Control," Reading as a Perceptual Process, pp. 355-374, 2000.
K.S. Kim, C.S. Lee, and J.H. Cho, "Research on Job Demand and Expansion Plans for Each Type of Disability," Daejeon Welfare Foundation, pp. 1-366, 2016.
Y.T. Kim, Design and Implementation of Virtual Reality-Based Contents for Job Training of the People with Developmental Disabilities, Master's Thesis of Kyunghee University, 2019.
KODDI(Korea Disabled people's Development Institute), Easy Barista Work Manual for People with Developmental Disabilities, 2018.
Gyeonggi Welfare Foundation, Analysis of Rehabilitation P rojects for Youth with Developmental Disabilities in Gyeonggi-do, GGWF Report 2014-03, 2014.
J.H. Jang and J.E. Sung, "Age-Related Differences in Sentence Processing of Who-Questions: An Eye-Tracking Study," Communication Sciences & Disorders, Vol. 25, No. 2, pp. 382-398, 2020.

상세보기
K. Rayner, "Eye Movements In Reading And Information Processing: 20 Years Of Research," Psychological Bulletin, Vol. 124, No. 3, pp. 372-422, 1998.

상세보기
J. Hyona, R.F. Lorch Jr, and J.K. Kaakinen, "Individual Differences in Reading to Summarize Expository Text: Evidence from Eye Fixation Patterns," Journal of Educational Psychology, Vol. 94, No. 1, pp. 44-55, 2002.

상세보기
J.H. Jo, J.L. Marquard, L.A. Clarke, and P.L. Henneman, "Re-Examining the Requirements for Verification of Patient Identifiers During Medication Administration: No Wonder It Is Error-Prone," IIE Transactions on Healthcare Systems Engineering, Vol. 3, No. 4, pp. 280-291, 2013.

상세보기
H.M. Ahn, S.C. Nam, and K.S. Song, "Application of Bio-Signal Measurement to Identify Learning Concentration in E-Learning Enviornment," Proceeding of Korean Association of Computer Education, Vol. 16, No. 2, pp. 125-130, 2012.
Looxid Link. https://looxidlabs.com/looxidlink/product/looxid-link-package-for-vive-pro (accessed January 8, 2020).
VRAR Usage Guidlines v3.0. http://kvra.kr/kovra-VR%ED%9C%B4%EB%A8%BC%ED%8C%A9%ED%84%B0/vrar-%EC%9D%B4%EC%9A%A9-%EB%B0%8F-%EC%A0%9C%EC%9E%91-%EC%95%88%EC%A0%84-%EA%B0%80%EC%9D%B4%EB%93%9C%EB%9D%BC%EC%9D%B8-v3-0/ (accessed January 8, 2020).

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증