[논문]fNIRS 기반 실시간 집중력 모니터링 모바일 애플리케이션

강선화; 이현주; 나희원; 동서연

doi:10.9717/kmms.2020.24.2.295

fNIRS 기반 실시간 집중력 모니터링 모바일 애플리케이션
Mobile Application for Real-Time Monitoring of Concentration Based on fNIRS 원문보기

멀티미디어학회논문지 = Journal of Korea Multimedia Society, v.24 no.2, 2021년, pp.295 - 304

강선화 (Dept. of Information Technology Eng., Sookmyung Women's University) , 이현주 (Dept. of Information Technology Eng., Sookmyung Women's University) , 나희원 (Dept. of Information Technology Eng., Sookmyung Women's University) , 동서연 (Dept. of Information Technology Eng., Sookmyung Women's University)

Abstract ▼ AI-Helper

Learning assistance system that continuously measures user's concentration will be helpful to grasp the concentration pattern and adjust the learning method accordingly to improve the learning efficiency. Although a lot of various learning aids have been proposed, there have been few studies on the concentration monitoring system in real time. Therefore, in this study, we developed an Android-based mobile application that can measure concentration during study by using functional near-infrared spectroscopy, which is used to measure brain activity. First, the task accuracy was predicted at a maximum level of 93.75% from the prefrontal oxygenation characteristics measured while performing the visual Q&A task on 11 college students, and a concentration calculation formula based on a linear regression model was derived. Then, a survey on the usability of the mobile application was conducted, overall high satisfaction and positive opinions were obtained. From these findings, this application can be used as a customized learning aid application for users, and further, it can help educators improve the quality of classes based on the level of concentration of learners.

주제어

표/그림 (8)

그림 Fig. 1. Pre-processing Procedure.
그림 Fig. 2. NIRSIT channels.
표 Table 1. Extracted signal features and calculation tools.
그림 Fig. 3. Concentration graphs for each region, R1, R2, R3, and R4 from the top to the bottom.
그림 Fig. 4. System configuration.
표 Table 2. Summary of the classification accuracy over time window and feature combinations.
그림 Fig. 5. Application user interface: (a) report summary screen and (b) detailed report screen.
표 Table 3. Usability evaluation questionnaire.

AI 본문요약
AI-Helper

문제 정의

본 연구에서는 집중력을 요구하는 인지 태스크를 제시하고 태스크를 수행하는 동안 측정한 fNIRS신호를 통하여 집중력이 발휘되는 동안의 뇌 전전두엽혈류 내 산소포화도를 관찰하고, 사용자의 집중 정도를 정량화하여 실시간으로 분석하고 모니터링할 수있는 안드로이드 기반의 모바일 애플리케이션을 개발하였다. 보다 구체적으로, 시각 자극이 제시되는 동안 집중력이 높을수록 이후에 진행되는 시각 자극과 관련된 질문에 대한 응답의 정확도가 높을 것이라고 가정하였다.
2장에서 실험 방법을 소개한다. 여기에서는 데이터 수집을 위한 실험설계 방법과 취득된 데이터의 전처리 및 분석 기법을 소개한다. 3장에서 실험 데이터 분석에 기반한 집중력 측정을 위한 정량화 규칙을 제안하고 검증한다.

가설 설정

본 연구에서는 집중력을 요구하는 인지 태스크를 제시하고 태스크를 수행하는 동안 측정한 fNIRS신호를 통하여 집중력이 발휘되는 동안의 뇌 전전두엽혈류 내 산소포화도를 관찰하고, 사용자의 집중 정도를 정량화하여 실시간으로 분석하고 모니터링할 수있는 안드로이드 기반의 모바일 애플리케이션을 개발하였다. 보다 구체적으로, 시각 자극이 제시되는 동안 집중력이 높을수록 이후에 진행되는 시각 자극과 관련된 질문에 대한 응답의 정확도가 높을 것이라고 가정하였다. 따라서 시각 자극이 제시되는 동안 측정된 fNIRS신호로 집중력 정도를 정량화하고, 응답 정확도를 예측할 수 있는지를 기계학습 기반의 분류 문제를 통하여 검증하였다.
본 연구에서는 session2의 정답률과 집중력 간에 상관관계가 있다는 가정에 따라 진행되었다. 실험에 참가한 피험자 11명의 평균 정답률은 0.

제안 방법

보다 구체적으로, 시각 자극이 제시되는 동안 집중력이 높을수록 이후에 진행되는 시각 자극과 관련된 질문에 대한 응답의 정확도가 높을 것이라고 가정하였다. 따라서 시각 자극이 제시되는 동안 측정된 fNIRS신호로 집중력 정도를 정량화하고, 응답 정확도를 예측할 수 있는지를 기계학습 기반의 분류 문제를 통하여 검증하였다. 이 애플리케이션을 통해, 학습자는 정량화된 집중 점수를 통해 본인의 학습 과정을 객관적으로 분석할 수 있고, 교수자는 학습자의 학습 상태를 모니터링함으로써 개개인에게 맞는 학습법을 제안하는 등 학습 환경을 개선할수 있을 것으로 기대한다.

대상 데이터

2 에서와 같이 48개의 채널 중 전전두엽의 가운데 영역인 17∼32번 채널을 선택하었다. 16개의 채널은 인접한 4개의 채널끼리 서브 영역으로 묶어 총 4개의 영역 정보가 분석에 사용되었다. Fig.
138Hz로 샘플링되었다. 데이터는 11명의 피험자로부터 실험의 session2전체 150초 구간 동안 fNIRS신호를 측정하여 얻었다. 다음으로, 데이터 전처리는 Fig.
실험에는 총 15명의 건강한 피실험자가 참여하였는데 4명의 연구대상자가 실험 중 과도한 움직임으로 인하여 분석에서 제외되었다. 따라서 피험자는 20~25세의 여성 11명으로 구성되어 있으며, 실험 전 피실험자들에게 실험 목적과 절차를 충분히 전달하였고 임상 시험 사전 동의서를 통해 자발적인 의사에 따라 실험에 참여할 수 있도록 하였다. 또한 피험자들은 실험 중 신체적, 정신적 문제가 발생할 시 바로 연구자에게 보고하도록 교육받았으며 모든 실험 절차는 숙명여자대학교 생명윤리위원회의 승인을 받아 진행되었다(승인번호:SMWU-1910-HR-097-02).
먼저 전전두엽 영역의 활성화정도를 대표할 수 있고 상대적으로 신호 취득이 용이한 영역으로 Fig.2 에서와 같이 48개의 채널 중 전전두엽의 가운데 영역인 17∼32번 채널을 선택하었다
본 연구에서는 session2의 정답률과 집중력 간에 상관관계가 있다는 가정에 따라 진행되었다. 실험에 참가한 피험자 11명의 평균 정답률은 0.88로, 평균정답률보다 정답률이 높은 6명과 평균 정답률보다 정답률이 낮은 5명의 두 그룹으로 나누었다. 이렇게 나눈 두 그룹을 연구 가설에 따라 fNIRS신호 특징으로의 분류를 시도하였다.
실험에는 총 15명의 건강한 피실험자가 참여하였는데 4명의 연구대상자가 실험 중 과도한 움직임으로 인하여 분석에서 제외되었다. 따라서 피험자는 20~25세의 여성 11명으로 구성되어 있으며, 실험 전 피실험자들에게 실험 목적과 절차를 충분히 전달하였고 임상 시험 사전 동의서를 통해 자발적인 의사에 따라 실험에 참여할 수 있도록 하였다.

후속연구

따라서 시각 자극이 제시되는 동안 측정된 fNIRS신호로 집중력 정도를 정량화하고, 응답 정확도를 예측할 수 있는지를 기계학습 기반의 분류 문제를 통하여 검증하였다. 이 애플리케이션을 통해, 학습자는 정량화된 집중 점수를 통해 본인의 학습 과정을 객관적으로 분석할 수 있고, 교수자는 학습자의 학습 상태를 모니터링함으로써 개개인에게 맞는 학습법을 제안하는 등 학습 환경을 개선할수 있을 것으로 기대한다.

참고문헌 (17)

S.H. Lee, D.H. Kim, S.J. Park, and J.S. Heo, "Development of Smart Phone Lock Application for Study Focusing," The Korean Institute of Information Scientists and Engineers, pp. 2030-2032, 2017.
B. Kim, and K. Han, "Automated Time Manager (ATM) Smartphone Application Development and Effectiveness Verification for Time Management Self-Regulation," Proceedings of HCI Korea 2019, pp. 1280-1281, 2019.
C. Im, H. Seo, and S.C. Jun, "Survey for Non Invasive Brain Electrical Stimulation Using Computational Modeling," Communications of the Korean Institute of Information Scientists and Engineers, Vol. 38, No. 10, pp. 23-27, 2020.
B. Kang and G. Yoon, "Generation of Control Signal based on Concentration Detection using," Journal of The Institute of Electronics Engineers of Korea, Vol. 50, No. 12, pp. 3192-3198, 2013.
N.H. Liu, C.Y. Chiang, and H.C. Chu, "Recognizing the Degree of Human Attention Using EEG Signals from Mobile Sensors," Sensors 2013, Vol. 13, No. 8, pp. 10273-10286, 2013.

상세보기
T. Liu, M. Pelowski, C. Pang, Y. Zhou, and J. Cai, "Near-Infrared Spectroscopy as a Tool for Driving Research," Ergonomics, Vol. 59, No. 3, pp. 1-25, 2016.

상세보기
S. Park, and S.-Y. Dong, "Effects of Daily Stress in Mental State Classification," IEEE Access, Vol. 8, pp. 201360-201370, 2020.

상세보기
C. Herff, D. Heger, O. Fortmann, J. Hennrich, F. Putze, and T. Schultz, "Mental Workload During N-Back Task-Quantified in the Prefrontal Cortex Using fNIRS," Frontiers in Human Neuroscience. Vol. 7. pp. 935. 2014.

상세보기
J.Y. Han, W.H. Son, H.S. Kim, J.K. Moon, K. Kim, and J.-W. Choi. "Design of Personalized Learning System Using fNIRS and Machine-Learning," Proceedings of Symposium of the Korean Institute of communications and Information Sciences, pp. 478-479. 2016.
S. Antol, A. Agrawal, J. Lu, M. Mitchell., D. Batra, Z.C. Lawrence, and D. Parikh, "Vqa: Visual Question Answering," In Proceedings of the IEEE International Conference on Computer Vision, pp. 2425-2433, 2015.
A. Das, H. Agrawal, C. Lawrence Zitnick, D. Parikh, and D. Batra, "Human Attention in Visual Question Answering: Do Humans and Deep Networks Look at the Same Regions?," Computer Vision and Image Understanding, Vol. 163, pp. 90-100, 2017.

상세보기
L. Kocsis, P. Herman, and A. Eke, "The Modified Beer-Lambert Law Revisited," Physics in Medicine & Biology, Vol. 51, No. 5, pp. N91-N98, 2006.

상세보기
N. Naseer and K.S. Hong, "fNIRS-based Brain-Computer Interfaces: a Review," Frontiers in Human Neuroscience, Vol. 9, No. 3, pp. 3, 2015.
J. Shin and H.-J. Hwang, "Systematic Analysis of Optimal Feature Extraction Methods for Developing a Near-Infrared Spectroscopy-Based Brain-Computer Interface System," Journal of KIISE, Vol. 45, No. 10, pp. 1080-1088, 2018.

상세보기
Y. Tian, E. Kweon, and S. Chai, "Research on Usability of Mobile Food Delivery Application : Focusing on Korean Application and Chinese Application," Information Systems Review, Vol. 20, No. 1, pp. 1-16, 2018.

원문보기 상세보기
C.H. Chun, "UI Design and Usability Analysis of Maternal Notebook Mobile Application," Journal of Korea Multimedia Society, Vol. 23, No. 1, pp. 85-92, 2020.
A. Saleh R.B. Isamil, and N.B. Fabil, "Extension of PACMAD Model for Usability Evaluation Metrics Using Goal Question Metrics (GQM) Approach," Journal of Theoretical and Applied Information Technology. Vol. 79, No. 1, pp. 90-100, 2015.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증