[논문]XR 음향 콘텐츠 활용을 위한 감성-뇌연결성 분석 연구

박상인; 김종화; 박순용; 문성철

doi:10.5909/jbe.2022.27.5.738

XR 음향 콘텐츠 활용을 위한 감성-뇌연결성 분석 연구
Brain Correlates of Emotion for XR Auditory Content 원문보기

방송공학회논문지 = Journal of broadcast engineering, v.27 no.5, 2022년, pp.738 - 750

박상인 (한양대학교 산학협력단) , 김종화 (한솔인티큐브 인공지능융합연구팀) , 박순용 (서울기술연구원 스마트도시연구실) , 문성철 (전주대학교 산업공학과)

초록
AI-Helper

본 논문은 XR 콘텐츠나 인터페이스 환경에서 활용할 수 있는 음향 자극의 종류를 고찰하고, 청각 자극 기반의 감성 유발이 뇌과학적으로 실효성을 가지는지에 대해 논의하였다. 외부 청각자극, 감성변화 및 뇌연결성의 상관관계 규명에 초점을 맞추어, XR 환경에서 사용자 경험을 제고하기 위한 기계학습 기반 개인 맞춤형 사운드 트랙 제공 서비스 개발이 필요하다는 시사점을 도출하였다. 또한, 짧은 음향자극으로 감성을 유발할 수 있는지를 테스트하여 청각자극에 의해 유발된 각성상태에서 우측 전두엽이나 전두엽, 두정엽, 후두엽 네트워크에서 뇌의 기능적 연결성이 강화되고 이완시에는 상반된 패턴을 보이는 것을 확인하였다. 본 연구에서 도출된 결과는 보다 입체적인 XR 상호작용 경험을 제시하고 사용자의 XR 인지수용성을 제고하여, 현장에서 실질적으로 적용될 수 있는 초실감 XR 사운드 바이오피드백 시스템 개발에 활용될 수 있을 것이다.

Abstract ▼ AI-Helper

In this study, we reviewed and discussed whether auditory stimuli with short length can evoke emotion-related neurological responses. The findings implicate that if personalized sound tracks are provided to XR users based on machine learning or probability network models, user experiences in XR environment can be enhanced. We also investigated that the arousal-relaxed factor evoked by short auditory sound can make distinct patterns in functional connectivity characterized from background EEG signals. We found that coherence in the right hemisphere increases in sound-evoked arousal state, and vice versa in relaxed state. Our findings can be practically utilized in developing XR sound bio-feedback system which can provide preference sound to users for highly immersive XR experiences.

주제어

표/그림 (7)

그림 그림 1. DeepMotion이 개발한 Animate 3D : Full-Body & Face AI 캡쳐 기술 (그림 출처: https://www.deepmotion.com/animate-3d) Fig. 1. Animate 3D technique including full-body and face AI capture developed by DeepMotion
그림 그림 2. 바르요의 초고해상도 HMD인 Aero와 결합된 뇌-컴퓨터 인터페이스 (Galea) (그림 출처: https://varjo.com/company-news/openbciand- varjo-partner-to-bring-neurotechnology-to-spatial-computing) Fig. 2. Galea brain-computer interface integrated with Varjo’s Aero HMD
그림 그림 3. 슬픈 음악 청취시의 기능적 연결성 활성화 결과 (그림 출처: Taruffi et al., 2021, Trait Empathy Shapes Neural Reponses Toward Sad Music Figure 2) Fig. 3. Results of functional connectivity while being exposed to sad music compared to happy music
그림 그림 4. 즐거움과 두려움 음악에 따른 뇌의 주요 영역의 활성화 차이 (30초 동안의 즐거움 음악 청취시와 30초 동안의 두려움 음악 청취간 뇌활성화 차이를 fMRI 다변량 패턴 분석으로 정량화) (그림 출처: Koelsch et al., 2021, Neocortical substrates of feelings evoked with music in the ACC, insula, and somatosensory cortex Figure 2) Fig. 4. Results of differences in functional connectivity as a function of joy and fear music
그림 그림 5. 음악을 들으면서 악보를 읽을 때와 촉각 메트로놈 보조 기구를 통해 악보의 선율을 상상할 때의 뇌파 반응 비교 (그림 출처: Marion et al., 2021, The Music of Silence: Part I: Responses to Musical Imagery Encode Melodic Expectations and Acoustics Figure 4) Fig. 5. Comparison in brainwaves between reading music with listening to music and imagery task without listening to music
그림 그림 6. 각성-이완 음향 자극에 따른 뇌 연결성 변화 분석 결과 Fig. 6. Results of EEG functional connectivity between 8 recording electrodes as a function of arousal and relaxed sound
그림 그림 7. 각성-이완 음향 자극에 따른 주요 뇌 연결성 반대 패턴 추출 결과 Fig. 7. Extracted results of opposite EEG connectivity patterns between 8 recording electrodes as a function of arousal and relaxed sound

참고문헌 (26)

Apple Glasses: here's everything we know so far, TechRadar News, https://www.techradar.com/news/apple-glasses(accessed Jul. 03, 2022).
Apple Quietly Released One of The Most Impressive AR Room-mapping Tools, Road to VR - Virtual Reality News, https://www.roadtovr.com/apple-roomplan-ar-mapping (accessed Jul. 03, 2022).
H. Huang and C.-F. Lee, "Factors affecting usability of 3D model learning in a virtual reality environment," Interactive Learning Environments, Vol.30, No.5, pp. 848-861, 2022, (accessed Jul. 8, 2022). doi: https://doi.org/10.1080/10494820.2019.1691605

상세보기
Y. Xing et al., "Web XR User Interface Research: Design 3D Layout Framework in Static Websites," Applied Sciences, Vol.12, No.11, pp. 5600, 2022, (accessed Jul. 8, 2022). doi: https://doi.org/10.3390/app12115600

상세보기
DeepMotion Animate 3D, https://www.deepmotion.com (accessed Jul. 7, 2022).
OpenBCI and Varjo Partner to Bring Neurotechnology to Spatial Computing, https://varjo.com/company-news/openbci-and-varjo-partnerto-bring-neurotechnology-to-spatial-computing (accessed Jul. 7, 2022).
S. Mun, E. S. Kim, and M. C. Park, "Effect of Mental Fatigue Caused by Mobile 3d Viewing on Selective Attention: An Erp Study," International Journal of Psychophysiology, Vol.94, No.3, pp.373-381, 2014, (accessed Jul. 7, 2022). doi: https://doi.org/10.1016/j.ijpsycho.2014.08.1389

상세보기
V. Putkinen et al., "Decoding Music-Evoked Emotions in the Auditory and Motor Cortex," Cerebral Cortex, Vol.31, No.5, pp.2549-2560, 2020, (accessed Jul. 7, 2022). doi: https://doi.org/10.1093/cercor/bhaa373

상세보기
L. Taruffi, S. Skouras, C. Pehrs, and S. Koelsch, "Trait Empathy Shpaes Neural Responses Toward Sad Music," Cognitive, Affective, & Behavioral Neuroscience, Vol.21, No.1, pp.231-241, 2021, (accessed Jul. 8, 2022). doi: http://doi.org/10.3758/s13415-020-00861-x

상세보기
L. Taruffi et al., "Effects of Sad and Happy Music on Mind-Wandering and the Default Mode Network," Scientific Reports, Vol.7, pp. 14396, 2017, (accessed Jul. 8, 2022). doi: https://doi.org/10.1038/s41598-017-14849-0

상세보기
S. Koelsch et al., "Neocortical Substrates of Feelings Evoked with Music in the ACC, Insula, and Somatosensory Cortex," Scientific Reports, Vol.11, No. 1, pp. 10119, 2021, (accessed Jul. 8, 2022). doi: https://doi.org/10.1038/s41598-021-89405-y

상세보기
B. Lee and W. Son, "Evaluation of Human Factors in Extended Reality Content," Information and Communications Magazine, The Korean Institute of Commucations and Information Sciences, Sempember2021 (accessed Jul. 8, 2022).
G. Marion, G. M. D. Liberto, and S. A. Shamma, "The Music of Silence: Part I: Responses to Musical Imagery Encode Melodic Expectations and Acoustics," The Journal of Neuroscience, Vol.41, No. 35, pp. 7435-7448, 2021, (accessed Jul. 8, 2022). doi: https://doi.org/10.1523/JNEUROSCI.0183-21.2021
S. Sangnark et al., "Revealing Preference in Popular Music Through Familiarity and Brain Response," IEEE Sensors Journal, Vol.21, No. 13, pp. 14931-14940, 2021, (accessed Jul. 8, 2022). doi: https://doi.org/10.1109/JSEN.2021.3073040

상세보기
E. Fox, "Perspectives from affective science on understanding the nature of emotion," Brain and Neuroscience Advances, Vol.2, pp. 1-8, 2018, (accessed Sep. 1, 2022). doi: https://doi.org/10.1177/2398212818812628

상세보기
H. Engelbregt et al., "Effects of binaural and monaural beat stimulation on attention and EEG," Experimental Brain Research, Vol.239, pp. 2781-2791, 2021, (accessed Sep. 1, 2022). doi: https://doi.org/10.1007/s00221-021-06155-z

상세보기
S. Park and M. Whang, "Infrared camera-based non-contact measurement of brain activity from pupillary rhythms," Frontiers in Physiology, Vol.9, pp. 1400, 2018, (accessed Sep. 1, 2022). doi: https://doi.org/10.3389/fphys.2018.01400

상세보기
L. A. Schmidt and L. J., "Frontal brain electrical activity (EEG) distinguishes valence and intensity of musical emotions," Cognition & Emotion, Vol.15, No. 4, pp. 487-500, 2001, (accessed Sep. 1, 2022). doi: https://doi.org/10.1080/02699930126048

상세보기
J. H. Kim et al., "A research on EEG coherence variation by relaxation," Korean Journal of the science of Emotion & sensibility, Vol.13, No. 1, pp. 121-128, 2010 (accessed Jul. 8, 2022).
S. Mun, et al., "SSVEP and ERP Measurement of Cognitive Fatigue Caused by Stereoscopic 3d," Neuroscience Letters, Vol.525, No.2, pp.89-94, 2012, (accessed Jul. 8, 2022). doi: https://doi.org/10.1016/j.neulet.2012.07.049

상세보기
S. Mun, M.-C. Park, and S. Yano, "Performance Comparison of a SSVEP BCI Task by Individual Stereoscopic 3d Susceptibility," International Journal of Human-Computer Interaction," Vol.29, No.12, pp.789-797, 2013, (accessed Jul. 8, 2022). doi: https://doi.org/10.1080/10447318.2013.765289

상세보기
S. Mun, E.-S. Kim, and M.-C. Park, "Effect of mental fatigue caused by mobile 3D viewing on selective attention: an ERP study," International Journal of Psychophysiology," Vol.94, No.3, pp.373-381, 2014, (accessed Jul. 8, 2022). doi: https://doi.org/10.1016/j.ijpsycho.2014.08.1389

상세보기
S. Mun and M.-C. Park, "Affective Three-Dimensional Brain-Computer Interface Created Using a Prism Array-Based Display," Optical Engineering, Vol.53, No.12, pp.123105, 2014, (accessed Jul. 8, 2022). doi: https://doi.org/10.1117/1.OE.53.12.123105

상세보기
S. Mun, M.-C. Park, and S. Yano, "Evaluation of Viewing Experiences Induced by a Curved Three-Dimensional Display," Optical Engineering, Vol.54, No.10, pp.103104, 2015, (accessed Jul. 8, 2022). doi: https://doi.org/10.1117/1.OE.54.10.103104

상세보기
S. Mun, et al., "Effects of Mental Workload on Involuntary Attention: A Somatosensory ERP Study," Neuropsychologia, Vol.106, pp.7-20, 2017, (accessed Jul. 8, 2022). doi: https://doi.org/10.1016/j.neuropsychologia.2017.08.021

상세보기
S. Park, L. Kim, J. Ha, and S. Mun, "Infrared Webcam-Based Non-Contact Measurement of Event-Related Potentials from Event-Related Pupillary Responses: An Approach Focused on Mental Workload," Journal of Computational Design and Engineering, Vol.9, No. 4, pp.1327-1347, 2022, (accessed Jul. 8, 2022). doi: https://doi.org/10.1093/jcde/qwac059

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증