가상현실에서 전달된 정보에 대한 추론 시 정보의 모호함의 차이에 따른 뇌 활성화와 presence 의 관계 Correlation between brain activity related ambiguity and presence on inferring from information received during virtual reality원문보기
가상현실에서 구현한 환경을 사용자가 실제처럼 느끼고 그 내용을 받아들이도록 하는 것은 중요한 목표이다. presence 는 "어떤 특정한 또는 이해할 수 있는 장소에 존재한다고 생각하는 인간의 지각" 상태를 나타낸다. 따라서 presence 는 가상환경에서 사용자가 얼마나 그 가상환경을 실제로느끼는지를 알 수 있는 중요한 파라미터 중 하나 이다. 또한 Presence 는 가상현실에서 경험하게 되는 여러가지 감각적인 정보들을 통하여 느끼는 종합적인 느낌을 반영하는 파라미터 이다. 따라서 같은 가상현실을 경험한다 할지라도 개인마다 느끼는 presence 는 차이가 있을 것이고 이러한 차이는 가상환경이 제공하는 정보의 차이에 대한 인식과 처리에 있어서도 영향을 미칠 것이다. 그러므로 이러한 차이는 관련된 뇌 영역의 활성화의 차이로 나타날 것이다. 가상현실 컨텐츠는 아바타를 통해서 정보를 전달하고 피험자가 그 내용을 바탕으로 생각해보는 내용으로 구성하였다. 아바타가 전달하는 내용은 명확하게 모든 정보를 알려주는 과제 와 중요한 정보를 생략하고 알려주는 과제 두 가지로 구성하였다. 그리고 피험자 개개인이 각각의 내용을 바탕으로 추론하는 동안 뇌 영역 활성화의 차이와 가상현실 경험 동안의 presence 점수와 관련된 뇌 영역을 알아보았다. 실험 결과 Right Lingual Gyrus (16, -95, 14), Left Lingual Gyrus (-15, -88, -16), Right Fusiform Gyrus (35, -81, -14), Right Lingual Gyrus (3, -67, 3), Left Inferior Temporal Gyrus (-43, -1, -36), Left Anterior Cingulate (0, -38, -10), Right Posterior Cingulate (2, -50, 10)에서 유의미한 상관 관계가 있었다.
가상현실에서 구현한 환경을 사용자가 실제처럼 느끼고 그 내용을 받아들이도록 하는 것은 중요한 목표이다. presence 는 "어떤 특정한 또는 이해할 수 있는 장소에 존재한다고 생각하는 인간의 지각" 상태를 나타낸다. 따라서 presence 는 가상환경에서 사용자가 얼마나 그 가상환경을 실제로느끼는지를 알 수 있는 중요한 파라미터 중 하나 이다. 또한 Presence 는 가상현실에서 경험하게 되는 여러가지 감각적인 정보들을 통하여 느끼는 종합적인 느낌을 반영하는 파라미터 이다. 따라서 같은 가상현실을 경험한다 할지라도 개인마다 느끼는 presence 는 차이가 있을 것이고 이러한 차이는 가상환경이 제공하는 정보의 차이에 대한 인식과 처리에 있어서도 영향을 미칠 것이다. 그러므로 이러한 차이는 관련된 뇌 영역의 활성화의 차이로 나타날 것이다. 가상현실 컨텐츠는 아바타를 통해서 정보를 전달하고 피험자가 그 내용을 바탕으로 생각해보는 내용으로 구성하였다. 아바타가 전달하는 내용은 명확하게 모든 정보를 알려주는 과제 와 중요한 정보를 생략하고 알려주는 과제 두 가지로 구성하였다. 그리고 피험자 개개인이 각각의 내용을 바탕으로 추론하는 동안 뇌 영역 활성화의 차이와 가상현실 경험 동안의 presence 점수와 관련된 뇌 영역을 알아보았다. 실험 결과 Right Lingual Gyrus (16, -95, 14), Left Lingual Gyrus (-15, -88, -16), Right Fusiform Gyrus (35, -81, -14), Right Lingual Gyrus (3, -67, 3), Left Inferior Temporal Gyrus (-43, -1, -36), Left Anterior Cingulate (0, -38, -10), Right Posterior Cingulate (2, -50, 10)에서 유의미한 상관 관계가 있었다.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
Presence 는 가상현실에서 사용자의 인지하고 지각하는 감각의 복합적인 반영으로 과제의 차이와 관련해서 presence 점수와 상관관계를 보였던 뇌 영역에 관한 해석에 대해서는 추후 연구로 알아봐야 할 것이다. 본 연구에서는 presence 가 가상현실을 통한 경험에 영향을 미치는 것을 직접적인 뇌의 활성화와 비교해서 알아보았다는 것에서 그 의의를 찾을 수 있다.
본 연구에서는 아바타를 통해서 정보를 전달하고 피험자가 그 내용을 바탕으로 생각해보는 가상현실의 컨텐츠를 구성하였다. 사람은 타인에게서 정보를 받아들일 때 자연스럽게 그 내용에 숨어있는 의미나 의도를 추론하게 된다.
제안 방법
BOLD(Blood Oxygenate Level Dependent) 신호는 EPI sequence (Gradient Echo)통하여 Axial 방향으로 촬영하였다 (64x64x30 matrix with 3.75x3.75x5-mm spatial resolution, TE: 14.3, TR: 2s, FOV: 240mm, Slice thickness: 5mm, FA=90, # of slices:30). T1 이미지는 FSPGR sequence 로 Coronal 방향으로 촬영하였다(256x256x116 matrix with 0.
이미지 data 를 Talairach space 로 변환해주기 위해서 Montreal Neurological Institute(MNI) N27 template 을 사용하여 bilinear interpolation 으로 Spatial Normalization 을 하였다. EPI data 는 Normalization 한 T1 data 를 사용하여 2x2x2mm3 의 해상도로 bilinear interpolation 으로 Spatial Normalization 을 하였다. Spatial Smoothing은 full-width at half maximum(FWHM)을 9mm 로 하여 Gaussian filter 를 사용하였다.
MR scan 을 마친 후 Bob G. Witmer 의 presence questionnaire 로 피험자의 presence 점수를 얻었다. Presence questionnaire 은 신뢰성 분석 결과 신뢰성이 있었다.
[5] 그래서 아바타가 전달하는 내용은 명확하게 모든 정보를 알려주는 과제(Clear Task, 이하 C 과제) 와 중요한 정보를 생략하고 알려주는 과제(Ambiguous Task, 이하 A 과제) 두 가지로 구성하였다. 그리고 피험자 개개인이 각각의 내용을 바탕으로 추론하는 동안 뇌 영역 활성화의 차이와 가상현실 경험 동안의 presence 점수와 관련된 뇌영역을 알아보았다.
머리의 움직임에 의한 MR signal 의 비 정상적인 값을 제거해주기 위해서 median filter 를 사용하여 Temporal Smoothing 을 하였다. 이미지 data 를 Talairach space 로 변환해주기 위해서 Montreal Neurological Institute(MNI) N27 template 을 사용하여 bilinear interpolation 으로 Spatial Normalization 을 하였다.
실험은 24 개의 과제(A 과제 12 개, C 과제 12 개)를 무선적으로 배열하여 1session 당 12 개씩 총 2session 으로 구성하였다. 아바타는 움직이는 표정을 가지고 말하였으며 말과 입술의 움직임을 synchronization 하였다.
실험은 24 개의 과제(A 과제 12 개, C 과제 12 개)를 무선적으로 배열하여 1session 당 12 개씩 총 2session 으로 구성하였다. 아바타는 움직이는 표정을 가지고 말하였으며 말과 입술의 움직임을 synchronization 하였다. 추론하는 구간에서는 '주인공에게 이전에 어떠한 일이 있었을지 생각해 보세요' 라는 지시 문을 통해 아바타가 말한 내용을 바탕으로 추론을 하도록 하였다.
아바타는 움직이는 표정을 가지고 말하였으며 말과 입술의 움직임을 synchronization 하였다. 추론하는 구간에서는 '주인공에게 이전에 어떠한 일이 있었을지 생각해 보세요' 라는 지시 문을 통해 아바타가 말한 내용을 바탕으로 추론을 하도록 하였다. (Figure 1)
8s, FA : 12, # of slices: 116). 피험자가 잠시 쉬면서 기운을 회복할 수 있도록 하기 위해서 1 session 을 먼저 촬영하고 T1 이미지를 촬영하고 다음 2session 을 촬영하였다. 모든 MR image 는 강남 베드로 병원의 1.
대상 데이터
30 초동안 아바타가 전달하는 내용은 명확하게 모든 정보를 알려주는 과제(C 과제)와 중요한 정보를 생략하고 알려주는 과제(A 과제) 두 가지로 구성하였다. 두 종류의 과제가 차이가 있는지 알아보기 위해서 정상인 5 명을 대상으로 pre-test 를 하였다. ‘주인공에게 어떤 일이 있었는지 생각해본 내용을 확신 할 수 있습니까?’라는 질문을 통해 ‘가장 확신할 수 있었다’ 를 7점으로 하고 ‘전혀 확신 할 수 없었다’를 1 점으로 하여 두 과제의 차이를 비교하여본 결과 유의미한 차이를 보였다.
피험자가 잠시 쉬면서 기운을 회복할 수 있도록 하기 위해서 1 session 을 먼저 촬영하고 T1 이미지를 촬영하고 다음 2session 을 촬영하였다. 모든 MR image 는 강남 베드로 병원의 1.5T GE 장비를 사용하여 촬영하였다.
피험자는 건강한 오른손 잡이 성인 남자 7 명, 여자 8 명을 모집하였다. 평균나이는 26.
데이터처리
Preprocessing 후 개개인의 data 를 General Linear Model 을 사용해서 Statistical analysis 를 하였다.
개인별로 statistical analysis 를 한 후 피험자 각각의 가상현실 경험 동안의 presence score 와 뇌 활성화와 관련된 영역을 알아보기 위해서 covariance analysis 를 하였다.
이론/모형
EPI data 는 Normalization 한 T1 data 를 사용하여 2x2x2mm3 의 해상도로 bilinear interpolation 으로 Spatial Normalization 을 하였다. Spatial Smoothing은 full-width at half maximum(FWHM)을 9mm 로 하여 Gaussian filter 를 사용하였다.
data preprocessing 과 analysis 는 AFNI(Analysis Functional NeuroImaging)를 이용하여 Linux 환경에서 하였다. (Figure 5)
머리의 움직임에 의한 MR signal 의 비 정상적인 값을 제거해주기 위해서 median filter 를 사용하여 Temporal Smoothing 을 하였다. 이미지 data 를 Talairach space 로 변환해주기 위해서 Montreal Neurological Institute(MNI) N27 template 을 사용하여 bilinear interpolation 으로 Spatial Normalization 을 하였다. EPI data 는 Normalization 한 T1 data 를 사용하여 2x2x2mm3 의 해상도로 bilinear interpolation 으로 Spatial Normalization 을 하였다.
성능/효과
fMRI 분석 결과 A 과제와 C 과제의 차이와 관련된 뇌 활성화와 presence 점수와 몇몇 영역이 관계가 있는 것으로 나타났다. (Figure 6)
의 (라)에서 그래프를 보면 MR signal change (%) 값이 음의 값에서 양의 값으로 변하면서 양의 값의 상관관계를 가지는 것을 알 수가 있다. 다시 말해서 presence 점수가 낮은 피험자 일수록 상관관계를 보인 영역에서 정보를 완전히 명확하게 제공하였던 C 과제와 관련해서 뇌가 더 활성화 되었고, presence 점수가 높은 피험자일수록 정보를 완전히 제공하지 않고 애매한 내용의 정보를 제공했었던 A 과제와 관련해서 뇌 영역이 더 활성화 되었다고 이야기 할 수 있다.
그리고 그 차이는 과제의 차이에 따른 뇌의 활성화와 관련이 있을 것으로 생각하였다. 실험 결과 presence 점수와 과제의 차이에 따른 뇌의 활성화의 차이가 상관관계를 보이는 뇌 영역을 확인할 수 있었다. Presence 는 가상현실에서 사용자의 인지하고 지각하는 감각의 복합적인 반영으로 과제의 차이와 관련해서 presence 점수와 상관관계를 보였던 뇌 영역에 관한 해석에 대해서는 추후 연구로 알아봐야 할 것이다.
후속연구
실험 결과 presence 점수와 과제의 차이에 따른 뇌의 활성화의 차이가 상관관계를 보이는 뇌 영역을 확인할 수 있었다. Presence 는 가상현실에서 사용자의 인지하고 지각하는 감각의 복합적인 반영으로 과제의 차이와 관련해서 presence 점수와 상관관계를 보였던 뇌 영역에 관한 해석에 대해서는 추후 연구로 알아봐야 할 것이다. 본 연구에서는 presence 가 가상현실을 통한 경험에 영향을 미치는 것을 직접적인 뇌의 활성화와 비교해서 알아보았다는 것에서 그 의의를 찾을 수 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.