선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구 결과는 키프레임 추출 알고리즘 구성에 적용될 수 있을 것으로 생각되고, 더 나아가 문헌정보학의 오랜 동안의 연구 대상인 적합성 이해를 위한 기초 자료로 활용될 수 있을 것으로 기대한다. 다음은 본 연구에서 얻은 결과를 토대로 적합, 부분적합 및 비적합 이미지 자극으로 생성되는 피험자들의 뇌파와 그 활성화 양상을 비교하여 논의해 본다.
- 본 연구의 목적은 뇌파측정기술(EEG)과 ERP 방법을 이용하여 이용자 기반의 비디오 키프레임들을 자동으로 추출할 수 있는지의 가능성을 조사해 보고자 한다. 이를 위해서 피험자들에게 비디오를 보여준 후 해당 비디오에서 추출한 프레임을 제시한 후 ‘적합’, ‘부분적합’, ‘비적합’ 중 하나를 선택하도록 한다.
- 본 연구의 목적은 뇌파측정기술(EEG)과 ERP 방법을 이용하여 이용자 기반의 비디오 키프레임들을 자동으로 추출할 수 있는지의 가능성을 조사해 보는 것이다. 연구 가설들의 검증 과정을 통해서 키프레임 자동 추출의 가능성을 확인하였고, 이와 더불어 동영상과 이미지를 보여준 후 그 영향력이 P3b에서 극대화된다는 사실도 발견하였다.
- 즉, Koelstra et al.은 피험자들에게 비디오를 보여준 후 텍스트로 표현된 태그를 보여주면서 해당 태그가 비디오 주제에 적합한지 여부를 결정하도록 하였다. 실험 결과, 의미적으로 불일치할 때 나타나는 파형인 N400에서 비적합 및 적합 태그의 자극 후생기는 EEG 뇌파간에 통계적으로 유의한 차이가 있었다.
가설 설정
- 1) 연구 가설 1: P3b 최고전위점을 기준으로 삼을 때, 두정엽에 위치한 뇌파 채널들 (P3/Pz/P4, P7/P8)의 적합 이미지, 부분적합 이미지 및 비적합 이미지 자극간에 통계적으로 유의미한 차이를 보일 것이다.
- 2) 연구 가설 2: P3b 최고전위점을 기준으로 삼을 때, 두정엽에 위치한 좌우측 뇌파 채널간(P3 vs. P4; P7 vs. P8)의 뇌파크기(0.1~30Hz 대역 전위값)는 적합 이미지, 부분적합 이미지 및 비적합 이미지 자극간에 통계적으로 유의미한 차이를 보일 것이다.
- 의 ERP 연구를 제외하고, 나머지 연구들은 정량화 뇌파와 fMRI를 이용하고 있다. 본 연구는 비디오를 시청한 후 제시한 이미지가 비디오 주제를 얼마나 잘 표현하는지의 여부에 따라서 뇌파 채널들이 반응하는 강도와 시점이 달라질 것으로 가정하고, ERP의 P3b를 사용하고자 한다. 이는 적합한 자료인지를 판단하는 작업이 기존의 정보들과 연관시켜 판단을 유도하는 반응과정의 시간이 비교적 길다고 생각했기 때문이다.
- 이들은 짧은 동영상 비디오들을 17명의 피험자들에게 10초 이내에 두 번 보여준 후 보여준 동영상과 관련된 태그들을 각각 제시하고 적합한 태그인지 아닌지를 선택하도록 하였다. 이들은 태그가 적합하지 않을 때 즉 제시된 태그가 비디오 주제와 불일치할 때 N400이 발생한다고 가정하고 ERP 연구를 수행하였다. 실험에 사용한 동영상 자료는 차에서 나오는 사람들, 문을 여는 고양이들 등의 7개 카테고리, 각 카테고리에 속한 7개의 비디오들, 총 49개로 이루어졌다.
제안 방법
- 20대의 피험자 18명과 9명을 각각 대상으로 하여 무선 헤드셋 뇌파기(B-Alert® EEG Sensor Headset)를 이용하여 한 문장으로 된 서술을 보여준 후 보여준 서술과 적합한(관련된 내용), 부분적으로 적합한(서술에서 사용한 일부 키워드들은 사용하고 있지만 내용은 관련되지 않음) 그리고 비적합한(전혀 관련되지 않은 내용) 문장을 각각 10개씩 제시하여 앞의 서술과 어떤 관련이 있는지 선택하도록 하였다.
- FP1/FP2, F3/Fz/F4, F7/F8, FT7/FT8, FT9/FT10, FC3/FCz/FC4, CP3/CPz/CP4, C3/Cz/C4, P7/P8, P3/Pz/P4, PO1/PO2, O1/Oz/O2, T7/T8, TP7/TP8의 전극에서 뇌파를 측정하였다( 참조).
- 뇌파는 일반적으로 두피에 전극을 장착하여 측정한다. Neuroscan Nuamp amplifier(Compumedics USA, El Paso, TX, USA)와 Ag-AgCl electrodes가 10~20 체계에 의해 심어져 있는 40채널 Quick Cap을 사용하여 뇌파를 측정하였다. FP1/FP2, F3/Fz/F4, F7/F8, FT7/FT8, FT9/FT10, FC3/FCz/FC4, CP3/CPz/CP4, C3/Cz/C4, P7/P8, P3/Pz/P4, PO1/PO2, O1/Oz/O2, T7/T8, TP7/TP8의 전극에서 뇌파를 측정하였다(<그림 3> 참조).
- 네 개의 탐색 과제(Fortis 은행 로고, 올림픽 성화봉, 오바마와 힐러리 클린턴, & 영국 황실 가족)가 주어지고 각 탐색과제에 대해서 5개의 적합 이미지와 5개의 비적합 이미지를 무작위로 보여준 후 주어진 이미지가 적합한지 아닌지 선택하도록 하였다.
- 뇌파를 진동하는 주파수의 범위에 따라 델타파(δ), 세타파(θ), 알파파(α), 베타파(β), 감마파(γ) 등으로 구분하여 분석한다.
- 다음으로 자극(event)를 확인하여 각 피험자가 구분한 적합 이미지(자극 번호: 3), 부분 적합 이미지(자극 번호: 2) 및 비적합 이미지 (자극 번호: 1)로 구분된 에폭(epoch)을 생성하였다. 이때 에폭의 길이는 -200~9,000ms로, 자극 제시 전 200ms부터 자극 제시 후 9,000ms(이 미지 보는 6초와 선택하는 3초를 포함함)까지로 하였다.
- 두뇌의 영역간의 활성화 차이를 0.1~30Hz 에서 시각적으로 확인하기 위해 CURRY 7.09 제공하는 두뇌맵핑(Brain Mapping)분석을 이용하여 50ms, 250ms, 500ms, 7,400ms 시점의 두뇌맵을 구성하였다(, , 참조).
- 두정엽 부근의 뇌파 채널들을 분석하기 이전 단계로 에서 확인한 것처럼 34개 채널과 MGFP1(모든 채널의 평균 값)의 0~9초 사이에 평균 최고전위점의 전위 값과 평균 잠재기를 분석해 보았다.
- 레퍼런스(reference) 전극은 A1, A2를 측정 하였고, 수평안구전도(horizontal EOG)는 양안의 외안각(outer canthi)에서 측정하였다. 안구의 눈깜박임이나 움직임을 측정하기 위해 수직안구전도(vertical electrooculogram, 이하 EOG)는 좌측 안구의 위아래 두 곳에서 측정하였다.
- 생성된 에폭 파일은 자극 전 -200ms 값을 이용하여 기저선 교정을 시행하였고, 34개의 전극 중 한 곳에서라도 측정된 전체 채널에서 파형의 진폭이 -75~75μV를 넘으면 잡파로 간주하여 제거하였다.
- 실험 절차는 에서 확인할 수 있는 것처럼 처음 7초 동안 실험에 대한 간단한 소개를 하고(실험 시작하기 전에 10분 동안 실험에 대해서 미리 설명함) 집중을 위해서 십자 표시가 있는 검정색 화면 그 다음 아무런 표시가 없는 검정색 화면을 각각 3초씩 보여준 다음 비디오를 보여 주었다.
- 이충연 외(2011)는 동영상을 이용하여 학습한 내용을 인출하는 과정에서 이미지와 텍스트가 인출 단서로서 기억 인출 결과에 미치는 영향을 EEG 분석을 이용하여 분석해 보았다. 실험을 위해서 동영상 자료를 이용하여 습득한 일화 기억(episodic memory)을 인출해내는 능력을 평가하기 위해 영화 장면-대사 기억 게임을 개발하여 사용하였다. 이 게임은 비디오를 이용하여 해당 내용을 학습한 후 대사 텍스트가 주어졌을 때 해당 대사에 맞는 상황을 설명하는 장면 이미지를 선택하는 ‘텍스트-to-이미 지’ 세션과 주어진 장면 이미지에 대한 상황에 맞는 대사 텍스트를 선택하는 ‘이미지-to-텍스트’ 세션으로 구분된다.
- 아홉명을 대상으로 9개의 채널(Fz, Cz, POz, F3, F4, C3, C4, P3, & P4)을 이용하여 뇌파를 측정한 후 분산분석을 수행하였다.
- 레퍼런스(reference) 전극은 A1, A2를 측정 하였고, 수평안구전도(horizontal EOG)는 양안의 외안각(outer canthi)에서 측정하였다. 안구의 눈깜박임이나 움직임을 측정하기 위해 수직안구전도(vertical electrooculogram, 이하 EOG)는 좌측 안구의 위아래 두 곳에서 측정하였다. 뇌파 표집율(sampling rate)은 1,000Hz였다.
- 이러한 데이터를 이용하여, 뇌파 활성도(베타파/알파파) 또는 집중 지표((SMR + Mid-베타파) / 세타파)의 분석에 사용할 수 있다 (장윤석, 한재웅 2014; 고유빈 외 2012). 여기서 집중 지표는 뇌의 기능적 특성이 집중 상태에 있을 때에 세타파 리듬이 줄어들면서 SMR파와 Mid-베타파가 증가한다는 사실에 기초하여 세타파에 대한 SMR파와 Mid-베타파의 비율로 정량화하여 측정한다.
- 본 연구에서는 다음과 같은 두 가지 연구가설을 설정하였다. 연구 가설 1과 2는 적합 이미지, 부분적합 이미지 및 비적합 이미지 자극간에 통계적으로 유의미한 차이를 보이는지 알아보기 위해서 양방향 가설 검증 형식으로 기술하였다.
- Koelstra et al.은 자동 태깅 방안을 제안하기 위해서 시각 자극을 주고 뇌파를 측정하여 뇌에서 정보처리를 하는 과정의 각 단계를 반영하는 사건관련유발전위(Event Related Potentials, 이하, ERP)를 사용하였다. 즉, Koelstra et al.
- Behneman et al.은 정량화뇌파(quantitative electroencephalography, QEEG) 방법을 이용하여 한 문장으로 된 서술을 보여준 후 보여준 서술과 적합하거나 또는 비적합한 문장들을 제시하여 앞의 서술과 어떤 관련이 있는지 선택하도록 하였다. 분석 결과, 적합 문장과 비적합 문장의 자극간에 세타파와 알파파 대역에서 차이가 있다고 보고하였다.
- 이를 위해서 피험자들에게 비디오를 보여준 후 해당 비디오에서 추출한 프레임을 제시한 후 ‘적합’, ‘부분적합’, ‘비적합’ 중 하나를 선택하도록 한다.
- 이는 모든 채널에서 초당 1,000회의 자료수 집이 있었다는 것을 의미한다. 자극제시와 뇌파 측정의 시작점 동기화는 E-Prime(Psychology Software Tools, Pittsburgh, PA, USA)을 통해 통제하였다. 본 연구에서는 뇌파자료를 주파수대역 별로 구분하는 대신, 통합 분석하는 최근의 유사한 ERP 연구들의 경향을 따랐다 (Koelstra et al.
- 은 적합성 연구를 위해서 fMRI를 이용하였다. 주제에 맞는 이미지를 찾는 탐색 과제가 주어지고 각 탐색 과제에 대한 적합 이미지와 비적합 이미지를 무작위로 보여준 후 주어진 이미지가 적합한지 아닌지 선택하도록 하였다. 적합 이미지의 경우는 비적합 이미지의 경우보다 우측에 있는 하두정엽(inferior parietal lobe), 상전두회(superior frontal gyrus) 및 하측두회(inferior temporal gyrus)가 더 활성화되는 것으로 나타났다.
- 피험자들에게 비디오를 제시한 후 비디오에서 추출한 이미지(프레임)들을 피험자들에게 차례로 보여준 후 해당 이미지가 비디오의 주제를 잘 나타내는지 판단하게 한 후에 적합, 부분적합 및 비적합 중에서 하나를 선택하도록 하는 실험은 다음과 같이 설계하였다.
- 09(Compumedics, El Paso, TX, USA) 프로그램을 이용하여 분석 되었다. 피험자의 눈깜박거림(eyeblinks)과 같은 동작으로 생기는 잡음은 공분산(covariance) 행렬을 이용하여 제거하였다.
대상 데이터
- (2013)은 적합성 연구를 위해서 fMRI를 이용하였다. 20~30대 18명의 피험자들을 대상으로 실험을 진행하였다. 네 개의 탐색 과제(Fortis 은행 로고, 올림픽 성화봉, 오바마와 힐러리 클린턴, & 영국 황실 가족)가 주어지고 각 탐색과제에 대해서 5개의 적합 이미지와 5개의 비적합 이미지를 무작위로 보여준 후 주어진 이미지가 적합한지 아닌지 선택하도록 하였다.
- 이 게임은 비디오를 이용하여 해당 내용을 학습한 후 대사 텍스트가 주어졌을 때 해당 대사에 맞는 상황을 설명하는 장면 이미지를 선택하는 ‘텍스트-to-이미 지’ 세션과 주어진 장면 이미지에 대한 상황에 맞는 대사 텍스트를 선택하는 ‘이미지-to-텍스트’ 세션으로 구분된다. EEG 획득을 위해 7명의 피험자들을 대상으로 Emotiv 헤드셋을 사용하였다. 실험 결과, ‘이미지-to-텍스트’ 세션의 경우 ‘텍스트-to-이미지’ 세션보다 상대적으로 더 높은 후두엽의 활성화가 이루어졌다.
- 대학교에 재학중인 21세에서 28세 사이의 남학생 20명을 대상으로 하였다. 기존 연구에서 성별 또는 나이에 따라서 뇌파의 차이가 있다고 알려졌기 때문에 이러한 차이를 최소화하기 위해서 피험자의 자격을 20대의 남자로 제한하였다. 또한 피험자 모두 오른손잡이로 제한하였다.
- 뇌파를 분석하는 방법에는 정량화뇌파(QEEG), ERP 등이 있는데 본 연구는 ERP 분석을 위해서 P3b(400~600ms)을 선택하였다. P3b는 외부에서 들어오는 자극에 대한 주의 집중(attention)과 자극들을 구별하는 지각적 결정(perceptual decision)과 관련되는 것으로 알려졌다(Hillyard and Woods 1979; DeFrance et al.
- 대학교에 재학중인 21세에서 28세 사이의 남학생 20명을 대상으로 하였다. 기존 연구에서 성별 또는 나이에 따라서 뇌파의 차이가 있다고 알려졌기 때문에 이러한 차이를 최소화하기 위해서 피험자의 자격을 20대의 남자로 제한하였다.
- 이는 기저선 교정을 시행하고, 이미지 보는 동안과 적합성을 판단할 때의 뇌파를 파악하기 위해서이다. 따라서 각 피험자당 9.2초 짜리 에폭을 54개(6개 비디오에서 각 비디오당 9개) 추출하여 한 명의 피험자에서 총 496.8초의 자료를 이용하였다. 생성된 에폭 파일은 자극 전 -200ms 값을 이용하여 기저선 교정을 시행하였고, 34개의 전극 중 한 곳에서라도 측정된 전체 채널에서 파형의 진폭이 -75~75μV를 넘으면 잡파로 간주하여 제거하였다.
- 실험 데이터는 6개의 짧은 비디오들(1.09~ 2.11분)로 구성되는데 4개는 문화유산채널이 제작한 5분 다큐 비디오들을 줄인 것이고 나머지는 MBC 스페셜 심리다큐(행복에 이르는 10단 계)와 휴넷 감성 다큐이다.
- 이들은 태그가 적합하지 않을 때 즉 제시된 태그가 비디오 주제와 불일치할 때 N400이 발생한다고 가정하고 ERP 연구를 수행하였다. 실험에 사용한 동영상 자료는 차에서 나오는 사람들, 문을 여는 고양이들 등의 7개 카테고리, 각 카테고리에 속한 7개의 비디오들, 총 49개로 이루어졌다. 적합 및 비적합 태그의 자극 후 생기는 EEG 뇌파간에 통계적인 유의미한 차이가 있는지 반복 측정 분산분석을 수행하였다.
- 1~30Hz이다. 총 1,080개([한 피험자 당] 54개 X 20명) 에폭들에서 잡음 제거와 같은 필터링 과정을 거친 후 64개 에폭들이 제외되어 1,016개 에폭들(적합: 256개, 부분적합: 386개, 비적합: 374개)이 최종적으로 분석에 이용되었다.
데이터처리
- 두정엽에 위치한 뇌파 채널들(P3/Pz/P4, P7/ P8)의 P3b 전위값이 적합/부분적합/비적합 이미지 자극간에 통계적으로 유의미한 차이가 있는지 알아보기 위해서 분산분석(ANOVA)을 수행하였다. 분석 결과, 유의 수준 0.
- 두정엽에 위치한 두 개의 좌우측 뇌파 채널 (P3 vs. P4; P7 vs. P8)간의 비교에서 적합/부분적합/적합 이미지 자극에서 통계적으로 유의미한 차이가 있는지 t-검정을 수행하였다. 분석 결과, 적합 및 부분적합 이미지 자극 시 통계적으로 유의미한 차이를 나타냈다(<표 5> 참조).
- 이러한 차이를 보다 세부적으로 살펴보기 위해 사후검증(Post hoc test)을 위한 다중비교(multiple comparison)를 실시하였으며 방법은 Tukey HSD를 사용하였다( 참조).
- 실험에 사용한 동영상 자료는 차에서 나오는 사람들, 문을 여는 고양이들 등의 7개 카테고리, 각 카테고리에 속한 7개의 비디오들, 총 49개로 이루어졌다. 적합 및 비적합 태그의 자극 후 생기는 EEG 뇌파간에 통계적인 유의미한 차이가 있는지 반복 측정 분산분석을 수행하였다. 실험 결과, N400에서 32개 채널 중 10개의 채널이 유의수준 0.
- 측정된 뇌파는 CURRY 7.09(Compumedics, El Paso, TX, USA) 프로그램을 이용하여 분석 되었다. 피험자의 눈깜박거림(eyeblinks)과 같은 동작으로 생기는 잡음은 공분산(covariance) 행렬을 이용하여 제거하였다.
이론/모형
- 자극제시와 뇌파 측정의 시작점 동기화는 E-Prime(Psychology Software Tools, Pittsburgh, PA, USA)을 통해 통제하였다. 본 연구에서는 뇌파자료를 주파수대역 별로 구분하는 대신, 통합 분석하는 최근의 유사한 ERP 연구들의 경향을 따랐다 (Koelstra et al. 2009; Jung et al. 2012; 임용 수, 이승환, 홍석인 2010).
- Moshfeghi et al.은 적합성 연구를 위해서 fMRI를 이용하였다. 주제에 맞는 이미지를 찾는 탐색 과제가 주어지고 각 탐색 과제에 대한 적합 이미지와 비적합 이미지를 무작위로 보여준 후 주어진 이미지가 적합한지 아닌지 선택하도록 하였다.
성능/효과
- 18명을 대상으로 6개의 채널(Fz, Cz, POz, F3, C3, & C4)을 이용하여 뇌파 측정을 하였는데, 세타파가 Cz와 POz 채널에서 비적합 문장의 경우가 가장 높았고, 적합 문장의 경우가 가장 낮았다.
- 잠재기가 이처럼 긴 것은 피험자들이 6초 동안 이미지를 보고 6초 이후에 버튼을 눌러서 선택하는 실험 조건에 영향을 받은 것으로 보인다. F3/Fz 채널의 잠재기는 적합/부분적합 이미지는 6,235~8,574ms이고, 비적합 이미지는 2,621~3,767ms로 훨씬 짧게 나타났다. F7 채널의 잠재기는 부분적합 이미지는 6,737ms이고, 적합/비적합 이미지는 3,233ms, 2,560ms로 각각 나타났다.
- 그 결과, 4개의 채널(F4, C4, P4, & POz)에서 세타파가 비적합 문장의 자극 시 적합/부분적합 문장의 자극 보다 유의미하게 높게 나타났고, 적합 문장과 부분적합 문장간에는 유의미한 차이는 없었다.
- 넷째, MGFP1(모든 채널의 평균값)에서 적합 이미지의 잠재기(461ms)가 비적합 이미지의 잠재기(277ms)보다 통계적으로 유의한 차이가 있게 길게 나왔다. 적합 이미지의 MGFP1의 잠재기가 P3b와 연관된다는 것은 적합 이미지를 확인하는 하나의 기준으로 사용될 수 있을 것으로 생각된다.
- 다섯째, 채널 동시성을 살펴보면, 적합 이미지 자극 시 앞에서 시청한 비디오의 한 장면(이미지)이 주어지면 이를 후두엽/두정엽에서 집중하여 보게 되고 후두엽/두정엽과 전전두엽/ 전두엽이 서로 상호작용하면서 이미지가 비디오 주제를 잘 표현했는지의 여부를 판단하는 패턴을 보이고 있다. 이는 이미지를 인출 단서로 하는 기억 인출 시에 전전두엽의 기억 인출 관련 영역과 후두엽의 시각 피질간의 상호작용이 이루어지면서 암묵적인 시각적 기억 표상의 인출이 발생한다는 주장과 유사한 양상을 보인다 (이충연 외 2011).
- 이러한 차이를 보다 세부적으로 살펴보기 위해 사후검증(Post hoc test)을 위한 다중비교(multiple comparison)를 실시하였으며 방법은 Tukey HSD를 사용하였다(<표 4> 참조). 두정엽의 좌측과 중간에 위치하는 P7/P3/Pz에서 적합 이미지에 대한 뇌파 반응이 비적합 이미지에 대한 뇌파반응보다 더 크게 나타났다. 특히 P7에서는 부분적합 이미지와 비적합 이미지에 대한 뇌파반응도 통계적으로 유의한 차이를 보였다.
- 둘째, 두정엽 영역에 있는 좌우측 채널들의 전위값 차이 비교(P3 vs. P4; P7 vs. P8)에서 적합 이미지는 유의한 차이가 있으나, 비적합 이미지는 유의한 차이가 없었다. 즉, 적합 이미지 자극시 좌측 두정엽이 우측 두정엽보다 더 활성화된 것으로 나타난 것이다.
- 연구가설 1과 2의 분석 결과를 종합해 보면, 적합 이미지 자극 시 세 개의 채널(P7, P3, & Pz)에서 비적합 이미지 자극에서 보다 전위값이 유의하게 높게 나왔다. 또한 적합/부분적합 이미지 자극 시 좌측 채널들이 우측 채널들보다 더 활성화된 것을 발견할 수 있었고, 비적합 이미지 자극에서는 좌우측 채널들간의 전위값들이 유의한 차이가 없었다. 부분적합 이미지의 경우 적합성 정도에 따라서 적합 이미지와 유사한 패턴을 보이기도 하고 다른 패턴을 보이기도 하는 것으로 보인다.
- 모든 채널의 평균값인 MGFP1의 잠재기는 적합 이미지의 경우는 461ms로 부분적합/비적합의 잠재기들(252ms/277ms)보다 통계적으로 유의미하게 길었다(p < 0.001).
- 18명을 대상으로 6개의 채널(Fz, Cz, POz, F3, C3, & C4)을 이용하여 뇌파 측정을 하였는데, 세타파가 Cz와 POz 채널에서 비적합 문장의 경우가 가장 높았고, 적합 문장의 경우가 가장 낮았다. 분산분석을 수행한 결과, 비적합 문장이 적합/부분적합 문장 보다 유의미하게 높았고, 적합 문장과 부분적합 문장간에는 유의미한 차이는 없었다.
- 분석 결과, 유의 수준 0.01에서 P8을 제외하고는 모두 통계적으로 유의미한 차이를 나타냈다( 참조).
- 분석 결과, 적합 및 부분적합 이미지 자극 시 통계적으로 유의미한 차이를 나타냈다( 참조).
- 셋째, 두 자극(적합/비적합 이미지)간의 차이를 두뇌맵핑분석(400~600ms)을 이용하여 알아본 결과, 두정엽 영역에서 앞에서 설명한 채널들의 전위값들을 분석하여 얻은 결과와 유사하게 나타났다. 즉, 적합 이미지 자극 시 좌측 두정엽 영역이 우측 두정엽 영역보다 더 활성화되어 있었다.
- 실험 결과, ‘이미지-to-텍스트’ 세션의 경우 ‘텍스트-to-이미지’ 세션보다 상대적으로 더 높은 후두엽의 활성화가 이루어졌다.
- 적합 및 비적합 태그의 자극 후 생기는 EEG 뇌파간에 통계적인 유의미한 차이가 있는지 반복 측정 분산분석을 수행하였다. 실험 결과, N400에서 32개 채널 중 10개의 채널이 유의수준 0.01로 유의미한 차이가 있었다. 특히 이러한 차이가 있는 채널들(CP1, Pz, PO3, CP2, C4, & Cz)은 후두엽과 두정엽 부근에 있는 것들로 나타났다.
- 은 피험자들에게 비디오를 보여준 후 텍스트로 표현된 태그를 보여주면서 해당 태그가 비디오 주제에 적합한지 여부를 결정하도록 하였다. 실험 결과, 의미적으로 불일치할 때 나타나는 파형인 N400에서 비적합 및 적합 태그의 자극 후생기는 EEG 뇌파간에 통계적으로 유의한 차이가 있었다. Moshfeghi et al.
- 다음은 이러한 연구 결과를 비디오 키프레임 자동 추출 작업에 적용시키는 과정이 필요하다. 앞의 결과에서 볼 때 적합 이미지와 비적합 이미지의 자극 차이로 이용할 수 있는 하나의 근거로 적합 이미지의 경우는 400~600ms에서 좌우 두정엽의 전위값 차이가 유의하게 나타나고, 비적합 이미지는 차이가 나타나지 않는다는 점이다. 이러한 결과를 토대로 하여 비디오의 키프레임을 추출하는 단계는 이용자들이 비디오를 볼 때 실시간으로 하는 방법과 오프라인으로 하는 방법을 고려해 볼 수 있다.
- 본 연구의 목적은 뇌파측정기술(EEG)과 ERP 방법을 이용하여 이용자 기반의 비디오 키프레임들을 자동으로 추출할 수 있는지의 가능성을 조사해 보는 것이다. 연구 가설들의 검증 과정을 통해서 키프레임 자동 추출의 가능성을 확인하였고, 이와 더불어 동영상과 이미지를 보여준 후 그 영향력이 P3b에서 극대화된다는 사실도 발견하였다. 본 연구 결과는 키프레임 추출 알고리즘 구성에 적용될 수 있을 것으로 생각되고, 더 나아가 문헌정보학의 오랜 동안의 연구 대상인 적합성 이해를 위한 기초 자료로 활용될 수 있을 것으로 기대한다.
- 연구가설 1과 2의 분석 결과를 종합해 보면, 적합 이미지 자극 시 세 개의 채널(P7, P3, & Pz)에서 비적합 이미지 자극에서 보다 전위값이 유의하게 높게 나왔다.
- 연구에서 우측 두정엽에 위치한 P4 채널에서 세타파가 비적합 문장의 자극 시 적합 문장 자극에서 보다 유의미하게 높게 나타났는데, 본 연구에서도 P4의 비적합 이미지 전위값(4.26)이 적합 이미지 전위값(3.75) 보다 높게 나왔다( 참조).
- 주제에 맞는 이미지를 찾는 탐색 과제가 주어지고 각 탐색 과제에 대한 적합 이미지와 비적합 이미지를 무작위로 보여준 후 주어진 이미지가 적합한지 아닌지 선택하도록 하였다. 적합 이미지의 경우는 비적합 이미지의 경우보다 우측에 있는 하두정엽(inferior parietal lobe), 상전두회(superior frontal gyrus) 및 하측두회(inferior temporal gyrus)가 더 활성화되는 것으로 나타났다.
- 주제에 맞는 이미지를 찾는 탐색 과제가 주어지고 각 탐색 과제에 대한 적합 이미지와 비적합 이미지를 무작위로 보여준 후 주어진 이미지가 적합한지 아닌지 선택하도록 하였다. 적합 이미지의 경우는 비적합 이미지의 경우보다 우측에 있는 하두정엽(inferior parietal lobe), 상전두회(superior frontal gyrus) 및 하측두회(inferior temporal gyrus)가 더 활성화되는 것으로 나타났다.
- 한편 알파파는 2개의 채널(F4 & C4)에서 세타파의 경우와 유사하게 비적합 문장의 경우가 적합/부분적합 문장의 경우 보다 유의미하게 높았고, 적합 문장과 부분적합 문장간에는 유의미한 차이는 없었다. 종합하면, 이 연구는 알파파는 집중력이 요구될 때 감소되고, 세타파는 의미가 애매한 정보에 접할 때 증가하는 것으로 보고하고 있다.
- 첫째, 좌측 및 정중 두정엽 영역에 있는 채널들(P3, P7, & Pz)에서 적합 이미지의 전위값 들이 비적합 이미지의 전위값들 보다 통계적으로 유의한 차이가 있게 높았다.
- 96%이다. 특히 비디오 2의 일치도가 가장 낮았고 비디오 5의 일치도는 가장 높게 나타났다.
- 즉, 적합 이미지 자극 시 좌측 두정엽 영역이 우측 두정엽 영역보다 더 활성화되어 있었다. 한편, 비적합 이미지 자극 시 두정엽 영역이 적합 이미지보다 강도는 약하지만 활성화되어 있었고, 좌우측 간에 차이는 없어 보였다. 이외에 좌측 측두엽 영역은 적합 이미지 자극 시 강도는 약하지만 활성화되어 있고, 비적합 이미지는 활성화되어 있지 않았다.
- 두정엽 부근의 뇌파 채널들을 분석하기 이전 단계로 <표 2>에서 확인한 것처럼 34개 채널과 MGFP1(모든 채널의 평균 값)의 0~9초 사이에 평균 최고전위점의 전위 값과 평균 잠재기를 분석해 보았다. 후두엽 부근에 있는 O1/Oz/O2 채널의 잠재기는 적합/부분적합 이미지 자극에서 약 250ms로 나타났고, 비적합 이미지 자극은 약 240ms로 나타났다. 후두엽과 두정엽 사이에 있는 PO1/PO2 채널의 잠재기는 적합/부분적합 이미지는 327~491ms이고, 비적합 이미지는 약 240ms로 나타났다.
- 후두엽 부근에 있는 O1/Oz/O2 채널의 잠재기는 적합/부분적합 이미지 자극에서 약 250ms로 나타났고, 비적합 이미지 자극은 약 240ms로 나타났다. 후두엽과 두정엽 사이에 있는 PO1/PO2 채널의 잠재기는 적합/부분적합 이미지는 327~491ms이고, 비적합 이미지는 약 240ms로 나타났다.
후속연구
- 이와 같은 좌우반구 활성화에 대한 차이는 전전두엽의 경우, 좌반구 활성화가 우반구보다 크면 긍정적 접근-관련 정서와 관련이 있고, 우반구 활성화가 좌반구보다 큰 경우는 부정적 철수-관련 정서와 관련이 있다는 주장이 제기되고 있다(Davidson and Irwin 1999). 그러나 이러한 결과를 두정엽에 바로 적용하기는 무리가 있어 보이며 앞으로 이에 대한 좀 더 많은 연구들이 필요해 보인다.
- 이외에 본 연구는 채널(센서)에 기반한 동시성을 분석해 보았는데 두뇌 영역간의 좀 더 정확한 기능적 관계를 파악하기 위해서는 소스 분석에 기반한 동시성 연구도 시도해 볼 만하다(이충연, 장병탁 2014). 끝으로 피험자들이 6개 동영상 비디오들을 시청하면서 생성한 뇌파들을 분석해서 피험자가 적합 또는 비적합하다고 선택한 화면을 볼 때 뇌파들이 어떤 패턴을 보이는지에 대한 연구도 필요해 보인다. 동영상 상태에서도 정지 이미지를 볼때와 유사한 패턴을 보이는지 또는 전혀 다른 패턴을 보이는지 파악할 수 있고 이러한 연구 결과는 실시간으로 키프레임을 추출할 수 있는 방안을 설계하는데 기초 자료로 활용될 수 있을 것이다.
- 끝으로 피험자들이 6개 동영상 비디오들을 시청하면서 생성한 뇌파들을 분석해서 피험자가 적합 또는 비적합하다고 선택한 화면을 볼 때 뇌파들이 어떤 패턴을 보이는지에 대한 연구도 필요해 보인다. 동영상 상태에서도 정지 이미지를 볼때와 유사한 패턴을 보이는지 또는 전혀 다른 패턴을 보이는지 파악할 수 있고 이러한 연구 결과는 실시간으로 키프레임을 추출할 수 있는 방안을 설계하는데 기초 자료로 활용될 수 있을 것이다.
- 둘째, 차후에 본 연구에서 발견한 적합 이미지 자극의 기준으로 사용할 수 있는 데이터들이 실제 얼마나 다른 표본 피험자 집단에 잘 적용되는지의 검증이 필요해 보인다. 또한 정량화뇌파(QEEG) 방법을 적용하지 않았는데 이 방법을 적용하여 ERP를 사용한 본 연구 결과와 비교해 보는 것도 흥미로운 연구가 될 것으로 생각된다.
- 둘째, 차후에 본 연구에서 발견한 적합 이미지 자극의 기준으로 사용할 수 있는 데이터들이 실제 얼마나 다른 표본 피험자 집단에 잘 적용되는지의 검증이 필요해 보인다. 또한 정량화뇌파(QEEG) 방법을 적용하지 않았는데 이 방법을 적용하여 ERP를 사용한 본 연구 결과와 비교해 보는 것도 흥미로운 연구가 될 것으로 생각된다. 이외에 본 연구는 채널(센서)에 기반한 동시성을 분석해 보았는데 두뇌 영역간의 좀 더 정확한 기능적 관계를 파악하기 위해서는 소스 분석에 기반한 동시성 연구도 시도해 볼 만하다(이충연, 장병탁 2014).
- 연구 가설들의 검증 과정을 통해서 키프레임 자동 추출의 가능성을 확인하였고, 이와 더불어 동영상과 이미지를 보여준 후 그 영향력이 P3b에서 극대화된다는 사실도 발견하였다. 본 연구 결과는 키프레임 추출 알고리즘 구성에 적용될 수 있을 것으로 생각되고, 더 나아가 문헌정보학의 오랜 동안의 연구 대상인 적합성 이해를 위한 기초 자료로 활용될 수 있을 것으로 기대한다. 다음은 본 연구에서 얻은 결과를 토대로 적합, 부분적합 및 비적합 이미지 자극으로 생성되는 피험자들의 뇌파와 그 활성화 양상을 비교하여 논의해 본다.
- 온라인 방법은 이용자가 비디오를 보는 동안 키프레임을 추출하는 방법이다. 이 방법을 이용하기 위해서는 비디오를 보는 동안 주제에 적합한 장면이 나올 때 이용자들이 어떤 뇌파 패턴을 보이는지에 대한 연구가 선행되어야 한다.
- 즉, 두정엽 영역에 있는 좌우 채널들의 전위값들의 차이를 계산하여 좌측 전위 값들이 우측 전위값들 보다 상대적으로 더 높다면 적합한 프레임으로 선정하는 방법이다. 적합 및 비적합 이미지를 구분하기 위해서 좌우 두정엽 채널의 전위값 차이 이외에 MGFP1의 잠재기, 측두엽의 400~600ms 사이의 좌측 전위값들 및 채널 동시성 패턴도 함께 이용할 수 있을 것이다. 온라인 방법은 이용자가 비디오를 보는 동안 키프레임을 추출하는 방법이다.
- 첫째, 본 연구는 20대의 남자 피험자들을 대상으로 한 것이기 때문에 본 연구의 결과를 일반화하기 힘들다. 특히 피험자가 소수일 경우에는 결과에 영향을 미칠 수 있는 다양한 개인의 내적 변인이 있을 수 있기 때문에 연구 결과 해석에 있어서 주의가 요구된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.