초록 ▼

□ 연구의 목적 및 내용
본 연구의 목적은 뇌신호를 이용한 말소리 이해 예측시스템 구축으로서, 언어기능 상실 혹은 감퇴된 환자들을 위한 인지적 인간공학 개념의 뇌-기계-인터페이스 기반 언어소통 시스템 개발의 기술선점이 부가적 목적임. 이를 위해 실시간 자연스럽게 흐르는 말소리에 동조 (synchrony)되는 뇌신호 추적을 통하여 정상인의 언어뇌 매핑과 동조지수에 따른 정량화된 언어이해 예측 시스템을 실행하였음. 신호의 획득은 비침습적 방식인 뇌파(뇌자도/뇌전도)와 자기공명영상 (MRI) 시스템을 활용하였고, 자발적 협조가 힘든

□ 연구의 목적 및 내용
본 연구의 목적은 뇌신호를 이용한 말소리 이해 예측시스템 구축으로서, 언어기능 상실 혹은 감퇴된 환자들을 위한 인지적 인간공학 개념의 뇌-기계-인터페이스 기반 언어소통 시스템 개발의 기술선점이 부가적 목적임. 이를 위해 실시간 자연스럽게 흐르는 말소리에 동조 (synchrony)되는 뇌신호 추적을 통하여 정상인의 언어뇌 매핑과 동조지수에 따른 정량화된 언어이해 예측 시스템을 실행하였음. 신호의 획득은 비침습적 방식인 뇌파(뇌자도/뇌전도)와 자기공명영상 (MRI) 시스템을 활용하였고, 자발적 협조가 힘든 환자, 어린이에의 적용을 위하여 적극적 과제뿐 아니라 수동적 듣기 방식도 채택하여 신호 분석함. 획득된 신호는 제시된 말소리와의 상관 분석을 통하여 동조지수를 계측함. 본 연구에서는 말소리와 비언어, 관심 뇌영역에서의 동조지수를 비교하였음.

□ 연구결과
1) 단어/비단어를 따라 읽기 수행할 때 좌우 반구에서 동조의 차이가 있고 특히 좌측 전두엽과 좌측 측두엽의 동조가 높음을 관찰하였음. 두 영역에서의 동조율을 다양한 조건에서 분석하였음. 음조 조건의 진폭비교를 통하여, 자극 소리를 들은 후 100~200ms (t1)과 400~500ms (t2)에서 측두엽의 후방 영역 보다는 1차청각영역에서, 그리고 좌반구보다는 우반구에서 진폭의 차이가 큼을 발견하였으며 특히 t1에서의 차이가 t2보다 컸음. 즉 음조 처리는 우반구에서 주로 이루어지며 시기적으로 초기에, 1차 청각 대뇌피질과 상관있음을 말함. 의미가 있는 말소리는 좌측 측두엽에서 특히 차이를 보였는데 전두엽의 경우에는 의미 유무와 동조율에서 큰 차이를 관찰할 수 없었음.
2) 그래프이론기반 뇌 네트워크 분석: 네트워크의 여러 속성 중 노드 (node) 사이의 중심도 (betweenness centrality) 분석을 통하여 음조 처리는 감마 대역 (gamma
frequency band, 30~70 Hz)에서, 그리고 초기 시간대 (t1)에서 음조 유무의 차이를 관찰함. 의미 유무와 동조. 두 영역 (좌측 전두엽과 좌측 측두엽)에서의 주파수대역 및 시간대별 동조. 의미 있는 말소리가 의미 없는 말소리 보다 거의 모든 요인에서 동조가 높았음.
3) 뇌 자극에 의한 모듈레이션 효과를 환자데이터를 통하여 확인함.
4) 뇌신호를 이용한 비침습 말소리 이해 능력 예측시스템을 주제로 특허 출원함.

□ 연구결과의 활용계획
- 비침습적 방식으로 말소리와 뇌신호 사이의 동조 지표만을 활용한 청각 언어 뇌 매핑
- 말소리가 이해되는 실시간 뇌 기전에 대한 이해 심화
- 수술 계획 단계에서 환자별 언어 중추뇌 판별
- 유소아 언어 발달단계를 검토, 조기 대응 매뉴얼 준비
- 이해능력을 정량화할 수 있는 평가도구로서의 활용예상
(출처:요약문 4p)

Abstract ▼

□ Purpose& contents
The purpose of this research was to establish a system for objective language scores. We aimed to estimate synchronization between speech and brain signals depending on speech conditions. Apart from active tasks such as intelligible word rehearsals, passive listening was also

□ Purpose& contents
The purpose of this research was to establish a system for objective language scores. We aimed to estimate synchronization between speech and brain signals depending on speech conditions. Apart from active tasks such as intelligible word rehearsals, passive listening was also tagged with corresponding brain signals, for the cases of less coorperating patients. Natural speech, speech with/out tonal variation and unintelligible speech were heard while brain signal was recorded. Only the invasive methods such as surface recording and magnetic resonance imaging were used for this system. Synchronization index was estimated and compared among different conditions, brain regions of interest and processing times.

□ Result
1) Significant difference in synchronization index between brain hemispheres when rehearsing intelligible words, with high synchrony specifically in the left frontal and temporal areas. In the condition of tonal variations, the primary auditory cortex had higher amplitude at the time bins of 100-200 msec (t1) and 400-500 msec (t2) post onset of the stimuli than the posterior superior temporal region. The right hemisphere and t1 had higher amplitudes than the left hemisphere and t2 time bins. We concluded that processing of tonal variation might occurr mainly in the right hemisphere, in the earlier stage and in the primary auditory cortex. Speech carrying meaning resulted in higher synchrony in the left temporal region while no difference in synchrony in the frontal region depending of meaning.
2) Network graph analyses showed the significant higher betweenness centrality in gamma frequency band (30~70 Hz) and in the earlier time stage (t1) in the tonal variation sound when compared with the sound without tonal variation. Meaning resulted in higher synchrony nearly in all the factors such as frequency bands and time stages in the left frontal and temporal regions.
3) Modulation of the brain in the patient cases was confirmed.
4) A patent application was completed with the title "Language comprehension evaluation system and method using a brain response."

□ Expected Contribution
- Non-invasive brain mapping for language faculty using synchronization index between speech and brain signal
- Further understanding of the mechanism in real-time speech processing
- Determination of the language dominant hemisphere of an individual at the stage of brain operation
- Early intervention for enfants and pre-schoolers
- Objective/quantified language faculty scores
(출처:SUMMARY 5p)

목차 Contents

• 표지 ... 1
• 목차 ... 2
• 연구계획 요약문 ... 3
• 연구결과 요약문 ... 4
• 요약문 ... 4
• SUMMARY ... 5
• 연구내용 및 결과 ... 6
• 1. 연구개발과제의 개요 ... 6
• 2. 국내외 기술개발 현황 ... 6
• 3. 연구수행 내용 및 결과 ... 6
• 4. 목표달성도 및 관련분야에의 기여도 ... 9
• 5. 연구결과의 활용계획 ... 10
• 6. 연구과정에서 수집한 해외 과학기술정보 ... 10
• 7. 참고문헌 ... 10
• 8. 연구성과 ... 11
• 9. 국가과학기술지식정보서비스에 등록한 연구시설·장비 현황 ... 11
• 10. 연구개발과제 수행에 따른 연구실 등의 안전조치 이행실적 ... 11
• 11. 기타사항 ... 11
• 끝페이지 ... 11