$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

의미적 속성을 가진 시.청각자극의 SOA가 시청각 통합 현상에 미치는 영향 -중복 표적 효과와 시각 우세성 효과를 중심으로-
The Influence of SOA between the Visual and Auditory Stimuli with Semantic Properties on Integration of Audio-Visual Senses -Focus on the Redundant Target Effect and Visual Dominance Effect- 원문보기

감성과학 = Science of emotion & sensibility, v.13 no.3, 2010년, pp.475 - 484  

김보성 (충남대학교 심리학과) ,  이영창 (충남대학교 심리학과) ,  임동훈 (충남대학교 심리학과) ,  김현우 (충남대학교 심리학과) ,  민윤기 (충남대학교 심리학과)

초록
AI-Helper 아이콘AI-Helper

본 연구는 의미적 속성을 가진 시각과 청각자극 간의 SOA(stimulus onset asynchrony)가 시청각 통합 현상에 미치는 영향을 살펴보고자 하였다. 시청각 통합 현상 중 표적을 의미하는 자극의 양상이 두 개 이상인 경우 표적에 반응이 빠르고 정확한 중복 표적 효과(redundant target effect)와 청각 자극에 비해 시각 자극에 대한 반응이 빠르고 정확한 시각 우세성 효과(visual dominance effect)를 중심으로 살펴보기 위해서 시각과 청각 단일 양상 표적 조건과 다중 양상 표적 조건을 구성하여 조건들의 반응시간정확률을 살펴보았다. 그 결과, 시 청각자극의 SOA가 변하더라도 중복 표적 효과는 이에 영향을 받지 않는 것으로 나타났으며, 두 자극 간의 SOA가 100ms 이상인 조건에서는 청각자극의 우세현상이 나타났다. 이러한 결과는 중복 표적 효과의 경우 두 양상자극 간의 SOA가 변하더라도 안정적으로 지속된다는 점을 시사하며, 청각자극의 경우 시각자극에 비해 약 100ms 이상의 시간적 이득조건이 마련되었을 때에 비로소 우세한 정보처리의 행동결과가 도출될 수 있음을 시사한다.

Abstract AI-Helper 아이콘AI-Helper

This study examined the influence of the SOA(stimulus onset asynchrony) between visual and auditory stimuli on the integration phenomenon of audio-visual senses. Within the stimulus integration phenomenon, the redundant target effect (the faster and more accurate response to the target stimulus when...

주제어

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 그러나 보다 복잡한 의미적 속성을 적용하여 그에 대한 해석을 하기 위해서는 가장 단순한 의미적 속성의 결과에 기반을 두어야 한다. 따라서 본 연구는 서로 일치되는 가장 단순한 의미적 속성을 가진 시각과 청각자극에 있어, 이 자극들의 시간적 조화에 따라 두 자극의 통합과정에서 나타나는 현상들, 즉 중복 표적 효과와 시각 우세성 효과가 어떻게 변화하는지를 단일 패러다임을 통해 동시에 살펴보고자 하였다. 엄밀히 말하면 시각과 청각 자극의 SOA 조건에 따라 중복 표적 효과와 시각 우세성 효과가 사라질 수 있는지를 살펴보고자 하였다.
  • 본 연구는 의미적 속성을 가진 시각과 청각자극의 SOA가 시청각 통합과정의 중복 표적 효과와 시각 우세성 효과에 미치는 영향을 살펴보고자 하였다. 이를 위해서 시각 우세성 효과를 검증하기 위해 구성된 실험 패러다임을 통해 시각과 청각 자극의 SOA 조건에 따른 반응시간과 정확률의 변화를 살펴보았다.
  • 따라서 본 연구는 서로 일치되는 가장 단순한 의미적 속성을 가진 시각과 청각자극에 있어, 이 자극들의 시간적 조화에 따라 두 자극의 통합과정에서 나타나는 현상들, 즉 중복 표적 효과와 시각 우세성 효과가 어떻게 변화하는지를 단일 패러다임을 통해 동시에 살펴보고자 하였다. 엄밀히 말하면 시각과 청각 자극의 SOA 조건에 따라 중복 표적 효과와 시각 우세성 효과가 사라질 수 있는지를 살펴보고자 하였다.
  • 이는 간섭 양상 조건과 SOA 조건에 따라 반응시간 차이점수의 차이가 나타남을 의미하며, 각 SOA 조건별로 간섭 양상 조건에 대한 반응시간의 차이점수가 서로 다를 수 있음을 의미하는 것이다. 이에 따라 각 SOA 조건별로 구분하여 간섭양상 조건의 단순 주효과 분석을 실시하여, 청각 간섭양상 조건(시각 단일 양상 조건 - 다중 양상 조건)에 비해 시각 간섭양상 조건(청각 단일 양상 조건 - 다중 양상 조건)의 반응시간 차이점수가 낮은, 즉 시각 우세성 효과가 사라지는 SOA 조건이 존재하는지를 확인하고자 하였다. 그 결과, 시각과 청각자극이 동시에 제시된 조건에서는 시각과 청각자극의 간섭정도의 차이가 통계적으로 유의하지 않은 것으로 나타났으나, 청각자극이 시각자극에 비해 50㎳이전에 제시된 조건에서는 시각자극의 간섭정도가 청각자극의 간섭정도에 비해 큰 것으로 나타난 반면, 청각자극이 시각자극에 비해 100~300㎳이전에 제시된 조건에서는 청각자극의 간섭정도가 시각자극의 간섭정도에 비해 큰 것으로 나타났다(표 3, 그림 4).
  • 이는 반응 시간 차이점수 결과와는 달리, 각 SOA 조건별로 간섭 양상 조건에 대한 정확률의 차이점수만서로 다를 수 있음을 의미하는 것이다. 이에 따라 각 SOA 조건별로 구분하여 간섭양상 조건의 단순 주효과 분석을 실시하여, 청각 간섭양상 조건에 비해 시각 간섭양상 조건의 정확률 차이점수가 높은, 즉 시각 우세성 효과가 사라지는 SOA 조건이 존재하는지를 확인하고자 하였다. 그 결과, 청각자극이 시각자극에 비해 50㎳, 250㎳, 그리고 300㎳이전에 제시된 조건에서만 시각자극의 간섭정도와 청각자극의 간섭정도의 차이가 통계적으로 유의하지 않은 것으로 나타났으며, 이외의 SOA 조건에서도 청각 간섭양상 조건에 비해 시각 간섭양상 조건의 정확률 차이점수가 낮은 결과는 나타나지 않았다(표 4, 그림 5).
  • 이는 표적 양상 조건과 SOA 조건에 따라 반응시간의 차이가 나타남을 의미하며, 각 SOA 조건별로 표적 양상 조건에 대한 반응 시간의 차이가 서로 다를 수 있음을 의미하는 것이다. 이에 따라 각 SOA 조건별로 구분하여 표적 양상 조건의 단순 주효과 분석을 실시하여, 단일 표적 양상 조건에 비해 다중 표적 양상 조건의 반응시간이 길어지는, 즉 중복 표적 효과가 사라지는 결과가 나타나는 지를 확인하고자 하였다. 그 결과, 모든 SOA 조건에서 표적 양상 조건에 따른 차이가 통계적으로 유의하였으나, 모두 단일 표적 양상 조건에 비해 다중 표적 양상 조건의 반응시간이 빠른 것으로 나타났다(표 1, 그림 2).
  • 이 역시 앞선 반응시간 결과와 마찬가지로 표적 양상 조건과 SOA 조건에 따라 정확률의 차이가 나타남을 의미하며, 각 SOA 조건별로 표적 양상 조건에 대한 정확률의 차이가 서로 다를 수 있음을 의미하는 것이다. 이에 따라각 SOA 조건별로 구분하여 표적 양상 조건의 단순 주효과 분석을 실시하여, 단일 표적 양상 조건에 비해 다중 표적 양상 조건의 정확률이 감소하는, 즉 중복 표적 효과가 사라지는 결과가 나타나는지를 확인하고자 하였다. 그 결과, SOA가 300㎳인 조건을 제외하면 모든 SOA 조건에서 표적 양상 조건의 차이가 통계적으로 유의하였으나, 다중 표적 양상 조건이 단일 표적 양상 조건들에 비해 높은 정확률을 보이는 것으로 나타났다(표 2, 그림 3).
  • 하지만 앞선 Morein-Zamir 등(2003)의 TOJ 실험에서 핵심적인 사항은 청각 자극과 시각 자극의 제시시간 차이지만, 실험 참가자들에게 있어서는 단지 시각 자극만이 표적 자극으로서 인식된다는 점이다. 즉 실험 참가자들에게 능동적인 시청각 통합을 요구하기 보다는 제한적인 형태의 실험 구조 속에서 이들에 대한 지각 변화를 살펴보았다는 것이다. 바꾸어 말하면 일반적인 환경 속에서 인간이 지각하는 감각 정보들의 경합 및 통합에는 특정 감각 정보에 표적 정보가 할당되기 보다는 모든 정보가 표적 정보로서의 역할을 감당한다는 점이다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
시각 우세성 효과는 어떻게 확인할 수 있는가? 다음으로 시각 우세성 효과는 다중 표적 양상 조건에 비해 단일 표적 양상 조건에서 시각과 청각 자극의 각 SOA 조건에서 시각 자극의 간섭정도(예: 다중 양상 조건의 정확률과 반응시간에 비해 청각 단일 표적 양상 조건의 정확률과 반응시간의 변화 정도)와 청각 자극의 간섭정도(예: 다중 양상 조건의 정확률과 반응시간에 비해 시각 단일 표적 양상 조건의 정확률과 반응시간의 변화 정도)를 비교함으로써 확인할 수 있다. 만약 특정 SOA 조건에서 두 자극에 대한 반응의 간섭정도가 서로 역전되는 현상이 나타나게 된다면, 그 SOA 조건에서 서로 다른 양상의 자극들에서 일반적으로 관찰되는 시각 우세성 효과가 조절될 수 있음을 시사하는 것으로 해석할 수 있다.
구조적 변인에 있어서 개별적으로 제시된 자극들의 통합에 크게 영향을 미치는 변인은 무엇인가? Welch(1999)는 이러한 변인들이 크게 구조적인 변인들과 인지적인 변인들로 구분될 수 있으며, 이러한 변인들을 통해 다중양상 통합이 조절될 수 있음을 주장하였다(Spence, 2007). 특히 구조적 변인에 있어서 자극들 간의 시간적 조화(temporal correspondence)는 개별적으로 제시된 자극들의 통합에 크게 영향을 미치는 변인이다(Morein-Zamir, SotoFaraco, & Kingstone, 2003).
다중 양상 표적 조건과 단일 양상 표적 조건간의 차이가 모든 SOA 조건에서 나타나지 않아야 하는 이유는 무엇인가? 그러나 위와 같은 해석에 비추어 본 연구의 결과를 예상해 본다면, 오히려 다중 양상 표적 조건과 단일 양상 표적 조건간의 차이가 모든 SOA 조건에서 나타나지 않아야 한다. 그 이유는 단일 양상 표적 조건의 경우에도 다중 양상 표적 조건과 동일하게 시각과 청각자극 중 하나의 자극만이 표적인 것을 제외하면 두 자극이 모두 제시된다는 점은 동일하기 때문이다. 다시 말하면, 단순히 모든 자극을 확인한 후 반응을 결정해야 하는 절차는 자극 조건 모두에 공통적으로 적용되기 때문에 그 표적 자극이 하나이던, 두 개이던 관계없이 조건 간의 차이는 나타나지 않아야 한다는 것이다.
질의응답 정보가 도움이 되었나요?

참고문헌 (16)

  1. 김보성, 민윤기, 범린 (2008). 다중 정보 제시 상황에서 공간, 시각, 청각 정보의 정보 양상 우세성 관계: 디스플레이와 제어장치 설계를 위한 함의. 한국심리학회지: 실험, 20(2), 95-107. 

  2. 김보성, 민윤기 (2009a). 시각과 청각 정보의 의미적 일치성에 따른 시각 우세성 효과의 변화. 인지과학, 20(2), 109-124. 

  3. 김보성, 민윤기 (2009b). 단서와 표적 자극의 의미적 일치성이 양상 변화 효과에 미치는 영향. 한국심리학회지: 일반, 28(1), 103-113. 

  4. 범린, 김보성, 민윤기 (2008). Influence of semantic congruence on redundant target effect between visual and auditory stimuli. 한국실험심리학회 제 43차 학술대회 논문집, 115-120. 

  5. Andersen, T. S., Tiippana, K., & Sams M. (2004). Factors influencing audiovisual fission and fusion illusions. Cognitive Brain Research, 21, 301-308. 

  6. Colavita, F. B. (1974). Human sensory dominance. Perception and Psychophysics, 16, 409-412. 

  7. Driver, J. & Spence, C. (2000). Multisensory perception: Beyond modularity and convergence. Current Biology, 10, 731-735. 

  8. Egeth, H. E. & Sager, L. C. (1977). On the locus of visual dominance. Perception and Psychophysics, 22, 77-86. 

  9. Fujusaki, W. & Nishida, S. (2005). Temporal frequency characteristics of synchrony asynchrony discrimination of audio-visual signals. Experimental Brain Research, 166, 455-464. 

  10. Laurienti, P. J., Kraft, R. A., Maldjian, J. A., Burdette, J. H., & Wallace, M. T. (2004). Semantic congruence is a critical factor in multisensory behavioral performance. Experimental Brain Research, 158, 405-414. 

  11. Molholm, S., Ritter, W., Javitt, D. C., & Foxe, J. J. (2004). Multisensory visual-auditory object recognition in humans: A high-density electrical mapping study. Cerebral Cortex, 14, 452-465. 

  12. Morein-Zamir, S., Soto-Faraco, S., & Kingstone, A. (2003). Auditory capture of vision: Examining temporal ventriloquism. Cognitive Brain Research, 17, 154-163. 

  13. Sinnett, S., Soto-Faraco, S., & Spence, C. (2008). The co-occurrence of multisensory competition and facilitation. Acta Psychologica, 128, 153-161. 

  14. Sinnett, S., Spence, C., & Soto-Faraco, S. (2007). Visual dominance and attention: The Colavita effect revisited. Perception and Psychophysics, 69, 673-686. 

  15. Spence, C. (2007). Audiovisual multisensory integration. Acoustical Science and Technology, 28, 61-70. 

  16. Welch, R. B. (1999). Meaning, attention, and the 'unity assumption' in the intersensory bias of spatial and temporal perceptions. In G. Ashersleben, T. Bachmann, & J. Musseler(Eds.), Cognitive contributions to the perception of spatial and temporal events (pp.371-387). Amserdam: Elsevier Science. 

저자의 다른 논문 :

LOADING...
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로