[논문]학습피드백으로서 보상과 처벌 관련 두뇌 활성화 연구

김진희; 강은주

doi:10.19066/cogsci.2017.28.1.004

학습피드백으로서 보상과 처벌 관련 두뇌 활성화 연구
Learning-associated Reward and Penalty in Feedback Learning: an fMRI activation study 원문보기

인지과학 = Korean journal of cognitive science, v.28 no.1, 2017년, pp.65 - 90

김진희 (강원대학교 심리학과) , 강은주 (강원대학교 심리학과)

초록
AI-Helper

본 연구의 목적은 학습상황에서 피드백으로 주어지는 금전적 획득/손실(학습 피드백)과 비학습적 상황에서 우연히 제시되는 의사 피드백(무선 피드백)을 비교하는 방법을 사용하여, 금전적 보상과 처벌의 학습 피드백으로서만 가지는 정보처리에 어느 두뇌 영역이 관여하는지를 규명하는 데 있다. 이를 위해 정상 성인(n = 22)을 대상으로 fMRI scan 동안 단서 자극에 대한 범주 버튼 반응(좌/우)의 정확 여부에 따라 피드백이 제시되는 시행(학습시행)과 단서 자극의 위치판단 반응과 무관하게 피드백이 제시되는 시행(무선시행)을 사건 관련 fMRI 방략으로 제시하였다. 두 시행 간 보상과 처벌과 같은 동기적 사건에 대한 두뇌 반응이 변별적으로 나타나는지를 알아보기 위해 시행 유형(학습 vs. 무선)과 피드백 유형(보상 vs, 처벌)을 두 독립변인으로 한 반복측정 이원분산분석을 하였다(voxel-wise FWE p < .001). 그 결과, 좌측 배외측 전두피질(dorsolateral prefrontal cortex), 좌측 전측 도(anterior insular), 배내측 전두피질(dorsomedial prefrontal cortex) 등의 영역에서 유의한 상호작용 효과가 관찰되었는데, 이들 영역은 모두 학습-보상 피드백 및 무선-처벌 피드백보다 학습-처벌 피드백에 대해 증가한 두뇌 활성을 보였다. 본 연구 결과는 학습상황에서 주어지는 처벌 피드백에 대한 기존 전략의 변경이나 재평가를 위한 집행적 처리, 적절하지 못하거나 틀린 행동에 대한 오류처리 과정 그리고 실패 경험에 대한 부정적 정서처리가 위에서 언급한 피질신경망을 중심으로 이루어질 가능성을 보여준다. 따라서 학습의 처벌 피드백은 보상과 달리 위와 같은 추가적 정보처리 과정이 존재할 가능성을 시사한다.

Abstract ▼ AI-Helper

Rewards or penalties become informative only when contingent on an immediately preceding response. Our goal was to determine if the brain responds differently to motivational events depending on whether they provide feedback with the contingencies effective for learning. Event-related fMRI data were obtained from 22 volunteers performing a visuomotor categorical task. In learning-condition trials, participants learned by trial and error to make left or right responses to letter cues (16 consonants). Monetary rewards (+500) or penalties (-500) were given as feedback (learning feedback). In random-condition trials, cues (4 vowels) appeared right or left of the display center, and participants were instructed to respond with the appropriate hand. However, rewards or penalties (random feedback) were given randomly (50/50%) regardless of the correctness of response. Feedback-associated BOLD responses were analyzed with ANOVA [trial type (learning vs. random) x feedback type (reward vs. penalty)] using SPM8 (voxel-wise FWE p < .001). The right caudate nucleus and right cerebellum showed activation, whereas the left parahippocampus and other regions as the default mode network showed deactivation, both greater for learning trials than random trials. Activations associated with reward feedback did not differ between the two trial types for any brain region. For penalty, both learning-penalty and random-penalty enhanced activity in the left insular cortex, but not the right. The left insula, however, as well as the left dorsolateral prefrontal cortex and dorsomedial prefrontal cortex/dorsal anterior cingulate cortex, showed much greater responses for learning-penalty than for random-penalty. These findings suggest that learning-penalty plays a critical role in learning, unlike rewards or random-penalty, probably not only due to its evoking of aversive emotional responses, but also because of error-detection processing, either of which might lead to changes in planning or strategy.

주제어

질의응답

핵심어	질문	논문에서 추출한 답변
	일차적 강화인이란?	이러한 사건이 행동 반응에 대한 피드백 역할을 하는 경우 유기체는 그 결과를 얻거나 피하고자 해당 행동 가능성을 증가 또는 감소시킨다(Skinner, 1938). 조작적 조건화에 대한 동물 연구에서 주로 행동 결과로서 음식, 물, 성적 활동, 그리고 전기충격 등과 같은 자극을 사용하는데, 이러한 자극은 특별한 경험 없이 유기체의 행동을 증가 또는 감소 시킬 수 있는 생득적인 요인이기에 일차적 강화인(primary reinforcer)이라 부른다. 강화 효과가 없는 자극이 일차적 강화인과 연합하여 행동을 증가시킬 수 있는 강화인이 된 경우에 이를 조건화된 강화인(conditioned reinforcer) 또는 이차적 강화인(secondary reinforcer)이라 부른다.
	조건화된 강화인이란?	조작적 조건화에 대한 동물 연구에서 주로 행동 결과로서 음식, 물, 성적 활동, 그리고 전기충격 등과 같은 자극을 사용하는데, 이러한 자극은 특별한 경험 없이 유기체의 행동을 증가 또는 감소 시킬 수 있는 생득적인 요인이기에 일차적 강화인(primary reinforcer)이라 부른다. 강화 효과가 없는 자극이 일차적 강화인과 연합하여 행동을 증가시킬 수 있는 강화인이 된 경우에 이를 조건화된 강화인(conditioned reinforcer) 또는 이차적 강화인(secondary reinforcer)이라 부른다. 인간에게는 일차적 강화물뿐만 아니라 돈, 칭찬, 사회적 인정 등과 같은 좀 더 추상적인 형태인 사회적 강화물을 가질 수 있는데, 이런 이차적 강화물도 행동 수정과 학습을 일으키는 중요한 요인이 된다.
	긍정적 정서가나 부정적 정서가를 가지는 사건이 행동 반응에 대한 피드백을 하는 경우 그 결과는?	음식, 금전적 획득 등의 긍정적 정서가(valence)를 가지는 사건이나 통각, 금전적 손실 등과 같은 부정적인 정서가를 가지는 사건은 그 자체 경험이 우연에 의한 것일 수도 있고 또는 행동 결과로 얻어진 것일 수도 있다. 이러한 사건이 행동 반응에 대한 피드백 역할을 하는 경우 유기체는 그 결과를 얻거나 피하고자 해당 행동 가능성을 증가 또는 감소시킨다(Skinner, 1938). 조작적 조건화에 대한 동물 연구에서 주로 행동 결과로서 음식, 물, 성적 활동, 그리고 전기충격 등과 같은 자극을 사용하는데, 이러한 자극은 특별한 경험 없이 유기체의 행동을 증가 또는 감소 시킬 수 있는 생득적인 요인이기에 일차적 강화인(primary reinforcer)이라 부른다.

참고문헌 (73)

Amiez, C., Joseph, J. -P., & Procyk, E. (2006). Reward encoding in the monkey anterior cingulate cortex. Cerebral Cortex, 16, 1040-1055.

상세보기
Anderson, A. K., Christoff, K., Stappen, I., Panitz, D., Ghahremani, D. G., Glover, G., Gabrieli, J. D., & Sobel, N. (2003). Dissociated neural representations of intensity and valence in human olfaction. Nature Neuroscience, 6, 196-202.

상세보기
Aron, A. R., Shohamy, D., Clark, J., Myers, C., Gluck, M. A., & Poldrack, R. A. (2004). Human midbrain sensitivity to cognitive feedback and uncertainty during classification learning. Journal of Neurophysiology, 92, 1144-1152.

상세보기
Balleine, B. W., Delgado, M. R., & Hikosaka, O. (2007). The role of the dorsal striatum in reward and decision-making. The Journal of Neuroscience, 27, 8161-8165.

상세보기
Bastin, J., Deman, P., David, O., Gueguen, M., Benis, D., Minotti, L., Hoffman, D., Combrisson, E., Kujala, J., & Perrone-Bertolotti, M. (2016). Direct recordings from human anterior insula reveal its leading role within the error-monitoring network. Cerebral Cortex, bhv352.
Berridge, K. C., & Robinson, T. E. (1998). What is the role of dopamine in reward: hedonic impact, reward learning, or incentive salience?. Brain Research Reviews, 28, 309-369.

상세보기
Bischoff-Grethe, A., Hazeltine, E., Bergren, L., Ivry, R. B., & Grafton, S. T. (2009). The influence of feedback valence in associative learning. Neuroimage, 44, 243-251.

상세보기
Bray, S., & O'Doherty, J. (2007). Neural coding of reward-prediction error signals during classical conditioning with attractive faces. Journal of Neurophysiology, 97, 3036-3045.

상세보기
Breiter, H. C., Aharon, I., Kahneman, D., Dale, A., & Shizgal, P. (2001). Functional imaging of neural responses to expectancy and experience of monetary gains and losses. Neuron, 30, 619-639.

상세보기
Buckner, R. L., Andrews-Hanna, J. R., & Schacter, D. L. (2008). The brain's default network. Annals of the New York Academy of Sciences, 1124, 1-38.

상세보기
Buzzell, G. A., Roberts, D. M., Fedota, J. R., Thompson, J. C., Parasuraman, R., & McDonald, C. G. (2016). Uncertainty-dependent activity within the ventral striatum predicts task-related changes in response strategy. Cognitive, Affective & Behavioral Neuroscience, 16, 219-233.

상세보기
Carreiras, M., & Price, C. J. (2008). Brain activation for consonants and vowels. Cerebral Cortex, 18, 1727-1735.

상세보기
Collins, A. G., & Frank, M. J. (2012). How much of reinforcement learning is working memory, not reinforcement learning? A behavioral, computational, and neurogenetic analysis. European Journal of Neuroscience, 35, 1024-1035.

상세보기
Curtis, C. E., & D'Esposito, M. (2003). Persistent activity in the prefrontal cortex during working memory. Trends in Cognitive Sciences, 7, 415-423.

상세보기
Dale, A. M. (1999). Optimal experimental design for event-related fMRI. Human Brain Mapping, 8, 109-114.

상세보기
Debener, S., Ullsperger, M., Siegel, M., Fiehler, K., von Cramon, D. Y., & Engel, A. K. (2005). Trial-by-trial coupling of concurrent electroencephalogram and functional magnetic resonance imaging identifies the dynamics of performance monitoring. The Journal of Neuroscience, 25, 11730-11737.

상세보기
Delgado, M. R., Locke, H. M., Stenger, V. A., & Fiez, J. A. (2003). Dorsal striatum responses to reward and punishment: effects of valence and magnitude manipulations. Cognitive, Affective & Behavioral Neuroscience, 3, 27-38.

상세보기
Delgado, M. R., Miller, M. M., Inati, S., & Phelps, E. A. (2005). An fMRI study of reward-related probability learning. Neuroimage, 24, 862-873.

상세보기
Fox, M. D., Snyder, A. Z., Vincent, J. L., Corbetta, M., Van Essen, D. C., & Raichle, M. E. (2005). The human brain is intrinsically organized into dynamic, anticorrelated functional networks. Proceedings of the National Academy of Sciences, 102, 9673-9678.

상세보기
Gu, X., Hof, P. R., Friston, K. J., & Fan, J. (2013). Anterior insular cortex and emotional awareness. The Journal of comparative neurology, 521, 3371-3388.

상세보기
Ham, T., Leff, A., de Boissezon, X., Joffe, A., & Sharp, D. J. (2013). Cognitive control and the salience network: an investigation of error processing and effective connectivity. The Journal of Neuroscience, 33, 7091-7098.

상세보기
Hare, T. A., Camerer, C. F., & Rangel, A. (2009). Self-control in decision-making involves modulation of the vmPFC valuation system. Science, 324, 646-648.

상세보기
Holroyd, C. B., & Coles, M. G. (2002). The neural basis of human error processing: reinforcement learning, dopamine, and the error-related negativity. Psychological Review, 109, 679-709.

상세보기
Holroyd, C. B., Nieuwenhuis, S., Yeung, N., Nystrom, L., Mars, R. B., Coles, M. G., & Cohen, J. D. (2004). Dorsal anterior cingulate cortex shows fMRI response to internal and external error signals. Nature Neuroscience, 7, 497-498.

상세보기
Iannaccone, R., Hauser, T. U., Staempfli, P., Walitza, S., Brandeis, D., & Brem, S. (2015). Conflict monitoring and error processing: New insights from simultaneous EEG-fMRI. Neuroimage, 105, 395-407.

상세보기
Kim, H., Shimojo, S., & O'Doherty, J. P. (2006). Is avoiding an aversive outcome rewarding? Neural substrates of avoidance learning in the human brain. PLoS Biology, 4, e233.

상세보기
Kim, S., Kim, J., & Kang, E. (2015). Dynamic changes in feedback processing as learning progresses. The Korean Journal of Cognitive and Biological Psychology, 27, 419-450.

상세보기
Knutson, B., Adams, C. M., Fong, G. W., & Hommer, D. (2001). Anticipation of increasing monetary reward selectively recruits nucleus accumbens. The Journal of Neuroscience, 21, RC159.

상세보기
Knutson, B., Fong, G. W., Bennett, S. M., Adams, C. M., & Hommer, D. (2003). A region of mesial prefrontal cortex tracks monetarily rewarding outcomes: characterization with rapid event-related fMRI. Neuroimage, 18, 263-272.

상세보기
Krawczyk, D. C. (2002). Contributions of the prefrontal cortex to the neural basis of human decision making. Neuroscience and Biobehavioral Reviews, 26, 631-664.

상세보기
Kuhnen, C. M., & Knutson, B. (2005). The neural basis of financial risk taking. Neuron, 47, 763-770.

상세보기
Liu, X., Hairston, J., Schrier, M., & Fan, J. (2011). Common and distinct networks underlying reward valence and processing stages: a meta-analysis of functional neuroimaging studies. Neuroscience and Biobehavioral Reviews, 35, 1219-1236.

상세보기
Lotze, M., Montoya, P., Erb, M., Hulsmann, E., Flor, H., Klose, U., Birbaumer, N., & Grodd, W. (1999). Activation of cortical and cerebellar motor areas during executed and imagined hand movements: an fMRI study. Journal of Cognitive Neuroscience, 11, 491-501.

상세보기
Luking, K. R., & Barch, D. M. (2013). Candy and the brain: neural response to candy gains and losses. Cognitive, Affective & Behavioral Neuroscience, 13, 437-451.

상세보기
Maratos, E. J., Dolan, R. J., Morris, J. S., Henson, R. N., & Rugg, M. D. (2001). Neural activity associated with episodic memory for emotional context. Neuropsychologia, 39, 910-920.

상세보기
Mckiernan, K. A., Kaufman, J. N., Kucera-Thompson, J., & Binder, J. R. (2003). A parametric manipulation of factors affecting task-induced deactivation in functional neuroimaging. Journal of Cognitive Neuroscience, 15, 394-408.

상세보기
Menon, V., & Uddin, L. Q. (2010). Saliency, switching, attention and control: a network model of insula function. Brain Structure & Function, 214, 655-667.

상세보기
Metereau, E., & Dreher, J. -C. (2013). Cerebral correlates of salient prediction error for different rewards and punishments. Cerebral Cortex, 23, 477-487.

상세보기
Middleton, F. A., & Strick, P. L. (2002). Basal-ganglia 'projections' to the prefrontal cortex of the primate. Cerebral Cortex, 12, 926-935.

상세보기
Montague, P. R., Dayan, P., & Sejnowski, T. J. (1996). A framework for mesencephalic dopamine systems based on predictive Hebbian learning. The Journal of Neuroscience, 16, 1936-1947.

상세보기
O'Doherty, J., Critchley, H., Deichmann, R., & Dolan, R. J. (2003). Dissociating valence of outcome from behavioral control in human orbital and ventral prefrontal cortices. The Journal of Neuroscience, 23, 7931-7939.

상세보기
O'Doherty, J., Dayan, P., Schultz, J., Deichmann, R., Friston, K., & Dolan, R. J. (2004). Dissociable roles of ventral and dorsal striatum in instrumental conditioning. Science, 304, 452-454.

상세보기
O'Doherty, J., Kringelbach, M. L., Rolls, E. T., Hornak, J., & Andrews, C. (2001). Abstract reward and punishment representations in the human orbitofrontal cortex. Nature Neuroscience, 4, 95-102.

상세보기
Obleser, J., Leaver, A., VanMeter, J., & Rauschecker, J. (2010). Segregation of Vowels and Consonants in Human Auditory Cortex: Evidence for Distributed Hierarchical Organization. Frontiers in Psychology, 1, 232.

상세보기
Pessiglione, M., Schmidt, L., Draganski, B., Kalisch, R., Lau, H., Dolan, R. J., & Frith, C. D. (2007). How the brain translates money into force: a neuroimaging study of subliminal motivation. Science, 316, 904-906.

상세보기
Peterburs, J., & Desmond, J. E. (2016). The role of the human cerebellum in performance monitoring. Current Opinion in Neurobiology, 40, 38-44.

상세보기
Peters, S., Van Duijvenvoorde, A. C. K., Koolschijn, P. C. M. P., & Crone, E. A. (2016). Longitudinal development of frontoparietal activity during feedback learning: Contributions of age, performance, working memory and cortical thickness. Developmental Cognitive Neuroscience, 19, 211-222.

상세보기
Poldrack, R. A., Clark, J., Pare-Blagoev, E. J., Shohamy, D., Creso Moyano, J., Myers, C., & Gluck, M. A. (2001). Interactive memory systems in the human brain. Nature, 414, 546-550.

상세보기
Raichle, M. E., MacLeod, A. M., Snyder, A. Z., Powers, W. J., Gusnard, D. A., & Shulman, G. L. (2001). A default mode of brain function. Proceedings of the National Academy of Sciences, 98, 676-682.

상세보기
Ressler, N. (2004). Rewards and punishments, goal-directed behavior and consciousness. Neuroscience and Biobehavioral Reviews, 28, 27-39.

상세보기
Rustemeier, M., Koch, B., Schwarz, M., & Bellebaum, C. (2016). Processing of positive and negative feedback in patients with cerebellar lesions. Cerebellum, 15, 425-438.

상세보기
Salimpoor, V. N., van den Bosch, I., Kovacevic, N., McIntosh, A. R., Dagher, A., & Zatorre, R. J. (2013). Interactions between the nucleus accumbens and auditory cortices predict music reward value. Science, 340, 216-219.

상세보기
Samanez-Larkin, G. R., Hollon, N. G., Carstensen, L. L., & Knutson, B. (2008). Individual differences in insular sensitivity during loss anticipation predict avoidance learning. Psychological Science, 19, 320-323.

상세보기
Schultz, W. (1997). Dopamine neurons and their role in reward mechanisms. Current Opinion in Neurobiology, 7, 191-197.

상세보기
Schultz, W., Dayan, P., & Montague, P. R. (1997). A neural substrate of prediction and reward. Science, 275, 1593-1599.

상세보기
Seger, C. A. (2008). How do the basal ganglia contribute to categorization? Their roles in generalization, response selection, and learning via feedback. Neuroscience and Biobehavioral Reviews, 32, 265-278.

상세보기
Seger, C. A., & Cincotta, C. M. (2005). The roles of the caudate nucleus in human classification learning. The Journal of Neuroscience, 25, 2941-2951.

상세보기
Seger, C. A., & Cincotta, C. M. (2006). Dynamics of frontal, striatal, and hippocampal systems during rule learning. Cerebral Cortex, 16, 1546-1555.

상세보기
Shackman, A. J., Salomons, T. V., Slagter, H. A., Fox, A. S., Winter, J. J., & Davidson, R. J. (2011). The integration of negative affect, pain and cognitive control in the cingulate cortex. Nature Reviews Neuroscience, 12, 154-167.

상세보기
Singer, T., Critchley, H. D., & Preuschoff, K. (2009). A common role of insula in feelings, empathy and uncertainty. Trends in Cognitive Sciences, 13, 334-340.

상세보기
Skinner, B. F. (1938). The behavior of organisms: An experimental analysis. New York, NY: D. Appleton-Century Company.
Spreng, R. N. (2012). The fallacy of a "task-negative" network. Frontiers in Psychology, 3, 145.

상세보기
Steele, V. R., Anderson, N. E., Claus, E. D., Bernat, E. M., Rao, V., Assaf, M., Pearlson, G. D., Calhoun, V. D., & Kiehl, K. A. (2016). Neuroimaging measures of error-processing: Extracting reliable signals from event-related potentials and functional magnetic resonance imaging. Neuroimage, 132, 247-260.

상세보기
Stephani, C., Fernandez-Baca Vaca, G., Maciunas, R., Koubeissi, M., & Luders, H. O. (2011). Functional neuroanatomy of the insular lobe. Brain Structure & Function, 216, 137-149.

상세보기
Stoodley, C. J., Valera, E. M., & Schmahmann, J. D. (2012). Functional topography of the cerebellum for motor and cognitive tasks: an fMRI study. Neuroimage, 59, 1560-1570.

상세보기
Taylor, S. F., Liberzon, I., Fig, L. M., Decker, L. R., Minoshima, S., & Koeppe, R. A. (1998). The effect of emotional content on visual recognition memory: a PET activation study. Neuroimage, 8, 188-197.

상세보기
Tricomi, E. M., Delgado, M. R., & Fiez, J. A. (2004). Modulation of caudate activity by action contingency. Neuron, 41, 281-292.

상세보기
Tricomi, E. M., & Fiez, J. A. (2012). Information content and reward processing in the human striatum during performance of a declarative memory task. Cognitive, Affective & Behavioral Neuroscience, 12, 361-372.

상세보기
Ullsperger, M., & von Cramon, D. Y. (2003). Error monitoring using external feedback: specific roles of the habenular complex, the reward system, and the cingulate motor area revealed by functional magnetic resonance imaging. The Journal of Neuroscience, 23, 4308-4314.

상세보기
Wheeler, E. Z., & Fellows, L. K. (2008). The human ventromedial frontal lobe is critical for learning from negative feedback. Brain, 131, 1323-1331.

상세보기
Williams, Z. M., & Eskandar, E. N. (2006). Selective enhancement of associative learning by microstimulation of the anterior caudate. Nature Neuroscience, 9, 562-568.

상세보기
Xu, L., Liang, Z. -Y., Wang, K., Li, S., & Jiang, T. (2009). Neural mechanism of intertemporal choice: from discounting future gains to future losses. Brain Research, 1261, 65-74.

상세보기
Zanolie, K., Van Leijenhorst, L., Rombouts, S. A., & Crone, E. A. (2008). Separable neural mechanisms contribute to feedback processing in a rule-learning task. Neuropsychologia, 46, 117-126.

상세보기

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증