뉴럴 디코딩은 뉴론이 발화한 스파이크 트레인으로부터 뉴론에 인가된 원 자극을 추정하는 작업을 말한다. 디코딩은 뉴론들끼리 어떻게 신호를 주고 받는 지를 이해함으로써 궁극적으로 뇌가 어떻게 정보처리를 하는 지 이해하는 기초적인 작업이다. 이 논문에서 우리는 3가지 뉴럴 디코딩 방법, 즉 빈도 디코딩, 시간 디코딩, 군집 디코딩 방법에 대해 설명하겠다. 빈도 디코딩은 자극에 대한 스파이크의 발화빈도 정보를 이용하여 자극을 복원하는 방법을 말한다. 역사적으로 가장 먼저 시도되었고 가장 간단한 디코딩 방법이다. 그러나 정수 개인 스파이크 개수로부터 빈도를 계산하는 과정에서 빈도자체가 불연속이고 양자화될 가능성이 높기 때문에 간단하고 정적인 자극이 아닌 경우 빈도 디코딩으로는 자극을 복원하기 어렵다는 한계를 가지고 있다. 시간 디코딩은 스파이크 발생 빈도가 아닌 개별 스파이크들의 발생시각을 이용한 디코딩 방법을 말하며 실제 빠르게 변화하는 자극의 경우 신경세포는 빈도 디코딩이 아니라 시간 디코딩을 통해 자극을 추정하는 것으로 이해되고 있다. 군집 디코딩은 단일 신경세포가 아닌 군집 신경세포로부터 자극을 복원하는 방법이다. 군집 디코딩은 단일 신경 세포 디코딩에 비해 신경 세포의 가변성에 따른 불확실성을 감소시킬 수 있고 서로 다른 자극의 특성을 동시에 표현할 수 있다는 장점을 갖는다. 이 논문에서는 먼저 세 가지 뉴럴디코딩 방법에 대해 소개하고 정보이론이 뉴럴디코딩에 어떻게 적용되는 지를 다룬 후 마지막으로 최근에 각광받고 있는 기계학습 방법에 의한 뉴럴 디코딩에 대해 다루도록 하겠다.
뉴럴 디코딩은 뉴론이 발화한 스파이크 트레인으로부터 뉴론에 인가된 원 자극을 추정하는 작업을 말한다. 디코딩은 뉴론들끼리 어떻게 신호를 주고 받는 지를 이해함으로써 궁극적으로 뇌가 어떻게 정보처리를 하는 지 이해하는 기초적인 작업이다. 이 논문에서 우리는 3가지 뉴럴 디코딩 방법, 즉 빈도 디코딩, 시간 디코딩, 군집 디코딩 방법에 대해 설명하겠다. 빈도 디코딩은 자극에 대한 스파이크의 발화빈도 정보를 이용하여 자극을 복원하는 방법을 말한다. 역사적으로 가장 먼저 시도되었고 가장 간단한 디코딩 방법이다. 그러나 정수 개인 스파이크 개수로부터 빈도를 계산하는 과정에서 빈도자체가 불연속이고 양자화될 가능성이 높기 때문에 간단하고 정적인 자극이 아닌 경우 빈도 디코딩으로는 자극을 복원하기 어렵다는 한계를 가지고 있다. 시간 디코딩은 스파이크 발생 빈도가 아닌 개별 스파이크들의 발생시각을 이용한 디코딩 방법을 말하며 실제 빠르게 변화하는 자극의 경우 신경세포는 빈도 디코딩이 아니라 시간 디코딩을 통해 자극을 추정하는 것으로 이해되고 있다. 군집 디코딩은 단일 신경세포가 아닌 군집 신경세포로부터 자극을 복원하는 방법이다. 군집 디코딩은 단일 신경 세포 디코딩에 비해 신경 세포의 가변성에 따른 불확실성을 감소시킬 수 있고 서로 다른 자극의 특성을 동시에 표현할 수 있다는 장점을 갖는다. 이 논문에서는 먼저 세 가지 뉴럴디코딩 방법에 대해 소개하고 정보이론이 뉴럴디코딩에 어떻게 적용되는 지를 다룬 후 마지막으로 최근에 각광받고 있는 기계학습 방법에 의한 뉴럴 디코딩에 대해 다루도록 하겠다.
The neural decoding is a procedure that uses spike trains fired by neurons to estimate features of original stimulus. This is a fundamental step for understanding how neurons talk each other and, ultimately, how brains manage information. In this paper, the strategies of neural decoding are classifi...
The neural decoding is a procedure that uses spike trains fired by neurons to estimate features of original stimulus. This is a fundamental step for understanding how neurons talk each other and, ultimately, how brains manage information. In this paper, the strategies of neural decoding are classified into three methodologies: rate decoding, temporal decoding, and population decoding, which are explained. Rate decoding is the firstly used and simplest decoding method in which the stimulus is reconstructed from the numbers of the spike at given time (e. g. spike rates). Since spike number is a discrete number, the spike rate itself is often not continuous and quantized, therefore if the stimulus is not static and simple, rate decoding may not provide good estimation for stimulus. Temporal decoding is the decoding method in which stimulus is reconstructed from the timing information when the spike fires. It can be useful even for rapidly changing stimulus, and our sensory system is believed to have temporal rather than rate decoding strategy. Since the use of large numbers of neurons is one of the operating principles of most nervous systems, population decoding has advantages such as reduction of uncertainty due to neuronal variability and the ability to represent a stimulus attributes simultaneously. Here, in this paper, three different decoding methods are introduced, how the information theory can be used in the neural decoding area is also given, and at the last machinelearning based algorithms for neural decoding are introduced.
The neural decoding is a procedure that uses spike trains fired by neurons to estimate features of original stimulus. This is a fundamental step for understanding how neurons talk each other and, ultimately, how brains manage information. In this paper, the strategies of neural decoding are classified into three methodologies: rate decoding, temporal decoding, and population decoding, which are explained. Rate decoding is the firstly used and simplest decoding method in which the stimulus is reconstructed from the numbers of the spike at given time (e. g. spike rates). Since spike number is a discrete number, the spike rate itself is often not continuous and quantized, therefore if the stimulus is not static and simple, rate decoding may not provide good estimation for stimulus. Temporal decoding is the decoding method in which stimulus is reconstructed from the timing information when the spike fires. It can be useful even for rapidly changing stimulus, and our sensory system is believed to have temporal rather than rate decoding strategy. Since the use of large numbers of neurons is one of the operating principles of most nervous systems, population decoding has advantages such as reduction of uncertainty due to neuronal variability and the ability to represent a stimulus attributes simultaneously. Here, in this paper, three different decoding methods are introduced, how the information theory can be used in the neural decoding area is also given, and at the last machinelearning based algorithms for neural decoding are introduced.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
또한 본 논문에서는 자극과 반응의 확률분포로부터 그 관측의 정보량을 구하는 방법을 다루었다.
그림 1은 이러한 관계를 도식화 한 것이다. 본 논문에서는 뉴럴 디코딩에 대한 방법론을 다루고자 한다.
본 논문에서는 신경세포에 자극이 인가되었을 때 신경세포의 스파이크 반응으로부터 자극을 추정하는 뉴럴 디코딩에 대한 방법론을 다루었다. 빈도 디코딩 방법은 자극의 세기가 강할수록 신경세포의 스파이크 발화 빈도가 커지므로 스파이크 개수 정보로부터 자극 정보를 복원하는 방법으로 가장 먼저 소개된 디코딩 방법이다.
이제 R1, R2, …, Rk의 스파이크들이 관찰되었을 때, 이러한 스파이크를 발생시킬 가능성이 가장 높은 자극을 추정하고자 한다.
가설 설정
이 때 개별 스파이크들은 서로 독립이어서 스파이크들을 포아송 프로세스(Poisson process)로 가정하고, 베이스 정리를 연달아 적용하면 P[v|R1, R2, …, Rk]를 다음 식과 같이 정리할 수 있다[1].
즉, 가우시안 분포를 가정하고 P[v|R1, …, Rk] 를 최대로 하는 자극 v(t) = vest(t)를 구하고자 한다.
제안 방법
2초 동안 얻어낸 발화 빈도를 히스토그램으로 작성하고 이를 근거로 발화 빈도에 대한 적당한 한계치(threshold) 를 선택한 다음, 이제 각 시행마다 얻어낸 발화 빈도가 이 한계치보다 높으면 “플러스”, 낮으면 “마이너스”라고 자극을 디코딩하였다.
이 실험에서는 검정파리의 시각 시스템 내 H1 신경 세포를 대상으로 하여 흑백 패턴을 500 μs 마다 랜덤하게 수평방향으로 움직이는 자극을 준다. 53분간 자극을 주고 이 때 발생하는 스파이크 반응을 기록하여 오프라인에서 분석하였다. 이들 분석의 가장 큰 특징은 어떤 패턴을 가진 반응이 관측되었을 때, 관측 시점으로부터 이전 100 ms까지의 자극을 반응-조건부 앙상블(response-conditional ensemble, RCE)로 저장하고 RCE의 통계를 이용하여 자극을 추정한 것이다.
귀뚜라미의 cercal system 실험과 유사하게 운동 뉴런에 대한 실험을 원숭이의 M1 영역에서 수행하였다[7]. 원숭이의 M1 영역의 운동 신경 세포들의 평균 발화 빈도를 다음과 같이 표현할 수 있다.
대표적인 실험 중 하나는 귀뚜라미의 cercal system에 대한 실험인데 여기에서 네 개의 신경 세포가 바람의 방향에 따라 90° 만큼씩 평행이동된 형태의 동조 곡선(tuning curve)을 갖는다는 결과를 이용하여 바람의 방향을 다음과 같은 형태로 표현하였다[6].
위의 방법에서는 관찰 시각 tobs을 기준으로 두 개의 스파이크에 대한 시간 간격 (t0, t−1)으로 반응을 분류하였다.
53분간 자극을 주고 이 때 발생하는 스파이크 반응을 기록하여 오프라인에서 분석하였다. 이들 분석의 가장 큰 특징은 어떤 패턴을 가진 반응이 관측되었을 때, 관측 시점으로부터 이전 100 ms까지의 자극을 반응-조건부 앙상블(response-conditional ensemble, RCE)로 저장하고 RCE의 통계를 이용하여 자극을 추정한 것이다.
그러므로 디코딩 방법이 빈도 디코딩에서 시간 디코딩으로, 단일 디코딩에서 군집 디코딩으로 진화한 것은 필연적인 현상이다. 표 1에 세 가지 디코딩 방법을 비교하여 정리하였고 각 디코딩 방법을 사용한 대표적인 문헌도 소개하였다.
학습을 위한 자료의 양에 따른 알고리즘 성능을 비교해 보기 위하여, 자료의 양을 줄여가면서 알고리즘 성능을 평가하였다. 21분의 운동 피질과 체성감각 피질 자료에서 2분의 운동 피질과 체성감각 피질의 자료로 줄이더라도, 인공 신경망과 LSTM 알고리즘이 위너 필터와 칼만 필터에 대하여 압도적인 성능을 보여 주었다.
대상 데이터
본 비교를 위해 사용한 자료는 스파이크 발생 시점에 관한 자료이다. 신경세포 전위 기록 장비에 의해 기록된 원 자료에 대하여 연구자가 다양한 필터를 사용하여 스파이크 발생 시점만 추출한 자료로 잡음이 매우 작다고 할 수 있다.
이 실험에서는 검정파리의 시각 시스템 내 H1 신경 세포를 대상으로 하여 흑백 패턴을 500 μs 마다 랜덤하게 수평방향으로 움직이는 자극을 준다.
성능/효과
학습을 위한 자료의 양에 따른 알고리즘 성능을 비교해 보기 위하여, 자료의 양을 줄여가면서 알고리즘 성능을 평가하였다. 21분의 운동 피질과 체성감각 피질 자료에서 2분의 운동 피질과 체성감각 피질의 자료로 줄이더라도, 인공 신경망과 LSTM 알고리즘이 위너 필터와 칼만 필터에 대하여 압도적인 성능을 보여 주었다. 해마 자료의 경우 93분의 자료를 15분의 자료로 줄일 때까지 같은 현상이 나타났다.
알고리즘 성능 비교에 사용된 세 개의 뇌 영역 자료 모두에서 현대적인 기계 학습 알고리즘이 전통적인 기계 학습 알고리즘 보다 압도적인 성능을 보여 주었다(그림 3). 특히, 신경망과 앙상블 기법은 최고의 성능을 보여 준 반면, 위너 필터와 칼만 필터는 최저의 성능을 나타내었다.
해마 자료의 경우 93분의 자료를 15분의 자료로 줄일 때까지 같은 현상이 나타났다. 자료의 양을 더 줄여서, 1분의 운동 피질과 체성감각 피질의 자료, 7.5분의 해마 자료일 경우에는 칼만 필터는 현대적인 기계 학습 알고리즘과 비슷한 성능을 보여줬지만, 위너 필터의 경우 여전히 비교하기 힘들 정도의 낮은 성능을 보여 주었다.
이 때 함께 계산한 왜도와 첨도값은 이 추정이 얼마나 타당하는지 체크하는 데에 사용된다. 즉, 두 값이 모두 0에 가까울수록 가우시안 분포의 치우침이 적고 분포의 뾰족함이 커서 가우시안 근사가 타당하다고 할 수 있다.
Adrian의 실험 이후 신경 세포 반응에 대한 연구는 몇 가지 방향으로 발전되어 왔다[1]. 첫번째로, 단일 파라미터의 자극에서 다수 파라미터의 자극에 대한 실험으로 발전하였는데 이 실험을 통해 신경 세포 반응은 소수 몇 개의 파라미터에 의해 크게 좌우되고 이러한 주요 파라미터들의 특정 값에서 그 반응이 최대가 됨을 발견한다. 또 하나의 발전 방향은 초기의 정적인 자극에 대한 반응 연구에서 동적인 자극에 대한 반응 연구로 나아간 것이다.
알고리즘 성능 비교에 사용된 세 개의 뇌 영역 자료 모두에서 현대적인 기계 학습 알고리즘이 전통적인 기계 학습 알고리즘 보다 압도적인 성능을 보여 주었다(그림 3). 특히, 신경망과 앙상블 기법은 최고의 성능을 보여 준 반면, 위너 필터와 칼만 필터는 최저의 성능을 나타내었다.
후속연구
신경세포 전위 기록 장비에 의해 기록된 원 자료에 대하여 연구자가 다양한 필터를 사용하여 스파이크 발생 시점만 추출한 자료로 잡음이 매우 작다고 할 수 있다. fMRI와 같이 신경 세포 전위 기록 장비에 비하여 잡음이 상대적으로 많은 장비를 이용하여 측정한 자료의 경우에는 잡음 제거에 좋은 성능을 보여주는 전통적인 기계 학습 알고리즘이 더 좋은 성능을 보여줄 것으로 기대된다.
본 논문에서 기술된 디코딩 방법 및 정보이론은 실제 시각계에서 시각정보가 처리되는 과정에서 널리 사용되고 있는 방법이다. 비록 본 논문에서는 이론적인 방법론을 소개하는 것에 그쳤으나, 추후 논문에서는 실제 망막에서 시각 정보를 처리함에 있어 사용되는 각종 파라미터를 디코딩 방법으로 추출하고 각 파라미터의 정보량을 다룸으로써 실제 시각계에서 일어나는 시각정보 처리 기전에 대한 실마리를 제공하고자 한다.
질의응답
핵심어
질문
논문에서 추출한 답변
뉴럴 디코딩이란 무엇인가?
뉴럴 디코딩은 뉴론이 발화한 스파이크 트레인으로부터 뉴론에 인가된 원 자극을 추정하는 작업을 말한다. 디코딩은 뉴론들끼리 어떻게 신호를 주고 받는 지를 이해함으로써 궁극적으로 뇌가 어떻게 정보처리를 하는 지 이해하는 기초적인 작업이다.
빈도 디코딩의 한계점은 무엇인가?
역사적으로 가장 먼저 시도되었고 가장 간단한 디코딩 방법이다. 그러나 정수 개인 스파이크 개수로부터 빈도를 계산하는 과정에서 빈도자체가 불연속이고 양자화될 가능성이 높기 때문에 간단하고 정적인 자극이 아닌 경우 빈도 디코딩으로는 자극을 복원하기 어렵다는 한계를 가지고 있다. 시간 디코딩은 스파이크 발생 빈도가 아닌 개별 스파이크들의 발생시각을 이용한 디코딩 방법을 말하며 실제 빠르게 변화하는 자극의 경우 신경세포는 빈도 디코딩이 아니라 시간 디코딩을 통해 자극을 추정하는 것으로 이해되고 있다.
자극과 반응의 관점에서 신경 신호 분석의 접근 방법 두 가지는 무엇인가?
자극과 반응의 관점에서 신경 신호 분석은 크게 두 가지의 접근 방법이 존재한다. 하나는 자극으로부터 반응을 예측하는 뉴럴 인코딩(neural encoding)이고 다른 하나는 반응으로부터 자극을 추정하는 뉴럴 디코딩(neural decoding)이다[3]. 그림 1은 이러한 관계를 도식화 한 것이다.
참고문헌 (27)
F. Rieke, R. Warland, R. De Ruyter Van Steveninck and W. Bialek, Spikes: Exploring the neural code, MIT Press, 1997.
E.D. Adrian, "The impulses produced by sensory nerve endings: Part I," J Physiol, vol. 61, pp. 49-72, 1926.
P. Dayan and L.F. Abbott, Theoretical neuroscience: computational and mathematical modeling of neural systems, MIT Press, 2001.
K.H. Britten, M.N. Shadlen, W.T. Newsome and J.A. Movshon, "The analysis of visual motion: a comparison of neuronal and psychophysical performance," J Neurosci, vol. 12, pp. 4745-4765, 1992.
R. De Ruyter Van Steveninck and W. Bialek, "Real-time performance of a movement-sensitive neuron in the blowfly visual system: coding and information transfer in short spike sequences," Proceedings of the Royal Society of London B, vol. 234, pp. 379-414, 1988.
F.E. Theunissen and J.P. Miller, "Representation of sensory information in the cricket cercal sensory system. II. Information theoretic calculation of system accuracy and optimal tuning-curve widths of four primary interneurons," J Neurophysiol, vol. 66, pp. 1690-1703, 1991.
J.F. Kalaska, R. Caminiti and A.P. Georgopoulos, "Cortical mechanisms related to the direction of two-dimensional arm movements: relations in parietal area 5 and comparison with motor cortex," Exp Brain Res, vol. 51, pp. 247-260, 1991.
K. Zhang, I. Ginzburg, B.L. Mcnaughton and T.J. Sejnowski, "Interpreting neuronal population activity by reconstruction: unified framework with application to hippocampal place cells," J Neurophysiol, vol. 79, pp. 1017-1044, 1998.
I.J. Glaser, H.R. Chowdhury, M.G. Perich, L.E. Miller and K.P. Kording, "Machine learning for neural decoding," arXiv:1708.00909 [q-bio.NC], pp. 2017.
W. Wu, M.J. Black, Y. Gao, M. Serruya, A. Shaikhouni and J. Donoghue, "Neural decoding of cursor motion using a Kalman filter," Advances in neural information processing systems, vol. 15, pp. 1-8, 2003.
E.A. Pohlmeyer, S.A. Solla, E.J. Perreault and L.E. Miller, "Prediction of upper limb muscle activity from motor cortical discharge during reaching," J Neural Eng, vol. 4, pp. 369- 379, 2007.
C.C. Chang and C.J. Lin, "LIBSVM: a library for support vector machines," ACM Transactions on Intelligent Systems and Technology, vol. 2, pp. 27, 2011.
T. Chen and C. Guestrin, "Xgboost: A scalable tree boosting system," Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2016, pp. 785-794.
F. Chollet, Keras, GitHubs, 2015, https://github.com/fchollet/keras
D. Kingma and J. Ba, "A method for stochastic optimization," arXiv preprint arXiv:1412698, pp. 2014.
N. Srivastava, G.E. Hinton, A. Krizhevsky, I. Sutskever and R. Salakhutdinov, "Dropout: a simple way to prevent neural networks from overfitting," Journal of Machine Learning Research, vol. 15, pp. 1929-1958, 2014.
T. Tieleman and G. Hinton, Lecture 6.5-RmsProp: Divide the gradient by a running average of its recent magnitude, COURSERA: Neural Networks for Machine Learning, vol. 4, pp. 26-31, 2012.
K. Cho, B.V. MerrieNboer, C. Gulcehre, D. Bahdanau, F. Bougares and H. Schwenk, "Learning phrase representations using RNN encoder-decoder for statistical machine translation," arXiv preprint arXiv:14061078, pp. 2014.
S. Hochreiter and J. Schmidhuber, "Long short-term memory," Neural Comput, vol. 9, pp. 1735-1780, 1997.
J.M. Carmena, M.A. Lebedev, R.E. Crist, J.E. O'doherty, D.M. Santucci, D.F. Dimitrov, P.G. Patil, C.S. Henriquez and M.A. Nicolelis, "Learning to control a brain-machine interface for reaching and grasping by primates," PLoS Biol, vol. 1, pp. E42, 2003.
L.R. Hochberg, M.D. Serruya, G.M. Friehs, J.A. Mukand, M. Saleh, A.H. Caplan, A. Branner, D. Chen, R.D. Penn and J.P. Donoghue, "Neuronal ensemble control of prosthetic devices by a human with tetraplegia," Nature, vol. 442, pp. 164-171, 2006.
S. Panzeri, R.A. Ince, M.E. Diamond and C. Kayser, "Reading spike timing without a clock: intrinsic decoding of spike trains," Philos Trans R Soc Lond B Biol Sci, vol. 369, pp. 20120467, 2014.
A.L. Jacobs, G. Fridman, R.M. Douglas, N.M. Alam, P.E. Latham, G.T. Prusky and S. Nirenberg, "Ruling out and ruling in neural codes," Proc Natl Acad Sci U S A, vol. 106, pp. 5936-5941, 2009.
J.W. Pillow, J. Shlens, L. Paninski, A. Sher, A.M. Litke, E.J. Chichilnisky and E.P. Simoncelli, "Spatio-temporal correlations and visual signalling in a complete neuronal population," Nature, vol. 454, pp. 995-999, 2008.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.