[논문]나노스케일 커넥토믹스 연구와 인공지능

정원기

나노스케일 커넥토믹스 연구와 인공지능 원문보기

정보과학회지 = Communications of the Korean Institute of Information Scientists and Engineers, v.36 no.1 = no.344, 2018년, pp.33 - 40

정원기 (울산과학기술원)

초록이 없습니다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 기고문에서는 뇌의 신비를 밝히는 커넥토믹스연구에서 최근에 활발히 사용되고 있는 인공지능 기반의 대표적인 연구 내용들을 소개하였다. 커넥토믹스연구에서는 영상기반의 데이터를 활용하는 관계로 대부분의 기존 연구가 CNN기반의 심층 신경망을 이용한 내용이 주를 이루고 있음을 알 수 있다.
본 기고문에서는 이러한 인공지능 기술의 발전이커넥토믹스 연구에 어떻게 활용되고 있는지를 최근 연구 동향을 통해 살펴본다. 인공지능 기술이 커넥토믹스 연구에 적합한 이유는 다음과 같이 크게 두 가지로 설명될 수 있다.
Jain et aL[19]은 2D EM 영상에 CNN을 최초로 이용하여 세포막 구분의 정확도를 높이는 기술을 제안하였다. 이 논문에서 사용한 EM 데이터는 특히 영상대잡음비 (Signal to Noise)가 낮은 단점이 있었는데 이를 CNN으로 세포막 신호를 보완하는 이미지 복원 (Image Restoration) 알고리즘을 소개하였다. Turaga et al.
만약 split error로 판별이 난다면 분리하지 말아야 하는 경계면이기 때문에 올바른 영상분할 결과가 되며 반대라면 분리해야 하는 경계면인데 분리가 되지 않았으므로 merge error 로 판별하게 된다. 이렇게 자동으로 오류를 찾아낸 후사 용자가 실시간으로 손쉽게 split과 merge error를 2D 영상에서 교정할 수 있게 하는 사용자 인터페이스도 함께 제공하였다. Zung et al.

제안 방법

본 논문에서는 두 가지 다른 CNN 모델 - 3차원 FSRCNN[13]과 3차원 U-net[9] - 을 이용하여 등방성 및 비등방성 학습 데이터로 해상도를 증가시키는 학습을 진행하였다. 3차원 FSRCNNe 2차원 CNN 기반 Super-resolution 알고리즘을 3차원으로 확장한 것으로 한번의 shrinking과 expanding 사이의 nonlinear mapping을 통해 feature 간의 상관관계를 학습을 시키며 최종적으로 z 축으로 4배 확장하는 deconvolution을 통해 z축 해상도를 높인다. 3차원 U-net을 이용한 방법은 autoencoder와 유사한 다단계 인코딩 (encoding)과 디코딩 (decoding) 단계를 skip connection으로 연결한 U-net이라는 모델을 이용하여 최종적으로 z축 해상도를 높이는 deconvolution을 수행한다.
제안하는 모델은 인접하는 두 2D EM 영상을 입력으로 받고 이를 poolingo] 없는 (즉, 입/출력 영상과 중간 feature map의 해상도가 동일한) 2D CNN 모듈이 직렬로 연결된 네트워크를 통하여 企ature간의 상관관계를 학습시킨 후 최종적으로 두 입력 영상의 중간영상을 생성하게 된다. Jain이 제안한 모델의 CNN 모듈은 addition기반 skip connection0] 존재하여 기존 Residual CNN 모델과 구조적으로 유사하지만 adversarial 학습과정을 이용하여 (즉 영상생성 신경망이 생성한 영상을 fake로 설정하고 실제 현미경 영상을 real로 설정한 후 최종적으로 fhke와 real간의 구분이 없어지도록 이를 구별해 내는 discriminator 신경망과 영상생성 신경망을 최적화시킴) 실제 EM 영상과 유사한 interpolation 영상을 생성하게 하였다 (그림 2).
은 3D CNN을 이용하여 image super-resolution 방법으로 z 축 해상도를 높이는 기술을 제안하였다[12]. 본 논문에서는 두 가지 다른 CNN 모델 - 3차원 FSRCNN[13]과 3차원 U-net[9] - 을 이용하여 등방성 및 비등방성 학습 데이터로 해상도를 증가시키는 학습을 진행하였다. 3차원 FSRCNNe 2차원 CNN 기반 Super-resolution 알고리즘을 3차원으로 확장한 것으로 한번의 shrinking과 expanding 사이의 nonlinear mapping을 통해 feature 간의 상관관계를 학습을 시키며 최종적으로 z 축으로 4배 확장하는 deconvolution을 통해 z축 해상도를 높인다.
인공지능 분류기로 세포막과 세포 영역을 구분해 낸 후 Watershed등의 클러스터링 알고리즘을 이용하여 superpixel들로 구성된 중간 영상분할 결과를 생성한다. 이는 인공지능 분류기와 입력 영상만으로는 pixel 수준의 완벽하게 정확한 영상분할 결과를 생성해 낼 수 없기 때문에 중간 단계인 superpixel을 우선 생성한 후 인접한 superpixel을 그룹화 하는 방법으로 최종적으로 정확한영상분할 결과를 생성하게 된다.
[26] 는 split error와 merge error의 위치를 2D CNN기반의 심층 신경망으로 자동으로 찾아내는 알고리즘을 제안하였다 (그림 6). 제안하는 CNNe EM 영상, 세포막 확률 맵, 뉴런 label 맵, 그리고 뉴런 간의 경계면 mask 맵을 입력으로 받고 분리되지 않아야 할 부분이 분리된 경우 split error로 판단하도록 학습된다. Merge error는 split error를 판별하는 CNN을 이용하여 세포막 확률 맵의 세포막 주위에 무작위로 seed point를 배치하고 Watershed 알고리즘으로 가상의 경계면을 세포 안에 생성하고 이를 split error classifier로 판별한다.
[18]이 Convolutional Autoencoder와 Spatial Transformer를 이용하여 ssEM (Serial Section Electron Microscopy) 영상정합 알고리즘을 소개하였다 (그림 3). 제안하는 기술에서는 Convolutional Autoencoder로 비지도 학습(Unsupervised Learning)을 통해 주어진 EM영싱■의 특징들을 Latent Vfector로 인코딩을 한 후 정합하려는 영상의 Latent Vector Map간의 차이가 최소화 되도록 Spatial Transformer를 학습시켜서 최종적으로 영상을 변형시키는 Deformation map을 구하게 된다. Convolutional Autoencoder로 인코딩한 Latent Vector 는 큰 Field of View를 가지게 되므로 전체 적 인 영상의 정합 품질을 높이는데 도움이 되며 비지도학습 (Unsupervised Learning)을 사용하므로 사용자가 학습데이터를 생성할 필요가 없는 장점이 있다.
해결하였다. 제안하는 모델은 인접하는 두 2D EM 영상을 입력으로 받고 이를 poolingo] 없는 (즉, 입/출력 영상과 중간 feature map의 해상도가 동일한) 2D CNN 모듈이 직렬로 연결된 네트워크를 통하여 企ature간의 상관관계를 학습시킨 후 최종적으로 두 입력 영상의 중간영상을 생성하게 된다. Jain이 제안한 모델의 CNN 모듈은 addition기반 skip connection0] 존재하여 기존 Residual CNN 모델과 구조적으로 유사하지만 adversarial 학습과정을 이용하여 (즉 영상생성 신경망이 생성한 영상을 fake로 설정하고 실제 현미경 영상을 real로 설정한 후 최종적으로 fhke와 real간의 구분이 없어지도록 이를 구별해 내는 discriminator 신경망과 영상생성 신경망을 최적화시킴) 실제 EM 영상과 유사한 interpolation 영상을 생성하게 하였다 (그림 2).

이론/모형

그림 5 Quan et al.[21] 이 제안한 FusionNet 모델의 구조. U-net과 유사한 인코딩/디코딩 구조를 가지며 각 레벨은 addition skip connection으로 연결되어 있고 각 convolution layer도 residual module로 구성된다

성능/효과

즉, FFNe CNN기반의 비교적 작은 field of view에 해당하는 지역의 픽셀분류를 하게 되며, field of view를 이웃 지역으로 옮겨가며 이전에 픽셀 분류한 내용을 기반으로 새로운 지역의 픽셀 분류를 진행하게 된다. 제안하는 FFN 모델은 평균 1.1mm 길이의 뉴런을 merge 에러 없이 분할하는데 성공하였지만 기존 CNN기반 단순 픽셀 분류모델과 비교하여 약 74배의 계산 오버헤드가 필요한 단점이 존재한다.
인공지능 기술이 커넥토믹스 연구에 적합한 이유는 다음과 같이 크게 두 가지로 설명될 수 있다. 첫째로, 많은 데이터 (혹은 경험)에 기반한 최적의 해답을 찾는 방식은 기존의 모델기반의 문제해결 방식보다 더 정확한 결과를 얻는 것을 가능하게 할 수 있다. 특히 의사결정이 필요한 문제의 경우 인간의 정확도에 비견할 정도의 성능이 최근 딥러닝 연구에서 가능하게 되었고 이를 이용하면 기존의 많은 수작업이 요구되던 커넥텀 데이터 분석 과정을 자동화 시킬 수 있다.

후속연구

또한 영상정합도 아직까지는 인공지능 기술이 많이 적용되지 않은 연구 분야로 정합 속도와 정확성을 높이는 방향으로 인공지능 기술의 접목이 기대된다. 최종적으로는 인공지능으로 뇌의 신경망 지도를 완성하여 이를 바탕으로 뇌의 기능을 정교하게 모사할 수 있는 “Bio-inspired” 인공지능 기술 발전으로의 연구 선순환이 이루어지는 날이 오기를 기대해 본다.
심층 신경망의 학습 과정은 시간이 소요가 되지만 한번 학습이 끝난 신경망의 경우 새로운 데이터에 적용하는 것은 Feed forward 과정을 한 번만 수행하면 되므로 비교적 빠르게 결과를 얻을 수 있고 이는 대용량 데이터 기반의커넥토믹스 연구와 잘 맞는다고 할 수 있다. 커넥토믹스가 인간의 뇌의 신비를 밝히는 연구이고 인공지능이 인간의 뇌의 기능을 모사하는 연구임을 생각하면 인공지능을 통한 커넥토믹스 연구는 더 나은 차세대 인공지능의 설계를 가능하게 하는 선순환 연구의 초석이 됨을 알게 될 것이다.
커넥토믹스연구에서는 영상기반의 데이터를 활용하는 관계로 대부분의 기존 연구가 CNN기반의 심층 신경망을 이용한 내용이 주를 이루고 있음을 알 수 있다. 하지만커넥텀 영상 분석이 인간의 판단 여부가 중요하게 작용하는 분야임을 감안하면 CNN외에 다른 인공지능 모델의 활용도 중요한 향후 연구 방향이 될 것이다. 특히 영상 분할의 교정(proofi"eading)의 경우 강화학습 (Reinforcement Learning) 등의 인간의 판단능력을 모사하는 인공지능 기술이 적용 가능한 분야로 향후 연구가 기대되는 분야이다.

참고문헌 (27)

Y. LeCun, Y. Bengio, and G. Hinton, "Deep learning," Nature, vol. 521, no. 7553, pp. 436-444, May 2015.

상세보기
Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton. "ImageNet Classification with Deep Convolutional Neural Networks," in Proceedings of NIPS, pp. 1097-1105, 2012.
O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, A. C. Berg, and L. Fei-Fei, "ImageNet Large Scale Visual Recognition Challenge," International Journal of Computer Vision, vol. 115, no. 3, pp. 211-252, Dec. 2015.

상세보기
K. Simonyan and A. Zisserman, "Very deep convolutional networks for large-scale image recognition," CoRR, vol. abs/1409.1556, 2014.
C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich, "Going deeper with convolutions," in Proceedings of IEEE CVPR, 2015, pp. 1-9.
K. He, X. Zhang, S. Ren, and J. Sun, "Deep residual learning for image recognition," in Proceedings of IEEE CVPR, 2016, pp. 770-778.
L. A. Gatys, A. S. Ecker, and M. Bethge, "Image Style Transfer Using Convolutional Neural Networks," in Proceeding of IEEE CVPR, 2016, pp. 2414-2423.
Isola, P., Zhu, J.Y., Zhou, T., Efros, A.A. "Image-to-Image Translation with Conditional Adversarial Networks", CVPR, 2017.
O. Cicek, A. Abdulkadir, S. S. Lienkamp, T. Brox, and O. Ronneberger, "3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation," in Proceedings of MICCAI, 2016, pp. 424-432.
Y. Zheng, D. Liu, B. Georgescu, H. Nguyen, and D. Comaniciu, "3D Deep Learning for Efficient and Robust Landmark Detection in Volumetric Data," in Proceeding of MICCAI, 2015, pp. 565-572.
Ali Isin, Cem Direkoglu , Melike Sah, "Review of MRI-based brain tumor image segmentation using deep learning methods," Procedia Computer Science, vol. 102, pp. 317 - 324, 2016

상세보기
Larissa Heinrich, John A. Bogovic, Stephan Saalfeld "Deep Learning for Isotropic Super-Resolution from Non-isotropic 3D Electron Microscopy". MICCAI (2) 2017: 135-143
Dong, C., Loy, C.C., Tang, X. "Accelerating the super-resolution convolutional neural network". In: ECCV. pp. 391-407 (2016)
Olaf Ronneberger, Philipp Fischer, Thomas Brox, "U-Net: Convolutional Networks for Biomedical Image Segmentation." MICCAI (3) 2015: 234-241
Viren Jain "Adversarial Image Alignment and Interpolation." CoRR abs/1707.00067 (2017)
Stephan Saalfeld, Richard Fetter, Albert Cardona, and Pavel Tomancak. "Elastic volume reconstruction from series of ultra-thin microscopy sections". Nature methods, 9(7):717-720, 2012.

상세보기
Hessam Sokooti, Bob D. de Vos, Floris F. Berendsen, Boudewijn P. F. Lelieveldt, Ivana Isgum, Marius Staring, "Nonrigid Image Registration Using Multi-scale 3D Convolutional Neural Networks". MICCAI (1) 2017: 232-239
Inwan Yoo, David G. C. Hildebrand, Willie F. Tobin, Wei-Chung Allen Lee, Won-Ki Jeong "ssEMnet: Serial-Section Electron Microscopy Image Registration Using a Spatial Transformer Network with Learned Features". DLMIA/ML-CDS@MICCAI 2017: 249-257
Viren Jain, Joseph F. Murray, Fabian Roth, Srinivas C. Turaga, Valentin P. Zhigulin, Kevin L. Briggman, Moritz Helmstaedter, Winfried Denk, H. Sebastian Seung "Supervised Learning of Image Restoration with Convolutional Networks". ICCV 2007: 1-8
S. C. Turaga, K. L. Briggman, M. Helmstaedter, W. Denk, and H. S. Seung, "Maximin affinity learning of image segmentation". NIPS. 2009
Tran Minh Quan, David G. C. Hildebrand, Won-Ki Jeong, "FusionNet: A deep fully residual convolutional neural network for image segmentation in connectomics". CoRR abs/1612.05360 (2016)
Nunez-Iglesias, J., Kennedy, R., Parag, T., Shi, J. & Chklovskii, D. B, "Machine Learning of Hierarchical Clustering to Segment 2D and 3D Images". PLoS One 8, (2013).

상세보기
Jain, V. et al., "Learning to Agglomerate Superpixel Hierarchies". Adv. Neural Inf. Process. Syst. 648-656 (2011).
Parag, T., Chakraborty, A., Plaza, S. & Scheffer, L., "A Context-aware Delayed Agglomeration Framework for Electron Microscopy Segmentation". 1-18 (2014).
Michal Januszewski, Jeremy Maitin-Shepard, Peter Li, Jorgen Kornfeld, Winfried Denk, Viren Jain, "Flood-Filling Networks". CoRR abs/1611.00421 (2016)
Haehn, D., Kaynig, V., Tompkin, J., Lichtman, J. W. & Pfister, H., "Guided Proofreading of Automatic Segmentations for Connectomics". arXiv (2017)
Zung, J., Tartavull, I. & Seung, H. S., "An Error Detection and Correction Framework for Connectomics". 1-12, NIPS (2017).

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증