본 논문은 명시야 (bright-field) 현미경 영상를 위한 데이터 기반 세포 분할 알고리즘을 제시한다. 제시된 알고리즘은 일반적인 사전 학습 기법과 다르게 동시에 두 개의 사전과 관련된 희소 코드 (sparse code)를 통해 정의된 에너지 함수의 최소화를 진행하게 된다. 두 개의 사전 중 하나는 명시야 영상에 대해 학습된 사전이고 다른 하나는 사람에 의해 수작업으로 세포 분할된 영상에 대해 학습된 것이다. 학습된 두 개의 사전을 세포 분할 될 새로운 입력 영상에 대해 적용하여 이와 관련된 희소 코드를 획득한 후 픽셀 단위의 분할을 진행하게 된다. 효과적인 에너지 최소화를 위해 합성곱 희소 코드 (Convolutional Sparse Coding)와 Alternating Direction of Multiplier Method(ADMM)이 사용되었고 GPU를 사용하여 빠른 분산 연산이 가능하다. 본 연구는 이전에 사용된 가변형 모델 (deformable model)을 이용한 세포 분할 방식과는 다르게 제시된 알고리즘은 세포 분할을 위해 사전 지식이 필요없이 데이터 기반의 학습을 통해서 쉽고 효율적으로 세포 분할을 진행할 수 있다.
본 논문은 명시야 (bright-field) 현미경 영상를 위한 데이터 기반 세포 분할 알고리즘을 제시한다. 제시된 알고리즘은 일반적인 사전 학습 기법과 다르게 동시에 두 개의 사전과 관련된 희소 코드 (sparse code)를 통해 정의된 에너지 함수의 최소화를 진행하게 된다. 두 개의 사전 중 하나는 명시야 영상에 대해 학습된 사전이고 다른 하나는 사람에 의해 수작업으로 세포 분할된 영상에 대해 학습된 것이다. 학습된 두 개의 사전을 세포 분할 될 새로운 입력 영상에 대해 적용하여 이와 관련된 희소 코드를 획득한 후 픽셀 단위의 분할을 진행하게 된다. 효과적인 에너지 최소화를 위해 합성곱 희소 코드 (Convolutional Sparse Coding)와 Alternating Direction of Multiplier Method(ADMM)이 사용되었고 GPU를 사용하여 빠른 분산 연산이 가능하다. 본 연구는 이전에 사용된 가변형 모델 (deformable model)을 이용한 세포 분할 방식과는 다르게 제시된 알고리즘은 세포 분할을 위해 사전 지식이 필요없이 데이터 기반의 학습을 통해서 쉽고 효율적으로 세포 분할을 진행할 수 있다.
Cell segmentation is an important but time-consuming and laborious task in biological image analysis. An automated, robust, and fast method is required to overcome such burdensome processes. These needs are, however, challenging due to various cell shapes, intensity, and incomplete boundaries. A pre...
Cell segmentation is an important but time-consuming and laborious task in biological image analysis. An automated, robust, and fast method is required to overcome such burdensome processes. These needs are, however, challenging due to various cell shapes, intensity, and incomplete boundaries. A precise cell segmentation will allow to making a pathological diagnosis of tissue samples. A vast body of literature exists on cell segmentation in microscopy images [1]. The majority of existing work is based on input images and predefined feature models only - for example, using a deformable model to extract edge boundaries in the image. Only a handful of recent methods employ data-driven approaches, such as supervised learning. In this paper, we propose a novel data-driven cell segmentation algorithm for bright-field microscopy images. The proposed method minimizes an energy formula defined by two dictionaries - one is for input images and the other is for their manual segmentation results - and a common sparse code, which aims to find the pixel-level classification by deploying the learned dictionaries on new images. In contrast to deformable models, we do not need to know a prior knowledge of objects. We also employed convolutional sparse coding and Alternating Direction of Multiplier Method (ADMM) for fast dictionary learning and energy minimization. Unlike an existing method [1], our method trains both dictionaries concurrently, and is implemented using the GPU device for faster performance.
Cell segmentation is an important but time-consuming and laborious task in biological image analysis. An automated, robust, and fast method is required to overcome such burdensome processes. These needs are, however, challenging due to various cell shapes, intensity, and incomplete boundaries. A precise cell segmentation will allow to making a pathological diagnosis of tissue samples. A vast body of literature exists on cell segmentation in microscopy images [1]. The majority of existing work is based on input images and predefined feature models only - for example, using a deformable model to extract edge boundaries in the image. Only a handful of recent methods employ data-driven approaches, such as supervised learning. In this paper, we propose a novel data-driven cell segmentation algorithm for bright-field microscopy images. The proposed method minimizes an energy formula defined by two dictionaries - one is for input images and the other is for their manual segmentation results - and a common sparse code, which aims to find the pixel-level classification by deploying the learned dictionaries on new images. In contrast to deformable models, we do not need to know a prior knowledge of objects. We also employed convolutional sparse coding and Alternating Direction of Multiplier Method (ADMM) for fast dictionary learning and energy minimization. Unlike an existing method [1], our method trains both dictionaries concurrently, and is implemented using the GPU device for faster performance.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
제안 방법
위의 수식. 4를 푸리에 변환을 이용하여 모든 변수를푸리에 영역으로 치환한 후 컨볼루션 연산자 "*"을 원소끼리의 행렬 곱으로 변형한다.
Xing et al. [1 이에서는 여전히 Level-Set 모델을 사용하지만 세포들의 대표적인 형태를 집합들을 생성하기 위해 학습될 부분에 대해 Scalable Saprse Manifold Learning을 이용하여 형태를 추론한다. 추론한 형태를 통해 세포의 초기 형태를 설정하고 local repulsive deformable model을 이용하여 세포의 형태를 최적화시킨다.
관련 연구자들이 오래동안 이를 해결하기 위하여 전자 현미 경영상에서의 세포 분할방법을 제시하였다. [1].
5 상단-오른쪽). 다중 단계 임계 값이 적용된 이미지에서 세포막에 해당하는 지역이 아닌 다른 지 역에 다중 단계 임계값이 적용된 결과 값이 존재하면 연결성분 분석을 이용하여 잡음을 제거하도록 한다. 세포막에 해당하는 지역이 아닌 다른 지역에 잡음이 존재하지 않는다면 연결성분 분석 작업을 생략하도록 한다.
3 장에서 설명한 후처리 기법은 모든 결과 L에 대해 동일한 후처리가 적용되는 것이 아니라 결과에 따라 적절한 후처리 가 적용되야 하기때문에 알고리즘의 완벽한 자동화를 구현하는데 제약이 되는 것이 사실이다. 따라서 모든 데이터에 대해 동일한 후처리 기법을 적용하기 위해 요즘 추세에 따라 Neural Network를 적용하여 후처 리 기법을 대신하게 한다. Deep Neural Network를 적용하게 되면 사전 학습의 기여가 사라지기 때문에 Shallow Neural Network, 즉, 숨겨진 레이어를 깊게 만들지 않고 분류기로써의 기능만 하도록 얇게 만들어 적용하여 전체 알고리즘의 자동화를 가능하게 하도록 하는 것을 향후 연구 과제로 남겨둔다.
학습 [11, 13]보다 빠른 학습 능력을 보인다. 또한 MATLAB 의 gpuarray를 이용하여 GPU 장치를 통해 병렬 처리를 통한 가속화를 가능하게 하였다.
이 확률 맵을 일반적인 세포 분할 결과 영상으로써 사용되는 이진 영상으로 표현하기 위해 여러가지 후처리 기법이 적용되어진다. 먼저 Otsu's 임계값을 기반한 다중 단계 임계값을 이용하여 확률 맵으로 표현된 영상에서 세포막에 해당하는 부분만 추출하여 이진 영상으로 변환한다. (그림.
자세하게 살펴본다. 본 연구의 알고리즘에서는 기계 학습의 기술 중 하나인 사전 학습 (Dictionary Learning)을 합성곱 희소 코드를 통해 효과적이고 빠르게 학습을 진행하게 된다. 학습 후 얻어진 두 개의 사전과 관련된 희소 코드들을 통해 근사한 세포 분할 결과를 얻게 된다.
모여있는 것이 특징이다. 실험은 Linux 14.04에서 MATLAB을 통해 구현되었고 NVIDIA GTX Titan X (12GB) 를 통해 성능의 학습 속도를 가속화 하였다. 사전 D와 B는 각각 225개의 필터들을 포함하고 있으며 각 필터들의 크기는 11×11로 설정하여 실험하였다.
위의 Level-Set 모델과 같은 전통적인 방법은 정확한 사전 지식이 필요한 동시에 복잡한 문제에 대한 해결에 있어서 많은 한계점을 드러내는데 이를 극복하기 위해 본 논문에서는 최신 기계학습에서 많이 쓰이는 사전 학습을 확장하여 이 중 사전 학습을 제시한다. 이 중 사전 학습은 기존의 사전 학습과 다르게 동시에 각각의 입력 데이터에 대한 독립적인 사전을 동시에 학습시켜 이후에 새로운 영상에 대한 희소 코드를 획득하여 세포 분할 결과를 도출해낸다.
이러한 특징을 이용하여 컴퓨터 비전 분아에서 영상 복원 [18], 영상 분류 [19], 영상 분할 [2이과 같은 분야에서 활발히 연구가 진행되고 있으며 주목할만한 결과를 내고 있다. 위의 많은 종류의 문헌에서는 사전 학습에서 사전을 하나만 학습을 하는 반면에 본 연구에서는 두 개의 사전을 동시에 학습하는 새로운 형태의 학습 형식을 제안한다. 이와 관련된 자세한 내용은 다음 소문단을 통해 살펴본다.
학습 후 얻어진 두 개의 사전과 관련된 희소 코드들을 통해 근사한 세포 분할 결과를 얻게 된다. 이중사전 학습으로부터의 결과에서 이진영상를 획득하기 위하여 모폴로지 연산을 적용하여 최종 결과를 도출하게 된다. 각각의 내용들을 다음 소문단들을 통해 자세하게 살펴본다.
[1 이에서는 여전히 Level-Set 모델을 사용하지만 세포들의 대표적인 형태를 집합들을 생성하기 위해 학습될 부분에 대해 Scalable Saprse Manifold Learning을 이용하여 형태를 추론한다. 추론한 형태를 통해 세포의 초기 형태를 설정하고 local repulsive deformable model을 이용하여 세포의 형태를 최적화시킨다. 이후에 전체 세포에 대해 아핀 변환을 통해 가변환 모델을 전체 영상에 대해 계산 할 필요 없이 영상의 모든 세포들을 분할하게 된다.
대상 데이터
이를 위하여 두 가지 향후 연구를 제시한다. 본 연구에서 사용하는 사전에서의 필터의갯수는 각 225개로써 총 450개의 필터를 이용하여 세포 분할을 진행하고 있다. 하지만 각 필터의 크기가 11 × 11로 고정되어 있어 하나의 필터가 표현할 수 있는 범위가 제한되어 있다고 볼 수 있다.
04에서 MATLAB을 통해 구현되었고 NVIDIA GTX Titan X (12GB) 를 통해 성능의 학습 속도를 가속화 하였다. 사전 D와 B는 각각 225개의 필터들을 포함하고 있으며 각 필터들의 크기는 11×11로 설정하여 실험하였다.
제안한 이 중 사전 학습의 성능을 확인하기 위해 실험에서 쓰인 데이터로는 실제 사람의 뇌종양 세포를 항체에서 배양시킨 후 박제 시켜 촬영한명시야현미경 영상 (128×128×128) 으로써 세포들이 서로 군집화되어 모여있는 것이 특징이다. 실험은 Linux 14.
데이터처리
이중 사전 학습의 세포 분할 성능을 측정하기 위해 Dice co-efficient를 이용하여 세포체에 대해서 분할한 결과의 정확도를 계산하였다. Dice coefficient는 아래와 같이 정의된다.
성능/효과
그림. 7에서 언급하는 바와 같이 GPU를 기반한 이중사전 학습의 속도는CPU 버전에 비해 약5배 향상된 학습속도를보였으며, caffe [21] 프레임워크를 이용하여 구현된 Deep Neural Network (DNN) [22]에 비해 월등한 속도 향상을 보였다. DNN는 입력과 출력 레이어를 가지고 그 사이에 수 많은 숨겨진 레이어들로 구성된 네트워크의 집합이기 때문에 일반적으로 네트워크가 학습데이터 S와 Z에 대해서 학습하는데 짧게는 하루에서 길게는 수주가 걸리기도 한다.
측정 결과인 QS는 0 ~ 1 까지의 범위를 가지는데 1에 가까울수록 높은 정확도를 의미하게 된다. Dice coefficient# 통한 이 중 사전 학습을 통해 세포 분할된 정확도는 0.90751으로써 평균 90%의 정확도를 달성하였다.
하지만 각 필터의 크기가 11 × 11로 고정되어 있어 하나의 필터가 표현할 수 있는 범위가 제한되어 있다고 볼 수 있다. 따라서 각 사전에서 필터의 크기를 3 ~ 4개로 표현하는 방법을 이용하여 세포의 다양한 크기와 형태의 표현을 하는 것이 가능하다. 이를 다중 해상도 사전 학습이라 표현할 수 있는데 이와 관련된 내용은 B.
본 연구에서는 이 중 사전 학습 방법을 제시하여 자료 주도 학습을 통해 명시 현미경 영상을 빠르고 정확하며 사람의 직접적인 작업이 필요없이 자동으로 세포 분할을 가능하게 하였다. 기존의사야 전 학습에서는 오직 하나의 사전을 이용하여 필터들을 생성한 것과 다르게 이증 사전 학습에서는 입력 데이터 와그와 관련된 수작업 데이터에 대해 각각 사전을 생성하여 동시에 학습하고 에너지 함수의 제약을 통해 초기 학습에 있어 무작위로 초기화되어있던 각 데이터에 대한 희소 코드 X1과 X2가 동일하게 수렴하여두 사전의 연결고리 역할을 하여 두 사전 D와 B의 같은 위치의 필터들이 똑같은 형태를 띄게 된다.
정확도와 관련하여 이 중 사전 학습의 뇌종양 세포에 대한 명시야 현미경 영상의 세포 분할 결과는 약 90%의 정확도를 보였다. 빠른 학습 능력에 비해 높은 정확도를 자랑하지만 실제 ISBI, MICCAI와 같은 국제학회에서 진행하는 많은 종류의 Segmentation Challenge에서 나온 Deep Learning을 통한 결과와 비교하였을 때는 조금 더 정확도 향상이 필요하다.
후속연구
따라서 모든 데이터에 대해 동일한 후처리 기법을 적용하기 위해 요즘 추세에 따라 Neural Network를 적용하여 후처 리 기법을 대신하게 한다. Deep Neural Network를 적용하게 되면 사전 학습의 기여가 사라지기 때문에 Shallow Neural Network, 즉, 숨겨진 레이어를 깊게 만들지 않고 분류기로써의 기능만 하도록 얇게 만들어 적용하여 전체 알고리즘의 자동화를 가능하게 하도록 하는 것을 향후 연구 과제로 남겨둔다.
[17]에서 간단하게 다루고 있다. 이를 확장하여 이 중 사전 학습에 적용하여 세포 분할 정확도를 높이는 것을 향후 연구 과제로 남겨둔다. 또한 3.
이는 메모리에 비해 사용할 수 있는 자원이 상대적으로 적은 GPU 메모리 사용에 있어서 큰 문제점으로 작용한다. 현재 명시야 현미경 영상 (128×128×128)과 그와 관련된 수작업 영상에 대해 D와 B를 동시에 학습하게 되면 약 8 ~ 9 GB를 소비하게 되는데 실험을 위해 사용한 NVIDIA GTX Titan X는 12GB의 메모리를 내장하고 있어 데이터의 크기나 영상의 갯수가 늘어나게 되면 학습을 하기 위해 GPU 분산 작업을 적용해야 하지만 해당 작업은 본 연구의 범위를 넘어감으로 향후 연구로써 남겨두기 로한다.
참고문헌 (23)
H. Irshad, A. Veillard, L. Roux, and D. Racoceanu, "Methods for nuclei detection, segmentation, and classification in digital histopathology: A review-current status and future potential," Biomedical Engineering, IEEE Reviews in, vol. 7, pp. 97-114, 2014.
J. A. Sethian, Level set methods and fast marching methods: evolving interfaces in computational geometry, fluid mechanics, computer vision, and materials science. Cambridge university press, 1999, vol. 3.
T. F. Chan and L. A. Vese, "Active contours without edges," Image processing, IEEE transactions on, vol. 10, no. 2, pp. 266-277, 2001.
S. Arslan, T. Ersahin, R. Cetin-Atalay, and C. Gunduz-Demir, "Attributed relational graphs for cell nucleus segmentation in fluorescence microscopy images," Medical Imaging, IEEE Transactions on, vol. 32, no. 6, pp. 1121-1131, 2013.
S. Osher and R. Fedkiw, Level set methods and dynamic implicit surfaces. Springer Science & Business Media, 2006, vol. 153.
L. Rueda Villegas, R. Alis, M. Lepilliez, and S. Tanguy, "A ghost fluid/level set method for boiling flows and liquid evaporation: Application to the leidenfrost effect," Journal of Computational Physics, vol. 316, pp. 789-813, 2016.
A. Gharipour and A. W.-C. Liew, "Segmentation of cell nuclei in fluorescence microscopy images: An integrated framework using level set segmentation and touching-cell splitting," Pattern Recognition, vol. 58, pp. 1-11, 2016.
Z. Lu, G. Carneiro, and A. P. Bradley, "An improved joint optimization of multiple level set functions for the segmentation of overlapping cervical cells," Image Processing, IEEE Transactions on, vol. 24, no. 4, pp. 1261-1272, 2015.
X. Qi, F. Xing, D. J. Foran, and L. Yang, "Robust segmentation of overlapping cells in histopathology specimens using parallel seed detection and repulsive level set," Biomedical Engineering, IEEE Transactions on, vol. 59, no. 3, pp. 754-765, 2012.
F. Xing and L. Yang, "Fast cell segmentation using scalable sparse manifold learning and affine transform-approximated active contour," in Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015. Springer, 2015, pp. 332-339.
M. Aharon, M. Elad, and A. Bruckstein, "K-svd: An algorithm for designing of overcomplete dictionaries for sparse representation technion-israel inst. of technology, 2005," Tech. Ref.
D. L. Donoho, "Compressed sensing," Information Theory, IEEE Transactions on, vol. 52, no. 4, pp. 1289-1306, 2006.
M. Elad and M. Aharon, "Image denoising via learned dictionaries and sparse representation," in Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on, vol. 1. IEEE, 2006, pp. 895-900.
M. D. Zeiler, D. Krishnan, G. W. Taylor, and R. Fergus, "Deconvolutional networks," in Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. IEEE, 2010, pp. 2528-2535.
H. Bristow, A. Eriksson, and S. Lucey, "Fast convolutional sparse coding," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2013, pp. 391-398.
B. Wohlberg, "Efficient convolutional sparse coding," in Acoustics, Speech and Signal Processing (ICASSP), 2014 IEEE International Conference on. IEEE, 2014, pp. 7173-7177.
B.Wohlberg, "Efficient algorithms for convolutional sparse representations," Image Processing, IEEE Transactions on, vol. 25, no. 1, pp. 301-315, 2016.
F. Heide, W. Heidrich, and G. Wetzstein, "Fast and flexible convolutional sparse coding," in Computer Vision and Pattern Recognition (CVPR), 2015 IEEE Conference on. IEEE, 2015, pp. 5135-5143.
S. Bahrampour, N. M. Nasrabadi, A. Ray, and W. K. Jenkins, "Multimodal task-driven dictionary learning for image classification," Image Processing, IEEE Transactions on, vol. 25, no. 1, pp. 24-38, 2016.
R. Annunziata and E. Trucco, "Accelerating convolutional sparse coding for curvilinear structures segmentation by refining scird-ts filter banks," 2016.
Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, S. Guadarrama, and T. Darrell, "Caffe: Convolutional architecture for fast feature embedding," arXiv preprint arXiv:1408.5093, 2014.
A. Cardona, S. Saalfeld, S. Preibisch, B. Schmid, A. Cheng, J. Pulokas, P. Tomancak, and V. Hartenstein, "An integrated micro- and macroarchitectural analysis of the drosophila brain by computer-assisted serial section electron microscopy," PLoS Biology, vol. 8, no. 10, p. e1000502, oct 2010. [Online]. Available: http://dx.doi.org/10.1371/journal.pbio.1000502
T. Tong, R. Wolz, P. Coupe, J. V. Hajnal, D. Rueckert, A. D. N. Initiative, et al., "Segmentation of mr images via discriminative dictionary learning and sparse coding: Application to hippocampus labeling," NeuroImage, vol. 76, pp. 11-23, 2013.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.