혈액 세포 영상에서 백혈구는 환자의 건강상태를 파악하는데 중요한 정보를 제공하며, 이를 통해 다양한 질병을 조기에 예측할 수 있다. 따라서 질병의 조기 예측을 위해 혈액세포에서 백혈구의 분리는 매우 중요한 단계이다. 본 논문에서는 중요도 맵과 단계적 영역 병합을 이용하여 혈액 세포 영상에서 백혈구를 자동으로 분할하는 기법을 제안한다. 백혈구 세포 영역은 염색물질에 의해 주변에 비해 두드러진 색상, 질감 정보를 가짐으로 이를 기반으로 중요도 맵(Saliency Map)을 만든다. 이를 통해 세포 영상에서 두드러진 영역을 찾아 sub-image를 분리하고, 각 sub-image에서 mean-shift 알고리즘을 적용하여 영역 클러스터링을 수행한다. Mean-shift 적용 후 얻은 클러스터들에 대해 단계적 영역 병합 알고리즘을 적용하고, 최종적으로 백혈구 핵으로 판단되는 단일 클러스터를 얻을 수 있다. 본 논문에서 제안한 방법은 혈액 세포 영상을 사용하여 테스트한 결과 71%의 핵 검출 정확도를 보였으며, 기존의 다른 알고리즘보다 뛰어난 성능을 나타내었다.
혈액 세포 영상에서 백혈구는 환자의 건강상태를 파악하는데 중요한 정보를 제공하며, 이를 통해 다양한 질병을 조기에 예측할 수 있다. 따라서 질병의 조기 예측을 위해 혈액세포에서 백혈구의 분리는 매우 중요한 단계이다. 본 논문에서는 중요도 맵과 단계적 영역 병합을 이용하여 혈액 세포 영상에서 백혈구를 자동으로 분할하는 기법을 제안한다. 백혈구 세포 영역은 염색물질에 의해 주변에 비해 두드러진 색상, 질감 정보를 가짐으로 이를 기반으로 중요도 맵(Saliency Map)을 만든다. 이를 통해 세포 영상에서 두드러진 영역을 찾아 sub-image를 분리하고, 각 sub-image에서 mean-shift 알고리즘을 적용하여 영역 클러스터링을 수행한다. Mean-shift 적용 후 얻은 클러스터들에 대해 단계적 영역 병합 알고리즘을 적용하고, 최종적으로 백혈구 핵으로 판단되는 단일 클러스터를 얻을 수 있다. 본 논문에서 제안한 방법은 혈액 세포 영상을 사용하여 테스트한 결과 71%의 핵 검출 정확도를 보였으며, 기존의 다른 알고리즘보다 뛰어난 성능을 나타내었다.
Leukocyte in blood smear image provides significant information to doctors for diagnosis of patient health status. Therefore, it is necessary step to separate leukocyte from blood smear image among various blood cells for early disease prediction. In this paper, we present a saliency map and stepwis...
Leukocyte in blood smear image provides significant information to doctors for diagnosis of patient health status. Therefore, it is necessary step to separate leukocyte from blood smear image among various blood cells for early disease prediction. In this paper, we present a saliency map and stepwise region merging based leukocyte segmentation method. Since leukocyte region has salient color and texture, we create a saliency map using these feature map. Saliency map is used for sub-image separation. Then, clustering is performed on each sub-image using mean-shift. After mean-shift is applied, stepwise region-merging is applied to particle clusters to obtain final leukocyte nucleus. The experimental results show that our system can indeed improve segmentation performance compared to previous researches with average accuracy rate of 71%.
Leukocyte in blood smear image provides significant information to doctors for diagnosis of patient health status. Therefore, it is necessary step to separate leukocyte from blood smear image among various blood cells for early disease prediction. In this paper, we present a saliency map and stepwise region merging based leukocyte segmentation method. Since leukocyte region has salient color and texture, we create a saliency map using these feature map. Saliency map is used for sub-image separation. Then, clustering is performed on each sub-image using mean-shift. After mean-shift is applied, stepwise region-merging is applied to particle clusters to obtain final leukocyte nucleus. The experimental results show that our system can indeed improve segmentation performance compared to previous researches with average accuracy rate of 71%.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
본 논문에서는 환자의 혈액 관련 질병의 진단을 위해, 백혈구 감별 계수의 기초가 되는 백혈구 핵 분할을 효율적으로 수행하는 방법을 제안하였다. 본 논문에서 제안한 방법은 핵이 염색되어있다는 특징을 기반으로, 색상, 방향 특징에 기초한 중요도 맵(Saliency map)을 생성하고, 이를 통해 세포 영상에서 백혈구를 포함하는 sub-image를 분리하여, sub-image에 대해서만 백혈구 핵 분할 작업을 수행하였다.
추가적으로, 현재 개발 중인 세포질의 분할 연구와 분할한 핵 및 세포질의 특징을 통해 백혈구를 분류하는 방법을 제안하고, 이를 통해 가장 가능성이 높은 질병까지 자동 진단하는, 의료 전문가의 진단 보조 시스템으로 개발하고자 한다.
제안 방법
Liao[1] 등은 스케일 스페이스 필터링 (Scale-Space filtering)과 워터쉐드(Watershed) 클러스터링을 통한 새로운 세포 분할 방법을 제안했다. 이 방법은, red, green, blue 색상 중 green 색상의 히스토그램에 스케일 스페이스 필터를 적용하고, 이를 통해 히스토그램 계곡 점의 임계값을 얻고, 이 값을 통해 이미지를 이진화하여 핵을 검출하였다. 또한, 워터쉐드 알고리즘을 적용하여 백혈구의 세포질을 분할하여, 90%이상의 높은 분할 정확도를 보였다.
Herbert[5] 등은 K-means 클러스터링을 사용하여 혈액세포 영상에서 백혈구를 분할했다. 이들이 제안한 방법에서는 수작업으로 분할한 백혈구와 적혈구의 색조, 채도, 명암도 값의 분포를 이용하여 모든 픽셀의 백혈구 확률을 계산하고, 이를 백혈구 분할에 이용하여 정확도를 높였다. 하지만, 이 방법에서는 초기 백혈구의 위치를 수작업에 의해 선택해주어야 하는 문제점이 있다.
Mira[7, 11] 등은 세포 영상에서 군집세포와 독립세포를 분류하고, 군집세포를 각각의 단일 세포로 분리하였다. 여기서는, 가우시안혼합모델과 최대우도함수를 사용하여 입력 영상을 이진화하고, 전경 영역에 대해 형태학적 특징을 추출하여 독립세포와 군집세포를 분류하였다. 군집세포의 경우, 명암도 기울기 변환 영상과 워터쉐드 알고리즘을 사용하여 군집세포 영역을 작은 영역으로 나누고, 세포 단위의 마커를 추출하여 마커를 중심으로 단계적 병합 알고리즘을 적용하여 최종적으로 각각의 단일 세포로 성공적으로 분리하였다.
특히, 혈액 세포 영상은 크기가 일반 영상에 비해 매우 크므로 실시간 처리를 위해서는 모든 세포 영역을 대상으로 하지 않고 목표가 되는 백혈구 영역만을 찾아내고 이 영역에서만 핵을 분할해 내는 알고리즘이 필요하다. 본 논문에서는, 이러한 단점을 해결하기 위해 백혈구 세포가 가지는 특성을 이용하여 세포 후보 영역을 결정하고 이 후보 영역 안에서만 분할 작업을 실시한다. 우선, 백혈구 세포 영역은 염색물질에 의해 주변에 비해 두드러진 색상, 질감 정보를 가짐으로 이를 기반으로 중요도 맵(Saliency Map)을 만든다.
본 논문에서는 sub-image에 적합한 mean-shift의 수행을 위해 영상 공간을 위한 커널 크기는 20, 컬러 공간에서의 커널 크기는 15, 그리고 한 클러스터 당 최소 영역 크기를 25로 설정하고 제안된 논문[10]에서 사용한 L*u*v* 컬러 공간에서 mean-shift를 수행하였다.
Sub-image 영역 안에서 mean-shift에 의한 영역 분할 작업이 이루어진 후, 각 분할된 영역으로부터 배경과 적혈구 및 세포질 영역을 제거하고 백혈구 핵 영역만을 추출하기 위한 알고리즘이 필요하다. 이를 위해 본 논문에서는 이전에 생성된 중요도 맵과 컬러 공간상의 거리를 이용하여 단계적 영역 병합 알고리즘을 제안한다. 단계적 영역 병합 알고리즘은 두 단계로 구성된다.
본 논문에서는 영상 분할의 속도를 높이기 위해 원본영상을 400× 300 크기로 줄여 사용하였다.
본 논문에서는 환자의 혈액 관련 질병의 진단을 위해, 백혈구 감별 계수의 기초가 되는 백혈구 핵 분할을 효율적으로 수행하는 방법을 제안하였다. 본 논문에서 제안한 방법은 핵이 염색되어있다는 특징을 기반으로, 색상, 방향 특징에 기초한 중요도 맵(Saliency map)을 생성하고, 이를 통해 세포 영상에서 백혈구를 포함하는 sub-image를 분리하여, sub-image에 대해서만 백혈구 핵 분할 작업을 수행하였다. Sub-image 분리 후 mean-shift 알고리즘을 적용하고, 이를 통해 얻은 클러스터들에 단계적 영역 병합 과정을 수행하여 최종적으로 단일한 클러스터의 핵을 검출하였다.
본 논문에서 제안한 방법은 핵이 염색되어있다는 특징을 기반으로, 색상, 방향 특징에 기초한 중요도 맵(Saliency map)을 생성하고, 이를 통해 세포 영상에서 백혈구를 포함하는 sub-image를 분리하여, sub-image에 대해서만 백혈구 핵 분할 작업을 수행하였다. Sub-image 분리 후 mean-shift 알고리즘을 적용하고, 이를 통해 얻은 클러스터들에 단계적 영역 병합 과정을 수행하여 최종적으로 단일한 클러스터의 핵을 검출하였다. 실험 수행 결과 sub-image 분리 정확도는 96%이상으로 거의 완벽하게 백혈구가 있는 영역만을 sub-image로 분리함을 알 수 있었고, 비교 실험 수행 결과, 기존의 다른 알고리즘보다 우수한 성능을 보여주었다.
먼저, 제안 기법의 sub-image 분리 정확도를 측정하기 위해, 다음과 같이 4가지의 분류 성능 측정방법을 이용하여 테스트 하였다.
대상 데이터
실험은 연세대 세브란스병원 진단의학과에서 제공한 800× 600 사이즈의 말초 혈액 영상 표본 데이터를 사용하였다.
본 논문에서 제안하는 방법의 실험은 펜티엄 PC (CPU: dual core 3.40GHz)와 Windows 기반의 Visual Studio 2008을 이용하여 수행하였다. 실험은 연세대 세브란스병원 진단의학과에서 제공한 800× 600 사이즈의 말초 혈액 영상 표본 데이터를 사용하였다.
실험은 연세대 세브란스병원 진단의학과에서 제공한 800× 600 사이즈의 말초 혈액 영상 표본 데이터를 사용하였다. 실험 영상 안에는 87개의 백혈구 세포를 포함한다. 본 논문에서는 영상 분할의 속도를 높이기 위해 원본영상을 400× 300 크기로 줄여 사용하였다.
데이터처리
추가적으로, 제안된 기법의 백혈구 핵 분할 성능 평가를 위해서, 제안된 기법에 의해 추출된 백혈구 핵 영역을 Herbert 등[5]이 제안한 기법, Mira 등[7]이 제안한 기법을 이용한 분할 방법과 비교하였다.
평가를 위해 각 기법의 분할 결과는 전문가가 판단하여 손으로 분할한 ground-truth를 제안된 알고리즘의 분할결과와 비교하여 저분할(Under segmentation), 과분할(Over segmentation) 오차 비율을 평가하였다.
이론/모형
2장에서는 입력된 혈액 세포 영상으로부터 색상, 질감 특징을 추출하여 중요도 맵을 생성하고, 이를 통해 전체 혈액 세포 영상에서 백혈구가 존재하는 영역인 sub-image만을 분리한다. 분리된 sub-image 별로 mean-shift 알고리즘을 적용하여 각 영역별로 클러스터링을 수행한다. 3장에서는 각 클러스터의 중요도 맵 평균값, 영상 공간에서의 특징 등을 고려하여 클러스터간의 단계적 영역 병합을 수행하고 최종적으로 백혈구 핵이라고 판단되는 영역을 검출한다.
염색된 세포 영상에서 백혈구 세포 영역은 주변의 적혈구 세포 및 혈소판에 비해 영역의 크기가 크며, 자주색을 가지고, 분화단계와 백혈구의 종류에 따라 1개 혹은 여러 개의 핵으로 분리되어 나타난다. 이러한 백혈구 세포의 특징을 이용하여 세포내의 백혈구 영역만을 분리해 내기 위해 본 논문에서는 Ko[8] 등이 제안한 중요도 맵(Saliency map)을 이용하여 후보 백혈구 영역을 검출한다.
먼저, 색상 특징 맵을 생성하기 위해 인간이 지각하는 색상과 유사한 색상모델인 CIE L*a*b*를 사용한다. 여기서는 a*, b* 색상 모델만 사용하며, L*은 밝기 특징 맵 생성에 쓰이지만, 본 본 논문에서는 밝기 성분을 중요도 맵 생성에서 제외하였다.
본 논문에서는 sub-image의 분리를 위해서 중요도 맵과 Otsu[9]의 이진화 알고리즘을 사용했다. 중요도 맵에서 밝은 색으로 나타나는 부분일수록 다른 영역에 비해 두드러지는 영역이 된다.
중요도 맵에서 밝은 색으로 나타나는 부분일수록 다른 영역에 비해 두드러지는 영역이 된다. 따라서 중요도 맵에 대해 Otsu의 이진화 알고리즘을 적용하여 sub-image로 분리할 부분과 배경으로 간주할 부분을 결정한다. 이진화 된 영상에서 모폴로지 열림(opening) 연산을 수행하여 잡음을 제거하고 이후, 영역 레이블링 과정에서 (그림 2)(e)와 같이 작은 영역들은 제거한다.
성능/효과
이 방법은, red, green, blue 색상 중 green 색상의 히스토그램에 스케일 스페이스 필터를 적용하고, 이를 통해 히스토그램 계곡 점의 임계값을 얻고, 이 값을 통해 이미지를 이진화하여 핵을 검출하였다. 또한, 워터쉐드 알고리즘을 적용하여 백혈구의 세포질을 분할하여, 90%이상의 높은 분할 정확도를 보였다. 하지만 이 경우, 하나의 색에 의존하여 분할을 수행하였기 때문에 백혈구의 핵을 다른 색으로 염색할 경우에는 정확도가 낮아진다.
Dorini[4] 등은 Scale-Space Toggle 연산자를 사용하여 백혈구 이미지를 단순화 한 후, 모폴로지 침식 연산과 워터쉐드 방법을 이용해 핵을 검출해냈다. 그리고, 적혈구보다 큰 디스크모양의 구조 요소를 사용한 모폴로지컬 오프닝 연산과 이전에 분할한 핵 영역을 종합하여, 대략적인 모양의 세포질을 검출했다. 하지만, 이 알고리즘의 경우, 핵과 세포질 검출시에 그레이 영상을 이진 영상으로 변환하여 사용하기 때문에 분할 정확도가 낮을 것으로 예상되며, 논문에서 성능 평가 결과를 언급하지 않고 있다.
각 a*, b* 이미지는 원본 세포 영상의 1/2크기로 다운 샘플링 한 후, 각 이미지에 11× 11, 13× 13의 두 필터를 적용한다. 필터의 크기는 본 논문에서 사용한 400X300 크기의 영상을 대상으로 실험한 결과에서 가장 좋은 성능을 보여준 값으로 결정했으며, 영상의 크기가 1/2로 줄거나 2배 커질 경우 필터의 크기도 영상의 크기에 비례하여 각각 1/2과 2배로 크게 적용하면 된다.
5%, False Negative(FN)는 0%로 나타났다. 특히 True Positive의 경우, 95%를 넘는 우수한 정확도를 보여주었으며, 백혈구가 아닌 영역을 sub-image로 분리한 경우를 의미하는 False Positive(FP)가 3.5%로 오검출율이 매우 낮고, 백혈구 영역을 sub-image로 분리하지 못한 경우를 의미하는 False Negative(FN)는 0%로 Missing이 발생하지 않음을 알 수 있다.
(그림 7)에 백혈구 분할의 비교 실험 결과를 나타내었다. 위의 그림에서 보는 바와 같이, Herbert 등의 알고리즘의 정확도 52%, Mira 등의 알고리즘의 정확도 33%에 비해, 제안된 기법은 71% 이상의 정확도를 나타내었다. 또한, 과분할 오차율이 비교 알고리즘은 각각 47%, 38%인데 반해 제안된 기법의 과분할 오차율은 19%로 낮은 오차율을 보였다.
위의 그림에서 보는 바와 같이, Herbert 등의 알고리즘의 정확도 52%, Mira 등의 알고리즘의 정확도 33%에 비해, 제안된 기법은 71% 이상의 정확도를 나타내었다. 또한, 과분할 오차율이 비교 알고리즘은 각각 47%, 38%인데 반해 제안된 기법의 과분할 오차율은 19%로 낮은 오차율을 보였다. 저분할 오차율의 경우, 제안된 기법은 8%, Herbert 등의 알고리즘은 0%, Mira 등의 알고리즘은 28%로, 제안 기법은 Herbert 등의 알고리즘 보다는 높은 오차율을 보였지만 Mira 등의 알고리즘에 비해 매우 낮은 오차율을 보여주었다.
또한, 과분할 오차율이 비교 알고리즘은 각각 47%, 38%인데 반해 제안된 기법의 과분할 오차율은 19%로 낮은 오차율을 보였다. 저분할 오차율의 경우, 제안된 기법은 8%, Herbert 등의 알고리즘은 0%, Mira 등의 알고리즘은 28%로, 제안 기법은 Herbert 등의 알고리즘 보다는 높은 오차율을 보였지만 Mira 등의 알고리즘에 비해 매우 낮은 오차율을 보여주었다.
Sub-image 분리 후 mean-shift 알고리즘을 적용하고, 이를 통해 얻은 클러스터들에 단계적 영역 병합 과정을 수행하여 최종적으로 단일한 클러스터의 핵을 검출하였다. 실험 수행 결과 sub-image 분리 정확도는 96%이상으로 거의 완벽하게 백혈구가 있는 영역만을 sub-image로 분리함을 알 수 있었고, 비교 실험 수행 결과, 기존의 다른 알고리즘보다 우수한 성능을 보여주었다. 하지만,sub-image내에서 백혈구분할결과 약71%의 성능을 보여줌으로써, 다른 알고리즘보다는 우수하지만 아직도 개선해야할 문제점이 많은 것으로 드러났다.
실험 수행 결과 sub-image 분리 정확도는 96%이상으로 거의 완벽하게 백혈구가 있는 영역만을 sub-image로 분리함을 알 수 있었고, 비교 실험 수행 결과, 기존의 다른 알고리즘보다 우수한 성능을 보여주었다. 하지만,sub-image내에서 백혈구분할결과 약71%의 성능을 보여줌으로써, 다른 알고리즘보다는 우수하지만 아직도 개선해야할 문제점이 많은 것으로 드러났다. 이를 위해 차후 알고리즘에서는 현재 연구에서 사용된 영상의 두 배 크기인 원본영상을 사용하여 백혈구분할 정확도를 더 높이는데 초점을 둘 것이다.
후속연구
하지만,sub-image내에서 백혈구분할결과 약71%의 성능을 보여줌으로써, 다른 알고리즘보다는 우수하지만 아직도 개선해야할 문제점이 많은 것으로 드러났다. 이를 위해 차후 알고리즘에서는 현재 연구에서 사용된 영상의 두 배 크기인 원본영상을 사용하여 백혈구분할 정확도를 더 높이는데 초점을 둘 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
혈액 세포 영상에서 백혈구는 무엇을 제공하는가?
혈액 세포 영상에서 백혈구는 환자의 건강상태를 파악하는데 중요한 정보를 제공하며, 이를 통해 다양한 질병을 조기에 예측할 수 있다. 따라서 질병의 조기 예측을 위해 혈액세포에서 백혈구의 분리는 매우 중요한 단계이다.
자동혈구 측정검사 방법은 무엇을 제공하는가?
혈액 세포 영상에서 백혈구의 비율은 환자의 건강상태를 파악하는데 중요한 정보를 제공하며, 이를 통해 백혈병과 같은 질병을 초기에 예측할 수 있다[1]. 혈액을 이용한 질병 예측을 위해 개발된 자동혈구 측정검사(Automatic Complete Bood Cell Count: ACBC) 방법은 임상검사실에서 시행하는 다빈도 혈액 검사의 하나로 각종 혈구 세포들의 수를 측정하여 질병 진단에 필요한 기본적인 정보를 제공한다. 일반적으로 현재의 혈액관련 질병진단 과정은 (그림 1)과 같이 혈액으로부터 도말표본과정과 염색과정을 거쳐 혈액 세포 영상을 생성하고 자동혈구측정검사 항목 중 백혈구감별계수(White Blood Cell Differential Count)를 통해 전체 백혈구 수에 대한 호중구(Neutrophil), 호산구(Eosinophil), 호염기구(Basophil), 단핵구(Monocyte), 림프구(Lymphocyte)의 분포율을 구함으로써 여러 병증을 판단하는 기초정보로 사용한다.
중요도 맵(Saliency Map)을 통해 무엇을 수행할 수 있는가?
백혈구 세포 영역은 염색물질에 의해 주변에 비해 두드러진 색상, 질감 정보를 가짐으로 이를 기반으로 중요도 맵(Saliency Map)을 만든다. 이를 통해 세포 영상에서 두드러진 영역을 찾아 sub-image를 분리하고, 각 sub-image에서 mean-shift 알고리즘을 적용하여 영역 클러스터링을 수행한다. Mean-shift 적용 후 얻은 클러스터들에 대해 단계적 영역 병합 알고리즘을 적용하고, 최종적으로 백혈구 핵으로 판단되는 단일 클러스터를 얻을 수 있다. 본 논문에서 제안한 방법은 혈액 세포 영상을 사용하여 테스트한 결과 71%의 핵 검출 정확도를 보였으며, 기존의 다른 알고리즘보다 뛰어난 성능을 나타내었다.
참고문헌 (11)
K. Jiang, Q.M Liao and S.-Y Dai, "A Novel White Blood Cell Segmentation Scheme using Scale-Space Filtering And Watershed Clustering," Int. Conf. on Machine Learning and Cybernetics, Vol.5, pp.2820-2825, 2003.
G. Bourner, J. Dhaliwal and J. Sumner, "Performance evaluation of the latest fully automated hematology analyzers in a large, commercial laboratory setting: a 4-way, side-by-side study," LABORATORY HEMATOLOGY, Vol.11, No.4, pp.285-97, 2005.
N. Theera-Umpon, "Morphological Granulometric Features of Nucleus in Automatic Bone Marrow White Blood Cell Classification," IEEE Trans. on Information Technology in Biomedicine, Vol.11, Issue3, pp.787-796, 2007.
L.B Dorini, R. Minetto and N.J Leite, "White blood cell segmentation using morphological operators and scale-space analysis," Computer Graphics and Image Processing, pp. 294-304, 2007.
H. Ramoser, V. Laurain, H. Bischof and R. Ecker, "Leukocyte segmentation and classification in blood-smear images," IEEE Engineering in Medicine and Biology Society 27th Annual Conference, pp.3371-3374 , 2006.
N. Theera-Umpon, "White Blood Cell Segmentation and Classification in Microscopic Bone Marrow Images," Lecture notes in Computer Science Vol.3614, pp.787-796, 2005.
M. Jeong, B.C. Ko and J.-Y Nam, "Overlapping Nuclei Segmentation based on Bayesian Networks and Stepwise Merging Strategy," Journal of Microscopy, Vol.235, Issue2, pp.188-198, 2009.
B.C. Ko and J.-Y. Nam, "Object-of-interest image segmentation based on human attention and semantic region clustering," Journal of Optical Society of America A: Optics, Image Science, and Vision, Vol.23, pp.2462-2470, 2006.
D. Comaniciu and P. Meer, "Mean-shift : A Robust Approach toward Feature Space Analysis," IEEE Trans. on Pattern Recognition and Machine Intelligence, Vol.24, pp.603-619, 2000.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.