[논문]세포독성 자료를 이용한 분류 알고리즘 성능 비교

윤여창; 정의배; 조나래; 주수인; 이성덕

doi:10.5351/kjas.2018.31.3.417

세포독성 자료를 이용한 분류 알고리즘 성능 비교
Comparison of the performance of classification algorithms using cytotoxicity data 원문보기

응용통계연구 = The Korean journal of applied statistics, v.31 no.3, 2018년, pp.417 - 426

윤여창 (우석대학교 정보보안학과) , 정의배 (충북대학교 수의학과) , 조나래 (충북대학교 정보통계학과) , 주수인 (충북대학교 정보통계학과) , 이성덕 (충북대학교 정보통계학과)

초록
AI-Helper

최근 동물실험의 대체방법 중 하나로 쥐의 줄기세포 유래 배상체를 이용하여 독성을 시험하는 방법이 개발되었다. 이는 동물에 직접 약물을 주입하는 것이 아닌 배상체 세포에 약물을 투입하여 세포의 변화에 따른 측정값들을 얻는 방법이다. 본 연구에서는 다범주 세포독성 자료를 이용해 통계적 기법인 판별분석(discriminant analysis)과 머신러닝 기법인 서포트 벡터 머신(support vector machine), 인공신경망(artificial neural network), k-인접이웃분류(k-nearest neighbor)의 성능을 비교하였다. 알고리즘의 성능은 분류 정확도(accuracy)와 가중카파계수(weighted Cohen's kappa coefficient)로 비교하였다.

Abstract ▼ AI-Helper

An alternative developmental toxicity test using mouse embryonic stem cell derived embryoid bodies has been developed. This alternative method is not to administer chemicals to animals, but to treat chemicals with cells. This study suggests the use of Discriminant Analysis, Support Vector Machine, Artificial Neural Network and k-Nearest Neighbor. Algorithm performance was compared with accuracy and a weighted Cohen's kappa coefficient. In application, various classification techniques were applied to cytotoxicity data to classify drug toxicity and compare the results.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

오차를 허용하지 않고 모든 자료를 완벽하게 분류하게 된다면 마진이 매우 작아질 수 있으며 과대적합의 문제가 발생할 수 있다. 때문에 완벽한 분리에 초점을 맞추기보다 마진을 좀 더 넓히고 오분류율을 최소화하는 것을 목표로 하고, 분류 불가능한 데이터에 대해서는 벌점을 두는 방식으로 진행된다. 이때의 선형제약식은 다음과 같다.
5%의 분류 정확도를 얻었다. 최근 머신러닝의 발전으로 다양한 분류 알고리즘을 적용할 수 있게 되면서 본 연구에서는 통계적 기법(판별분석)과 머신러닝 기법(서포트 벡터 머신(support vector machine; SVM), 인공신경망(artificial neural network; ANN), k-인접이웃분류(k-nearest neighbor; k-NN))의 성능을 비교하여 최적의 분류 알고리즘을 제안하고자 한다.

가설 설정

215로 오차의 등분산성이 만족되지 않는 것이 확인되었다. 따라서 그룹별로 개별 공분산행렬을 가정하는 QDA를 수행하였다.
선형판별분석과 달리 이차판별분석(quadratic discriminant analysis; QDA)은 조건부분포 π(x|y =Ck)에 대해 그룹-특정적(class-specific) 평균벡터 μk과 개별 공분산행렬 Σk를 가지는 다변량 정규분포 N(μk,Σk)를 가정한다.
이에 분산팽창지수를 확인한 결과로는 모든 변수에서 10 이상의 값을 보였으므로 약한 다중공선성이 존재함을 확인하였다. 하지만 mEBT방법을 사용하여 세포독성을 평가하는 해당 시험법은 세 변수를 모두 사용해야 학문적으로 의미가 있으므로 독립성을 가정하고 분석을 진행하였다. 더불어 Box-M 검정을 통한 등분산성 검정 결과, χ²(6) = 136.

제안 방법

성능 비교의 측도로는 분류 정확도와 가중카파계수를 이용하였으며, 4-folds CV를 수행하여 각 네 개의 조각에서의 분류 정확도와 가중카파계수의 평균을 계산하여 해당 모형의 최종 측도로 사용하였다. 가장 바람직한 최종 분류 알고리즘을 선택한 후에는 전체 자료를 다시 한번 훈련용 집합과 검증용 집합을 7 : 3의 비로 나누어 모형을 다시 평가하였다.
총 15종의 화학물질을 쥐의 세포에 주입하여 총 68회의 실험을 실시하였으며 쥐의 각 세포 및 배상체에서의 측정값을 통해 약물의 독성을 예측한다. 독성은 무독성, 중간독성, 강한 독성인 세 단계로 분류하였다. 각 범주에 대한 자료의 개수는 무독성이 24개, 중간독성이 24개, 강한 독성이 20개로, 총 68개이다.
980으로 네 가지 분류 알고리즘 중 가장 좋은 성능을 나타낸 것을 알 수 있다. 따라서 최종 모형으로 SVM을 선택하고 전체 세포독성 자료를 훈련용 집합과 검증용 집합으로 각각 7 : 3으로 나누어 SVM의 성능을 평가한다.
본 연구는 세포독성 자료로 3단계의 발생독성(무독성, 중간 독성, 강한 독성)을 예측하였으며, 분류 예측 방법에 따라 성능을 비교하는 과정을 주 내용으로 한다. 2장에서는 분류 알고리즘의 방법론과 모형 평가 기준에 대해서 설명하였으며, 3장에서는 실증분석으로 실제 세포독성 자료로 여러 가지 분류 기법들을 적용하여 약물의 독성을 분류(예측)하였고 그 결과를 비교하였다.
세포독성 자료를 이용하여 네 가지 분류기법(이차판별분석, 서포트 벡터 머신, 인공신경망, 가중 -인접 이웃분류)의 성능을 비교하였다. 성능 비교의 측도로는 분류 정확도와 가중카파계수를 이용하였으며, 4-folds CV를 수행하여 각 네 개의 조각에서의 분류 정확도와 가중카파계수의 평균을 계산하여 해당 모형의 최종 측도로 사용하였다.
실험필드에서 해당 수치에 대하여 상용로그를 취하여 다루기 때문에 모든 독립변수에 상용로그를 취해 분석을 실시하였다. Figure 3.
3. 인공신경망 과적합을 방지하기 위해 은닉층은 하나로 제한하였고, 은닉 노드의 수는 입력 노드의 2/3개인 2개로 설정하였다. 활성함수는 다범주 분류에 적합한 softmax로 지정하였다.
총 15종의 화학물질을 쥐의 세포에 주입하여 총 68회의 실험을 실시하였으며 쥐의 각 세포 및 배상체에서의 측정값을 통해 약물의 독성을 예측한다. 독성은 무독성, 중간독성, 강한 독성인 세 단계로 분류하였다.
인공신경망 과적합을 방지하기 위해 은닉층은 하나로 제한하였고, 은닉 노드의 수는 입력 노드의 2/3개인 2개로 설정하였다. 활성함수는 다범주 분류에 적합한 softmax로 지정하였다. softmax는 0과 1 사이의 값으로 출력이 되도록 변환을 시켜주며 변환된 결과의 합계가 1이 되도록 한다.

대상 데이터

독성은 무독성, 중간독성, 강한 독성인 세 단계로 분류하였다. 각 범주에 대한 자료의 개수는 무독성이 24개, 중간독성이 24개, 강한 독성이 20개로, 총 68개이다. Table 3.
7는 네 모형의 성능을 비교하기 위해 분류 정확도와 가중카파계수를 정리한 표이다. 본 연구에서 사용한 자료는 이분산 자료이며 비선형 모형에 적합하므로 이차판별분석을 수행하여 분류 정확도 0.912, 가중카파계수 0.892의 결과를 얻었다. 실제로 공통 공분산 행렬을 가정하고 선형판별분석을 실시한 결과 분류 정확도가 0.
본 연구에서 사용한 자료는 충북대학교 수의과대학에서 실험한 세포독성 자료이다. 세포독성은 화학물질 등이 세포에 상해를 입히는 경우와 같은 특성을 말하는데 본 논문에서 사용된 세포독성 자료는 mEBT 방법으로 얻어졌다.

데이터처리

세포독성 자료를 이용하여 네 가지 분류기법(이차판별분석, 서포트 벡터 머신, 인공신경망, 가중 -인접 이웃분류)의 성능을 비교하였다. 성능 비교의 측도로는 분류 정확도와 가중카파계수를 이용하였으며, 4-folds CV를 수행하여 각 네 개의 조각에서의 분류 정확도와 가중카파계수의 평균을 계산하여 해당 모형의 최종 측도로 사용하였다. 가장 바람직한 최종 분류 알고리즘을 선택한 후에는 전체 자료를 다시 한번 훈련용 집합과 검증용 집합을 7 : 3의 비로 나누어 모형을 다시 평가하였다.

이론/모형

여기서, d는 데이터 간 거리를 나타낸다. 데이터 간 거리는 유클리디안 거리를 이용하여 측정하였다.
서포트 벡터 머신 데이터를 선형으로 분리할 수 없는 경우에는 저차원의 공간을 커널 함수를 이용하여 고차원으로 맵핑한 후 선형적으로 분리가 가능하도록 한다. 본 연구에서는 가우시안 커널을 사용하였고, 가우시안 커널 함수식은 다음과 같다.
최종적으로 전체자료의 70%인 훈련용 자료 49개를 이용해 SVM 모형을 적용하였다. 상수 C와 γ은 조율 작업을 통하여 각각 최적의 값인 10과 1로 지정하였고 해당 모형으로 검증용 자료 19개에 적용한 결과, 분류 정확도 0.

성능/효과

5는 4-folds CV를 수행한 후, 각 조각별 신경망 적합 과정과 분류 정확도, 가중카파계수를 나타낸 결과이다. ANN 수행 결과, 평균 정확도는 0.926, 평균 가중카파계수는 0.907로 나타났다.
여기서 k는 3, 5, 7, 9의 홀수 후보군 중 가장 예측력이 우수한 k = 7로 설정하였다. k-NN 수행 결과, 평균 정확도는 0.971, 평균 가중카파계수는 0.960으로 나타났다.
더불어 Box-M 검정을 통한 등분산성 검정 결과, χ2(6) = 136.215로 오차의 등분산성이 만족되지 않는 것이 확인되었다.
735로 이차판별분석이 훨씬 더 적합하다는 결론을 얻었다. 또한, Table 3.7를 보면 네 가지 알고리즘 모두 분류 정확도가 0.9 이상으로 예측력이 우수하였고, 가중카파계수 또한 0.8 이상으로 거의 완벽한 일치도를 보였다. SVM 모형의 정확도가 0.
본 연구 자료를 이용해 도출한 예측 분류 결과를 살펴보면 전체적으로 머신러닝 기법이 우수한 것을 확인할 수 있었다. 최종 분류 알고리즘은 서포트 벡터 머신으로, 최종 분류 정확도 0.
본 연구 자료에 있어서는 일반적으로 머신러닝의 기법이 우수하였으며 머신러닝 기법 중에서도 SVM 모형이 가장 우수하다는 결론을 얻었다.
상수 C와 γ은 조율 작업을 통하여 각각 최적의 값인 10과 1로 지정하였고 해당 모형으로 검증용 자료 19개에 적용한 결과, 분류 정확도 0.947, 가중카파계수 0.927의 결과를 얻었다.
이차판별분석 선형판별분석에서는 모집단에 대한 다변량 정규성, 그룹-내 공분산행렬의 동일성, 변수들 간의 낮은 다중공선성의 가정이 요구된다. 세 변수 간 상관분석을 실시한 결과, 모든 변수들 간의 상관관계가 0.9 이상으로 매우 높은 것을 확인할 수 있었다. 이에 분산팽창지수를 확인한 결과로는 모든 변수에서 10 이상의 값을 보였으므로 약한 다중공선성이 존재함을 확인하였다.
892의 결과를 얻었다. 실제로 공통 공분산 행렬을 가정하고 선형판별분석을 실시한 결과 분류 정확도가 0.735로 이차판별분석이 훨씬 더 적합하다는 결론을 얻었다. 또한, Table 3.
머신러닝의 경우, 분포에 대한 가정이 필요하지 않아 특별한 제약조건이 없지만 통계적 분석의 경우 여러 분포 가정들의 만족이 요구된다. 이는 본 연구 자료로 분석한 결과를 확인하였을 때 머신러닝 기법이 우수한 이유 중 하나라고 추측할 수 있다. 판별분석의 경우 여러 조건들을 충족시키지 못한 채 진행하였기 때문에 다른 방법들보다 예측율이 낮았다.
9 이상으로 매우 높은 것을 확인할 수 있었다. 이에 분산팽창지수를 확인한 결과로는 모든 변수에서 10 이상의 값을 보였으므로 약한 다중공선성이 존재함을 확인하였다. 하지만 mEBT방법을 사용하여 세포독성을 평가하는 해당 시험법은 세 변수를 모두 사용해야 학문적으로 의미가 있으므로 독립성을 가정하고 분석을 진행하였다.
본 연구 자료를 이용해 도출한 예측 분류 결과를 살펴보면 전체적으로 머신러닝 기법이 우수한 것을 확인할 수 있었다. 최종 분류 알고리즘은 서포트 벡터 머신으로, 최종 분류 정확도 0.947, 가중카파계수 0.927의 성능을 보였다.

후속연구

판별분석의 경우 여러 조건들을 충족시키지 못한 채 진행하였기 때문에 다른 방법들보다 예측율이 낮았다. 하지만 인공신경망과 비슷한 결과를 가져왔으므로 모든 가정들이 만족된다면 훨씬 더 좋은 분류 정확도를 보일 것으로 예상되며 머신러닝 기법을 수행한 결과와 별반 차이가 없을 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	기존의 약물독성시험법의 문제점은?	기존의 약물독성시험법은 동물실험을 통해 이루어져 왔는데, 이는 경제적 측면과 시간적 측면, 생명윤리적 측면에서 많은 문제점을 가지고 있다. 동물대체시험법 중 하나로 사용되는 쥐의 배아줄기세포 시험법(mouse embryonic stem cell test; mEST)은 유럽대체실험검증센터(European Centre for the Validation of Alternative Methods; ECVAM)에서 제안한 방법으로, 미분화된 쥐의 배아줄기세포(mouse embryonic stem cells; mESC) 및 분화된 쥐의 섬유아세포에 약물을 주입한 후 생존력이 50%가 되는 시점의 약물의 농도와 mESC의 심근세포로의 분화가 50%가 되는 시점의 약물의 농도를 측정하여 약물의 독성을 평가한다.
	k-인접이웃 분류의 단점은?	k-인접이웃 분류는 새로운 데이터(설명변수 값)로부터 거리가 가까운 순서대로 k개의 과거자료 (설명변수 값)를 찾아서 그 중 가장 많은 수의 데이터가 속한 그룹의 항목을 할당하는 방법이다. 하지만 이 방법은 데이터 간의 거리의 정도를 생각하지 않고 가장 가까운 데이터 k개 안에서 다수결에 따라 그룹을 선택한다는 단점이 있다.
	쥐의 배아줄기세포 시험법이란?	기존의 약물독성시험법은 동물실험을 통해 이루어져 왔는데, 이는 경제적 측면과 시간적 측면, 생명윤리적 측면에서 많은 문제점을 가지고 있다. 동물대체시험법 중 하나로 사용되는 쥐의 배아줄기세포 시험법(mouse embryonic stem cell test; mEST)은 유럽대체실험검증센터(European Centre for the Validation of Alternative Methods; ECVAM)에서 제안한 방법으로, 미분화된 쥐의 배아줄기세포(mouse embryonic stem cells; mESC) 및 분화된 쥐의 섬유아세포에 약물을 주입한 후 생존력이 50%가 되는 시점의 약물의 농도와 mESC의 심근세포로의 분화가 50%가 되는 시점의 약물의 농도를 측정하여 약물의 독성을 평가한다.

참고문헌 (6)

Genschow, E., Scholz, G., Brown, N., et al. (2000). Development of prediction models for three in vitro embryotoxicity tests in an ECVAM validation study, ALTA, 13, 51-66.
Kang, H. Y., Choi, Y. K., Jo, N. R., et al. (2017). Advanced developmental toxicity test method based on embryoid body's area, Reproductive Toxicology, 72, 74-85.

상세보기
Scholkopf, B. and Smola, A. J. (2002). Learning with Kernels, Lon Don, The MIT Press.
Seiler, A., Visan. A., Buesen, R., Genschow, E., and Spielmann, H. (2004). Improvement of an in vitro stem cell assay for developmental toxicity, Reproductive Toxicology, 18, 231-240.

상세보기
Vapnik, V. N. (1998). Statistical Learning Theory, New York, Wiley.
Yu, S. G. (2010). The Comparison of Classification Algorithms for Micro array data (Graduate School master's thesis), Chungbuk National University.

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증