선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이를 이용하여 ROC(Receiver operation characteristic) 곡선과 AUC(Area under curve), 정확도 (Accuracy), 정밀도(Precision), 재현율(Recall), F1 스코어(F1_score)를 산출하여 모델을 평가할 수 있다. 본 연구에서는 이진 분류모델의 성능 평가와 비교를 위하여 의학 진단, 생물학, 신용평가 등의 분야에서 예측 및 분류 모델의 성능평가 지표로 주로 사용되는 AUC를 이용하여 모델의 성능을 평가하였다[16, 17]. AUC는 ROC 곡선의 아래 면적을 의미하고 1에 가까울수록 좋은 모형이라고 판단한다.
- 본 연구에서는 폐경여성에서 트리기반 머신러닝 모델로부터 골다공증 예측에 대해 알아보고자 하였다.
제안 방법
- 따라서 선행연구 및 도메인 지식을 이용하여 골다공증과 연관성이 높은 변수를 파악하였다[10-14]. Table 1과 같이 간단히 파악할 수 있는 나이, 류마티스성 관절염 유병여부, 성인 여성 고위험 음주빈도, 하루 평균 수면시간, 현재 흡연 여부, 1주일간 근력운동 일수, 신장, 체중, 허리둘레, 부모 중 골다공증진단 / 허리 휨 / 경미한 외상 골절 경험여부(가족력 등) 등 10개의 독립변수를 선정하였고 T-score 기준으로 산출된 골다공증 유병여부를 종속변수로 선정하였으며 골다공증 유병여부에 따라 비골다공증군(Non-osoteoporosis group)과 골다공증군(Osoteoporosis group)으로 분류하였다.
- 골다공증 유병여부를 예측하기 위하여 훈련 데이터를 활용하여 Decision tree, Random forest, GBM, XGBoost 분류모델을 구축하였다. 생성한 모델에 테스트데이터를 적용한 결과는 Table 4와 같이 혼동행렬로 나타난다.
- 본 연구는 트리기반 머신러닝 모델을 이용하여 생활습관 및 현재 신체 지표를 이용하여 골다공증 유병여부 유무를예측하였다. 따라서 선행연구 및 도메인 지식을 이용하여 골다공증과 연관성이 높은 변수를 파악하였다[10-14].
- 머신러닝을 이용한 질병 예측을 다양한 질병에 적용한다면 질병의 사전 예측 및 예방에 기여할 수 있을 것으로 생각된다. 본 연구에서는 10개의 독립변수를 사용하여 예측하였다. 머신러닝은 빅데이터를 활용하여 유용한 정보의 추출 및 예측이 가능한 만큼 더 많은 변수들을 사용한다면 모델 성능 향상 및 일정 수준의 예측 성능을 유지할 수 있는 최소 변수를 찾는데 유용하게 사용될 수 있을 것이다.
- 본 연구에서는 트리기반의 머신러닝 분류 알고리즘인 결정 트리(Decision tree), 랜덤 포레스트(Randon forest), GBM (Gradient boost machine), XGBoost(Extra gradient boost) 모델을 사용하여 폐경 이후 여성의 골다공증 유병여부를 예측하였다. 신장, 체중, 가족력 등 10개의 독립변수를 이용하여 예측을 진행하였으며 이용한 변수 중 골다공증 유병 여부를 예측하는데 영향력 가장 큰 변수는 나이로 나타났다.
- 본연구는 트리기반 머신러닝 모델 4종의 골다공증 예측 성능을 비교하였다. 트리기반 모델의 기본이 되는 결정 트리는 결과에 이르기 위해 예, 아니오를 반복하며 학습을 이어간다.
- 이를 데이터 전처리라 하며 모델의 성능을 높이기 위하여 초기 데이터는 가공하는 과정을 거쳐야 한다[15]. 수집된 데이터에서 결측치가 속한 행 및 각 변수 내용에서 모름으로 응답한 것과 수면시간에서 0, 1, 20시간 등 비정상적이라 생각되는 행은 삭제하였다. 나이, 신장, 체중 등 연속형 변수는 StandardScaler를 사용하여 데이터를 처리하였다.
- 머신러닝 분류알고리즘의 평가는 Table 2와 같이 혼동행렬(Confusion matrix)을 기반으로 구성되며, 예측 클래스와 실제 클래스를 기준으로 Negative, Positive로 분류하여 True positive(TP), False positive(FP), False negative(FN), True negative(TN) 형태로 구성된다. 이를 이용하여 ROC(Receiver operation characteristic) 곡선과 AUC(Area under curve), 정확도 (Accuracy), 정밀도(Precision), 재현율(Recall), F1 스코어(F1_score)를 산출하여 모델을 평가할 수 있다. 본 연구에서는 이진 분류모델의 성능 평가와 비교를 위하여 의학 진단, 생물학, 신용평가 등의 분야에서 예측 및 분류 모델의 성능평가 지표로 주로 사용되는 AUC를 이용하여 모델의 성능을 평가하였다[16, 17].
- AUC는 ROC 곡선의 아래 면적을 의미하고 1에 가까울수록 좋은 모형이라고 판단한다. 평가 결과 가장 높은 성능의 알고리즘에서 독립변수를 줄여가며 예측 결과를 파악하여 모델의 최적화를 수행하였다. 분석 도구는 Python(v3.
대상 데이터
- 이 중 비골다공증 그룹은 1, 310명이며, 골다공증 그룹은 685명이다. 머신러닝 분류모델에 사용하기 위하여 원천 데이터를 홀드아웃 방법을 이용하여 훈련데이터셋과 테스트데이터셋으로 랜덤하게 나누었으며 7:3의 비율로 나누어 각각 1, 396명, 599명의 데이터를 사용하였다.
- 공개되어 있다. 본 연구에서는 골다공증 검사가 실시된 제5기(2010∼2011) 원시자료를 사용하였으며 골다공증 검사를 진행한 폐경 여성 2, 135명의 데이터를 수집하였으며, 이 중 결측치를 제외한 1, 995명을 연구대상으로 선정하였다.
- 평가 결과 가장 높은 성능의 알고리즘에서 독립변수를 줄여가며 예측 결과를 파악하여 모델의 최적화를 수행하였다. 분석 도구는 Python(v3.7.3), Jupyter notebook을 사용하였다.
- 원천 데이터를 사용하였다. 이 중 비골다공증 그룹은 1, 310명이며, 골다공증 그룹은 685명이다. 머신러닝 분류모델에 사용하기 위하여 원천 데이터를 홀드아웃 방법을 이용하여 훈련데이터셋과 테스트데이터셋으로 랜덤하게 나누었으며 7:3의 비율로 나누어 각각 1, 396명, 599명의 데이터를 사용하였다.
- 폐경 여성의 골다공증 유병여부를 예측하기 위하여 1, 995 명의 원천 데이터를 사용하였다. 이 중 비골다공증 그룹은 1, 310명이며, 골다공증 그룹은 685명이다.
데이터처리
- 나이, 신장, 체중 등 연속형 변수는 StandardScaler를 사용하여 데이터를 처리하였다. 데이터의 유의성 검정을 위하여 통계적 분석을 실시하였다. 연속형 변수는 독립표본 t 검정을 이용하여 평균과 표준편차를 구하였고, 범주형 변수는 카이제곱 검정을 이용하여 빈도(%)를 구하였다.
- 데이터의 유의성 검정을 위하여 통계적 분석을 실시하였다. 연속형 변수는 독립표본 t 검정을 이용하여 평균과 표준편차를 구하였고, 범주형 변수는 카이제곱 검정을 이용하여 빈도(%)를 구하였다. p-value는 0.
이론/모형
- 골다공증 유병여부를 예측하기 위하여 트리기반 머신러닝 분류 알고리즘인 결정 트리(Decision tree), 랜덤 포레스트 (Randon forest), GBM(Gradient boost machine), XGBoost (Extra gradient boost) 모델을 사용하였다. 머신러닝 분류알고리즘의 평가는 Table 2와 같이 혼동행렬(Confusion matrix)을 기반으로 구성되며, 예측 클래스와 실제 클래스를 기준으로 Negative, Positive로 분류하여 True positive(TP), False positive(FP), False negative(FN), True negative(TN) 형태로 구성된다.
- 수집된 데이터에서 결측치가 속한 행 및 각 변수 내용에서 모름으로 응답한 것과 수면시간에서 0, 1, 20시간 등 비정상적이라 생각되는 행은 삭제하였다. 나이, 신장, 체중 등 연속형 변수는 StandardScaler를 사용하여 데이터를 처리하였다. 데이터의 유의성 검정을 위하여 통계적 분석을 실시하였다.
- , USA)를 이용하였다. 데이터 분류는 데이터를 훈련데이터와 테스트데이터로 랜덤하게 분리하여 교차 검증을 실시하는 홀드 아웃(Hold-out method) 방법을 사용하였다.
성능/효과
- GBMe 나이 0.500, 체중 0.265, 신장 0.110, 허리둘레 0.061, 가족력 등 0.018, 1주일간 근력운동 일수 0.017, 하루 평균 수면시간 0.013, 현재 흡연 여부 0.008, 고위험 음주빈도 0.007, 류마티스성 관절염 유병여부 0.002로 나타났으며 XGBoost는 나이 0.370, 체중 0.156, 가족력 등 0.098, 1주일간 근력운동 일수 0.084, 신장 0.078, 허리둘레 0.060, 하루 평균 수면시간 0.056, 현재 흡연 여부 0.049, 고위험 음주빈도 0.048, 류마티스성 관절염 유병 여부 0.000으로 나타났다.
- 710로 Decision tree를 제외하고 나머지는 비슷하였다. 가장 좋은 성능을 나타낸 XG Boost를 이용하여 변수를 순서대로 5개까지 줄여 학습시킨 결과 7개의 변수를 사용했을 때 AUC는 0.750으로 가장 좋은 성능을 나타냈다. 머신러닝을 이용한 질병 예측을 다양한 질병에 적용한다면 질병의 사전 예측 및 예방에 기여할 수 있을 것으로 생각된다.
- 데이터 유의성 평가 결과 Table 3과 같이 나이, 고위험 음주빈도, 1주일간 근력운동 일수, 신장, 체중, 허리둘레, 가족력 등은 통계적으로 유의하게 나타났으며(p<0.05), 류마티스성 관절염 유병여부, 하루 평균 수면시간, 현재 흡연 여부는 유의하게 차이가 나타나지는 않았다(p>0.05).
- 또한, 본 연구에서는 기본 모델을 사용하여 모델간의 성능을 비교하였으나 머신러닝 모델은 사용자가 직접 세팅 가능한 하이퍼 파라미터(Hyper parameter) 조절을 통하여 성능을 향상시킬 수 있다. 하이퍼 파라미터는 정해진 값이 없기 때문에 데이터의 종류와 회귀, 분류 등 예측결과의 종류에 따라 적절히 조정해야 하며, 경험법칙(Rule of thumb) 또는 GridSearchCV 등을 이용하면 모델의 성능을 향상시킬 수 있을 것으로 생각된다.
- 신장, 체중, 가족력 등 10개의 독립변수를 이용하여 예측을 진행하였으며 이용한 변수 중 골다공증 유병 여부를 예측하는데 영향력 가장 큰 변수는 나이로 나타났다. 또한, 예측결과 XGBoost의 AUC가 0.710으로 가장 높았으며 변수를 줄여가며 평가한 결과 7개 변수를 사용하였을 때 AUC는 0.750으로 모델의 성능이 가장 높았다. 이러한 연구의 결과는 다양한 질병의 예측에 적용될 수 있을 것으로 생각되며, 향후 보건의료분야의 빅데이터 연구에 기초 자료로 활용될 것으로 기대된다.
- 모델의 성능이 가장 좋게 평가된 XGBoost 모델에서 10개 독립변수를 하나씩 축소하여 평가한 결과 Fig. 3과 같이 7 개의 독립변수를 사용하였을 때 AUC가 가장 높았으며 이때 AUC는 0.750, 사용 변수는 나이, 체중, 가족력 등, 1주일간 근력운동 일수, 신장, 허리둘레, 하루 평균 수면시간이다.
- 신장, 체중, 가족력 등 10개의 독립변수를 이용하여 예측을 진행하였으며 이용한 변수 중 골다공증 유병 여부를 예측하는데 영향력 가장 큰 변수는 나이로 나타났다. 또한, 예측결과 XGBoost의 AUC가 0.
- 생성한 모델에 테스트데이터를 적용한 결과는 Table 4와 같이 혼동행렬로 나타난다. 예측력 평가 결과 각 모델의 AUC는 Fig. 1과 같이 Decision tree 0.663, Random forest 0.704, GBM 0.702, XGBoost 0.710으로 나타났다. Table 5는 생성된 모델들에 대한 이진 분류 성능평가를 나타낸다.
- 트리기반 모델 학습 결과 4개 모델 전부 나이가 골다공증 유병 여부를 예측하는데 영향력이 가장 큰 변수였으며, 모델별 AUC는 Decision tree 0.663, Random forest 0.704, GBM 0.702, XGBoost 0.710로 Decision tree를 제외하고 나머지는 비슷하였다. 가장 좋은 성능을 나타낸 XG Boost를 이용하여 변수를 순서대로 5개까지 줄여 학습시킨 결과 7개의 변수를 사용했을 때 AUC는 0.
후속연구
- 본 연구에서는 10개의 독립변수를 사용하여 예측하였다. 머신러닝은 빅데이터를 활용하여 유용한 정보의 추출 및 예측이 가능한 만큼 더 많은 변수들을 사용한다면 모델 성능 향상 및 일정 수준의 예측 성능을 유지할 수 있는 최소 변수를 찾는데 유용하게 사용될 수 있을 것이다.
- 750으로 가장 좋은 성능을 나타냈다. 머신러닝을 이용한 질병 예측을 다양한 질병에 적용한다면 질병의 사전 예측 및 예방에 기여할 수 있을 것으로 생각된다. 본 연구에서는 10개의 독립변수를 사용하여 예측하였다.
- 750으로 모델의 성능이 가장 높았다. 이러한 연구의 결과는 다양한 질병의 예측에 적용될 수 있을 것으로 생각되며, 향후 보건의료분야의 빅데이터 연구에 기초 자료로 활용될 것으로 기대된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.