선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구는 국내에서 개발된 CRE 예측모형[15]의 외적타당도를 평가하기 위한 후향적 코호트 연구로 방법론적 연구이다.
- 본 연구는 국내에서 상급종합병원 중환자실 입실 환자를 대상으로 개발된 CRE 획득 예측모형[15]에 대해 중규모 종합병원에서도 적용가능한지를 검토하는 외적타당도 평가연구로 다음과 같은 강점이 있다. 첫째, 모형실행도에 앞서 모형수송성 평가를 통해 본 연구 대상자가 예측모형 개발대상자와 관련이 있으나 다른 특성을 가진 대상자임을 확인하여 외적타당도 평가를 위한 조건을 만족하는지 확인하였다.
- 본 연구는 상급종합병원 중환자실 입실 환자를 대상으로 개발된 CRE 획득위험 예측모형(이하 CRE 예측모형) [15]과는 시점, 지역, 세팅을 달리하는 B시 중규모 일 종합병원(450병상) 중환자실 환자를 대상으로 예측모형의 외적타당도를 평가하는데 목적이 있다. 구체적인 연구목적은 다음과 같다.
- CRE 전파를 효과적으로 관리하기 위해 국내외에서는 의료종사자 교육, 손위생, 항생제 모니터링, 환경청소, 접촉주의, 접촉자 스크리닝 등의 감염관리실무와 함께 적극적으로 보균자를 확인하기 위한 능동감시배양검사(active surveillance testing)를 권장하고 있다[1,2]. 이 검사는 CRE 감염자 접촉여부와 상관없이 모든 환자를 대상으로 CRE 보균자를 조기에 파악함으로써 CRE 전파를 최소화할 목적으로 실시하는 선별검사이다[1,2]. 선행연구에 따르면 CRE 보균자 중 16.
- 특히, 이 예측모형에 포함된 구성요소인 다제내성균 보유, 세팔로스포린계이나 카바페넴계 항생제 사용기간, 급성생리학적지표 및 만성건강평가(Acute physiology and chronic health evaluation II [APACHE II]) 점수 분포[15]는 의료기관의 규모나 수준, 이에 따른 환자의 특성 차이에 영향을 받을 수 있어 예측모형 개발대상자와 다른 특성을 보이는 대상자에게도 이 예측모형을 적용할 수 있을 지에 대한 평가가 요구된다. 이에 본 연구에서는 예측모형개발이 이루어진 상급종합병원과는 대상자 특성에 차이를 보일 것으로 기대되는 중규모 종합병원 입원환자를 대상으로 한 외적타당도 평가연구를 시도하였다.
제안 방법
- 1) 모형수송성을 확인하기 위해 선행연구[17]를 참고하여 다음의 3가지 방법으로 분석하였다.
- 1) 본 연구대상자와 모형개발 대상자의 특성, CRE 발생, 그리고 CRE 예측모형 내 예측요인효과(회귀계수) 비교를 통해 모형수송성을 확인한다.
- 2) 모형의 일치도 평가를 위해 Lemeshow-Hosmer (L-H)의 적합도 검정, 예측모형을 설명변수로 하는 recalibration model에 대한 절편(calibration-in-the-large)과 기울기(calibration slop)를 구하였다[17,18,20]. 절편은 기울기를 1로 고정하였을 때 평균 관찰위험(observed risk)과 평균 예측위험(predicted risk)의 차이로 완전일 치에서는 0이며, 0보다 크면(작으면) 예측모형이 위험을 과소평가(과대평가)함을 의미한다.
- 4) 모형의 임상적 유용성 평가를 위해 예측된 CRE 획득위험 .10, .15, .20 등을 절단점으로 하여 절단점 이상은 “CRE 획득”, 절단점 미만은 “CRE 비획득”으로 분류하고 실제 CRE 획득결과를 이용하여 2 × 2 의사결정 매트릭스를 작성한 후 민감도, 특이도, 그리고 옳은 분류율을 계산하였다.
- 5) CRE 예측모형의 적합의 일정성 평가를 위해 성별, 연령군별(70세 미만, 70세 이상), 입원경로별(응급실 경유, 병동 경유) 하위집단에서의 일치도(L-H 적합도 검정, 일치도 곡선의 절편과 기울기), 판별도(C통계량과 95% 신뢰구간), 임상적 유용성(민감도, 특이도, 옳은 분류율, 순편익)에 대한 지표를 산출하였다.
- CRE 예측모형의 실행도는 일치도, 판별도, 임상적 유용성 등 3가지 영역에서 평가하였고, 각 영역에 대해 대상자의 특성에 대한 하부집단별 일정성이 유지되는지 확인하였다. 일치도는 모형으로 예측된 확률(사건발생)과 관찰된 확률(사건발생)간의 일치수준을 반영하는 것으로[17,25], 예를 들어, CRE 예측모형으로부터 획득 가능성이 30%인 대상자 10명 중 3명에서 CRE 획득이 있었다면 이 CRE 획득모형은 매우 일치도가 높다고 할 수 있다[18].
- 일치도는 모형으로 예측된 확률(사건발생)과 관찰된 확률(사건발생)간의 일치수준을 반영하는 것으로[17,25], 예를 들어, CRE 예측모형으로부터 획득 가능성이 30%인 대상자 10명 중 3명에서 CRE 획득이 있었다면 이 CRE 획득모형은 매우 일치도가 높다고 할 수 있다[18]. 그런데, 본 연구에서 결과변수는 CRE 획득/비획득으로 나타나므로 획득 위험을 관찰할 수는 없으며 간접적인 방법으로 Hosmer와 Lemeshow [20]가 제안한 검정방법에 따라 주어진 로지스틱 회귀모형이 특정 자료에 적합한지 여부를 평가한다. 본 연구에서 L-H의 적합도 검정에서는 예측모형이 적합하지 않는 것으로 나타났고, 하부집단에서도 일관된 결과를 보였다.
- 그리고, ‘모든 대상자 검사’, ‘모든 대상자 비검사’, ‘CRE 예측모형에 기반한 검사’ 등 3가지 상황에서 특정 역치확률(threshold probability)에서 순편익을 계산하고 의사결정곡선(decision curve)을 작성하였다.
- 특히, 모형수송성 확인을 위해 예측모형 개발대상자와본 연구대상자의 일반적 특성과 예측요인에 대한 직접적 비교, 예측 요인의 회귀계수 비교, 예측모형으로 예측된 CRE 획득위험의 평균 비교 등 다각적인 방법을 적용하였다. 둘째, 일치도 분석에서 L-H 적합성 검정의 제한점을 고려하여 일치도 곡선의 절편과 기울기를 구하였고, 임상적 유용성에서도 순편익 분석을 시도하는 등 새로운 분석방법을 추가하였다. 셋째, CRE 예측모형의 판별도와 임상적 유용성을 제고하기 위한 수정모형을 제시하고, 추가적인 분석을 통해 판별도와 임상적 유용성의 개선효과를 확인하였다.
- 80)으로 큰 변화를 보이지 않았다. 따라서, 예측요인을 변경하는 방법으로 보정하였는데, 예측요인 중 두 대상자간에 유의한 차이를 보였던 세팔로스포린계열 항생제 사용일과 APACHE II 점수의 기준점을 모형개발 대상자의 분포와 유사하게 조정하였다. 즉, 본 연구대상자의 세팔로스포린계열 항생제 사용일이 모형개발 대상자보다 짧아 15일 이상 사용자가 5.
- 본 연구기관의 진단검사의학과에서는 bioMérieux 사의 VITEC® 2 compact 을 이용하여 항균제 내성 검사를 실시한 후 미국 임상검사표준연구소(Clinical and Laboratory Standard Institute) [19]에서 제시한 최소억제농도방법에 따라 CRE 획득 여부를 확인하였다.
- 본 연구는 CRE 예측모형의 외적타당도를 평가하는 것으로, 먼저 예측모형 개발대상자와 타당도 평가대상자, 즉 본 연구대상자의 특성에 차이가 있는지를 살펴보는 모형수송성 평가를 실시하였다[17]. 모형수송성 평가에서는 예측모형 개발대상자와 타당도평가 대상자의 특성을 직접적으로 비교하는 것이 가장 좋으나, 개발자로부터 원자료를 구하기 어려운 경우 모형의 회귀계수와 표준오차, 또는 예측 위험의 평균과 표준편차 등을 비교함으로써 간접적으로 특성을 비교하기도 한다[17].
- 본 연구에서는 CRE 예측모형 개발자로부터 개발당시 사용한 원자료를 받아 직·간접적으로 자료를 분석하였으며[15], 3가지 분석을 모두 시도하였다.
- 이 과정을 통해 보정된 예측모형은 E (CRE 획득 로짓) = - 3.65 + 0.52 (다제내성균 분리) + 2.48 (8일 이상 세팔로스포린계열 항생제 사용) + 0.42 (15일 이상 카바페넴계열 항생제 사용) + 1.50 (15점 이상의 APACHE II 점수)이며, 이를 이용하여 일치도, 판별도, 임상적 유용성 등의 평가를 재실시하였다. 그 결과, 전체적으로 L-H의 적합도 검정결과는 여전히 예측모형이 적합하지 않는 것으로 나타났으나(χ2 = 8.
- 본 연구대상자는 2017년 3월 1일부터 2019년 9월 30일까지 P시 일개 종합병원 중환자실에 입실한 환자로 입실 7일 이내 실시한 능동감시배양검사(기반검사)에서 CRE 집락이 없었던 자 중에서 입원 중과 퇴실 7일 이내(추후검사) 능동감시배양검사가 시행되어 CRE 획득 여부를 확인할 수 있는 자로 하였다. 이 때 기반검사에서 CRE 집락이 없었으나, 추후조사에서 CRE 집락이 있는 경우 획득군, 퇴실 시까지 CRE가 집락되지 않은 환자는 비획득군으로 분류하였다. CRE 집락은 한국 질병관리본부의 법정 감염병 진단기준에 따라, 디스크확산법으로 실시한 항생제 감수성 검사에서 이미페넴(≤ 22 mm, 최소 억제농도 ≥ 2 μg/ml) 또는 에르타페넴(≤ 21 mm, 최소억제농도 ≥ 1 μg/ml)의 결과를 이용하였다[1,19].
- 자료수집은 연구자 1인이 연구기간 감염관리시스템에 접속하여 병동 24시간 보고서로부터 2017년 3월 1일부터 2019년 9월 30일까지 중환자실 입실환자 명단을 확보한 후, CRE 선별검사 자료를 이용하여 선정기준 부합여부를 확인하여 대상자를 선정하였다. 이 후 대상자의 전자의무기록을 열람하면서 조사지를 작성하였는데, 성별, 연령, 입원경로 등은 의무기록 뷰어에서, APACHE II 점수는 중환자실 간호기록지에서, 항생제 사용정보는 항생제 검사조회 화면에서, CRE와 CPE 종류, 다제내성균주 정보는 감염관리 시스템의 진단검사 결과조회에서 확인하였다. 본 연구기관의 진단검사의학과에서는 bioMérieux 사의 VITEC® 2 compact 을 이용하여 항균제 내성 검사를 실시한 후 미국 임상검사표준연구소(Clinical and Laboratory Standard Institute) [19]에서 제시한 최소억제농도방법에 따라 CRE 획득 여부를 확인하였다.
- 이 때 역치확률(p)은 검사실시로 인한 위험을 의미하며, 검사실시로 인한 위험이 미실시로 인한 위험보다 크면 역치확률을 크게, 반대라면 작게 설정한다. 즉, 역치확률을 작게 설정하는 것은 위양성으로 인한 위험을 상대적으로 작게 보는 것을 의미하며, 본 연구에서는 검사의 위험성이 작은 반면 미검사시 CRE 전파의 우려가 커지므로 위양성으로 인한 위험이 크지 않다고 판단하여 역치확률을 작은 수준인 .01 (1%)에서 .70 (70%)까지 .05 단위로 설정하였다. P / 1 - p는 검사실시와 미실시로 인한 위험의 비로, 이 값을 커질수록 위양성으로 인한 위험이 증가하고 진양성과의 차이가 감소하므로 순편익은 감소한다[18,23,24].
- 본 연구는 국내에서 상급종합병원 중환자실 입실 환자를 대상으로 개발된 CRE 획득 예측모형[15]에 대해 중규모 종합병원에서도 적용가능한지를 검토하는 외적타당도 평가연구로 다음과 같은 강점이 있다. 첫째, 모형실행도에 앞서 모형수송성 평가를 통해 본 연구 대상자가 예측모형 개발대상자와 관련이 있으나 다른 특성을 가진 대상자임을 확인하여 외적타당도 평가를 위한 조건을 만족하는지 확인하였다. 특히, 모형수송성 확인을 위해 예측모형 개발대상자와본 연구대상자의 일반적 특성과 예측요인에 대한 직접적 비교, 예측 요인의 회귀계수 비교, 예측모형으로 예측된 CRE 획득위험의 평균 비교 등 다각적인 방법을 적용하였다.
대상 데이터
- 014이고, 역치확률이 증가함에 따라 감소한다. 본 연구대상자 613명 중 진양성은 69명, 위양성은 544명이며, 만약 검사실시로 인한 위험(역치확률, 위양성 위험)을 10%로 간주할 때 검사실시와 미실시 위험비는 0.11이며, 544명의 0.11에 해당하는 약 60명에서 위양성으로 인한 위험이 있다. 따라서, 역치확률이 0.
- 본 연구대상자는 2017년 3월 1일부터 2019년 9월 30일까지 P시 일개 종합병원 중환자실에 입실한 환자로 입실 7일 이내 실시한 능동감시배양검사(기반검사)에서 CRE 집락이 없었던 자 중에서 입원 중과 퇴실 7일 이내(추후검사) 능동감시배양검사가 시행되어 CRE 획득 여부를 확인할 수 있는 자로 하였다. 이 때 기반검사에서 CRE 집락이 없었으나, 추후조사에서 CRE 집락이 있는 경우 획득군, 퇴실 시까지 CRE가 집락되지 않은 환자는 비획득군으로 분류하였다.
- 연구기간동안 중환자실에 입실한 환자는 총 1,682명이며 반복 입원한 138명을 제외한 일회 입원한 환자는 1,544명이었고, 선정기준에 부합되는 대상자는 총 613명(CRE 획득군 69명, 비획득군 544명이었다. 제외 대상자는 931명이며, 입실 시 능동감시배양검사 미시행자 511명, 입원 중 또는 퇴실 7일 이내 검사 미시행자 385명, 입실 당시 CRE 획득환자 16명, CRE 획득 여부가 확인되지 않는 자 19명이었다.
- 자료수집은 연구자 1인이 연구기간 감염관리시스템에 접속하여 병동 24시간 보고서로부터 2017년 3월 1일부터 2019년 9월 30일까지 중환자실 입실환자 명단을 확보한 후, CRE 선별검사 자료를 이용하여 선정기준 부합여부를 확인하여 대상자를 선정하였다. 이 후 대상자의 전자의무기록을 열람하면서 조사지를 작성하였는데, 성별, 연령, 입원경로 등은 의무기록 뷰어에서, APACHE II 점수는 중환자실 간호기록지에서, 항생제 사용정보는 항생제 검사조회 화면에서, CRE와 CPE 종류, 다제내성균주 정보는 감염관리 시스템의 진단검사 결과조회에서 확인하였다.
데이터처리
- 3) 모형의 판별도 평가를 위해 관찰된 CRE 획득위험과 실제 CRE 획득 결과를 이용하여 C통계량(concordance statistic)과 이의 95% 신뢰구간을 구하였다. C통계량은 ROC 곡선하면적과 같은 것으로 .
- 둘째, 로지스틱 회귀분석을 통해 예측모형에 포함된 4가지 요인에 대한 회귀계수와 표준오차를 각각 구하고, 대상자간 일치 여부를 확인하였다.
- 셋째, 두 대상자로부터 예측모형으로 예측된 CRE 획득위험의 평균과 표준편차를 구하고, 평균의 대상자간 차이검정을 위해 맨휘트니 U 검정을 실시하였다.
- 자료분석은 SPSS version 25.0 (IBM Corp., Armonk, NY, USA)과 R version 3.6.3을 이용하였으며, 모든 통계적 검정은 유의수준 .05에서 양측 검정하였다. 구체적인 분석방법은 다음과 같다.
- 첫째, 두 대상자의 일반적 특성, 예측요인, CRE 획득여부에 대한 빈도와 백분율 또는 평균과 표준편차를 구하고, 대상자간 차이검정을 위해 t검정과 χ2검정을 실시하였다.
- 첫째, 모형실행도에 앞서 모형수송성 평가를 통해 본 연구 대상자가 예측모형 개발대상자와 관련이 있으나 다른 특성을 가진 대상자임을 확인하여 외적타당도 평가를 위한 조건을 만족하는지 확인하였다. 특히, 모형수송성 확인을 위해 예측모형 개발대상자와본 연구대상자의 일반적 특성과 예측요인에 대한 직접적 비교, 예측 요인의 회귀계수 비교, 예측모형으로 예측된 CRE 획득위험의 평균 비교 등 다각적인 방법을 적용하였다. 둘째, 일치도 분석에서 L-H 적합성 검정의 제한점을 고려하여 일치도 곡선의 절편과 기울기를 구하였고, 임상적 유용성에서도 순편익 분석을 시도하는 등 새로운 분석방법을 추가하였다.
이론/모형
- CRE 집락은 한국 질병관리본부의 법정 감염병 진단기준에 따라, 디스크확산법으로 실시한 항생제 감수성 검사에서 이미페넴(≤ 22 mm, 최소 억제농도 ≥ 2 μg/ml) 또는 에르타페넴(≤ 21 mm, 최소억제농도 ≥ 1 μg/ml)의 결과를 이용하였다[1,19].
- 본 연구에서 사용한 CRE 예측모형은 Song과 Jeong [15]이 2016년 10월 1일부터 2017년 10월 31일까지 13개월 동안 Y시 한 상급종합병원 중환자실에 입원한 환자 중 CRE 획득군 89명과 비획득군 355명을 대상으로 CRE 획득위험 예측요인에 기반하여 구축한 로짓 모형을 사용하였다.
성능/효과
- 2) CRE 예측모형의 일치도, 판별도와 임상적 유용성 지표를 산출하고, 이러한 지표가 대상자의 하부집단별로도 일정한 지를 확인한다.
- L-H 적합성 검정결과 χ2값은 31.44, p값은 < .001로 예측모형이 적합하지 않은 것으로 나타났으며, 성별, 연령별, 입원경로별 하부집단에서 모두 예측모형이 적합하지 않은 것으로 나타났다(Table 2).
- 구체적으로, 본 연구대상자는 예측모형 개발대상자에 비해 CRE 획득률이 낮고(11.3% 대 20.0%, p < .001), 연령이 높고(70.7세 대 46.5세, p < .001), 다제내성균 분리비율이 낮고(13.4% 대 41.2%, p < .001), 15일 이상 세팔로스포린계 항생제 사용비율이 낮고(5.2% 대 14.6%, p < .001), 21점 이상의 APACHE II 점수 비율도 낮았다(7.8% 대 29.7%, p < .001).
- 그 결과, 전체적으로 L-H의 적합도 검정결과는 여전히 예측모형이 적합하지 않는 것으로 나타났으나(χ2 = 8.57, p = .014), 일치도 곡선의 calibration slope이 1.09로 1에 더 근접하며, C통계량 또한 .84 (95% CI: .79~.89)로 증가하여 예측모형 개발 당시 판별도에 비해 더 우수하였다(Supplementary Table 2, Figure 1), 획득위험 10%를 절단점으로 하는 경우 특이도의 큰 변화 없이 민감도가 75.4%로 증가하였고(Supplementary Table 3), 예측모형 사용에 따른 순편익도 100명당 6명으로 증가하는 등 임상적 유용성 또한 개선됨을 알 수 있었다(Supplementary Figure 2).
- 본 연구결과 약 20%의 CRE 획득률을 보이는 상급 종합병원 중환자실 환자로부터 개발된 CRE 획득 예측모형은 약 11%의 CRE 획득률을 보이며, 상대적으로 항생제 사용기간이나 위중도가 낮은 중규모 종합병원 중환자실 환자에게 적용하였을 때 판별도와 임상적 유용성이 낮았다. 그러나, 해당 기관의 항생제 사용기 간이나 위중도 수준을 고려하여 예측요인의 기준점을 변경하는 경우 예측모형의 판별도와 임상적 유용성이 상당히 개선되는 효과가 있었다. 따라서, 국내 CRE 예측모형을 사용하고자 하는 기관에서는 기관 차원에서 예측요인 분포를 조사한 결과가 예측모형 개발대상자에서 나타난 분포와 유사한지를 비교하고, 예측모형 사용방안(원 모형, 기관에 맞게 보정, 새로운 모형 개발) 중 하나를 선택하여 최적의 CRE 예측모형을 활용하기를 기대한다.
- Table 1은 본 연구대상자와 예측모형 개발대상자의 특성을 비교하기 위한 분석결과이다. 두 대상자는 의료기관의 유형과 조사시점에 차이가 있으며, CRE 획득율, 연령, 예측요인 중 다제내성균 분리, 15일 이상 세팔로스포린계 항생제 사용, 21점 이상의 APACHE II 점수에서 유의한 차이를 보였다. 구체적으로, 본 연구대상자는 예측모형 개발대상자에 비해 CRE 획득률이 낮고(11.
- 만약 절단점을 높이면 특이도가 증가하는데, 이 경우 실제 CRE 획득이 없는 대상자‘가 ’CRE 획득’으로 오분류될 가능성은 낮지만 CRE 획득자를 놓칠 가능성이 커지게 된다. 따라서, 본 연구에서는 특이도 보다는 민감도를 우선적으로 고려하여 절단점을 설정하였으며, 예측위험 10% (.1)에서 최고의 민감도를 보였으나 43.5%에 불과하였다. 즉, 실제 CRE 획득자 100명중 43명만이 예측모형에서 ‘CRE 획득’으로 분류되며 57명의 CRE 획득자를 놓칠 수 있는 것으로 나타나 예측모형 사용의 유용성이 매우 낮은 것으로 나타났다.
- 이를 위한 전제조건은 CRE 예측모형이 높은 정확도를 가지고 CRE 획득위험을 예측해 줌으로써 격리가 필요한 환자의 누락이나 불필요한 환자격리를 최소화할 수 있어야 한다는 것이다. 본 연구결과 약 20%의 CRE 획득률을 보이는 상급 종합병원 중환자실 환자로부터 개발된 CRE 획득 예측모형은 약 11%의 CRE 획득률을 보이며, 상대적으로 항생제 사용기간이나 위중도가 낮은 중규모 종합병원 중환자실 환자에게 적용하였을 때 판별도와 임상적 유용성이 낮았다. 그러나, 해당 기관의 항생제 사용기 간이나 위중도 수준을 고려하여 예측요인의 기준점을 변경하는 경우 예측모형의 판별도와 임상적 유용성이 상당히 개선되는 효과가 있었다.
- 최근에는 이를 보완하기 위해 일치도 곡선의 절편과 기울기를 이용한 일치도 평가가 권장된다[17,25]. 본 연구결과 일치도 곡선의 절편은 0보다 큰 값으로 CRE 예측모형이 CRE 획득위험을 과소추정하는 경향은 있으며, 기울기도 0과 1사이 값으로 획득위험이 낮은 곳에서는 과소추정, 위험이 높은 곳에서는 과대추정하는 경향이 있다. 비록 절편과 기울기의 추정치가 이상값인 0과 1 [17,18]은 아니지만 95% 신뢰구간에 이들을 포함하고 있어 전반적인 일치도는 양호하다고 할 수 있다.
- 033이며, 역치확률이 증가함에 따라 감소한다. 본 연구대상자 613명에게 예측모형을 적용하는 경우 역치확률 10%에서 진양성은 30명, 위양성은 86명이며, 검사실시와 미실시 위험비 0.11을 적용하면, 86명의 0.11에 해당하는 약 10명에서 위양성으로 인한 위험이 있다. 따라서, 역치확률이 0.
- 이 값은 어떤 사건을 경험한 대상자가 비경험자에 비해 모형으로 예측된 사건위험이 더 높을 가능성을 나타내는 것으로, 사건 경험자와 비경험자 쌍(pair)을 구성한 후 사건 경험자가 비경험자보다 사건위험이 더 높게 예측된 쌍의 비율을 산정하게 된다[21,27]. 본 연구에서 C통계량은 .71로 CRE 획득자와 비획득자 쌍 10개 중 7개에서 CRE 획득자의 CRE 획득위험이 비획득자의 CRE 획득위험보다 더 높음을 의미하며 71%의 판별정확성이 있다고 할 수 있다. 본 연구에서 확인된 C통계량은 CRE 예측모형 개발 당시의 C통계량인 .
- 그런데, 본 연구에서 결과변수는 CRE 획득/비획득으로 나타나므로 획득 위험을 관찰할 수는 없으며 간접적인 방법으로 Hosmer와 Lemeshow [20]가 제안한 검정방법에 따라 주어진 로지스틱 회귀모형이 특정 자료에 적합한지 여부를 평가한다. 본 연구에서 L-H의 적합도 검정에서는 예측모형이 적합하지 않는 것으로 나타났고, 하부집단에서도 일관된 결과를 보였다. 그러나, 이 검정방법은 표본수에 민감하게 반응하여 표본수가 작은 경우 모형이 적합한 것으로, 표본수가 큰 경우 모형이 적합하지 않은 것으로 판단할 가능성이 크다[26].
- 71로 CRE 획득자와 비획득자 쌍 10개 중 7개에서 CRE 획득자의 CRE 획득위험이 비획득자의 CRE 획득위험보다 더 높음을 의미하며 71%의 판별정확성이 있다고 할 수 있다. 본 연구에서 확인된 C통계량은 CRE 예측모형 개발 당시의 C통계량인 .80 또는 내적타당도 평가에서 보고된 .77~.78 [15]에 비해 낮아 상대적으로 판별도가 낮음을 알 수 있다.
- 즉, 예측모형을 사용할 때와 그렇지 않을 때 위양(음)성 위험이 없는 상황에서 진양성 대상자에게 검사를 시행할 수 있는 능력을 순편익(net benefit)이라고 하고 최대 순편익을 제공하는 방법을 결정해야 한다[22,23]. 본 연구에서는 역치확률을 10%로 간주하는 경우 예측모형을 사용하는 경우 사용하지 않을 때 비해 대상자 100명 당 약 2명에게 불필요한 검사를 줄여주는 효과가 있어 예측모형 사용의 순편익이 크다고 보기는 어렵다.
- 상급종합병원 중환자실 입실환자를 대상으로 개발된 CRE 획득위험 예측모형이 시점, 지역, 세팅이 다른 중규모 종합병원 중환자실 환자에게 적용가능한지 평가한 결과 판별도와 임상적 유용성이 낮았다. 이를 보완하기 위해 세팔로스포린계 항생제 사용기간과 위중도 점수의 기준을 조정한 모형을 적용하였을 때 판별도와 임상적 유용성이 향상되었다.
- 둘째, 일치도 분석에서 L-H 적합성 검정의 제한점을 고려하여 일치도 곡선의 절편과 기울기를 구하였고, 임상적 유용성에서도 순편익 분석을 시도하는 등 새로운 분석방법을 추가하였다. 셋째, CRE 예측모형의 판별도와 임상적 유용성을 제고하기 위한 수정모형을 제시하고, 추가적인 분석을 통해 판별도와 임상적 유용성의 개선효과를 확인하였다.
- 예측모형에 의해 예측된 CRE 획득위험과 관찰된 CRE 획득 여부로부터 계산된 C통계량은 .71 (95% CI = .63~.78)이며, 성별로는 .71 과 .70, 연령별로는 .72와 .69, 입원경로별로는 .69와 .70으로 비교적 유사하였다(Table 2, Figure 1).
- 예측요인에 대한 회귀계수는 본 연구대상자가 예측모형 개발대상자에 비해 다제내성균 분리(0.59 대 1.61), 15일 이상 카바페넴계 항생제 사용(0.69 대 0.98)에서 낮고, 15일 이상 세팔로스포린계 항생제 사용(1.92 대 1.35)과 21점 이상의 APACHE II 점수(2.15 대 0.54)에서 차이를 보였으나, 21점 이상의 APACHE II 점수에서만 통계적으로 유의한 차이를 보였다. 예측모형에 따른 평균 CRE 획득위험(0.
- 일치도 곡선의 절편 보정은 가장 일차적으로 시도되는 전략이지만 판별도의 개선에는 영향을 주지 않는다[29]. 예측요인의 재추정을 시도한 결과 C통계량이 .73 (95% CI: .65~.80)으로 큰 변화를 보이지 않았다. 따라서, 예측요인을 변경하는 방법으로 보정하였는데, 예측요인 중 두 대상자간에 유의한 차이를 보였던 세팔로스포린계열 항생제 사용일과 APACHE II 점수의 기준점을 모형개발 대상자의 분포와 유사하게 조정하였다.
- 상급종합병원 중환자실 입실환자를 대상으로 개발된 CRE 획득위험 예측모형이 시점, 지역, 세팅이 다른 중규모 종합병원 중환자실 환자에게 적용가능한지 평가한 결과 판별도와 임상적 유용성이 낮았다. 이를 보완하기 위해 세팔로스포린계 항생제 사용기간과 위중도 점수의 기준을 조정한 모형을 적용하였을 때 판별도와 임상적 유용성이 향상되었다. 따라서, 추후 CRE 예측모형을 사용하는 기관에 서는 먼저 예측모형에 포함된 예측요인의 분포가 개발대상자와 차이가 있는 경우 기관에 맞게 모형을 보정하여 사용하기를 제언한다.
- 특히, 본 연구대상자는 성인 환자만 포함되었으나, 예측모형 개발대상자는 성인과 아동 환자가 모두 포함됨에 따라 본 연구대상자가 예측모형 개발대상자에 비해 연령이 높았다. 이외에도 본 연구대상자는 예측모형 개발대상자에 비해 15일 이상 세팔로스포린계열 항생제 사용율, 21점 이상 APACHE II 점수 비율, CRE 획득률과 예측모형에 따른 CRE 획득 위험에서 모두 낮았다. 즉, 직간접적인 분석결과 본 연구대상자는 예측모형 개발대상자와는 다른 특성을 가진 대상자로, 모형수송성은 확보되었다고 할 수 있다.
- 9%이었다. 절단점 .10에서 성별 민감도는 37.8%와 50.0%, 특이도는 87.5%와 80.3%, 옳은 분류율은 81.9%와 76.9%이며, 입원경로별 민감도는 39.5%와 50.0%, 특이도는 86.6%와 74.1%, 옳은 분류율은 82.4%와 69.4% 등으로 하부집단별로 다소 차이를 보였다.
- 본 연구도구는 연구자가 구성한 자료조사지이다. 조사지에는 예측 모형에 포함된 4가지 예측요인에 해당하는 다제내성균 분리여부, 세팔로스포린계열 항생제 사용일, 카바페넴계열 항생제 사용일, 입원 당시 APACHE II 점수, 그리고, 적합의 일정성 분석에 사용할 대상자의 일반적 특성인 성별, 연령, 입원경로 등이 포함되었다. 이후 분석과정에서 세팔로스포린계열과 카바페넴계열 항생제 사용일은 15일을 기준으로 범주화하였다.
- 즉, 실제 CRE 획득자 100명중 43명만이 예측모형에서 ‘CRE 획득’으로 분류되며 57명의 CRE 획득자를 놓칠 수 있는 것으로 나타나 예측모형 사용의 유용성이 매우 낮은 것으로 나타났다.
- 이외에도 본 연구대상자는 예측모형 개발대상자에 비해 15일 이상 세팔로스포린계열 항생제 사용율, 21점 이상 APACHE II 점수 비율, CRE 획득률과 예측모형에 따른 CRE 획득 위험에서 모두 낮았다. 즉, 직간접적인 분석결과 본 연구대상자는 예측모형 개발대상자와는 다른 특성을 가진 대상자로, 모형수송성은 확보되었다고 할 수 있다.
- 먼저, 본 연구대상자는 P시의 450병상의 중규모 종합병원의 중환자실에 입원한 환자인 반면, 예측모형 개발대상자는 Y시의 1297병상 규모 상급종합병원의 중환자실에 입원한 환자로 시점, 지역에서 차이가 있다. 특히, 본 연구대상자는 성인 환자만 포함되었으나, 예측모형 개발대상자는 성인과 아동 환자가 모두 포함됨에 따라 본 연구대상자가 예측모형 개발대상자에 비해 연령이 높았다. 이외에도 본 연구대상자는 예측모형 개발대상자에 비해 15일 이상 세팔로스포린계열 항생제 사용율, 21점 이상 APACHE II 점수 비율, CRE 획득률과 예측모형에 따른 CRE 획득 위험에서 모두 낮았다.
후속연구
- 첫째, 본 연구는 B지역에 위치한 일개 중규모 병원의 중환자실에 입실하는 환자를 대상으로 하고 있으며 동일한 수준이나 규모의 의료기관이라 하더라도 대상자의 특성이 동일하다고 가정하기 어려워 연구결과를 일반화하는데 어려움이 있다. 둘째, 본 연구는 CRE 능동감시배양검사가 실시된 대상자의 자료를 후향적으로 조사하였으므로 해당 검사가 진행되지 않은 대상자는 연구대상에서 제외되어 이들의 특성은 반영되지 못하였다.
- 그러나, 해당 기관의 항생제 사용기 간이나 위중도 수준을 고려하여 예측요인의 기준점을 변경하는 경우 예측모형의 판별도와 임상적 유용성이 상당히 개선되는 효과가 있었다. 따라서, 국내 CRE 예측모형을 사용하고자 하는 기관에서는 기관 차원에서 예측요인 분포를 조사한 결과가 예측모형 개발대상자에서 나타난 분포와 유사한지를 비교하고, 예측모형 사용방안(원 모형, 기관에 맞게 보정, 새로운 모형 개발) 중 하나를 선택하여 최적의 CRE 예측모형을 활용하기를 기대한다.
- 4%로 증가하였고(Supplementary Table 3), 예측모형 사용에 따른 순편익도 100명당 6명으로 증가하는 등 임상적 유용성 또한 개선됨을 알 수 있었다(Supplementary Figure 2). 따라서, 추후 CRE 예측모형을 사용하고자 하는 기관에서는 먼저 원 개발모형을 이용하여 외적타당도 평가를 하고, 타당도가 불량한 경우 각 기관의 항생제 사용기간과 APACHE II 점수 분포를 고려하여 기준점을 조정한 후 외적타당도의 변화를 파악하기를 제언한다.
- 이를 보완하기 위해 세팔로스포린계 항생제 사용기간과 위중도 점수의 기준을 조정한 모형을 적용하였을 때 판별도와 임상적 유용성이 향상되었다. 따라서, 추후 CRE 예측모형을 사용하는 기관에 서는 먼저 예측모형에 포함된 예측요인의 분포가 개발대상자와 차이가 있는 경우 기관에 맞게 모형을 보정하여 사용하기를 제언한다.
- 그러나, 이러한 강점에도 불구하고 다음과 같은 제한점이 있어 결과를 해석함에 있어 주의가 필요하다. 첫째, 본 연구는 B지역에 위치한 일개 중규모 병원의 중환자실에 입실하는 환자를 대상으로 하고 있으며 동일한 수준이나 규모의 의료기관이라 하더라도 대상자의 특성이 동일하다고 가정하기 어려워 연구결과를 일반화하는데 어려움이 있다. 둘째, 본 연구는 CRE 능동감시배양검사가 실시된 대상자의 자료를 후향적으로 조사하였으므로 해당 검사가 진행되지 않은 대상자는 연구대상에서 제외되어 이들의 특성은 반영되지 못하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.