임상 연구에서 가장 중요한 것은 임상 자료를 정확하게 수집하는 것이다. 이를 위해, 최근 많은 제약회사들과 임상 연구기관에서는 전자 증례기록지(electronic Case Report Form, eCRF)를 도입하려고 노력하고 있다. eCRF는 임상연구에서 임상 자료를 수집하고 관리하기 위해 디자인된 컴퓨터 시스템이다. 하지만, 임상연구에서 eCRF의 중요성을 인식하고 있지만, eCRF 도입 초기에 많은 노력과 비용이 소요되기 때문에 널리 사용되고 있지는 못한다. 본 연구에서는 한의학연구원에서 임상연구를 위해 개발된 eCRF의 사용현황을 실증적 자료를 바탕으로 조사했다. 특히, eCRF에 자료를 입력하는데 걸리는 시간, 사용 시간, 쿼리 수 등을 시간적 흐름에 따른 변화에 중점을 두었다.
임상 연구에서 가장 중요한 것은 임상 자료를 정확하게 수집하는 것이다. 이를 위해, 최근 많은 제약회사들과 임상 연구기관에서는 전자 증례기록지(electronic Case Report Form, eCRF)를 도입하려고 노력하고 있다. eCRF는 임상연구에서 임상 자료를 수집하고 관리하기 위해 디자인된 컴퓨터 시스템이다. 하지만, 임상연구에서 eCRF의 중요성을 인식하고 있지만, eCRF 도입 초기에 많은 노력과 비용이 소요되기 때문에 널리 사용되고 있지는 못한다. 본 연구에서는 한의학연구원에서 임상연구를 위해 개발된 eCRF의 사용현황을 실증적 자료를 바탕으로 조사했다. 특히, eCRF에 자료를 입력하는데 걸리는 시간, 사용 시간, 쿼리 수 등을 시간적 흐름에 따른 변화에 중점을 두었다.
With the help of information technology, it is the most important to collect clinical data correctly in clinical trials. For this, recently, in many pharmaceutical companies and Clinical Research Organizations (CRO) have tried to adopt an Electronic Case Report Form (eCRF) system. The eCRF system is...
With the help of information technology, it is the most important to collect clinical data correctly in clinical trials. For this, recently, in many pharmaceutical companies and Clinical Research Organizations (CRO) have tried to adopt an Electronic Case Report Form (eCRF) system. The eCRF system is a computerized system designed for collecting and managing clinical data in clinical trials. Although the eCRF is recognized as a significant system for clinical trials, until now there are no widely useable, due to the huge effort and expense at the initiatory stage of adopting eCRF system. In this study, we inquired the use of eCRF system developed for clinical trial at Korea Institute of Oriental Medicine. Especially, we focused on the time required for entering clinical data into the eCRF, hours of use, and the number of queries according to the time flow.
With the help of information technology, it is the most important to collect clinical data correctly in clinical trials. For this, recently, in many pharmaceutical companies and Clinical Research Organizations (CRO) have tried to adopt an Electronic Case Report Form (eCRF) system. The eCRF system is a computerized system designed for collecting and managing clinical data in clinical trials. Although the eCRF is recognized as a significant system for clinical trials, until now there are no widely useable, due to the huge effort and expense at the initiatory stage of adopting eCRF system. In this study, we inquired the use of eCRF system developed for clinical trial at Korea Institute of Oriental Medicine. Especially, we focused on the time required for entering clinical data into the eCRF, hours of use, and the number of queries according to the time flow.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 연구에서는 한의학 임상연구 기반으로 개발된 eCRF가 실제 연구기관에서의 사용 현황을 살펴보고자 하였다. 특히, 시간적 흐름에 따라 eCRF 등록 시 걸리는 시간, eCRF의 사용 시간, 실제 자료 입력 시 소요 시간 및 수정 이력 등 실제 연구기관에서 eCRF의 사용과 관련된 측면을 다각도로 파악하여, 한의학 임상연구에서 eCRF 도입의 유용성을 살펴보고자 하였다.
본 연구는 한의학 임상연구 수행 시 전자 증례기록지(eCRF)를 도입하여 사용하면서 실제 14개의 연구기관에서 시간적 흐름에 따라 eCRF 사용 현황을 파악하여, 한의학 임상연구에서 eCRF의 유용도를 살펴보았다.
이상으로 본 연구는 실제 한의학 임상연구를 진행하면서 개발된 eCRF의 사용 현황을 파악해보았다. 이를 통해 전자 증례기록지는 초기 개발에 많은 시간과 노력이 소요되고, 사용하는 연구자들의 입장에서도 시스템의 사용법을 익히기 위해 노력이 소요되지만, 보다 정확한 임상자료의 수집과 질 관리를 위해서는 반드시 필요한 시스템이라 할 수 있다.
따라서 본 연구에서는 한의학 임상연구 기반으로 개발된 eCRF가 실제 연구기관에서의 사용 현황을 살펴보고자 하였다. 특히, 시간적 흐름에 따라 eCRF 등록 시 걸리는 시간, eCRF의 사용 시간, 실제 자료 입력 시 소요 시간 및 수정 이력 등 실제 연구기관에서 eCRF의 사용과 관련된 측면을 다각도로 파악하여, 한의학 임상연구에서 eCRF 도입의 유용성을 살펴보고자 하였다.
제안 방법
eCRF 입력은 double entry 방법으로 최종더블체크에서 1차와 2차의 입력 결과를 비교하여 다른 경우 수정한 후 입력이 완료된다. 1, 2차 입력은 인구학적 조사, 질병력 등의 범주별로 순차적으로 입력하도록 하였고, 범주별 입력 완료 시 날짜시간기록이 자동적으로 저장되도록 개발하였다.
Running time 등으로 입력 시간의 이상 값을 다음과 같은 방법으로 처리하였다. 3개의 연구기관에 따라 각 범주별 입력시간을 4분위수로 구분하여 Q4의 범위를 극한점(outlier)으로 추정하고 이를 제거한 후 기관별 범주의 평균값으로 대체하였다.
본 연구에서는 설문지 종류에 따라 14개 기관을 다시 3개 기관으로 재분류하였고, 주관식 항목을 제외한 객관식 항목의 입력시간만을 분석에 이용하였다. A기관은 9개 연구기관이 포함된 것으로 10개 범주 197개 항목을 조사하였고, B기관은 3개 연구기관이 포함되며, A기관이 사용한 설문지에서 일부 문항을 제외하여 5개 범주 136개 항목, C기관은 2개 연구기관이 포함되며, 6개 범주 164개 항목에 대해 조사하였다.
eCRF에 자료 입력에 소요되는 시간을 1차 입력과 2차 입력, 그리고 총 입력시간으로 구분하여 월별로 살펴보았다. A기관의 1차 입력은 15분~24분이었으나, 2차 입력은 9분~13분으로 1차와 2차 입력시간이 최대 12분의 차이를 보였다.
eCRF에 접속하여 자료 입력 및 입력에 사용하는 시간을 월별로 살펴보았다. 전체 연구기간 동안 기관별 eCRF 평균 입력일과 인력 건수를 보면, A기관은 평균 123일, 3.
그러나 eCRF 효율성을 실제 사례를 통해 살펴본 연구는 많지 않다. 국내의 경우 이 등이 8개 기관 492명의 대상자의 입력된 자료를 통해 효율성을 파악할 수 있는 시간, 비용, 데이터 질의 3가지 요소 중 시간적 요인을 중심으로 살펴보았으며, 대상자의 첫 방문 시부터 데이터베이스 잠금에 이르는 시간 지표를 측정하여 데이터 분석 전까지의 총 데이터 관리 기간의 단축여부를 측정하였다[13]. 그러나 연구 기간이 길지 않았고, 수집된 자료가 500여건으로 많지 않았으며, 연구기관에서 실제 eCRF 사용 시간 등을 살펴보지 못하였다.
대상자가 방문하여 종이 증례기록지에 정보를 작성한 후 연구자가 eCRF에 자료 입력까지의 시간을 월별로 살펴보았다. A기관의 eCRF 평균 등록일은 59.
본 연구에 활용된 eCRF는 한국한의학연구원에서 진행 중인 한의학 임상연구를 위해 개발한 웹기반 시스템으로 연구기간은 2011년 8월부터 2012년 8월까지이며 14개 기관이 참여하였다. 본 연구는 종이기반 증례기록지와 eCRF 동시에 사용하고 있으며, 대상자는 방문 시 종이 증례기록지에 정보를 기입한 후, 각 기관의 연구자가 종이기반의 자료를 전자 증례기록지에 입력하였다.
연구기관은 기관별 특성 및 목적에 따라 동일한 설문지에서 문항수를 조정하여 3개 버전의 설문지를 사용하였다. 본 연구에서는 설문지 종류에 따라 14개 기관을 다시 3개 기관으로 재분류하였고, 주관식 항목을 제외한 객관식 항목의 입력시간만을 분석에 이용하였다. A기관은 9개 연구기관이 포함된 것으로 10개 범주 197개 항목을 조사하였고, B기관은 3개 연구기관이 포함되며, A기관이 사용한 설문지에서 일부 문항을 제외하여 5개 범주 136개 항목, C기관은 2개 연구기관이 포함되며, 6개 범주 164개 항목에 대해 조사하였다.
시간 측정은 각 범주별로 입력이 완료된 시점을 기준으로 하여 계산하였다. 예를 들어 1번 범주가 끝난 시점이 a시간, 2번 범주가 끝난 시점이 b시간이라고 가정하며, 2번 범주의 입력시간은 ‘b시간-a시간’이다.
연구기관은 기관별 특성 및 목적에 따라 동일한 설문지에서 문항수를 조정하여 3개 버전의 설문지를 사용하였다. 본 연구에서는 설문지 종류에 따라 14개 기관을 다시 3개 기관으로 재분류하였고, 주관식 항목을 제외한 객관식 항목의 입력시간만을 분석에 이용하였다.
대상 데이터
본 연구에 사용된 자료는 eCRF 시스템을 공식적으로 사용한 기간을 고려하여 14개 연구기관에서 2011년 10월부터 2012년 6월까지 대상자로 등록된 3,833건을 분석하였다.
본 연구에 활용된 eCRF는 한국한의학연구원에서 진행 중인 한의학 임상연구를 위해 개발한 웹기반 시스템으로 연구기간은 2011년 8월부터 2012년 8월까지이며 14개 기관이 참여하였다. 본 연구는 종이기반 증례기록지와 eCRF 동시에 사용하고 있으며, 대상자는 방문 시 종이 증례기록지에 정보를 기입한 후, 각 기관의 연구자가 종이기반의 자료를 전자 증례기록지에 입력하였다.
본 연구에서 사용된 eCRF는 2009년부터 2011년까지 본 연구를 위해 사용하던 초기 버전에서 쿼리 작업, 모니터링 등 임상연구를 위한 자료관리 기능을 추가하여 재개발되었으며, 충분한 검증과정을 거쳐 2011년 10월부터 사용하였다.
5일에서 최대 95일 정도 소요되었으나, 전체적으로 연구 기간이 지날수록 기간이 단축되는 경향을 보였다. 이 등의 연구에서는 첫 방문일과 데이터 입력일 사이의 시간 차이가 없는 것으로 나타났으나[11], 본 연구는 종이 증례기록지와 eCRF를 병행 사용하고, 14개의 다기관 연구이며, B와 C기관처럼 대규모의 대상자가 참여하며, 조사 항목이 136~197개로 상대적으로 많은 점 등이 eCRF 등록시간과 관련이 있을 것으로 생각된다. 실질적인 eCRF의 비용 및 시간절감은 연구기관의 수, 임상시험 참여자의 수 및 수집된 데이터의 수가 증가함에 따라 그 절감 규모도 증가한다고 하였고[14][ 15], 정 등의 연구에서 응답자의 42%가 데이터 검증이나 백업 자료 등의 이유로 종이 증례기록지와 eCRF의 병행 사용이 필요하다 하였다[16].
성능/효과
25-1건이 발생하는 것과 비교해보면[13], 본 연구에 사용된 eCRF 사용으로 유효성을 확인할 수 있었다. 기관별 수정이력의 차이를 보면, A기관이 B와 C기관에 비해 전반적으로 수정이력이 높았으며, 이는 전담인력의 유무와 관련지어 생각할 수 있다. B기관의 경우 연구 중반인 4월에 수정이력이 1.
대상자 조사 후 자료를 eCRF에 등록하는 걸리는 소요시간을 살펴보면[표 1][그림 1], 최소 6.5일에서 최대 95일 정도 소요되었으나, 전체적으로 연구 기간이 지날수록 기간이 단축되는 경향을 보였다. 이 등의 연구에서는 첫 방문일과 데이터 입력일 사이의 시간 차이가 없는 것으로 나타났으나[11], 본 연구는 종이 증례기록지와 eCRF를 병행 사용하고, 14개의 다기관 연구이며, B와 C기관처럼 대규모의 대상자가 참여하며, 조사 항목이 136~197개로 상대적으로 많은 점 등이 eCRF 등록시간과 관련이 있을 것으로 생각된다.
4건에서 0건으로 줄어들었음을 알 수 있었다. 또한 전반적으로 평균 수정 이력이 0.22건에서 0.72건으로 선행 연구에서 대상자 1인당 쿼리 수가 0.25-1건이 발생하는 것과 비교해보면[13], 본 연구에 사용된 eCRF 사용으로 유효성을 확인할 수 있었다. 기관별 수정이력의 차이를 보면, A기관이 B와 C기관에 비해 전반적으로 수정이력이 높았으며, 이는 전담인력의 유무와 관련지어 생각할 수 있다.
마지막으로, 본 eCRF 시스템은 double entry 방법으로 최종 더블체크에서 1차와 2차의 입력 결과를 비교하여 다른 경우 수정한 후 입력이 완료되도록 하였다. 따라서 하나의 대상자 설문자료를 입력하기 위해 세 번의 검증 작업을 수행하게 된다.
연구자가 eCRF를 사용 시, 사용자의 집중도 및 익숙함에 따른 오류정도를 살펴보면[표 3][표 4], 사용자가 eCRF를 사용함에 있어 익숙해질수록 즉, 연구 기간이 진행될수록 건당 입력 오류가 A기관에서는 1.76에서 0.22로, B기관은 0.62건에서 0.47건, C기관은 0.4건에서 0건으로 줄어들었음을 알 수 있었다. 또한 전반적으로 평균 수정 이력이 0.
eCRF에 접속하여 자료 입력 및 입력에 사용하는 시간을 월별로 살펴보았다. 전체 연구기간 동안 기관별 eCRF 평균 입력일과 인력 건수를 보면, A기관은 평균 123일, 3.9건/일을 입력하였고, B기관은 평균 82일, 15.6건/일, C기관은 128일 16.3건/일을 입력하였다.
총 입력시간은 A기관에서는 최저 25분에서 최대 38분정도 소요되었고, B기관은 7분, C기관은 10분 전후로 A기관>C기관>B기관 순으로 나타났으며, 월별 입력시간을 비교해보면 A기관은 차이를 보였으나, B와 C기관에서는 비슷한 수준이었다[그림 2].
후속연구
실질적인 eCRF의 비용 및 시간절감은 연구기관의 수, 임상시험 참여자의 수 및 수집된 데이터의 수가 증가함에 따라 그 절감 규모도 증가한다고 하였고[14][ 15], 정 등의 연구에서 응답자의 42%가 데이터 검증이나 백업 자료 등의 이유로 종이 증례기록지와 eCRF의 병행 사용이 필요하다 하였다[16]. 따라서 본 연구와 같이 다기관, 대규모 대상자를 장기간 동안 진행되는 연구인 경우 향후 eCRF 개발 및 사용 현황 등을 예측할 때 연구 진행시 수반되는 다양한 내, 외적 부분의 고려가 필요하다.
즉, eCRF의 효율성을 파악하기 위해서는 해당기관의 여건이나 담당자 경험 여부와 함께 담당자의 숙력도도 중요한 요소로 생각된다. 또한 연구자가 eCRF 입력에 적응기간이나 숙련도의 필요 요건에 대한 연구가 진행된 바가 없어 추후 연구가 필요하다 하겠다.
질의응답
핵심어
질문
논문에서 추출한 답변
eCRF란?
이를 위해, 최근 많은 제약회사들과 임상 연구기관에서는 전자 증례기록지(electronic Case Report Form, eCRF)를 도입하려고 노력하고 있다. eCRF는 임상연구에서 임상 자료를 수집하고 관리하기 위해 디자인된 컴퓨터 시스템이다. 하지만, 임상연구에서 eCRF의 중요성을 인식하고 있지만, eCRF 도입 초기에 많은 노력과 비용이 소요되기 때문에 널리 사용되고 있지는 못한다.
eCRF는 종이 증례기록지에 비해 어떤 효율성을 보여주는가?
전자 증례기록지(electronic Case Report Form, eCRF)는 정보시스템을 이용하여 전자적으로 자료를 수집하고 관리하는 시스템을 말한다[4]. eCRF는 종이 증례기록지에 비해 임상시험 기간의 30% 단축, 데이터 잠금(lock) 시간의 43% 감소, 쿼리 수의 86% 감소 등의 효율성을 보고하고 있다[5]. 또한 해외의 경우 eCRF 사용 비율이 매년 증가하고 있으며, 미국에서는 2000년 제약업체가 11%, CRO업체 16%정도였다가 점차 늘어나 2004년에는 각각 44%, 39%라고 보고하였고[6], 캐나다의 경우 2006년에서 2007년도에 수행된 임상 시험의 약 41%가 eCRF를 이용하며, 규모가 큰 연구일수록 시스템을 사용하는 경향이 높다고 보고하였다[7].
연구디자인, 분석 방법 및 사용자를 고려한 다양한 eCRF시스템이 개발되어 도입되고 있는 이유는?
이는 eCRF가 연구기관에서 전자적으로 직접 데이터를 입력하고 관리함으로써 데이터의 정확성을 높이고 임상개발 비용의 절감과 임상시험의 프로세스의 효율적 관리가 가능하기 때문이다[10][11].
참고문헌 (17)
국가임상시험사업단. http://www.konect.or.kr.
이현주, 김영옥, 조혜영, 정면우, 최인영, "임상시험 전자 자료 관리의 해외 규정 비교를 통한 전자자료 관리 기준 고찰," 한국보건정보통계학회지, 제35권, 제1호, pp.17-27, 2010.
N. Banik, "Evaluation of EDC versus Paper in a Multinational Asthma Trial," Presented at the DIA European Data Management Meeting, Berlin, 1998.
D. Borfitz, "Conspiring Forces Behind EDC Adoption," CenterWatch, 2003.
K. El Emam, E. Jonker, M. Sampson, K. Krleza-Jeric, and A. Neisa, "The Use of Electronic Data Capture Tools in Clinical Trials: Web-Survey of 259 Canadian Trials," J Med Internet Res, Vol.11, No.1, e8(doi: 10.2196/jmir.1120), 2009.
N. Anderson, E. S. Lee, J. S. Brockenbrough, M. E. Minie, S. Fuller, J. F. Brinkley, and P. Tarczy-Hornoch, "Issues in biomedical research data management and analysis: needs and barriers," Journal of the American Medical Informatics Association, Vol.14, No.4, pp.478-488, 2007.
J. D. Franklin, A. Guidry, and J. F. Brinkley, "A partnership approach for Electronic Data Capture in small-scale clinical trials," Journal of Biomedical Informatics, Vol.44, Supp.1, pp.103-108, 2011.
R. Edwards, S. Edwards, J. Bryner, K.Cunningham, A. Rogers, and M. Slattery, "A Computer-assisted Data Collection System for Use in a Multicenter Study of American Indians and Alaska Natives," Computer Methods Programs Biomed, Vol.90, No.1, pp.38-50, 2008.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.