목 적: 본 연구는 대한방사선종양학회지 게재 논문의 통계 오류 현황을 파악하고 이에 근거한 문제 제기를 통해 학회지의 학술적 발전에 기여하고자 하였다. 대상 및 방법: $2006{\sim}2007$년 사이에 대한방사선종양학회지에 게재된 총 77편의 논문을 연구 대상으로 하였다. 각각의 논문에 적용된 통계 방법론의 적정성 평가는 통계점검표를 활용하였다. 통계점검표에는 연구의 종류, 통계 기법의 사용 범위, 각 논문에 적용된 통계 기법의 종류, 통계적 기법 적용의 타당성 항목이 포함되었다. 통계 오류는 '생략의 잘못'과 '시행의 잘못' 항목으로 나누었다. 한 논문에서 서로 다른 항목이 여러 가지 관찰된 경우 각각 횟수로 측정하였다. 같은 항목이 2회 이상 측정된 경우 1회로 횟수를 측정하였다. 통계 전문가가 개별 논문을 대상으로 통계점검표를 작성하였다. 일차 평가자가 방사선종양학 전문가가 아닌 것에서 올 수 있는 평가 오류가 있을 수 있으므로 개별 통계점검표는 간행위원회에서 한 차례 더 세부 점검을 하였다 작성된 통계점검표의 통계 분석은 SAS (version 9.0, SAS Institute, NC, USA) 소프트웨어를 이용하였고 빈도분석을 시행하여 각 항목의 빈도와 백분율을 산출하였다. 결 과: 총 77편 중 원문을 다운로드 할 수 없었던 4편을 제외한 73편의 게재 논문을 대상으로 평가하였다. 증례보고는 5편, 원저 논문은 58편이었다. 대상 논문 중 46편의 논문에서 통계적 추론을 사용하였고, 16편의 논문에서 단순한 기술통계를 사용했으며, 11편의 논문에서는 통계적 기법을 사용하지 않았다. 추론통계를 사용한 46편의 논문에서 사용된 추론통계의 횟수는 각각 분할표분석 17회(37.0%), 비교통계분석 23회(50.0%), 회귀분석 7회(15.2%), 상잔분석 5회(10.9%), 생존분석이 27회(58.7%)였다. 통계 기법을 활용하여 연구 결과를 분석할 때 통계적용의 오류가 없는 논문은 19%였다. '생략의 잘못'은 34편(50.0%)의 논문에서 총 50회 관찰되었다. '시행의 잘못'은 35편(51.5%)의 논문에서 총 47회 관찰되었다. '생략의 잘못'과 '시행의 잘못'이 모두 발견된 논문은 21편(30.9%)이었다. 결 론: 대한방사선종양학회지에 게재된 논문에서 통계 분석 과정의 다양한 영역에 걸쳐 크고 작은 통계적 오류가 있음을 확인하였다. 향후 대한방사선종양학회지 투고 논문의 심사과정에서 통계 오류에 관한 적절한 심사를 추가하는 것이 필요하다고 판단된다.
목 적: 본 연구는 대한방사선종양학회지 게재 논문의 통계 오류 현황을 파악하고 이에 근거한 문제 제기를 통해 학회지의 학술적 발전에 기여하고자 하였다. 대상 및 방법: $2006{\sim}2007$년 사이에 대한방사선종양학회지에 게재된 총 77편의 논문을 연구 대상으로 하였다. 각각의 논문에 적용된 통계 방법론의 적정성 평가는 통계점검표를 활용하였다. 통계점검표에는 연구의 종류, 통계 기법의 사용 범위, 각 논문에 적용된 통계 기법의 종류, 통계적 기법 적용의 타당성 항목이 포함되었다. 통계 오류는 '생략의 잘못'과 '시행의 잘못' 항목으로 나누었다. 한 논문에서 서로 다른 항목이 여러 가지 관찰된 경우 각각 횟수로 측정하였다. 같은 항목이 2회 이상 측정된 경우 1회로 횟수를 측정하였다. 통계 전문가가 개별 논문을 대상으로 통계점검표를 작성하였다. 일차 평가자가 방사선종양학 전문가가 아닌 것에서 올 수 있는 평가 오류가 있을 수 있으므로 개별 통계점검표는 간행위원회에서 한 차례 더 세부 점검을 하였다 작성된 통계점검표의 통계 분석은 SAS (version 9.0, SAS Institute, NC, USA) 소프트웨어를 이용하였고 빈도분석을 시행하여 각 항목의 빈도와 백분율을 산출하였다. 결 과: 총 77편 중 원문을 다운로드 할 수 없었던 4편을 제외한 73편의 게재 논문을 대상으로 평가하였다. 증례보고는 5편, 원저 논문은 58편이었다. 대상 논문 중 46편의 논문에서 통계적 추론을 사용하였고, 16편의 논문에서 단순한 기술통계를 사용했으며, 11편의 논문에서는 통계적 기법을 사용하지 않았다. 추론통계를 사용한 46편의 논문에서 사용된 추론통계의 횟수는 각각 분할표분석 17회(37.0%), 비교통계분석 23회(50.0%), 회귀분석 7회(15.2%), 상잔분석 5회(10.9%), 생존분석이 27회(58.7%)였다. 통계 기법을 활용하여 연구 결과를 분석할 때 통계적용의 오류가 없는 논문은 19%였다. '생략의 잘못'은 34편(50.0%)의 논문에서 총 50회 관찰되었다. '시행의 잘못'은 35편(51.5%)의 논문에서 총 47회 관찰되었다. '생략의 잘못'과 '시행의 잘못'이 모두 발견된 논문은 21편(30.9%)이었다. 결 론: 대한방사선종양학회지에 게재된 논문에서 통계 분석 과정의 다양한 영역에 걸쳐 크고 작은 통계적 오류가 있음을 확인하였다. 향후 대한방사선종양학회지 투고 논문의 심사과정에서 통계 오류에 관한 적절한 심사를 추가하는 것이 필요하다고 판단된다.
Purpose: To improve the quality of the statistical analysis of papers published in the Journal of the Korean Society for Therapeutic Radiology and Oncology (JKOSTRO) by evaluating commonly encountered errors. Materials and Methods: Papers published in the JKOSTRO from January 2006 to December 2007 w...
Purpose: To improve the quality of the statistical analysis of papers published in the Journal of the Korean Society for Therapeutic Radiology and Oncology (JKOSTRO) by evaluating commonly encountered errors. Materials and Methods: Papers published in the JKOSTRO from January 2006 to December 2007 were reviewed for methodological and statistical validity using a modified version of Ahn's checklist. A statistician reviewed individual papers and evaluated the list items in the checklist for each paper. To avoid the potential assessment error by the statistician who lacks expertise in the field of radiation oncology; the editorial board of the JKOSTRO reviewed each checklist for individual articles. A frequency analysis of the list items was performed using SAS (version 9.0, SAS Institute, NC, USA) software. Results: A total of 73 papers including 5 case reports and 68 original articles were reviewed. Inferential statistics was used in 46 papers. The most commonly adopted statistical methodology was a survival analysis (58.7%). Only 19% of papers were free of statistical errors. Errors of omission were encountered in 34 (50.0%) papers. Errors of commission were encountered in 35 (51.5%) papers. Twenty-one papers (30.9%) had both errors of omission and commission. Conclusion: A variety of statistical errors were encountered in papers published in the JKOSTRO. The current study suggests that a more thorough review of the statistical analysis is needed for manuscripts submitted in the JKOSTRO.
Purpose: To improve the quality of the statistical analysis of papers published in the Journal of the Korean Society for Therapeutic Radiology and Oncology (JKOSTRO) by evaluating commonly encountered errors. Materials and Methods: Papers published in the JKOSTRO from January 2006 to December 2007 were reviewed for methodological and statistical validity using a modified version of Ahn's checklist. A statistician reviewed individual papers and evaluated the list items in the checklist for each paper. To avoid the potential assessment error by the statistician who lacks expertise in the field of radiation oncology; the editorial board of the JKOSTRO reviewed each checklist for individual articles. A frequency analysis of the list items was performed using SAS (version 9.0, SAS Institute, NC, USA) software. Results: A total of 73 papers including 5 case reports and 68 original articles were reviewed. Inferential statistics was used in 46 papers. The most commonly adopted statistical methodology was a survival analysis (58.7%). Only 19% of papers were free of statistical errors. Errors of omission were encountered in 34 (50.0%) papers. Errors of commission were encountered in 35 (51.5%) papers. Twenty-one papers (30.9%) had both errors of omission and commission. Conclusion: A variety of statistical errors were encountered in papers published in the JKOSTRO. The current study suggests that a more thorough review of the statistical analysis is needed for manuscripts submitted in the JKOSTRO.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
방사선종양학 분야가 암 치료의 다방면 요법에서 다른 전문 의학 분야와 상호 경 쟁 발전하는 학문임 을 고려할 때 대한방사선종양학회지에 게재된 학술논문의 질적 제고와 신뢰성 향상은 아무리 강조되어도 지나치지 않다. 따라서, 본 연구에서는 대한방사선종양학회지 게재 논문의 통계 오류 현황을 파악하고 이에 근거한 문제 제기를 통해 대한 방사선종양학회지의 학술적 발전에 기여하고자 하였다.
제안 방법
7%)였다. 그 외 Hierarchical Clustering, Mantel- Haenzel Chi-square test, Analysis of Covariance (ANCOVA), Receiver Operating Curve (ROC) Analysis, Duncan test, Scheffeees test가 각각 1회씩 사용되었다. 사용된 각각의 통계 기법 별 분포는 Table 2와 같다.
연구 논문의 종류는 대한방사선종양학회지에서 사용하고 있는 분류에 따라 종설, 증례보고, 원저 논문으로 구분 하였다. 평가 대상 논문이 통계 방법론을 사용하고 있는지 의 여부를 조사하고, 통계 방법론을 사용한 경우 기술통계 (descriptive statistics)와 추론통계 (inferential statistics) 로 나누 었다.
평가 대상 논문이 통계 방법론을 사용하고 있는지 의 여부를 조사하고, 통계 방법론을 사용한 경우 기술통계 (descriptive statistics)와 추론통계 (inferential statistics) 로 나누 었다. 이 중 추론통계를 사용한 논문을 대상으로 해당 통 계 방법론의 빈도를 측정하였다. 만약 한 논문에서 여러가지 통계 방법론이 사용된 경우 이를 각각 횟수로 측정하였다.
만약 한 논문에서 여러가지 통계 방법론이 사용된 경우 이를 각각 횟수로 측정하였다. 증례보고를 제외한 원저 논문을 대상으로 통계적 기 법 적용의 타당성(통계 오류)을 조사하였다. 통계 오류는 같은 논문에 서로 다른 오류가 두 가지 이상 있는 경우 이를 각각 횟수로 측정하였고 같은 오류가 2회 이상 반복된 경우 1회로 횟수를 측정하였다.
증례보고를 제외한 원저 논문을 대상으로 통계적 기 법 적용의 타당성(통계 오류)을 조사하였다. 통계 오류는 같은 논문에 서로 다른 오류가 두 가지 이상 있는 경우 이를 각각 횟수로 측정하였고 같은 오류가 2회 이상 반복된 경우 1회로 횟수를 측정하였다.
통계 전문가가 개별 논문을 대상으로 통계점검표를 작 성 하였다. 원문은 대한방사선종양학회 홈페 이 지 에서 다운 로드 하여 사용하였다.
통계적 기법 적용의 타당성 항목에 분류한 통계 오류는 '생략의 잘못'과 '시행의 잘못'으로 나누었다. '생략의 잘 못, 은 기초자료에 대하여 충분히 기술되지 않았거나 사용된 통계처리기법 및 이의 검정력과 신뢰구간에 대하여 충분히 기술되지 않은 경우를 포함하였다.
연구 논문의 종류는 대한방사선종양학회지에서 사용하고 있는 분류에 따라 종설, 증례보고, 원저 논문으로 구분 하였다. 평가 대상 논문이 통계 방법론을 사용하고 있는지 의 여부를 조사하고, 통계 방법론을 사용한 경우 기술통계 (descriptive statistics)와 추론통계 (inferential statistics) 로 나누 었다. 이 중 추론통계를 사용한 논문을 대상으로 해당 통 계 방법론의 빈도를 측정하였다.
대상 데이터
2006 ~ 2007년 사이에 대한방사선종양학회지에 게재된 총 77편의 논문을 연구 대상으로 하였다. 각각의 논문에 적용 된 통계 방법론의 적정성 평가는 통계점검표를 활용하였다.
2006년 1월부터 2007년 12월까지 대한방사선종양학회지 에 게재된 논문은 총 77편이었으며, 이 중 원문을 다운로 드 할 수 없었던 4편을 제외한 73편의 게재 논문을 대상으로 평가를 진행하였다. 통계 전문가에 의하여 분석된 73편 의 논문 중 종설은 없었고, 증례보고는 5편, 원저 논문은 68편이었다(Table 1).
통계 전문가가 개별 논문을 대상으로 통계점검표를 작 성 하였다. 원문은 대한방사선종양학회 홈페 이 지 에서 다운 로드 하여 사용하였다. 일차 평가자가 방사선종양학 전문 가가 아닌 것에서 올 수 있는 평가 오류가 있을 수 있으므로 개별 통계점검표는 대한방사선종양학회 간행위원회에서 한 차례 더 세부 점검을 하였다.
2006년 1월부터 2007년 12월까지 대한방사선종양학회지 에 게재된 논문은 총 77편이었으며, 이 중 원문을 다운로 드 할 수 없었던 4편을 제외한 73편의 게재 논문을 대상으로 평가를 진행하였다. 통계 전문가에 의하여 분석된 73편 의 논문 중 종설은 없었고, 증례보고는 5편, 원저 논문은 68편이었다(Table 1). 이 중 46편의 논문에서 통계적 추론 을 하였고, 16편의 논문에서 단순한 기술통계를 사용했으 며, 11편의 논문에서는 통계적 기법을 사용하지 않았다.
데이터처리
2006 ~ 2007년 사이에 대한방사선종양학회지에 게재된 총 77편의 논문을 연구 대상으로 하였다. 각각의 논문에 적용 된 통계 방법론의 적정성 평가는 통계점검표를 활용하였다. 통계점검표는 통계 전문가와 대한방사선종양학회 간행 위원회 회원의 종합 토의 및 문헌 고찰을 통하여 결정하였으며, 통계처리기법의 타당성을 평가하기 위한 기존 연구에서 안과 이가 제시한 통계점검표를 위주로 수정, 보완하 였다(Fig.
그러나 본 연구에서 19%의 게재 논문만이 통계 적용의 오류가 없었다는 사실을 19%의 논문만이 신뢰할만하다는 의미로 판단해서는 안 될 것이다. 본 연구에서는 통계 오 류를 통계점검표 항목별 빈도만으로 측정하였고 심각하고 중대한 통계 오류와 사소한 잘못을 구별하지 않았다. 한 치의 오류도 없이 연구가 이루어지기는 어려우므로 중요한 것은 어떠한 통계 오류가 연구의 타당성과 신뢰성에 치 명적인 것인지 결정될 필요가 있다.
작성된 통계점검표의 통계 분석은 SAS (version 9.0, SAS Institute, NC, USA) 소프트웨어를 이용하였고, 빈도분석을 시행하여 각 항목의 빈도와 백분율을 산출하였다.
성능/효과
결론적으로 본 연구에서는 대한방사선종양학회지에 게 재된 논문에서 다양한 영역에 걸쳐 크고 작은 통계적 오류 가 존재함을 확인하였다. 향후 대한방사선종양학회지 투고 논문의 심사 과정에서 통계 오류에 관한 적절한 심사를 추 가하는 것이 필요하다고 판단된다.
그러나 본 연구에서 19%의 게재 논문만이 통계 적용의 오류가 없었다는 사실을 19%의 논문만이 신뢰할만하다는 의미로 판단해서는 안 될 것이다. 본 연구에서는 통계 오 류를 통계점검표 항목별 빈도만으로 측정하였고 심각하고 중대한 통계 오류와 사소한 잘못을 구별하지 않았다.
대상 논문 중 통계 적용의 오류가 없는 논문은 19%였다 (Table 3). 기초자료에 대하여 불충분하게 기술하거나 적용 된 통계 기법의 종류 및 처리 결과의 검정력과 신뢰구간에 대하여 불충분하게 기술한 생략의 잘못은 34편(50.0%)의 논문에서 총 50회 관찰되었다. '시행의 잘못'은 35편(51.
대한방사선종양학회지에 2년간 게재된 논문에서 통계적 기법의 적용, 통계 방법론, 결과의 서술과 해석 등 다양한 영역에 걸쳐 크고 작은 통계적 오류가 있음을 확인하였다. 통계 적용의 오류가 없는 논문은 19%였다.
본 연구에서는 연구 결론의 신뢰성에 영향을 미칠 수 있는 통계 오류인, 시행의 잘못, 이 적지 않은 빈도로 일어남 을 확인하였다. '시행의 잘못' 항목 중 높은 빈도로 발생한 오류는 통계 분석 결과를 확장하여 비논리적 결론을 유도 한 경우(17.
후속연구
외국의 연구에 의하면 전문학회지에서 논문 투고 시 적절한 통계적 처리 를 강조하고 이를 요구한 경우 투고 논문에 사용된 통계 분석의 질이 발전하였다.(3) 이 결과를 볼 때 대한방사선 종양학회지의 투고 규정과 저자점검표에 통계적 기법의 활용에 관한 점검 항목 추가하고, 통계 오류에 관한 적절한 심사를 하는 것이 필요하다고 판단된다.
' 모든 유형의 통계 오 류를 심각하게 받아들임으로써 세세한 잘못들이 필요 이 상으로 확대 해석되고 중요한 연구 업적들이 평가절하될 수 있다. 따라서, 향후 대한방사선종양학회지의 투고 과정에서 통계 오류에 관한 심사를 강화하더라도 이 점을 간과 해서는 안 될 것이다. 점검표의 활용에 의해 통계 오류가 지적될 경우라도 지적된 오류가 전체 연구를 무효화할 정도로 부적절한 내용인지 반드시 고려해야 한다.
결론적으로 본 연구에서는 대한방사선종양학회지에 게 재된 논문에서 다양한 영역에 걸쳐 크고 작은 통계적 오류 가 존재함을 확인하였다. 향후 대한방사선종양학회지 투고 논문의 심사 과정에서 통계 오류에 관한 적절한 심사를 추 가하는 것이 필요하다고 판단된다. 또한, 대한방사선종양 학회지의 질 관리 측면에서 게재 논문의 통계 방법론의 적
참고문헌 (10)
Gore SM, Jones IG, Rytter EC. Misuse of statistical methods: critical assessment of articles in BMJ from January to March 1976. Br Med J 1977;1:85-87
Avram MJ, Shanks CA, Dykes MH, Ronai AK, Stiers WM. Statistical methods in anesthesia articles: an evaluation of two American journals during two six-month periods. Anesth Analg 1985;64:607-611
Ko H, Kwak IY, Choe IH, Ham BM, Kim KW. Statistical Methods in the Articles of the Journal of the Korean Society of Anesthesiologists from 1981 to 1990. Korean J Anesthesiol 1993;26:22-27
Park IK, Kang JO, Kim TY, Keum DG. An Evaluation of the Statistical Techniques used in the 1995-1996 editions of the Korean Journal of Clinical Pathology. Korean J Clin Pathol 1999;19:460-464
Shin Mh, Son YI, Cho YS, Kim HY, Ha BS, Kim SI. The Use of Statistical Analysis-In the Korean Journal of Otolaryngology-Head and Neck Surgery. Korean J Otolaryngol-Head Neck Surg 1999;42:1364-1369
Hwang K, Lee HJ, Kim YJ, Lee SI. Statistical Errors in Papers in the Journal of Korean Society of Plastic and Reconstructive Surgeons (JKPRS). J Korean Soc Plast Reconstr Surg 2001;28:302-309
Yu TY, Jin Y, Jeong TO, Lee JB. Statistical Methods in the Articles in the Journal of the Korean Society of Emergency Medicine Published from 1998 to 2002. J Korean Soc Emerg Med 2003;14:475-480
Ahn YO, Lee HK. Development Of A Checklist For Assessing The Methodological And Statistical Validity Of Medical Articles. Korean J Med Educ 1991;3:19-35
Schor S, Karten I. Statistical evaluation of medical journal manuscripts. JAMA 1966;195:1123-1128
※ AI-Helper는 부적절한 답변을 할 수 있습니다.