선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이에 저자는 대한한방부인과학회지에 게재된 학술논문의 질적 제고와 신뢰의 향상은 매우 중요하기 때문에 본 연구에서는 대한한방부인과학회지 게재 논문의 통계 오류 현황을 파악하고 이에 근거한 개선 방안을 마련하고자 본 연구를 시행하게 되었다.
제안 방법
- 각각의 논문에 적용된 통계기법의 적정성 평가는 통계점검표를 활용하였는데 1997년 국제의학학술지 편집위원회에서 제시한 통계적 서술원칙 15개항에 비해 비교적 간략한 안 등14)이 제시한 것을 바탕으로 한 박 등3)의 통계점검표를 위주로 수정, 보완하여 사용하였다(Table 1).
- 대한한방부인과학회지에서 사용하고 있는 분류에 따라 원저, 종설, 임상 및 증례보고 및 단신보고 등으로 구분하였다.
- 통계 오류는 같은 논문에 서로 다른 오류가 두 가지 이상 있는 경우 이를 각각 횟수로 측정하였고, 같은 오류가 2회 이상 반복된 경우 1회로 횟수를 계산하였다.
- 통계 전문가가 개별 논문을 대상으로 통계점검표를 작성하였는데, 각 논문은 대한한방부인과학회 홈페이지에서 다운로드하여 사용하였고, 일차 평가자가 한방부인과 전문가가 아니어서 발생할 수 있는 평가 오류를 고려하여 개별 통계점검표는 한방부인과 교수 2인이 각각 한차례 추가적 세부 점검을 하였다.
- 통계기법 적용의 타당성 항목에 분류한 통계 오류는 ‘생략 오류’와 ‘시행 오류’로 크게 구분하였는데 ‘생략 오류’는 기초자료의 불충분한 기술, 사용된 통계 기법의 불충분한 기술, 검정력 및 신뢰 구간의 불충분한 기술 및 사용된 통계기법에 대한 타당성의 불충분한 검증 등으로 구분한 반면에 ‘시행 오류’는 대표치 및 산포도의 부적절한 기술, 잘못된 분석방법의 사용, 중복 시행한 가설검정 등 부당하게 유도된 결론 등으로 구분하였다.
- 평가 대상 논문이 통계적인 방법을 사용하고 있는지의 여부를 조사하고, 통계 기법을 사용한 논문을 대상으로 해당 통계 방법의 빈도를 측정하였는데, 만약 한 논문에서 여러 가지 통계기법이 사용된 경우 이를 각각의 횟수로 계산하였다.
대상 데이터
- 1. 2009년부터 2011년까지 대한한방부인 과학회지에 게재된 총 190편의 논문 중 121편의 논문에서 통계기법을 사용하였다.
- 2009년부터 2011년까지 대한한방부인 과학회지에 게재된 총 190편의 평가 대상 논문은 원저 64편, 종설 40편, 증례보고 58편 및 단신 28편 등으로 구성되었는데, 이 중 121편의 논문에서 통계기법을 사용한 반면에 나머지 69편은 통계기법을 전혀 사용하지 않은 66편과 통계기법의 선택 없이 자동 프로그램에 의해 처리된 3편이었다(Table 2).
- 대상 논문 중 통계 적용의 오류가 없는 논문은 18편(14.9%)인 반면에 중복 산정한 생략 오류와 시행 오류는 각각 58회, 149회로 측정되었다. 통계기법의 오류를 세부적인 항목으로 살펴보면 ‘자료의 성격과 맞지 않는 통계기법 사용’이 51편(42.
- 본 연구는 통계기법 적용의 중요성을 고취시키기 위하여 2009년부터 2011년까지 3년간 발간된 총 190편의 논문을 분석하였는데, 원저 64편, 종설 40편, 증례보고 58편 및 단신 28편 등으로 구분되었고, 이 중 121편(63.7%)의 논문에서 통계기법을 사용한 반면에 나머지 69편은 통계기법을 전혀 사용하지 않은 66편과 통계기법의 선택 없이 자동 프로그램에 의해 처리된 3편이었으며, 이는 대한 방사선종양학회지 63% 및 대한응급의학회지 69.1%와 비슷한 분포를 보였다3,10,12).
- 본 연구를 위해 2009-2011년 사이에 출판된 대한한방부인과학회지에 수록된 논문들을 연구대상으로 하였는데, 매년 각 1권 4호씩 발간되어 3년간 총 3권 12호이고, 등재된 논문의 수는 총 190편이었다.
성능/효과
- 2. 논문에서 사용된 통계기법은 t-test(58.7%), ANOVA test(19.8%), χ2- test(14.0%) 및 Paired t-test(10.0%) 등의 순으로 나타났다.
- 3. 통계적 오류가 없는 논문은 18편(14.9%)인 반면에 중복 산정한 생략 오류와 시행 오류는 각각 58회, 149회 였고, 세부적인 오류는 ‘자료의 성격과 맞지 않는 통계기법 사용’(42.1%), ‘보정 없이 t-test의 반복 사용’(29.8%), ‘사용된 통계기법의 불충분한 기술’(26.4%) 및 ‘비모수적 자료를 모수적으로 분석’(15.7%) 등의 순으로 관찰되었다.
- 개별 항목에서 살펴보면 ‘자료의 성격과 맞지 않는 통계기법 사용’ 51편(42.1%)과 ‘보정 없이 t-test의 반복 사용’ 36편(29.8%)이 가장 많이 나타났는데, 대부분 세 집단 이상에서 ANOVA test를 시행해야함에도 불구하고 두 집단씩 묶어서 t-test를 반복 적용한 것으로 이런 경우 쌍별 t-test에서 설정한 유의수준은 전체 집단 간 비교 시 설정한 유의수준보다 크게 되어 유의성 검정이 정확하지 않게 되므로 주의해야 한다.
- 또한, 통계적 검증을 거치지 않고 기술적 통계치 만으로 연구에 대한 결론을 유도하거나 논문 주제에 비해 너무 단순한 통계기법만을 사용함으로써 나은 결론을 유도할 수 못하는 경우도 관찰되었다.
- 통계기법의 오류를 세부적인 항목으로 살펴보면 ‘자료의 성격과 맞지 않는 통계기법 사용’이 51편(42.1%), ‘보정 없이 t-test의 반복 사용’이 36편(29.8%), ‘사용된 통계기법의 불충분한 기술’이 32편(26.4%) 및 ‘비모수적 자료를 모수적으로 분석’이 19편(15.7%) 등이 비교적 자주 발생하는 오류로 관찰되었다(Table 4).
후속연구
- 또한 본 연구에서는 간략한 통계점검 표만으로 분석하였기 때문에 오류의 경중을 구분하지 못하였는데, 향후 학회지 투고 과정에서 통계 심사를 강화하고, 무엇보다 회원들을 대상으로 꾸준한 교육을 병행함으로써 향후 대한한방부인과학회지의 질적 강화를 위해 더 많은 노력을 도모해야 할 것으로 생각된다.
- 이상의 연구 결과 대한한방부인과학회지의 질 관리 측면에서 투고 저자들의 노력, 통계 오류에 관한 적절한 심사 및 주기적인 모니터링이 필요하리라 사료된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.