[논문]AMSTAR에 기반한 국내 언어치료 분야 메타분석 논문의 방법론적 질평가

한민주; 변해원

doi:10.15207/jkcs.2020.11.2.161

AMSTAR에 기반한 국내 언어치료 분야 메타분석 논문의 방법론적 질평가
The evaluation of methodological quality of meta-analysis studies in speech language pathology using AMSTAR 원문보기

한국융합학회논문지 = Journal of the Korea Convergence Society, v.11 no.2, 2020년, pp.161 - 165

한민주 (호남대학교 대학원 재활과학과 언어치료전공) , 변해원 (호남대학교 보건과학대학 언어치료학과)

초록
AI-Helper

재활과학분야에서 메타분석을 이용한 연구가 증가하는 추세이지만 모든 메타분석 논문의 질적 수준이 동일한 것은 아니다. 특히, 메타분석이 가장 상위의 근거수준을 가진 연구방법임에도 불구하고, 개별 연구들 간의 이질성을 고려하지 않고 단순히 대푯값만을 통합할 경우 결과를 왜곡시킬 뿐만 아니라 잘못된 대안을 도출할 가능성이 높다. 본 연구는 2010년 1월부터 2019년 6월까지 우리나라에서 출판된 언어중재를 주제로 한 메타분석 논문을 대상으로 현황을 파악하고, A Measurement Tool to Assess the Methodological Quality of Systematic Review(AMSTAR)를 이용하여 방법론적 질을 평가하였다. 검색된 논문 98편 중 최종 5편 논문의 방법론적 질을 평가한 결과 총점 11점 중에서 평균 7.4점이 산출되어 보통 이상의 수준으로 확인되었다. 향후 언어병리학 메타연구의 질적 수준을 높이기 위해서는 출판편향에 대한 검증과 이해상충에 대한 명시를 포함해야 할 것으로 사료된다.

Abstract ▼ AI-Helper

Although research using meta-analysis is increasing in the field of rehabilitation science, not all meta-analytical papers are of the same quality. In particular, although meta-analysis is a research method with the highest level of evidence, it may be possible to derive distorted conclusions or alternatives by simply integrating representative values without considering heterogeneity among individual studies. This study analyzed the current status of meta-analysis papers on the subject of language arbitration published in Korea from January 2010 to June 2019, and used A Measurement Tool to Assess the Methodological Quality of Systematic Review (AMSTAR). As a result of evaluating the methodological quality of the final five papers, the average of 7.4 points out of 11 points was found above average. In order to raise the qualitative level of Meta-analysis in speech-language pathology in the future, it is necessary to include verification of publication bias and specification of conflicts of interest.

주제어

표/그림 (3)

그림 Fig. 1. Flowchart
표 Table 1. Results of Literature Search
표 Table 2. AMSTAR quality evaluation result

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 AMSTAR(A Measurement Tool toAssess the Methodological Quality of SystematicReview)를 사용하여 우리나라에서 출판된 언어중재를주제로 한 메타분석 연구들에 대해서 질평가를 실시하고,향후 언어치료 메타분석의 수행을 위한 기초자료를 제시하였다.

제안 방법

5개의 국내 학술 데이터베이스에서‘언어’, ‘언어치료’,‘메타분석’을 키워드로 검색하였으며, ‘언어 AND 메타분석’검색결과가 광범위할 경우 ‘언어치료 AND 메타분석’으로 검색을 실시하였다.
분석 대상 논문에서 각항목이 적절하게 수행되었을 경우 ‘네’로, 그렇지 않을 경우에는 ‘아니오’를 선택하였으며, 적합성 여부에 대한 응답이 불가능 한 경우에는 ‘응답할 수 없음’, 해당되지 않는 경우에는 ‘해당 사항 없음’으로 평가하였다[8].
1차적으로 문헌의 제목을 보고 선정하였으며, 2차적으로 초록과 본문을 확인하여 분석대상을 선정하였다. 선정기준은 첫째, 언어치료(언어중재)를 실시한 연구이며,둘째, 메타분석을 실시한 학술연구이고, 셋째, 국내에서출판된 학술연구(article)로서, 넷째, 원문(full-text)을다운받아서 내용을 분석할 수 있는 연구로 선정하였다.국문/영문 초록과 내용을 확인하여 중복된 연구, 리뷰 연구, 연관성을 파악한 메타연구는 질평가에서 제외하였다.

대상 데이터

1차적으로 문헌의 제목을 보고 선정하였으며, 2차적으로 초록과 본문을 확인하여 분석대상을 선정하였다. 선정기준은 첫째, 언어치료(언어중재)를 실시한 연구이며,둘째, 메타분석을 실시한 학술연구이고, 셋째, 국내에서출판된 학술연구(article)로서, 넷째, 원문(full-text)을다운받아서 내용을 분석할 수 있는 연구로 선정하였다.
국문/영문 초록과 내용을 확인하여 중복된 연구, 리뷰 연구, 연관성을 파악한 메타연구는 질평가에서 제외하였다.5개의 국내 학술 데이터베이스에서 검색된 논문은 총 98편이었으며, 2명의 연구자가 선정기준과 제외기준을 고려하여 최종적으로 5편의 논문을 분석하였다.
국내 언어치료 관련 메타분석의 질평가에 활용된 논문의 특성은 Table 1과 같다. 5편 모두 KCI 등재지(한국연구재단 등재지)에 2010년부터 2018년에 출판된 중재연구로 확인되었다. 5편의 연구 중에서 경제적 지원(제정지원)을 표기한 논문은 1편(20%)이었다.
선정기준에 따라 검색된 논문은 총 98편으로 KISS에서 47편, Earticle에서 14편, DBpia에서 15편, 교보문고 scholar에서 19편, Korea scholar에서 3편의 논문이 검색되었다. 1차적으로 원문이용불가, 메타연구가 아닌 논문, 관련 없는 연구 64편을 제외하였다.
2차적으로는 중재연구가 아닌 논문, 질적 연구, 체계적 고찰연구,문헌분석, 중복 29편을 제외하였다. 총 98편의 논문 중93편을 제외하고 5편의 논문을 대상으로 질평가를 실시하였다. 문헌검색에 따른 Flowchart를 Fig.

이론/모형

질평가는 AMSTAR[7]를 사용하여 분석하였다. AMSTAR는 총 11문항으로 구성되어 있으며, ‘네(Yes), 아니오(No), 응답할 수 없음(Can't answer), 해당 사항 없음(Not applicable)’로 측정한다.

성능/효과

2명의 연구자가 독립적으로 2010년 1월부터 2019년6월까지 발표된 연구를 기준으로 교보문고 scholar,DBpia, KOREA SCHOLAR, earticle, 한국학술정보원(Korean Studies Information Service System,KISS)의 5개의 국내 학술 데이터베이스를 통하여 검색을실시한 결과 총 98편의 문헌이 검색되었다.
5편의 메타연구에 관한 질평가 수준을 하위 문항별로살펴보면, “사전에 체계적 문헌고찰 계획 수립여부, 다양한 데이터베이스를 활용한 문헌검색”측면에서는 5편 모두 기준을 충족하여 질적 수준이 우수함을 확인할 수 있었다.
본 연구에서 2010년부터 2019년까지 출판된 국내 언어치료 메타분석 5편을 분석한 결과, AMSTAR 질평가에서 보통수준의 논문 4편, 높은 수준의 논문은 1편으로 5편의 메타분석연구 모두 대체로 보통이상의 질적 수준인것으로 확인되었다. 질적 수준의 하위 분석에서 ‘사전에체계적 문헌고찰 계획수립여부’, ‘다양한 데이터베이스를 활용한 문헌검색’항목은 모든 기준을 충족한 반면, ‘이해상충’ 항목을 충족한 연구는 Jeong(2014)[12]의 1편에불과했다.

후속연구

둘째, 본 연구에서 최대한 많은 선행연구를 분석하고자 ‘KISS’, 'DBpia', ‘Korea scholar’, ’Earticle’, ‘교보문고 scholar’ 5개의 국내 학술 데이터베이스를 이용하여검색을 실시하였지만, 본 연구에서 누락된 선행연구가 존재할 가능성을 배제할 수 없다.
이러한출판 비뚤림은 메타분석의 통합추정치를 왜곡시켜서 연구결과에 대한 신뢰도에 영향을 미칠 가능성이 있다[19].따라서 향후 과학적 근거를 입증하고 연구 결과에 대한신뢰도 향상을 위해서는 메타분석을 수행할 때 반드시 Trim-and-Fill 방법이나 Fail-Safe N방법 등의 출판 비뚤림 검사를 수행하여 연구결과의 신뢰성을 제고할 필요가 있다[20].
본 연구의 제한점은 첫째, 질평가 분석에 포함된 메타연구의 수가 5편으로 적었다. 이는 사회과학, 의학, 보건학 등의 다른 분야에 비해 언어병리학 분야에서는 상대적으로 메타분석이 활발하게 진행되지 않았기 때문으로사료된다.
특히, 이해상충은 연구자의 이익과 의무가 충돌하는 것으로 연구의 편향성이 발생할 가능성이 높다. 이와 같은 메타분석의 편향은 과학적 발견들을 왜곡시킬 가능성이 높기 때문에 향후 메타연구의 수행에서는 반드시 편향에대한 검증이 요구된다.
또한, ‘생명윤리법’에서도 연구 관련 이해관계에 대하여 밝혀야하는 규정이 마련되지 않았다[16]. 향후 국내 메타분석의 질적 수준을 향상시키기 위해서는기관 또는 학술단체에서 이해상충에 대한 기준 마련을 마련해야 될 것으로 요구된다.
만약 메타 분석에서 개별 연구들 간의 분포나 이질성을 고려하지 않고 대푯값만을 통합할 경우 왜곡된 결과를 산출할 가능성이 높다[5,17]. 향후 메타분석을 수행할 때에는 통계적 결과만을 제시할 것이 아니라 선행연구에 대해 질적 수준을 고려한 질평가를 수행이 반드시 필요하다.
이는 사회과학, 의학, 보건학 등의 다른 분야에 비해 언어병리학 분야에서는 상대적으로 메타분석이 활발하게 진행되지 않았기 때문으로사료된다. 향후 언어중재 연구의 근거를 확립하고, 근거에 입각한 중재를 수행하기 위해서는 언어병리학 분야에서도 더 많은 메타연구가 수행 될 필요가 있다.둘째, 본 연구에서 최대한 많은 선행연구를 분석하고자 ‘KISS’, 'DBpia', ‘Korea scholar’, ’Earticle’, ‘교보문고 scholar’ 5개의 국내 학술 데이터베이스를 이용하여검색을 실시하였지만, 본 연구에서 누락된 선행연구가 존재할 가능성을 배제할 수 없다.

질의응답

핵심어	질문	논문에서 추출한 답변
	메타분석이 가장 상위의 근거수준을 가진 연구방법임에도 불구하고 잘못된 대안을 도출할 가능성이 있는 이유는 무엇인가?	재활과학분야에서 메타분석을 이용한 연구가 증가하는 추세이지만 모든 메타분석 논문의 질적 수준이 동일한 것은 아니다. 특히, 메타분석이 가장 상위의 근거수준을 가진 연구방법임에도 불구하고, 개별 연구들 간의 이질성을 고려하지 않고 단순히 대푯값만을 통합할 경우 결과를 왜곡시킬 뿐만 아니라 잘못된 대안을 도출할 가능성이 높다. 본 연구는 2010년 1월부터 2019년 6월까지 우리나라에서 출판된 언어중재를 주제로 한 메타분석 논문을 대상으로 현황을 파악하고, A Measurement Tool to Assess the Methodological Quality of Systematic Review(AMSTAR)를 이용하여 방법론적 질을 평가하였다.
	근거기반실제란 무엇인가?	근거기반실제(Evidence-Based Practice, EBP)는 임상현장에서 대상자의 중재에 대한 의사결정을 수행할 때 연구 등 근거 수준에 입각해야 함을 의미한다[1]. 따라서언어재활 임상현장에서 EBP를 확립하는 것은 언어치료연구에서 매우 중요한 이슈이다.
	메타연구 질 관리가 중요한 이유는 무엇인가?	그러나 모든 메타분석 논문의질적 수준이 동일한 것은 아니다. Moher 등(2015)[5]은메타 연구에서 개별 연구들 간의 이질성을 고려하지 않고 대푯값만을 단순히 통합할 경우 결과를 왜곡시킬 뿐만 아니라 잘못된 대안을 도출할 수 있음을 지적한 바 있다. 즉, 메타연구 질 관리에 대한 중요성이 부각되면서,질적 수준에 대한 고려의 필요성이 제기된다[6].

참고문헌 (20)

Y. I. Choi & E. Y. Park. (2014). A Methodological Quality Assessment of Meta-Analyses of Rehabilitation Therapy Areas in Korea. Asia-pacific Journal of Multimedia Services Convergent with Art, Humanities, and Sociology, 4(2), 71-78. DOI : 10.14257/AJMAHS.2014.12.06.

상세보기
E. J. Ahn & H. Kang. (2018). Introduction to systematic review and meta-analysis. Korean Journal of Anesthesiology, 71(2), 103-112.

상세보기
S. H. Hwang, H. C. Jeong & J. W. Hwang. (2019). Effect of Laughter Therapy on Healthy Life: A Meta-analysis. Journal of the Korea Convergence Society, 10(9), 291-299. DOI : 10.15207/JKCS.2019.10.9.291
S. H Kim & Y. S. Yang. (2015). A Meta analysis of variables related to Burnout of nurse in korea. Journal of Digital Convergence, 13(8), 387-400. DOI : 10.14400/JDC.2015.13.8.387

원문보기 상세보기
D. Moher et al. (2015). Preferred reporting items for systematic review and meta-analysis protocols (PRISMA-P) 2015 statement. Systematic Reviews, 4(1), 1-9. DOI: 10.1136/bmj.327.7414.557

상세보기
H. D. Kim & J. Y. Kim. (2019). Meta-Analysis on the Factors Influencing Job of Life-long Educators. Journal of the Korea Convergence Society, 10(10), 161-171. DOI : 10.15207/JKCS.2019.10.10.161
B. J. Shea et al. (2007). Development of AMSTAR: Tugwe a measurement tool to assess the methodological quality of systematic. BMC Medical Research Methodology, 7(10), 1-7. DOI: 10.1186/1471-2288-7-10

상세보기
S. Y. Kim et al. (2011). NECA's guidance for undertaking systematic reviews and meta-analyses for intervention. Seoul : National Evidence-based healthcare Collaborating Agency.
J. H. Lee, J. U. Lee, I. H. Kim & B. G. Bak. (2013). A Meta-Analysis of The Effect of Picture Book on Early Childhood Development. The Journal of child Education, 22(2), 225-245.
J. H. An & H. I. Cho. (2018). The Meta-Analysis of Therapy Intervention Programs on Linguistic Ability for Intellectual Disabilities. The Journal of child Education, 27(2), 99-125. DOI : 10.17643/KJCE.2018.27.2.06
S. Y. Jeong & S. S. Kim. (2012). Meta-Analysis on the Effects of Communication Programs with Disabilities. Korean Council of Physical, Multiple & Health Disabilities, 55(3), 141-161. DOI : 10.20971/kcpmd.2012.55.3.141
P. Y. Jeong, J. E. Sung & H. S. Sim. (2014). Meta-Analysis of Cognition-Focused Intervention for People with Mild Cognitive Impairment and Dementia. Communication Sciences and Disorders, 19(2), 199-212. DOI : 14122
M. S. Lee. (2015). Meta-Analysis of Cognitive-linguistic Intervention for Patients with Traumatic Brain Injury. Journal of Special Education & Rehabilitation Science, 54(3), 59-83. DOI : 10.15870/jsers.2015.09.54.3.59
C. G. Ham et al. (2008). good publication pracjournals for medical journals. Korean Association of medical journal Editor [Online]. http://kmbase.medric.or.kr/Uploads/Board/guidelines1.pdf
H. S. Ji & B. I. Choe. (2015). A Study on Institutional Conflict of Interest Policy for Clinical Research : A National Survey of Korean Academic Medical Centers. Catholic Institute of Bioethics [Online]. http://scholar.dkyobobook.co.kr/searchDownload.laf?barcode4010024475326&artId10184792&gbpdf&rePdfpdf
E. A. Kim. (2018). A Study on the Legal Policy Problems and Countermeasures about Conflicts of Interest. The Korean society of law and medicine, 19(1), 165-206. DOI : 10.29291/kslm.2018.19.1.165

원문보기 상세보기
J. P. Higgins, S. G. Thompson, J. J. Deeks & D. G. Altman. (2003). Measuring inconsistency in meta-analyses. BMJ. 327(7414), 557-560. DOI: 10.1136/bmj.327.7414.557

상세보기
H. S. Ahn & H. J. Kim. (2014). An introduction to systematic review. Journal of the Korean Medical Association, 57(1), 49-59. DOI : 10.5124/jkma.2014.57.1.49

상세보기
S. G. Han, C. M. Shin, B. H. Jang, M. J. Kim, J. E. Park & H. J. Son. (2012). Influence of Publication Bias in Meta-analysis and Systematic Review. seoul : National Evidence-based healthcare Collaborating Agency.
J. Higgins, S. Thompson, J. Deeks & D. Altman. (2002). Statistical heterogeneity in systematic reviews of clinical trials: a critical appraisal of guidelines and practice. Journal of health services research & policy, 7(1), 51-61. DOI : 10.1258/1355819021927674

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증