[논문]의학학술지 평가지표의 변별력 측정연구

이춘실

의학학술지 평가지표의 변별력 측정연구
An Analysis of the Discriminating Power of Medical Journal Evaluation Criteria 원문보기

한국비블리아 = The journal of library and information science, v.14 no.1, 2003년, pp.199 - 218

초록
AI-Helper

본 연구에서는 대한의학학술지편집인협의회가 1997년부터 1999년 사이에 평가한 76종의 국내 의학학술지가 받은 총 33개 평가항목의 각 항목별 평가점수와 총평점의 분포, 그리고 이들의 상관관계를 분석하여 각 평가지표의 변별력을 측정하였다. 한국 의학학술지의 대표적인(변별력이 높은) 평가지표는 투고논문의 상호심사와 관련된 평가항목과, 학술지가 일정한 형식으로 일관성 있게 잘 만들어지고 있는지를 평가하는 항목으로 판명되었다. 논문상호심사제도(peer review system)가 학술지의 질관리에 있어서 매우 중요하다는 것은 주지의 사실이다. 학술지의 철저한 편집(quality of editorial work)과 출판품질 관리(production quality)가 학술지 평가의 좋은 척도가 될 수 있다는 것은 학술지 평가사업의 경제성과 효율성의 측면에서 매우 고무적인 일이다. 편집인 교체빈도나 연간 발행회수 등은 변별력이 거의 없는 평가지표로 나타났다. 평가대상 학술지가 우리나라 의학도서관에 비치되어 있는 정도나 권말색인 작성여부 등 변별력이 낮은 평가항목의 변별력을 높이기 위해서는 평가방법의 개선이 필요하며, 자체학술지 인용비율, SCI 인용빈도나 영향력지표 등의 평가항목은 평가배점 구간의 조정이 필요한 것으로 나타났다. SCI에서의 인용과 국제 데이터베이스 등재여부만이 아니라, 국내 학술지가 인용하는 빈도나 영향력지표, 국내에서 구축되고 있는 의학관련 데이터베이스 등재 여부, 레코드 입력율 등의 새로운 평가지표 개발이 필요하다.

Abstract ▼ AI-Helper

The discriminating power of journal evaluation criteria of Korean medical journals were measured. The study used the data of 76 medical journals, collected in the "Korean Medical Journal Evaluation" process conducted by the Korean Association of Medical Journal Editors (KAMJE) between 1997 and 1999. For each evaluation criterion, the distribution of the individual score vs the total score of a journal received was plotted and their correlations were analyzed. It is found that the evaluation criteria with a high discriminating power are the ones associated with the peer review system and the journal editing. The evaluation criteria with a low discriminating power are the journal frequency and how often a chief editor is changed. Some evaluation criteria such as "Journal holding rates of medical libraries" and "year-end index" need modifications in the evaluation methods. Other evaluation criteria such as "Journal self-citation rate","SCI citation rate" and "SCI impact factor" need to modify the score ranges. It is recommended that the new evaluation criteria such as "citation rate by Korean medical journals" and "Access availability of the journal information through major Korean medical abstract databases" should be added.formation through major Korean medical abstract databases" should be added.dded.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구에서는 각 평가지표의 변별력을 측정하기 위하여 의편협이 1997년부터 1999년 사이에 평가한 76종의 국내 의학학술지가 받은 총 33개 평가항목의 각 항목별 평가점수와 총 평점의 분포, 그리고 이들의 상관관계를 분석하였다. 표 1은 각 항목의 상관계수 (R) 와 확률을 표시한 것이다.
본 연구에서는 학술지 평가지표의 변별력을 높이는 방안으로 학술지 평가방법 자체의 개선방안과 평가배점 구간의 세분화를 통한 조정방안을 제시하였다. 본 연구에서 사용한 학술지 평가 데이터가 수집된, 즉 의편협의 학술지 평가가 수행되었던 1997년~1999년 시점에 비교하여, 학술지 이용을 위한 정보환경이 최근에 많이 달라졌다.

제안 방법

변별력이 높은 평가항목과 변별력이 낮은 평가항목을 고찰함으로써, 대표적인 학술지 평가지표를 선별하였다 . 평가항목별로 학술지의 평가점수대별 분포를 조사하여 평가배점 기준 및 평가 배점 구간의 문제점을 고찰하고, 배점구간을 조절하는 방법론을 구체적으로 제시함으로써 학술지 평가지표의 변별력을 높이는 방안을 모색하였다.
본 연구에서는 의편협이 1997년부터 1999년까지 7차에 걸쳐 시행한 국내 의학학술지 평가에서 평가된 한국 의학학술지 76종에 대한 의학 학술지 평가데이터를 기초로 하여, 33개 평가항목별 평가점수와 총평점 사이의 상관관계 분석을 통하여 각 평가지표의 변별력을 측정하였다. 변별력이 높은 평가항목과 변별력이 낮은 평가항목을 고찰함으로써, 대표적인 학술지 평가지표를 선별하였다 .
평가항목 3-5와 'SCI 영향력지표(평가항목 A6)”는 논문의 SCI 인용을 조사하기 위한 검색 비용 때문에 3년전 발행된 첫호에 수록된 논문만을 대상으로 인용을 측정하였다. 인용 측정에 사용된 표본의 크기가 매우 작아서(국내 의학 학술지 한호에 발표된 논문수는 대체로 20편 미만) , 이 평가방법으로는 조사대상 논문 중 1편만 SCI에 인용되어도 영향력지표가 0.
변별력이 높은 평가항목과 변별력이 낮은 평가항목을 고찰함으로써, 대표적인 학술지 평가지표를 선별하였다 . 평가항목별로 학술지의 평가점수대별 분포를 조사하여 평가배점 기준 및 평가 배점 구간의 문제점을 고찰하고, 배점구간을 조절하는 방법론을 구체적으로 제시함으로써 학술지 평가지표의 변별력을 높이는 방안을 모색하였다.

성능/효과

또한 여러 개의 문단으로 나눈 초록이 있거나 식초록(structured abstract)과 비형식초록 (unstructured abstract) 을 혼용하는 등 학술지의 편집체제가 일정치 않은지 , 오자가 얼마나 발견되는지를 평가하는 君문 또는 국문 초록의 체제와 오자 유무(평가항목 2-6, R=0.496)", 최근 2년간 투고된 논문 중 상호심의 결과 최종적으로 출판이 거부된 논문의 비율 즉 논문 배척율과 저자회수율(저자수정 의뢰후 6개월 이내에 수정본이 도착하지 않으면 저자회수로 간주)을 평가하는 '상호심의 rejection 또는 withdrawal rate(평가항목 1-7, R=0.493)”, 그리고 역시 상호심사와 관련이 있는 항목인 "논문게재 결정 방법(평가항목 1-4, R=0.482)”과, '편집업무지원 관련 사항(평가항목 1-3, R=0.479)" 등이 변별력이 높은 평가지표로 나타났다.
첫째, 의편협의 의학학술지 평가는 의학이라는 분야로 국한되어 있다. 그러므로 학문 전 분야를 다루는 학진의 국내학술지 평가에 비교하여 보면 동질의 집단이 발행하는 학술지를 평가하는 것이며, 따라서 학진의 평가 데이터가 학문간의 특성이 다른 것에서 생겨나는 편차가 크게 반영되었을 수 있음에 반하여, 의 편협의 평가 데이터는 비교적 안정적인 값을 갖고 있을 것으로 보인다. 둘째, 학술지 80여 종에 대한 데이터가 이미 누적되어 있어 표본 크기도 적당하다고 판단된다.
그러므로 학문 전 분야를 다루는 학진의 국내학술지 평가에 비교하여 보면 동질의 집단이 발행하는 학술지를 평가하는 것이며, 따라서 학진의 평가 데이터가 학문간의 특성이 다른 것에서 생겨나는 편차가 크게 반영되었을 수 있음에 반하여, 의 편협의 평가 데이터는 비교적 안정적인 값을 갖고 있을 것으로 보인다. 둘째, 학술지 80여 종에 대한 데이터가 이미 누적되어 있어 표본 크기도 적당하다고 판단된다. 셋째 본 연구의 목표 중의 하나가 변별력 있는 평가항목을 선별하는 것인데, 의편협의 평가항목은 학진(1998)의 23개 평가항목에 비하여 자세하며 훨씬 더 많은 33개 항목으로 이루어져 있어서 선택적인 실험 및 고찰이 가능하다.
제시하였다. 본 연구에서 사용한 학술지 평가 데이터가 수집된, 즉 의편협의 학술지 평가가 수행되었던 1997년~1999년 시점에 비교하여, 학술지 이용을 위한 정보환경이 최근에 많이 달라졌다. 따라서 웹사이트를 통하여 학술지검색 및 원문제공을 할 수 있는 환경을 학술지들이 유리하게 활용할 수 있는 방안을 추구할 수 있도록 학술지 평가기표를 개선하는 것이 중요하다.
둘째, 학술지 80여 종에 대한 데이터가 이미 누적되어 있어 표본 크기도 적당하다고 판단된다. 셋째 본 연구의 목표 중의 하나가 변별력 있는 평가항목을 선별하는 것인데, 의편협의 평가항목은 학진(1998)의 23개 평가항목에 비하여 자세하며 훨씬 더 많은 33개 항목으로 이루어져 있어서 선택적인 실험 및 고찰이 가능하다. 또한 학진의 평가항목 중에는 전문가 집단이 평가하여 주관적으로 점수를 부여하는 9개의 항목이 포함되어있는 반면, 의편 협의 평가항목은 모든 세부문항이 구체적으로 서술되어 있고 평가를 받는 학술지들이 단답형으로 또는 예/아니오의 형식으로 답변하는 것으로 평가를 실시하기 때문에, 각 문항의 점수를 합산하는 방식으로 손쉽게 항목별 평점을 계량화 할 수 있다는 장점이 있다.
즉 그 항목에서 받은 평점이 평가 총점과 높은 상관관계를 갖고 있어서 그 항목을 통하여 해당 학술지의 평가결과를 잘 예측할 수 있는 지표라고 할 수 있다. 실물평가항목에서는 13개 중 11개의 항목이, 그리고 협의회 조사항목에서는 6개중 4개의 항목이 0.01 수준에서 유의한 것으로 나타났다.
의편협이 평가한 학술지 76종의 평가 결과를 토대로 각 평가항목의 변별력을 분석하여 본 결과, 한국 의학학술지의 대표적인 평가지표는 투고논문의 상호심사와 관련된 평가항목과, 학술지가 일정한 형식으로 일관성 있게 잘 만들어지고 있는지를 평가하는 항목으로 판명되었다. 의 편협의 평가항목이 학진의 평가항목과 크게 다른 점은 평가자(분과위원과 주제전문가)의 주관에 전적으로 의존해야 하는, 특히 논문의 질을 평가하는 '학술지 내용평가' 부분이 없고, 모두 예/아니오 답변을 하는 평가항목으로 구성되어있다는 것이다.
같다. 첫째, 의편협의 의학학술지 평가는 의학이라는 분야로 국한되어 있다. 그러므로 학문 전 분야를 다루는 학진의 국내학술지 평가에 비교하여 보면 동질의 집단이 발행하는 학술지를 평가하는 것이며, 따라서 학진의 평가 데이터가 학문간의 특성이 다른 것에서 생겨나는 편차가 크게 반영되었을 수 있음에 반하여, 의 편협의 평가 데이터는 비교적 안정적인 값을 갖고 있을 것으로 보인다.
특히 실물평가항목은 표지 도안, 오자유무 및 빈도 인쇄상태, 참고문헌 인용방식, 사진 선명도 등 학술지의 출판형식(format) 또는 출판상태에 관련된 항목들인데, 이러한 항목에서 높은 점수를 받은 학술지의 평가총점이 높고, 낮은 점수를 받은 학술지의 평가총점이 낮은 등 변별력이 높은 평가지표로 나타났다.

후속연구

사실이다. 따라서 지난 몇 년간 수행되어진 국내 학술지 평가 결과를 토대로, 각 평가지표의 변별력을 측정하고 국내 학술지의 질을 객관적으로 그리고 내실 있게 평가할 수 있는 대표적인 평가지표를 개발할 필요가 있다.
본 연구에서 과거의 학술지 평가데이터를 기초로 제안한 바와 같이, 평가방법을 바꾸어 학술지 평가를 시행하고 국내 학술지의 현실에 맞게 평가배점을 조정하여 평가기준을 적용흐] 였을때, 각 항목의 평점이 그 학술지가 평가에서 받을 결과(총평점)를 예측할 수 있는 변별력이 높은 평가지표인지에 대하여 분석하는 후속 연구가 앞으로 필요하다.

참고문헌 (25)

대한의학학술지편집인협의회 (의편협) .1997. 국내 의학학술지 평가항목 및 세부평가항목 확정.「대한의학학술지편집인협의회소식」. 5: 7-14. (Also available online) (cited 2003.5.21) (http://kamje.kams.or.kr)
대한의학학술지편집인협의회(의편협)，1998. 의학 분야 색인 · 초록 데이터베이스의 학술지 선정 방침 . (Available online) (cited 2003.5.21).(http://karnje.karns.or.kr)
대한의학학술지편집인협의회(의편협).1999a. 제 7차 의학학술지 평가 결과.「대한의학학술지편집인협의회 소식」, 13. (Available online) (cited 2003.5.21) (http://karnje.karns.or.kr)
대한의학학술지편집인협의회(의편협)，1999b. 평가기준(1 999.7.5. 개정).「대한의학학술지편집인협의회 소식」, 12: 4-11 (Also available online0 (cited2003.5.21). (http://karnje.kams.or.kr)
대한의학학술지편집인협의회(의편협)，2001. 국내 의학학술지 평가기준 (200 1. 3. 26. 제3차 개정). (Available online] (cited 2003.5.21). (http://kamje.kams.or.kr)
대한의학학술지편집인협의회(의편협). 2003. 의학학술지 평가현황「대한의학학솔지편집인협의회소식」. 15: 1. (Also available online) (cited 2003.5.21)(http://kamje.kams.or.kr)
대한의학회 한국의학학술지 인용색인정보 개발사업단(KoMCI사업단).2002a.「한국의학학술지 인용정보: KoMCI 2001」. 서울: KoMCI 사업단
대한의학회 한국의학학술지 인용색인정보 개발사업단(KoMCI 사업단).2002b. 「한국의학학술지 인용정보: KoMCI 2002」.서울: KoMCI 사업단
조승열 .1997. 의학학술지 평가사업의 배경 및 취지.「국내의학학술지 시범평가 발표 및 한국메드라인 사업계획 설명회 개최」. 1997년 8월 27일 서울 교육문화회관
조승열.1999. 의학학술지 평가사업 「대한의사협회지」, 42(4): 330-333

상세보기
한국의학도서관협의회(의도협). 1997.「의학관계잡지종합목록」. 서울: 한국의학도서관협의회
한국학술진흥재단(학진).1997. 「국내학술지 평가기준에 관한 공청회 발표자료」. 서울:한국학술진흥재단
한국학술진흥재단(학진).1998. 국내학술지 평가. (online) (cited 2003.5.21). (http://www.krf.or.kr/nkrf/bus_nfo/haksul/etc2.html)
한국학술진홍재단(학진). 2000. 학술활동 지원. (online) (cited 2003.5.21). (http://www.krf.or.kr/htm1/rip/m_action4.html)
한국학술진흥재단(학진). 2003. 학술지 자체평가서 양식. (online) (cited 2003.5. 21) (http:νwww.krf.or.kr/nkrf/bus_info/haksul/ja2003.hwp)
Garfield. E. 1996. The Significant Scientific Literature Appears in a Small Core of Journals. The Scientist 10(17). Sept. 2
Garfield. E. 1990. How ISI Selects Journals for Coverage: Quantitative and Qualitative Con-siderations. Current Contents. May 28
Garfield, E. 2000.'Use Of Journal Citation Reports And Journal Performance Indicators In Measuring Short And Long Term Journal Impact.' Croat Med J. 41 (4): 368-74
Garfield E. 1999. “Journal Impact Factor: A Brief Review". CMAJ. 161(8): 979-80

상세보기
Garfield E. 1998. 'The Diverse Roles Of Citation Indexes In Scientific Research.' Rev Invest Clin. 50(6) :497-504

상세보기
Garfield E. 1998. “ Long-Term Vs. Short-Term Journal Impact: Does It Matter?" Physioligist. 41(3):113-5
Garfield E. 1996. How Can Impact Factors Be Improved? Br Med J. 313(7054) :411-3

상세보기
Institute for Scientific Information (ISI). 1997. The ISI Database: The Journal Selection Process. Updated in November 2002. (online) (cited 2003.5. 21). (http://www.isinet.com/isi/hot/essays/selectionofrnaterialforcoverage/199701. html)
National Library of Medicine(NLM). 1997. Fact sheet: Journal Selection for Index Medicus/MEDLINE. Updated in 17 September 2001. [online) [cited 2003.5.21). (http://www.nlm.nih.gov/pubs/factsheets/jsel.html)
Schoonbaert. D; Roelants, G. 1996. 'Citation Analysis For Measuring The Value Of Scientific Publications: Quality Assessment-Tool Or Comedy Of Errors.' Trop Med & Int Health , 1(6):P739-752

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증