최근까지 학술지의 영향력을 측정하기 위하여 Thomson Reuters(ISI)의 영향력지수(JIF: Journal Impact Factor)가 널리 사용되어왔다. 그러나, 이러한 JIF는 학술지 단위가 아니라 수록 논문의 평균 영향력을 측정하는 지표라는 근본적인 한계를 가지고 있으며, 이외에도 다양한 측면에서 많은 문제점들이 지적되었다. 특히 국내 인용색인은 국제적인 인용색인 데이터베이스에 비해서 인용 데이터의 규모가 상당히 제한적이므로, 이를 고려하여 국내 학술지 인용 환경에 적합한 지수의 적용이 필요하다. 따라서 이 연구는 최근 급속히 확산되고 있는 Hirsch 유형 지수(h-type indices)를 적용하여 국내 학술지의 영향력을 보다 더 상세하게 측정할 수 있는 실제적인 방안을 모색하였다. 결과적으로, h-지수의 변형지수($h_s$-지수, $f_s$-지수)를 사용하거나 호 단위 합산(호 기반 h-지수, 호 기반 f-지수) 방법을 통하여, 기존 Hirsch 유형 지수들의 변별력을 향상시킬 수 있음은 물론 국내 학술지의 영향력을 더욱 정밀하게 측정할 수 있는 것으로 나타났다.
최근까지 학술지의 영향력을 측정하기 위하여 Thomson Reuters(ISI)의 영향력지수(JIF: Journal Impact Factor)가 널리 사용되어왔다. 그러나, 이러한 JIF는 학술지 단위가 아니라 수록 논문의 평균 영향력을 측정하는 지표라는 근본적인 한계를 가지고 있으며, 이외에도 다양한 측면에서 많은 문제점들이 지적되었다. 특히 국내 인용색인은 국제적인 인용색인 데이터베이스에 비해서 인용 데이터의 규모가 상당히 제한적이므로, 이를 고려하여 국내 학술지 인용 환경에 적합한 지수의 적용이 필요하다. 따라서 이 연구는 최근 급속히 확산되고 있는 Hirsch 유형 지수(h-type indices)를 적용하여 국내 학술지의 영향력을 보다 더 상세하게 측정할 수 있는 실제적인 방안을 모색하였다. 결과적으로, h-지수의 변형지수($h_s$-지수, $f_s$-지수)를 사용하거나 호 단위 합산(호 기반 h-지수, 호 기반 f-지수) 방법을 통하여, 기존 Hirsch 유형 지수들의 변별력을 향상시킬 수 있음은 물론 국내 학술지의 영향력을 더욱 정밀하게 측정할 수 있는 것으로 나타났다.
The journal impact factor(JIF) of the Thomson Reuters(ISI) has been widely used to assess the impact of journal as well as its quality. However, the JIF contains its critical limitation, in which it does not measure the impact of journal but the average impact of articles in journal. Besides signifi...
The journal impact factor(JIF) of the Thomson Reuters(ISI) has been widely used to assess the impact of journal as well as its quality. However, the JIF contains its critical limitation, in which it does not measure the impact of journal but the average impact of articles in journal. Besides significant number of problems of the JIF has been noticed. Furthermore, given the limited coverage of domestic citation index database in comparison to those of international citation index, it is necessary to apply a more appropriate index with a high level of discriminating power. This study, therefore, aims to introduce some practical methods to measure the impact of domestic journals by using the Hirsch-type indices. As the Hirsch-type indices has been often used for overcoming the limitations of the JIF in worldwide, we hope that our research outcome offers an effective alternative to gauge the impact of journals more accurately. Consequently, using the variations of the h-index($h_s$-index, $f_s$-index) or the sum of issue level(issue based h-index, issue based f-index), we argue that it would improve the discrimination capacity of the Hirsch-type indices significantly and that we can measure the impact of domestic journals more clearly.
The journal impact factor(JIF) of the Thomson Reuters(ISI) has been widely used to assess the impact of journal as well as its quality. However, the JIF contains its critical limitation, in which it does not measure the impact of journal but the average impact of articles in journal. Besides significant number of problems of the JIF has been noticed. Furthermore, given the limited coverage of domestic citation index database in comparison to those of international citation index, it is necessary to apply a more appropriate index with a high level of discriminating power. This study, therefore, aims to introduce some practical methods to measure the impact of domestic journals by using the Hirsch-type indices. As the Hirsch-type indices has been often used for overcoming the limitations of the JIF in worldwide, we hope that our research outcome offers an effective alternative to gauge the impact of journals more accurately. Consequently, using the variations of the h-index($h_s$-index, $f_s$-index) or the sum of issue level(issue based h-index, issue based f-index), we argue that it would improve the discrimination capacity of the Hirsch-type indices significantly and that we can measure the impact of domestic journals more clearly.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
이 연구에서는 산출이 쉽고 직관적 해석이 가능할 뿐만 아니라 보다 객관적인 연구 성과 지표로서 생산성과 영향력을 복합적으로 측정할 수 있는 장점을 갖고 있어 최근 급속히 확산되고 있는 Hirsch 유형 지수를 이용하여, 국내 학술지의 영향력을 더욱 명확하게 측정할 수 있는 방안을 모색하였다.
h-지수를 변형하거나 h-지수의 산출 방식을 응용한 것으로 Hirsch 유형 지수로 구분될 수 있는 연구는 최근 들어 거의 매달 발표될 정도로 널리 확산되고 있다. 이 연구에서는 주로 학술지 평가와 관련되거나 지수의 변별력 향상을 목적으로 개발된 Hirsch 유형 지수를 살펴보기로 한다.
국내 학술지를 인용하는 학술지 집합의 규모가 작고 구축된 데이터의 수록 범위가 제한되어 있으므로, 일반적인 논문 단위의 h-지수로는 국내 학술지의 영향력 차이를 상세하게 나타낼 수가 없는 근본적인 문제가 있다. 이러한 문제를 해소하기 위한 목적으로, 본 연구에서는 기존 h-지수의 변형지수를 이용하거나 호 단위 합산을 통해 학술지 Hirsch 유형 지수의 변별력을 높여 보다 상세한 측정을 시도하였다.
제안 방법
이 연구에서는 이상의 3가지 방안 중에서 현재까지 구축된 KSCI 인용 데이터의 제약(3년)으로 인하여 방안 ①은 적용이 불가능한 관계로 후속 연구 과제로 남기기로 하고 나머지 두개의 방안을 수행해보았다. 414종의 학술지 중에서 총 인용빈도를 기준으로 상위 30종 학술지에 대하여 방안 ②에 따라 f, hs, fs-지수를 측정한 결과는 <표 1>과 같다.
이 연구에서는 현재 분석 대상으로 입수가능한 국내 인용 색인 데이터가 최근 2005년부터 2007년까지의 3년간만 구축되어 있는 관계로, 위에서 언급한 두 번째 방법을 선택하였다. 그러나 가장 최근인 당해년도 출간 논문에 대한 인용을 제외하는 JIF와는 달리 출판시기를 최근 3년으로 조정하였다.
대상 데이터
따라서와 같이 출판시기를 당해연도를 포함하여 2005년부터 2007년까지의 최근 3년간으로, 인용시기는 2007년 1년으로 설정하였다.
국내 학술지에 대한 인용색인으로 구축되고 있는 것은 의학 분야의 110종 학술지를 다루고 있는 KoMCI(이춘실 2002), 전 주제 분야 1,500여 종의 학술지를 다루고 있는 한국연구재단의 KCI(홍종선 2007), 과학기술총연합회 산하 307개 학회의 학술지를 다루고 있는 한국과학기술정보연구원의 KSCI(이정연, 유소영, 이재윤 2010; 최광남 2004)가 있다. 이중에서 이 연구에서는 2008년 중반까지 구축된 데이터를 연구용으로 입수할 수 있었던 KSCI 데이터를 분석 대상으로 하였다.
데이터처리
산출된 각 지수가 논문 수 및 인용빈도, JIF 지수와 어떤 관계에 있는지 알아보기 위해서 상관분석을 실시하였다. 2007년에 최근 3년간 논문에 대한 인용빈도가 10 이상인 학술지들을 대상으로 각 지수를 산출하여 상관계수를 구한 결과는 <표 3>과 같다.
Harzing과 van der Wal(2009)은 출판시기를 2001년부터 2005년까지 5년간으로, 인용시기는 출판시점으로부터 측정일 현재까지로 상당히 넓게 설정하였다(그림 3 참조). 이들은 이렇게 측정한 학술지 h-지수를 2003년부터 2006년까지 4년간의 JIF 평균값과 비교하였다. Moussa와 Touzani(2010)는 이들과 유사하게 출판시기를 2002년부터 2007년까지 5년간으로 하고 인용시기는 2002년부터 측정일 현재(2009년 9월)까지로 설정하여 마케팅 분야 학술지를 평가하였다.
성능/효과
② 변형지수를 이용한 인용빈도 최상위 논문의 영향력 반영 정도 향상: h-지수의 변형지수인 hs-지수, f-지수, fs-지수 등은 모두 인용빈도 최상위 논문의 영향력을 상세히 반영함으로써 변별력의 향상을 기대할 수 있다. 여기서 fs-지수는 h-지수를 변형하여 변별력을 향상시킨 hs-지수와 마찬가지로 f-지수의 변별력을 더 향상시키기 위해서 f-지수를 먼저 구한 후 f순위까지의 각 인용빈도의 제곱근을 합산한 것이다.
-지수, 그리고 호 단위로 산출하는 호 기반 h-지수와 호기반 f-지수를 우선적으로 검토할 수 있다. 구체적으로 인용 데이터의 규모가 상대적으로 작은 국내 학술지의 영향력을 측정하기 위한 목적으로 Hirsch 유형 지수를 적용할 경우에, 논문 단위로 산출하는 h-지수나 f-지수는 변별력이 상당히 낮은 것으로 나타났고, 이보다는 hs-지수 또는 fs-지수를 사용하는 것이 더 변별력이 향상되는 결과를 보여주었다. 또한 국내 학술지의 영향력 측정을 위해서는, 기존의 논문 단위 지수들보다 호 단위로 합산하여 산출한 호 기반 h-지수와 호 기반 f-지수가 더 높은 변별력을 보여주었다.
둘째, h-지수는 JIF와 달리 평균을 산출하는 방식이 아니므로 최고 인용빈도 논문 한 편의 지나친 영향력을 억제시킬 수 있다.
이들 7종 학술지의 총 인용빈도는 최고 810인 Journal of the Korean Physical Society에서부터 103에 불과한 <한국하천호수학회지>에 이르기까지 다양하였다. 또한 h-지수가 4인 학술지가 13종, 3인 학술지가 57종으로 나타나서 지수의 변별력이 매우 미약한 것으로 드러났다. 여기서 가장 높은 h-지수가 5라는 것은, 해당 학술지의 평가에 반영된 논문이 인용빈도 최상위 5편에 불과하다는 뜻이다.
구체적으로 인용 데이터의 규모가 상대적으로 작은 국내 학술지의 영향력을 측정하기 위한 목적으로 Hirsch 유형 지수를 적용할 경우에, 논문 단위로 산출하는 h-지수나 f-지수는 변별력이 상당히 낮은 것으로 나타났고, 이보다는 hs-지수 또는 fs-지수를 사용하는 것이 더 변별력이 향상되는 결과를 보여주었다. 또한 국내 학술지의 영향력 측정을 위해서는, 기존의 논문 단위 지수들보다 호 단위로 합산하여 산출한 호 기반 h-지수와 호 기반 f-지수가 더 높은 변별력을 보여주었다.
셋째, h-지수는 많은 논문을 수록하는 학술지일수록 더 높은 값을 가질 가능성이 높다. 이는 논문이 아닌 학술지 단위의 영향력이라는 측면에서는 바람직한 특성이다.
2007년에 최근 3년간 논문에 대한 인용빈도가 10 이상인 학술지들을 대상으로 각 지수를 산출하여 상관계수를 구한 결과는 <표 3>과 같다. 이를 보면 JIF 지수와 논문 수 사이의 관계를 제외한 모든 관계가 99% 유의수준에서 상관이 있는 것으로 나타난다. 또한 전반적으로 논문 단위의 지수보다 호 단위의 지수가 논문 수나 인용빈도와의 상관이 더 높게 나타나고 있다.
첫째, 지난 2년간의 논문에 대해서만 평가하는 JIF에 비하면 h-지수는 분석 기간의 설정이 자유롭다.
후속연구
따라서 가능하면 논문 단위의 지수이면서 변별력이 높은 hs-지수로 학술지의 영향력을 측정하되, 변별력이 지나치게 낮은 경우에는 호 단위의 h-지수나 f-지수를 보조 지표로 활용해볼 수 있을 것이다. 다만 이 분석 결과가 3년간 인용 데이터에 근거한 것이므로 인용 데이터가 5년 이상 축적되었을 경우에 인용 기간을 늘려서 추가로 분석한다면 논문 단위의 h-지수나 f-지수도 변별력이 향상될 여지는 남아있다.
즉, 호 단위의 지수는 논문 단위의 지수보다 학술지의 규모에 더 좌우된다고 볼 수 있는 것이다. 따라서 가능하면 논문 단위의 지수이면서 변별력이 높은 hs-지수로 학술지의 영향력을 측정하되, 변별력이 지나치게 낮은 경우에는 호 단위의 h-지수나 f-지수를 보조 지표로 활용해볼 수 있을 것이다. 다만 이 분석 결과가 3년간 인용 데이터에 근거한 것이므로 인용 데이터가 5년 이상 축적되었을 경우에 인용 기간을 늘려서 추가로 분석한다면 논문 단위의 h-지수나 f-지수도 변별력이 향상될 여지는 남아있다.
본 연구에서는 이용 가능한 국내 학술지 인용 데이터의 제한으로 인하여 불가능하였지만, 향후 국내 학술지 인용 데이터의 양적·질적 보완이 이루어지면 출판 및 인용시기를 확장하여 다양하게 적용하는 방안을 다각적으로 모색 하는 연구를 수행할 필요가 있다. 이러한 후속 연구를 통하여 국내 인용색인에 보다 적합한 인용지수 산출 방안을 정립할 수 있는 기반을 마련할 수 있을 것이다.
본 연구에서는 이용 가능한 국내 학술지 인용 데이터의 제한으로 인하여 불가능하였지만, 향후 국내 학술지 인용 데이터의 양적·질적 보완이 이루어지면 출판 및 인용시기를 확장하여 다양하게 적용하는 방안을 다각적으로 모색 하는 연구를 수행할 필요가 있다. 이러한 후속 연구를 통하여 국내 인용색인에 보다 적합한 인용지수 산출 방안을 정립할 수 있는 기반을 마련할 수 있을 것이다.
질의응답
핵심어
질문
논문에서 추출한 답변
과학적 성과의 질을 측정하기 위한 방법 두 가지는 무엇인가?
과학적 성과의 질을 측정하기 위한 방법은 크게 두 가지로 생산성과 영향력이 있다. 이 중에서 생산성은 출판 논문의 수를 주로 사용하며, 영향력은 피인용 빈도를 사용한다.
Hirsch 유형 지수를 적용하여 국내 학술지의 영향력을 보다 더 상세하게 측정할 수 있는 실제적인 방안을 모색하게 된 배경은 무엇인가?
그러나, 이러한 JIF는 학술지 단위가 아니라 수록 논문의 평균 영향력을 측정하는 지표라는 근본적인 한계를 가지고 있으며, 이외에도 다양한 측면에서 많은 문제점들이 지적되었다. 특히 국내 인용색인은 국제적인 인용색인 데이터베이스에 비해서 인용 데이터의 규모가 상당히 제한적이므로, 이를 고려하여 국내 학술지 인용 환경에 적합한 지수의 적용이 필요하다. 따라서 이 연구는 최근 급속히 확산되고 있는 Hirsch 유형 지수(h-type indices)를 적용하여 국내 학술지의 영향력을 보다 더 상세하게 측정할 수 있는 실제적인 방안을 모색하였다.
h-지수란 무엇인가?
원래 h-지수는 개별 연구자의 연구 성과를 평가하기 위해 개발된 지수로서 산출방식이 단순하면서도 강건하다는 특색을 갖고 있다. 인용에 기반한 평가 지수로 대표적으로 사용되어 온 학술지 영향력 지수가 학술지를 대상으로 하고 있는 만큼, 새로운 h-지수를 학술지에 대해서 적용하려는 여러 시도가 있어왔다(Bador and Lafouge forthcoming; Braun, Glänzel, and Schubert 2005; Franceschet 2010; Liu, Rao, and Rousseau 2009; Moussa and Touzani 2010; Rousseau 2006; Sidiropoulos, Katsaros, and Manolopoulos 2007; Saad 2006; Shubert and Glänzel 2006; Vanclay 2008b).
참고문헌 (48)
이재윤. 2006. 연구성과 측정을 위한 h-지수의 개량에 관한 연구. 정보관리학회지, 23(3):167-186.
홍종선. 2007. KCI 기반 Kor-Factor(Korea Factor) 평가지표 개발 및 시범적용. 정책연구-2007-023-지식확산, 한국학술진흥재단 정책보고서.
Adler, R., John Ewing, and Peter Taylor. 2008. "Citation statistics." Joint IMU/ICIAM/IMSCommittee on Quantitative Assessment of Research [cited 2009.7.11]. .
Alonso, S., F. J. Cabrerizo, E. Herrera-Viedma, and F. Herrera. 2010. "hg-index: A new index to characterize the scientific output of researchers based on the hand g-indices." Scientometrics, 82(2): 391-400.
Anderson, T. R., R. K. S. Hankin, and P. D. Killworth. 2008. "Beyond the Durfee square: Enhancing the h-index to score total publication output." Scientometrics, 76(3): 577-588.
Batista, P. D., Monica G. Campiteli, Osame Kinouchi, and Alexandre S. Martinez. 2006. "Is it poossible to compare researchers with different scientific interests?" Scientometrics, 68: 179-189
Bador, P. and T. Lafouge. forthcoming. "Comparative analysis between impact factor and h-index for pharmacology and psychiatry journals." Scientometrics, forthcoming.
Bornmann, L. and H.-D. Daniel. 2007. "What do we know about the h index?" Journal of the American Society for Information Science and Technology,
Bornmann, L., W. Marx, and H. Schier. 2009. "Hirsch-type index values for organic chemistry journals: A comparison of new metrics with the Journal Impact Factor." European Journal of Organic Chemistry, 10: 1471-1476.
Braun, T., W. Glanzel, and A. Schubert. 2005. "A Hirsch-type index for journals." The Scientist, 19(22): 8.
Egghe, L. 2006. "Theory and practise of the g-index." Scientometrics, 69(1): 131-
Franceschet, Massimo. 2010. "A comparison of bibliometric indicators for computer science scholars and journals on Web of Science and Google Scholar." Scientometrics, 83(1); 243-258.
Harzing, Anne-Wil and Ron van der Wal. 2009. "A Google Scholar h-index for journals: An alternative metric to measure journal impact in economics and business." Journal of the American Society for Information Science and Technology, 60(1): 41-46.
Hirsch, J. E. 2005. "An index to quantify an individual's scientific research output." Proceedings of the National Academy of Science, 102: 16569-16572.
Kosmulski, M. 2006. "A new Hirsch-type index saves time and works equally well as the original h-index." ISSI Newsletter, 2(3), 4-6.
Kosmulski, M. 2007. "MAXPROD: A new index for assessment of the scientific output of an individual, and a comparison with the h-index." International Journal of Scientometrics, Informetrics and Bibliometrics, 11(1): 1-5.[cited. 2009.5.7]. .
Lindsey, D. 1978. The Scientific Publication System in Social Science. San Francisco: Jossey-Bass.
Liu, Y., I. K. R. Rao, and R. Rousseau. 2009."Empirical series of journal h-indices: The JCR category Horticulture as a case study." Scientometrics, 80(1): 59-74.
Meho, L. I. 2007. "The rise and rise of citation analysis." Physics World, 29(1), 32-36.
Meho, L. I. and K. Yang. 2007. "Impact of data sources on citation counts and rankings of LIS faculty: Web of Science vs. Scopus and Google Scholar." Journal of the American Society for Information Science and Technology, 58(13): 2105-2125.
Orbay, M., Orhan Karamustafaoglu, and Feda Oner. 2007. "What does Hirsch
The PLoS Medicine Editors. 2006. "The impact factor game: it is time to find a better way to assess the scientific literature." PLoS Med, 3(6): e291. [cited. 2009.5.11]. .
Podlubny, I. 2005. "Comparison of scientific impact expressed by the number of citations in different fields of science." Scientometrics, 64(1): 95-99.
Rousseau, R. 2006. "A case study: evolution of JASIS' h-index." Science Focus, 1(1): 16-17.
Rousseau, R. 2008. "Reflections on recent developments of the h-index and htype indices." COLLNET Journal of Scientometrics and Information Management, 2(1): 1-8. [cited 2009.5.11]. .
Rousseau, R. and B. Jin. 2008. "The agedependent h-type AR2-index: Basic properties and a case study." Journal of the American Society for Information Science and Technology, 59(14): 2305-2311. .
Saad, G. 2006. "Exploring the h-index at the author and journal levels using bibliometric data of productive consumer scholars and business-related journals respectively." Scientometrics, 69(1): 117-120.
Schreiber, M. 2007. "Self-citation corrections for the Hirsch index." Europhysics Letter, 78 30002: 1-6. [cited 2009. 7.27] .
Schreiber, M. 2009. "A case study of the modified Hirsch index hm accounting for multiple coauthors." Journal of the American Society for Information Science and Technology, 60(6): 1274-1282.
Schreiber, M. 2010. "Revisitiing the g-index: The average number of citations in the g-core." Journal of the American Society for Information Science and Technology, 61(1): 169-174.
Sidiropoulos, A., D. Katsaros, and Y. Manolopoulos. 2007. "Generalized Hirsch h-index for disclosing latent facts in citations networks." Scientometrics, 72(2): 253-280.
van Raan, A. F. J. 2006. "Comparison of the Hirsch-index with standard bibliometric indicators and with peer judgment for 147 chemistry research groups." Scientometrics, 67(3): 491-502.
Vinkler, P. 2007. "Eminence of Scientists in the Light of the h-index and other Scientometric Indicators." Journal of Information Science, 33(4): 481-491.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.