선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 연구는 이러한 연구자의 타당한 평가를 위한 기준 확립을 위한 기초자료로서 의의가 있으며, 궁극적으로 연구자의 연구환경개선 및 학술활동 장려를 추구하고자 하였다. 추후 연구에서 이러한 연구가 계속적으로 이루어져 연구자들이 보편적이고 타당하다고 인정할 수 있는 평가기준이 확립되어 연구의 깊이를 더할 수 있기를 기대하는 바이다.
- 본 연구는 이에 따른 결과가 차후 국내 교원업적평가를 개선 및 발전시키는데 도움이 되는 것이 그 목적이며, 궁극적으로 계속적 연구를 통하여 연구자의 연구 환경 개선 뿐 아니라 학문을 질을 향상시키는데 도모하고자 한다.
- 본 연구는 학술연구에 매진중인 교원들의 객관적이고 안정적인 교원연구업적평가를 마련하는데 도움이 되고자 시작하였다. 이를 위하여 현재 대학에서 시행 중인 학술논문평가기준을 파악하였고, 총 논문수, 인용수, 학술지 영향력지수, h-index등의 계량서지학 지표들과 대학의 학술논문평가기준에 공동연구 기여도를 적용한 대학별·저자별 순위를 도출하여 통계 분석을 시행하였다.
- 본 연구에서는 각 기관의 학술논문평가기준을 비교하기 위하여 이종욱, 양기덕(2011)의 연구에서 사용한 국내 종합대학 문헌정보학과의 전임강사 이상의 교원들의 국제학술회의 발표문을 포함한 국·내외 학술논문 데이터를 보완하여 사용하였다.
- 본 연구에서는 공동연구 참여에 따른 업적평가에서의 순위의 변동을 파악하기 위하여 수집한 학술논문 편당의 저자의 기여도를 산출하였다. 이를 위해 적용한 기여도 산정식은 총 5종류로 Inflated방식, Fractional 방식, Hagen의 Harmonic 방식(2008), Harmonic 방식을 개량한 이종욱, 양기덕의 Harmonic+ 방식(2015), 수집한 국내대학의 연구업적평가에서 적용하는 기여도산정식의 평균(School+)으로 <표 2>와 같다.
- 본 연구의 목적은 현재 국내대학에서 시행하고 있는 교원업적평가제도 중 학술논문평가기준을 비교 분석하고 차후에 연구업적평가도구 개발 및 개선 시에 적용할 수 있는 모색점이나 방안을 찾는 것이다. 이에 선행연구로서 연구업적평가제도 및 연구업적·실적물 관련 평가 개선을 위한 연구에 대해 살펴보았다.
- 이를 종합하면 국내 종합대학의 학술논문평가기준은 대부분 유사하였으나, 기관별로 평가의 분별력을 가늠하기 위하여 학술지 영향력 지수 사용 등의 변별성을 추구 하고자 하였다. 통계분석 결과, 전반적으로 대학 학술논문평가기준과 기존의 계량서지학지표들 사이의 관계는 상관성이 높은 것으로 나타났으나, 연구자 개인별로 연구업적을 평가할 시에는 평가지표에 따라 통계적으로 상이하였다.
- 이에 본 연구는 대외적으로 학문의 성과 및 업적을 평가 하고자 할 때 보다 합리적이고 안정적인 교원업적을 평가할 수 있는 도구 개발과 표준화를 위한 방안 모색에 도움이 되고자 하여, 국내 종합대학들의 교원업적평가부문 중 가장 비중이 높은 연구영역, 특히 학술논문부문을 중심으로 각 대학들의 연구업적평가지표와 한국연구재단에서 연구용역 사업선정 시 활용하는 연구업적평가지표를 비교하고, 계량서지학적 분석을 시행하였다. 우선 문헌정보학과가 개설된 종합대학 27개교 및 한국연구재단 연구업적평가지표까지 총 28개 평가지표를 비교하였다.
- 이에 선행연구로서 연구업적평가제도 및 연구업적·실적물 관련 평가 개선을 위한 연구에 대해 살펴보았다.
제안 방법
- 본 연구는 수집한 연구데이터에 앞서 도출한 기존의 대학에서 시행 중인 학술논문평가기준의 평균, 임의로 선정한 대학의 학술논문평가기준, 한국연구재단의 평가기준, 논문 수, 학술지 영향력 지수, 인용 수, h-index등 총 7개의 기준에 기여도를 적용하여 학술논문의 점수를 산출하였다. 각 학술논문의 점수를 합산하여 기관별과 저자별 순위를 도출하였고, 스피어만 순위상관분석을 활용하여 각 기준과 계량서지학 지표들 간의 상관성을 분석하였다.
- 우선 문헌정보학과가 개설된 종합대학 27개교 및 한국연구재단 연구업적평가지표까지 총 28개 평가지표를 비교하였다. 그리고 대학에서의 학술논문 평가방식과 현재 연구업적물평가를 위해 사용되고 있는 계량서지학적 지표(논문 수, 학술지 영향력 지수, 인용 수, h-index)에 각 연구에서의 저자의 기여도를 적용하여 국내 문헌정보학과 전임강사 이상의 교원 183명의 학술논문데이터를 이용하여 순위를 도출하였고, 그 결과를 토대로 관별, 저자별 분석하였다.
- 그리하여 대학 순위별로 각 대학씩 분할하여 역시 스피어만 상관분석을 시행하였다. 중위권 약 15위에서 28위의 대학에서는 타 군집에 비해 상대적으로 낮은 상관관계를 보였으나 그 차이 역시 0.
- 대학별 순위를 도출한 방식과 마찬가지로 연구자 183명의 순위를 도출한 후 스피어만 순위상관 분석을 시행하였다. 전체 순위 상관분석 결과 유의관계 내 최소 .
- 둘째, 계량서지학지표들과 대학학술논문평가기준의 유사성을 파악하기 위하여, 서지데이터에 각 평가기준을 적용한 순위들을 통계적으로 분석한다. 평가기준들의 정규화에 무리가 따르므로 서지데이터의 직접적 점수를 활용하는 피어슨 상관분석이 아닌 순위를 활용하는 스피어만 상관분석을 시행한다.
- 둘째, 대학 학술논문평가기준 중 극소수의 대학기준은 보다 세밀하게 연구업적을 평가하기 위하여 국제학술지의 경우, 등급별 배점에 학술지 영향력 지수를 가산하여 연구업적을 평가하였다.
- 본 연구는 수집한 연구데이터에 앞서 도출한 기존의 대학에서 시행 중인 학술논문평가기준의 평균, 임의로 선정한 대학의 학술논문평가기준, 한국연구재단의 평가기준, 논문 수, 학술지 영향력 지수, 인용 수, h-index등 총 7개의 기준에 기여도를 적용하여 학술논문의 점수를 산출하였다. 각 학술논문의 점수를 합산하여 기관별과 저자별 순위를 도출하였고, 스피어만 순위상관분석을 활용하여 각 기준과 계량서지학 지표들 간의 상관성을 분석하였다.
- 본 연구는 첫째, 국내의 연구업적평가지표 중 학술논문평가기준을 파악하고자 국내대학과 한국연구재단의 학술논문평가기준을 비교하였다. 수집한 27개의 대학 학술논문평가기준의 배점이 서로 차이가 있어, KCI등재지를 기준으로 표준화하여 소재지가 수도권인 대학과 지방인 대학, 국립대와 사립대, 학술지 영향력 지수를 반영하는 대학과 그렇지 않은 대학 별로 분류하여 비교 분석 한다.
- 본 연구는 첫째, 국내의 연구업적평가지표 중 학술논문평가기준을 파악하고자 국내대학과 한국연구재단의 학술논문평가기준을 비교하였다. 수집한 27개의 대학 학술논문평가기준의 배점이 서로 차이가 있어, KCI등재지를 기준으로 표준화하여 소재지가 수도권인 대학과 지방인 대학, 국립대와 사립대, 학술지 영향력 지수를 반영하는 대학과 그렇지 않은 대학 별로 분류하여 비교 분석 한다.
- 이를 위하여 현재 대학에서 시행 중인 학술논문평가기준을 파악하였고, 총 논문수, 인용수, 학술지 영향력지수, h-index등의 계량서지학 지표들과 대학의 학술논문평가기준에 공동연구 기여도를 적용한 대학별·저자별 순위를 도출하여 통계 분석을 시행하였다.
- 이에 본 연구는 보다 자세한 분석을 위해 183명의 연구자들을 계량서지학적 지표(총논문수, 총인용수, 학술지영향력지수, h-index)기준으로 순위를 정렬한 후 30단위로 분할하여 스피어만 상관분석을 시행하였으며, 은 계량서지학지표별 순위를 군집화 하여 통계 분석한 결과에서 낮은 상관관계를 보이는 지표들만 종합하여 표기한 것이다.
대상 데이터
- 2001년에서 2015년 사이의 논문과 발표문을 수집하였으며 서지데이터에 해당하는 교수(저자)는 총 183명이었고 수집한 논문(발표문 포함)은 3,863편이다. 데이터 분석을 위하여 수집한 서지정보는 학술지명, 저자명, 피인용 수, 저자 수 및 저자순위 등이다.
- 각 대학교 공식홈페이지의 행정정보공개 및 법령집 안내에서 수집 가능한 대학으로 선별 하였으며 표본대학의 목록은 과 같다.
- 따라서 본 연구는 28개 기관에서 공통적으로 평가하고 있는 국제학술지군인 SCI, SSCI, A&HCI, SCIE, Scopus와 특급국제학술지로 분류되는 Cell, Science, Nature 그리고 국내학술지로서 공통적으로 평가하는 한국연구재단 등재지(KCI 와 등재후보지 배점을 비교하였다).
- 본 연구는 27개 대학의 학술논문평가기준과 한국연구재단 평가기준까지 총 28개 기준을 비교 분석하였다. 우선 28개 기준 모두 한국연구재단 등재학술지(KCI) 점수 배점을 기준으로 학술지 등급에 따라 점수를 가감하는 것으로 나타났다.
- 본 연구는 국내 문헌정보학과가 개설된 국내 종합대학 총 36개교 중 27개교의 학술논문평가기준을 수집하였다. 각 대학교 공식홈페이지의 행정정보공개 및 법령집 안내에서 수집 가능한 대학으로 선별 하였으며 표본대학의 목록은 <표 1>과 같다.
- 001점을 부여하였다. 본 연구를 위해 수집한 서지데이터의 학술지는 국내외 총 240종이며 국내는 148종, 국외 Proceedings 포함하여 총 92종이다.
- 국내학술논문의 인용수는 KCI에서 제공하는 학술논문 인용수를 활용하였으며, 국제학술논문은 Web of Science와 Google Scholar를 이용하였다. 수집한 학술논문들은 15년간 총 16,978번 인용되었고, 국내학술논문의 경우 11,567번, 국제학술논문의 경우 5,411번 인용되었다.
- 이에 본 연구는 대외적으로 학문의 성과 및 업적을 평가 하고자 할 때 보다 합리적이고 안정적인 교원업적을 평가할 수 있는 도구 개발과 표준화를 위한 방안 모색에 도움이 되고자 하여, 국내 종합대학들의 교원업적평가부문 중 가장 비중이 높은 연구영역, 특히 학술논문부문을 중심으로 각 대학들의 연구업적평가지표와 한국연구재단에서 연구용역 사업선정 시 활용하는 연구업적평가지표를 비교하고, 계량서지학적 분석을 시행하였다. 우선 문헌정보학과가 개설된 종합대학 27개교 및 한국연구재단 연구업적평가지표까지 총 28개 평가지표를 비교하였다. 그리고 대학에서의 학술논문 평가방식과 현재 연구업적물평가를 위해 사용되고 있는 계량서지학적 지표(논문 수, 학술지 영향력 지수, 인용 수, h-index)에 각 연구에서의 저자의 기여도를 적용하여 국내 문헌정보학과 전임강사 이상의 교원 183명의 학술논문데이터를 이용하여 순위를 도출하였고, 그 결과를 토대로 관별, 저자별 분석하였다.
- 학술지 영향력 지수를 이용한 분석을 위하여 본 연구에서는 2016년 기준 한국연구재단에서 발표한 학술지별 영향력지수와 Web of Science에서 발표한 Impact Factor, Scopus에서 발표한 SNIP을 수집하였다. 또한 영향력지수가 부여되지 않은 학술지(Proceedings 포함)의 경우, 최소 배점 0.
데이터처리
- 나) 이렇게 도출한 학술논문 편당 점수를 대학별, 저자별로 합산한 순위 및 Hirsch(2005)의 h-index 산출방식에 따라 저자별 h-index, 기관별 h-index에 따른 순위를 도출하여 스피어만 상관분석을 이용한 통계분석을 시행한다.
- 다) 각 평가기준 순위의 경향 분석을 위하여, 전체순위에서 30위 단위로 군집화 해 스피어만 상관 분석을 시행한다.
- 둘째, 계량서지학지표들과 대학학술논문평가기준의 유사성을 파악하기 위하여, 서지데이터에 각 평가기준을 적용한 순위들을 통계적으로 분석한다. 평가기준들의 정규화에 무리가 따르므로 서지데이터의 직접적 점수를 활용하는 피어슨 상관분석이 아닌 순위를 활용하는 스피어만 상관분석을 시행한다. 이에 관한 세부 절차는 다음과 같다.
이론/모형
- 국내학술논문의 인용수는 KCI에서 제공하는 학술논문 인용수를 활용하였으며, 국제학술논문은 Web of Science와 Google Scholar를 이용하였다. 수집한 학술논문들은 15년간 총 16,978번 인용되었고, 국내학술논문의 경우 11,567번, 국제학술논문의 경우 5,411번 인용되었다.
- 본 연구는 국내 대학의 연구업적평가기준과 대외적으로 연구업적을 평가하는 한국연구재단의 기준, 그리고 기존의 계량서지학 지표들로 정량적 지표에 해당하는 논문 수와 정성적 지표에 해당하는 인용수, 학술지 영향력지수, 그리고 질과 양을 함께 고려하는 h-index를 이용하였다. 각자 다른 평가기준을 이용하였으므로 대상의 평가결과 역시 각각 다르게 나타는 것이 당연할 수 있으나, 선행연구(Cronin and Meho, 2006; Meho and Yang,2007; Yang and Lee, 2013 et al)에서 연구업적이 굉장히 많거나 혹은 적은 연구자의 경우는 양과 질 어느 면으로 측정하여도 그 결과 차이가 미비한 것으로 밝혀진 바와 같이 본 연구에서도 그에 따른 결과를 확인 할 수 있었다.
- 이를 위해 적용한 기여도 산정식은 총 5종류로 Inflated방식, Fractional 방식, Hagen의 Harmonic 방식(2008), Harmonic 방식을 개량한 이종욱, 양기덕의 Harmonic+ 방식(2015), 수집한 국내대학의 연구업적평가에서 적용하는 기여도산정식의 평균(School+)으로 와 같다.
성능/효과
- 한편, 최하위권 군집을 제외하고 기여도적용에 따른 순위상관을 파악할 수 있었다. 1- 30위 군집에서는 학술지 영향력 지수에서 Inflated 순위와 Fractional 순위, 31- 90위 군집은 학술지 영향력 지수에서 Inflated순위와 Harmonic 순위, 91-120위 군집은 h-index에서 Inflated순위와 Fractional 순위, 121-150위 군집에서는 총 논문수에서 Inflated순위와 Fractional 순위가 가장 낮은 것으로 나타났다. 순위가 상위권일수록 학술지영향력지수에서의 기여도 산정식의 변별력이, 하위권일수록 논문수와 h-index에서의 기여도 산정식의 변별력이 나타나는 양상을 확인 할 수 있다.
- 특히 31-90위 군집이 타 군집에 비하여 낮은 이들의 평가지표의 상관관계에서 낮은 관계를 보였기에 31-90위의 순위를 직접적으로 살펴보았다. 그 결과 연구자의 과반이상이 대학학술논문평가기준 순위가 학술지 영향력지수 기준 순위 보다 높은 것으로 나타났다. 이는 국내 연구자 대부분이 국내 학술지에 학술논문을 게재하므로 즉, 국제학술지보다 국내학술지 게재량이 높기 때문으로 유추 할 수 있다.
- 넷째, 공동연구 기여도 A적용 방식은 학교기준순위와 Harmonic 방식의 순위가 가장 유사하였으며 Fractional 방식의 순위와 가장 상이하였다.
- 둘째, 저자별로 순위 30명씩 군집하여 통계 분석한 결과에서, 대학학술논문평가기준은 본 연구에서 사용한 계량지표들과 현저한 차이를 나타냈으며, 그 중 인용 수와 가장 큰 통계적 차이를 나타내었다.
- 이러한 경우로 볼 때, 총 논문 수에서 공동연구나 단독연구가 과반 이상의 지분을 가진 상태에서 기여도산정을 적용한다면 순위의 변동요소로 영향을 미칠 수 있음을 예측할 수 있다. 또한 Harmonic+, School+ 순위에서 상당한 차이를 확인하면서, 기여도 산정 시 저자 순위와 기여도의 총합 기준이 업적평가의 또 하나의 변수로 작용할 수 있음을 추측할 수 있다.
- 전반적으로 대학 및 연구재단기준과 인용수의 상관관계는 군집 관계없이 낮아, 인용수와 기존의 기준이 서로 다른 양상의 평가 결과를 도출할 것으로 추측할 수 있었다. 또한 총 논문수와의 관계에서도 낮은 상관관계를 살펴 볼 수 있었는데, 특히 31-150위 군집 분석 결과에서 각각 .375*, .378* , .462*으로 타 순위군집에 비하여 낮은 상관성을 보여주었다. 이를 통해 중위권 군집은 인용수에 따라 순위의 변동이 있을 것으로 예상되었으며, 서지데이터의 31위에서 150위를 살펴본 결과, 연구자들은 인용수와 총논문수의 순위 추이가 반대인 경우가 다수였다.
- 더불어 타 기준과 같이 기여도 산정식 적용된 지표간의 순위 양상이 다름을 알 수 있었다. 또한 최하위권 군집을 제외하고 학술지 영향력 지수에서의 기여도 적용 상관관계도 대체로 낮은 것으로 나타났다. 특히 1-60위군집은 Inflated 순위와 Fractional 순위, 90-150위 군집은 Inflated 순위와 Harmonic 순위의 관계에서 다른 순위 양상이 나타나는 것으로 파악 되었다.
- 전반적으로 총논문수 순위 기준에서는 대학학술논문평가기준 및 연구재단기준 내에서 기여도 산정을 할 경우 다른 순위 양상을 드러내는 것으로 파악되었다. 세부적으로 살펴보면 위에서 1위에서 30위 군집의 경우, B대학 기준에서 Inflated 순위와 Harmonic 순위가 상대적으로 다르게 순위를 도출하는 것으로 나타났고, 31위에서 90위 군집은 각각 연구재단, A대학 기준 Inflated 순위와 Fractional 순위 , 총논문수에서 Inflated 순위와 Fractional 순위 , Inflated순위와 Harmonic 순위가 도드라진 차이가 나타나는 것으로 밝혀졌다. 91-120위는 연구재단과 A대학기준에서 Inflated 순위와 Harmonic 순위가 차이 나는 것으로 나타났고 , 121-150위 군집에서는 논문수에서 Inflated순위와 Harmonic 순위가 가장 차이 나는 것으로 나타났다.
- 셋째, 학술지 영향력 지수가 유사한 저자로 군집한 통계분석 중 B대학의 통계 결과는 반대 (- 의 통계수치)로 나타났다. 이는 B대학의 경우, 국제 및 국내학술지의 배점이 동일하기 때문에, 타 지표와 순위 차이가 나타나는 것으로 알 수 있었다.
- 언급한 학술논문평가기준과 계량서지학 지표들로 도출한 대학별 순위를 토대로 전체 순위의 스피어만 상관 분석 결과, 유의관계 내 최소 0.843**에서 최대 1.000**으로 학술논문 편당 기여도 산정을 적용하더라도 그 순위의 차이는 유사한 것으로 나타났다.
- 본 연구는 27개 대학의 학술논문평가기준과 한국연구재단 평가기준까지 총 28개 기준을 비교 분석하였다. 우선 28개 기준 모두 한국연구재단 등재학술지(KCI) 점수 배점을 기준으로 학술지 등급에 따라 점수를 가감하는 것으로 나타났다. 국제전문학술지, 저명학술지, 국제 일반학술지, 국내전문학술지, 국내 일반학술지, 기타학술지등 기관별로 학술지 등급의 구분은 다양하였으나 공통적으로 국제와 국외로 구분하고 있었으며 세부 목이 약간씩 상이하였다.
- 우선 대체적으로 각 지표 순위의 중위권들은 계량서지학지표(인용 수, h index, 영향력지수)와 대학논문평가기준과의 다양한 상관관계를 보임으로써 평가측정기준에 따라 순위 양상이 다른 것으로 나타났다. 즉, 각 계량서지학 지표 별로 기준에 최상이거나 최하가 아닌 경우에는 측정지표가 연구업적 평가에 주요한 영향을 미치는 것으로 생각할 수 있다.
- <표 10>은 총 논문수가 유사한 연구자로 30명씩 분할한 스피어만 상관분석에 따른 결과로, 군집안에서 다소 상이한 상관관계를 나타내 주는 결과와 동일지표에서도 기여도의 차이가 나타나는 상관결과를 표로 요약한 것이다. 우선 대학 학술논문평가기준 및 연구재단기준이 상이한 순위 양상을 나타내는 것으로 나탔으며, 총 논문수의 상관관계에서는 대학 학술논문평가기준과 연구재단기준 사이에서의 상관관계가 다소 다른 것으로 나타났다. 31- 60위 군집에서 Harmoni의 산정식을 적용한 B대학과 Harmonic+의 산정식을 적용한 연구재단기준은 .
- 900**이상의 유의관계로 나타나 이들의 순위는 매우 유사한 것으로 드러났다. 이에 반하여 인용수와 논문수의 순위 관계는 상대적으로 낮은 상관관계를 보였으며 특히 Fractional 기여도 산정식을 적용한 경우 타 기여도에 비해 다른 계량서지학 지표들과 현저히 낮은 상관관계를 보였다. 이에 본 연구는 보다 자세한 분석을 위해 183명의 연구자들을 계량서지학적 지표(총논문수, 총인용수, 학술지영향력지수, h-index)기준으로 순위를 정렬한 후 30단위로 분할하여 스피어만 상관분석을 시행하였으며, <표 6>은 계량서지학지표별 순위를 군집화 하여 통계 분석한 결과에서 낮은 상관관계를 보이는 지표들만 종합하여 표기한 것이다.
- <표 7>은 인용수가 유사한 연구자로 30명씩 분할한 스피어만 상관분석에 따른 결과로, 군집 안에서 다소 상이한 상관관계를 나타내 주는 결과와 동일지표에서도 기여도의 차이가 나타나는 상관결과를 표로 요약한 것이다. 전반적으로 대학 및 연구재단기준과 인용수의 상관관계는 군집 관계없이 낮아, 인용수와 기존의 기준이 서로 다른 양상의 평가 결과를 도출할 것으로 추측할 수 있었다. 또한 총 논문수와의 관계에서도 낮은 상관관계를 살펴 볼 수 있었는데, 특히 31-150위 군집 분석 결과에서 각각 .
- <표 8>은 h-index가 유사한 연구자로 30명씩 분할한 스피어만 상관분석에 따른 결과로, 군집안에서 다소 상이한 상관관계를 나타내 주는 결과와 동일지표에서도 기여도의 차이가 나타나는 상관결과를 표로 요약한 것이다. 전반적으로 대학 학술평가기준 및 연구재단 기준과 h-index와의 상관관계는 낮은 것으로 나타났으며, 특히 상위권 일수록 그 상관관계는 더욱 낮아진다. 이는 학교 및 연구재단기준의 경우 논문수와 학술지 등급에 따라 점수를 배점 하는 것과 달리 h-index의 경우 저자의 논문 수 뿐 아니라 인용수를 함께 적용하여 산출하는 지표이기 때문으로 논문의 생산성을 주요한 평가항목으로 고려하는 대학 및 연구재단기준과는 차이가 있기에 이와 같은 결과가 도출 되었을 것으로 추측할 수 있다.
- 전반적으로 총논문수 순위 기준에서는 대학학술논문평가기준 및 연구재단기준 내에서 기여도 산정을 할 경우 다른 순위 양상을 드러내는 것으로 파악되었다. 세부적으로 살펴보면 위에서 1위에서 30위 군집의 경우, B대학 기준에서 Inflated 순위와 Harmonic 순위가 상대적으로 다르게 순위를 도출하는 것으로 나타났고, 31위에서 90위 군집은 각각 연구재단, A대학 기준 Inflated 순위와 Fractional 순위 , 총논문수에서 Inflated 순위와 Fractional 순위 , Inflated순위와 Harmonic 순위가 도드라진 차이가 나타나는 것으로 밝혀졌다.
- 대학별 순위를 도출한 방식과 마찬가지로 연구자 183명의 순위를 도출한 후 스피어만 순위상관 분석을 시행하였다. 전체 순위 상관분석 결과 유의관계 내 최소 .770**에서 최대 .995** 까지 상관성이 나타났다. 특히 대학 기준과 연구재단과의 양측 관계에서 .
- 또한 상위권인 1-30위 군집과 하위권인 151-183위 군집에서는 기여도를 적용하더라도 동일지표 안에서의 상관성이 유사한 것으로 드러나 낮은 상관결과를 살펴 볼 수 없으나, 31-150위까지의 군집에서는 기여도 적용에 따른 지표 상관관계가 상이한 것으로 나타났다. 중위권은 전반적으로 인용수 지표 안에서의 기여도에 따른 차이가 상이하였고, 특히 Inflated 순위와 Harmonic 순위의 상관성이 낮았으며 ,그 하위로 Fractional 순위와 Harmonic순위, Fractional 순위와 학교기여도순위 순으로 분별 있는 상관성이 파악되었다 .이는 Inflated 및 Fractional 방식은 저자역할을 구분 하지 않고 균등한 기여도를 산정하는 반면에 Harmonic, Harmonic+, 학교기여도는 저자 역할에 따라 기여도를 산정하기 때문에 공동연구에 따른 순위 변동이 있을 수 있음을 추측 할 수 있다.
- 첫째, 대학 학술논문평가기준은 학술지등급으로 구분하며, 국제 학술지는 국내 학술지보다 평균 두 배 정도 높은 배점을 부여받았다. 특히 수도권지역 사립대 일수록 등급별 배점 차이가 크게 나타났다.
- 첫째, 대학별로 순위를 도출하여 통계 분석을 시행한 결과, 대학 학술논문평가기준과 계량서지학 지표들과의 상관성은 대부분 유사하게 나타났다. 이는 연구자 개개인별로 측정할 경우에 비하여 단체의 특성상 각 연구자들의 취약점들이 타 연구자들로 상호 보완되어 기관과의 격차가 상대적으로 완화되는 경향이 있기 때문이다.
- 총 논문수 순위 기준은 앞서 살펴본 기준과 전반적으로 고루 다른 순위 양상을 도출하는 것으로 나타났으며, 주로 h-index, 인용수와의 상관성이 타 지표보다 상대적으로 낮았다.
- 이를 종합하면 국내 종합대학의 학술논문평가기준은 대부분 유사하였으나, 기관별로 평가의 분별력을 가늠하기 위하여 학술지 영향력 지수 사용 등의 변별성을 추구 하고자 하였다. 통계분석 결과, 전반적으로 대학 학술논문평가기준과 기존의 계량서지학지표들 사이의 관계는 상관성이 높은 것으로 나타났으나, 연구자 개인별로 연구업적을 평가할 시에는 평가지표에 따라 통계적으로 상이하였다. 특히 중위권 순위의 경우 최상위권, 최하위권에 비하여 상대적으로 평가지표 사용에 따라 순위 변별력이 달라져, 평가 시 평가지표의 선택이 업적평가의 변별의 변수가 될 수 있음을 추측할 수 있었다.
- 한편 학술논문평가기준에 학술지 영향력 지수를 평가 배점에 가중치로 반영하는 학교 총 6개 학교와 그렇지 않은 학교로 나누어 살펴볼 때, Cell, Nature, Scienc 의 경우, 미 반영학교와 약 두 배 이상의 점수 차이가 났으며, 그 외 국제학술지의 차이는 미비하나, 학술지 영향력 지수의 반영에 따라 기준 점수에 가중치가 적용되는 것으로 결국 학술지영향력지수를 반영하는 학교가 미 반영학교에 비하여 학술지간의 가중치 부여가 높아질 수 있음을 추측할 수 있다.
후속연구
- 이종욱, 양기덕(2011)은 국내 문헌정보학과 교수연구업적을 중심으로 국내대학에서 사용하고 있는 교수연구업적평가지표를 비교 분석하였다. 그 결과 각 대학의 기준들은 별 차이 없이 유사한 순위를 도출하였으나, 피인용수에 따라 저자의 순위 변동이 있을 수 있음을 밝혀내었으며, 이에 따라 정량적 정성적 수준을 잘 반영할 수 있는 계량서지학적 지표 도입이 필요하다고 제언하였다.
- 유소영 등(2015)은 국내 연구성과평가 환경에 적용할 수 있는 방안을 살펴보기 위하여 5개의 해외 연구성과평가지침 및 권고안(라이덴 선언, Thomson Reuters 백서, 프랑스 과학원 권고안, DORA, IEEE 권고안 )을 비교 분석하였다. 그 결과 해외 권고안이 국내 연구성과평가에도 상당부분 해당하는 것으로 파악되었으나, 평가에 필요한 계량서지학적 지수 및 데이터 이해 수준 향상과 국내 평가에 적합한 지수 개발 및 데이터 구축 등을 개선해야 할 것을 제언하였다.
- 관련 선행연구를 종합하면 기존의 연구업적평가들이 대부분 연구의 생산성에 더 치중하였고, 단순 학술지의 등급에 따른 배점으로 인하여 논문이나 저자에 대한 실질적인 평가는 미비한 것으로 나타났다. 이에 객관적이고 정규화 된 평가를 위한 합리적인 평가요소와 논문과 저자, 정량적 및 정성적인 면을 겸한 다각에서의 평가가 가능하도록 평가방법자체의 개선이 필요 할 것으로 파악되었다.
- 본 연구는 이러한 연구자의 타당한 평가를 위한 기준 확립을 위한 기초자료로서 의의가 있으며, 궁극적으로 연구자의 연구환경개선 및 학술활동 장려를 추구하고자 하였다. 추후 연구에서 이러한 연구가 계속적으로 이루어져 연구자들이 보편적이고 타당하다고 인정할 수 있는 평가기준이 확립되어 연구의 깊이를 더할 수 있기를 기대하는 바이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.