본 연구에서는 정액연구 지원방식에 대한 정량평가 방법을 연구하고, 효율적인 평가방법을 확립하기 위한 모델을 만들었다. 첫째, 기존의 평가 시스템을 분석하여 몇 가지 문제점과 과제를 발견했다. 둘째, 정액연구 지원방식에 대한 정량평가 방법을 제안하고, 20만개 이상의 데이터와 모델을 이용하여 시뮬레이션하였다. 셋째, 제안된 모델을 시험하여 최적의 모델을 찾았다. 그리고 이러한 결과에 따라 몇 가지 정책적 시사점을 제시하였다.
본 연구에서는 정액연구 지원방식에 대한 정량평가 방법을 연구하고, 효율적인 평가방법을 확립하기 위한 모델을 만들었다. 첫째, 기존의 평가 시스템을 분석하여 몇 가지 문제점과 과제를 발견했다. 둘째, 정액연구 지원방식에 대한 정량평가 방법을 제안하고, 20만개 이상의 데이터와 모델을 이용하여 시뮬레이션하였다. 셋째, 제안된 모델을 시험하여 최적의 모델을 찾았다. 그리고 이러한 결과에 따라 몇 가지 정책적 시사점을 제시하였다.
This research investigates the quantitative screening methods for the Grant Funding system and seeks for the efficient evaluation of a number of proposals. We search foreign cases of Grand Funding, but we found no appropriate model for using in Korea. Thus, we had to develope our own model for bette...
This research investigates the quantitative screening methods for the Grant Funding system and seeks for the efficient evaluation of a number of proposals. We search foreign cases of Grand Funding, but we found no appropriate model for using in Korea. Thus, we had to develope our own model for better screening. First, we analyse the existing evaluation system and find some problems and challenges. Second, we suggest a quantitative screening system for Grant Funding with a numeric model, and operates a tedious simulation by using the previous data and our suggested model. Third, we test the suggested model and find the optimal model by using simulation method The number of data analysed for simulation is larger than 200 thousands. Last, we suggest some brief policy implications based on the results in the paper.
This research investigates the quantitative screening methods for the Grant Funding system and seeks for the efficient evaluation of a number of proposals. We search foreign cases of Grand Funding, but we found no appropriate model for using in Korea. Thus, we had to develope our own model for better screening. First, we analyse the existing evaluation system and find some problems and challenges. Second, we suggest a quantitative screening system for Grant Funding with a numeric model, and operates a tedious simulation by using the previous data and our suggested model. Third, we test the suggested model and find the optimal model by using simulation method The number of data analysed for simulation is larger than 200 thousands. Last, we suggest some brief policy implications based on the results in the paper.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
각 방법은 나름대로의 장단점이 있을 수 있지만, 어느 경우든 정량평가는 필요하기 때문에 본 연구에서는 정액연구 지원선정을 위한 정량평가 모형을 개발하고자 한다.
결국 본 연구의 궁극적 목적인 정량평가 모형은 이들 점수를 어떻게 배분하는 것이 최적 모형이 될 수 있는가를 정하는 데 있다. 단, 현재의 연구 평가 분위기에서는 연구재단 등재지에 출간한 숫자를 기준으로 하기 때문에 등재지에는 1의 계수를 곱한다.
다음은 과거 정성평가에 의한 선정 자료를 이용하여 업적 평가요소의 가중치를 산정하기 위한 시뮬레이션을 실시한다. 그럼으로써 구체적인 정량평가 모형을 개발한다. 끝으로 과거 자료를 바탕으로 로짓회귀 분석을 통해 업적평가 요소별 영향력을 조사하고 개발된 정량평가모형의 타당성을 검증한다.
다음으로 본 연구에서는 개발된 정량평가모형의 타당성을 검증하고자 하였다. 평가모형에서 각 평가요소의 가중치를 이용한 평가 총점을 설명변수로 넣고 선정, 비선정을 종속변수로 하여 로짓회귀 분석을 실시하였는데 그 결과는 [표 5]와 같다.
따라서 본 연구에서는 정액연구에 대한 기존의 심사 절차를 간소화하기 위한 방안을 모색하고자 하였다. 이를 위해 요건심사->전공심사->종합심사의 3단계로 이루어지는 현재의 평가 시스템 중 일부를 개선할 수 있는 방안을 모색하였다.
또한 3개 방법에 대한 선정확률 차이가 크지 않기 때문에 총점, 저자수 감안, 국제학술지 우선 등의 방법 중 하나를 선택하기는 힘들었다. 따라서 본 장에서는 연구성과 항목에 어떤 점수를 주었을 때 최고확률이 많이 나타나는가를 중심으로 설명하고 모형을 제시하고자 한다.
본 연구에서는 인문사회 분야의 정액연구 지원 사업에 활용할 수 있는 차별화된 정량 평가 모형을 개발하고자 한다. 특히, 과다한 지원과제를 선별하는 과정에서 업무의 효율화를 기하기 위해서는 학문분야별 전문가에 의한 정성적인 평가가 있기 전에 정량평가를 통한 예비선정절차가 필요하다는 인식위에서 합리적이고 효율적인 정량 평가 모형을 제시하고자 한다.
본 연구에서는 정량평가 모형을 개발하기 위해 각 등급별 학술지와 전문도서에 적절한 가중치(weight)를 주어 가중평가지수(WEI, Weighted Evaluation Index)를 개발하였다.
본 연구에서는 특정의 연구자가 연구신청을 했을 때 각 연구실적에 따라 선정될 확률이 얼마나 되는지를 분석하고 동시에 평가모형의 타당성도 검증하고자 하였다. 이를 위해서는 로짓 회귀분석을 실시하였다.
5 혹은 2, 전문도서는 2점 혹은 3점으로 시뮬레이션을 하다보니 경우의 수가 16 개가 된 것이다. 이하에서는 이들에 대해서 각각 선정확률을 계산한 후가장 높은 선정확률의 경우를 보고한다.
본 연구에서는 인문사회 분야의 정액연구 지원 사업에 활용할 수 있는 차별화된 정량 평가 모형을 개발하고자 한다. 특히, 과다한 지원과제를 선별하는 과정에서 업무의 효율화를 기하기 위해서는 학문분야별 전문가에 의한 정성적인 평가가 있기 전에 정량평가를 통한 예비선정절차가 필요하다는 인식위에서 합리적이고 효율적인 정량 평가 모형을 제시하고자 한다. 구체적으로는 우선 정량평가 모형을 구성하는 업적 평가요소를 확정한다.
가설 설정
둘째, 정량평가는 선정자의 2배수로 한다. 3배수는 선정율을 감안할 때 선정 대상자 축소라는 의미가 작다.
제안 방법
이를 위해 요건심사->전공심사->종합심사의 3단계로 이루어지는 현재의 평가 시스템 중 일부를 개선할 수 있는 방안을 모색하였다. 구체적으로는, 일차적으로 일정한 정량평가를 통해서 전공심사 대상을 축소한 다음, 이러한 정량평가를 통과한 제안서들을 대상으로 학문별 전문가들에 의한 정성평가를 실시하는 2단계 안을 제시하였다.
그럼으로써 구체적인 정량평가 모형을 개발한다. 끝으로 과거 자료를 바탕으로 로짓회귀 분석을 통해 업적평가 요소별 영향력을 조사하고 개발된 정량평가모형의 타당성을 검증한다.
구체적으로는 우선 정량평가 모형을 구성하는 업적 평가요소를 확정한다. 다음은 과거 정성평가에 의한 선정 자료를 이용하여 업적 평가요소의 가중치를 산정하기 위한 시뮬레이션을 실시한다. 그럼으로써 구체적인 정량평가 모형을 개발한다.
제1안은 연구지원 신청자가 너무 많으므로 자격 기준을 강화하여 신청자 수를 줄이는 방안을 말하며, 둘째는 연구자의 연구업적 등을 이용하여 정량평가만을 실시하는 방안을 말한다. 마지막은 2단계 방식을 채택하여 연구업적 등을 이용하여 정량평가를 한 후 일정배수를 추출하여 정성평가를 수행하는 것이다.
선정률은 3가지 방법으로 나누어 분석을 실시하였다. 먼저 학문단위 내각 패널별 선정률을 구하여 그 선정률의 2배 혹은 1.5배 안에 선정된 과제가 포함된 확률을 계산하였고, 각 패널별 선정률이 아닌 전체 사업 선정률의 2배 안에 선정된 과제가 포함된 확률을 각각 나누어 계산하였다.
해마다 각 사업의 예산이 주어지면 그에 따라 선정예상 연구과제수와 선정률이 사전적으로 결정이 되게 된다. 본 연구에서 제시한 정량평가 방법으로 예컨대 2배수 정도를 선정하여 그 지원서만을 대상으로 정성평가에 들어가는 방식을 염두에 두고 시뮬레이션을 진행하였다. 또한 연구재단에서 현재까지는 일반연구와 정액연구를 한꺼번에 패널에 포함하여 평가하는 방법을 이용하였으나 향후 정액연구에 대해 더욱 관심을 가지기 위해서는 일반연구와 정액연구를 분리하여 평가하는 방법을 고려해볼 필요가 있다.
특히, 논문, 저서 등 정량적인 연구실적의 중요도에 따라 가중치를 달리하고, 학문별 특성을 감안하여 5개의 학문단위로 나누어 분석을 실시하였다. 선정률은 3가지 방법으로 나누어 분석을 실시하였다. 먼저 학문단위 내각 패널별 선정률을 구하여 그 선정률의 2배 혹은 1.
합리적인 정량평가 모형을 개발하기 위해서 2013, 2014년 신진연구자지원사업, 중견연구자지원사업에 신청한 연구자의 데이터인 논문 191,583건과 저서 41,077건을 이용하여 시뮬레이션 분석을 실시하였다. 시뮬레이션은 (1) 총점 기준, (2) 총점에 저자수 감안 기준, (3) 국제학술지 우선 기준 등의 세 가지 기준에 근거하여 각각 실시하였다. 또한 이 과정에서는 학문분야의 특수 성을 고려한 차별적 모형을 도출하고자 시도하였고 그결과 학문분야별로 최적의 모형을 제시할 수 있었다.
이하 표는 각 학문단위별 시뮬레이션 중에서 선정률이 가장 높은 가중치들을 모아놓은 결과이다. 시뮬레이션은 총점 기준, 총점에 저자수 감안 기준, 국제학술지 우선 기준으로 나누어 실시하였다. 각 항목 점수는 세 가지로 제시하며 각 항목에 대한 용어를 정리하면 다음과 같다.
신진연구자지원사업과 중견연구자지원사업 모두 신청시 연구계획서에 대표실적을 기재하는 방식을 채택하기 때문에 본 시뮬레이션에서는 국내전문학술지는 등재지와 등재후보지, 국제전문학술지는 SSCI, SCI, SCIE, SCOPUS, A&HCI, 그리고 전문도서만을 분석범위로 한정지었다.
3 이제 위의 (1)에서 제시한 식을 이용하여 점수를 산출한다. 이 모형을 기본으로 하여 총점 기준, 저자수 감안기준, 국제전문학술지 우선 기준 등으로 나누고, 전문도서의 총점 포함 여부 등을 구분하여 분석하였다. 특히, 논문, 저서 등 정량적인 연구실적의 중요도에 따라 가중치를 달리하고, 학문별 특성을 감안하여 5개의 학문단위로 나누어 분석을 실시하였다.
이를 위해 요건심사->전공심사->종합심사의 3단계로 이루어지는 현재의 평가 시스템 중 일부를 개선할 수 있는 방안을 모색하였다.
최적모형 개발을 위한 가중치 결정은 기존의 선정결과 자료에 대한 시뮬레이션 방법에 의한다. 즉, 최적합(best fitting) 계수를 구하여 최종 모형을 선택하였다.2
이 모형을 기본으로 하여 총점 기준, 저자수 감안기준, 국제전문학술지 우선 기준 등으로 나누고, 전문도서의 총점 포함 여부 등을 구분하여 분석하였다. 특히, 논문, 저서 등 정량적인 연구실적의 중요도에 따라 가중치를 달리하고, 학문별 특성을 감안하여 5개의 학문단위로 나누어 분석을 실시하였다. 선정률은 3가지 방법으로 나누어 분석을 실시하였다.
대상 데이터
일반연구와 정액연구를 합친 전체 신진연구자 지원사업을 시뮬레이션한 결과는 다음과 같다. 본 연구에서는 등재지 논문 점수 1점을 기준으로 하여 각 연구성과 항목별 점수에 대해서 16 경우의 수로 시뮬레이션을 실시하였다. 등재후보는 0.
합리적인 정량평가 모형을 개발하기 위해서 2013, 2014년 신진연구자지원사업, 중견연구자지원사업에 신청한 연구자의 데이터인 논문 191,583건과 저서 41,077건을 이용하여 시뮬레이션 분석을 실시하였다. 시뮬레이션은 (1) 총점 기준, (2) 총점에 저자수 감안 기준, (3) 국제학술지 우선 기준 등의 세 가지 기준에 근거하여 각각 실시하였다.
데이터처리
과제를 신청했을 때 선정 여부에 영향을 미치는 요인 들을 찾거나 혹은 본 연구에서 제시한 정량평가모형 결과(총점)가 선정에 어떤 영향을 미치는지를 알아보려면β값을 추정해야 하므로 이를 위해 로짓회귀 분석을 실시하였다.
본 연구에서는 특정의 연구자가 연구신청을 했을 때 각 연구실적에 따라 선정될 확률이 얼마나 되는지를 분석하고 동시에 평가모형의 타당성도 검증하고자 하였다. 이를 위해서는 로짓 회귀분석을 실시하였다.
다음으로 본 연구에서는 개발된 정량평가모형의 타당성을 검증하고자 하였다. 평가모형에서 각 평가요소의 가중치를 이용한 평가 총점을 설명변수로 넣고 선정, 비선정을 종속변수로 하여 로짓회귀 분석을 실시하였는데 그 결과는 [표 5]와 같다.
성능/효과
로짓분석 결과 연구실적의 총점은 1% 유의수준에서 유의하게 나타났다. 따라서 평가모형은 종속변수인 선정, 비선정에 유의한 영향이 있는 것으로 밝혀져 본 연구에서 개발된 정량평가모형이 타당한 것으로 나타나고 있다. 이 결과에 실제 데이터를 대입하여 총점수를 바탕으로 선정률을 계산한 것이 [표 6]이다.
로짓분석 결과 연구실적의 총점은 1% 유의수준에서 유의하게 나타났다. 따라서 평가모형은 종속변수인 선정, 비선정에 유의한 영향이 있는 것으로 밝혀져 본 연구에서 개발된 정량평가모형이 타당한 것으로 나타나고 있다.
본 연구는 계량적 모형을 설정한 후 20만건이 넘은 실제 데이터를 이용하여 모형을 검증하였을 뿐 아니라 로짓회귀분석을 통하여 여러 변수들이 선정률에 미치는 영향요인들과 그 크기를 규명할 수 있었다는 점에서 나름대로의 의의를 가질 수 있다. 특히 논문이나 저서등 연구업적들이 변함에 따라 선정확률이 어떻게 될 것인가를 모형을 통해서 계산 시도한 것도 의미 있는 작업이라고 생각된다.
분석결과 국외(SSCI 등) 연구실적이 1% 혹은 5% 유의수준에서 유의한 것으로 나타났으며 중견연구에서는 전문도서가 1% 유의수준에서 유의하게 나타났다.
이 결과는 앞선 시뮬레이션 결과에 기초하여 신진연구자지원사업은 등재지에 1점, 등재후보지에 0.8점, SSCI, SCI, A&HCI에 3점, SCIE, SCOPUS에 1.5점, 전문도서에 2점을, 중견연구자지원사업은 등재지에 1점, 등재후보지에 0.8점, SSCI, SCI, A&HCI에 3점, SCIE, SCOPUS에 2점, 전문도서에 2점을 가중치로 준 총점이 설명변수이다.
후속연구
본 연구에서 제시한 정량평가 방법으로 예컨대 2배수 정도를 선정하여 그 지원서만을 대상으로 정성평가에 들어가는 방식을 염두에 두고 시뮬레이션을 진행하였다. 또한 연구재단에서 현재까지는 일반연구와 정액연구를 한꺼번에 패널에 포함하여 평가하는 방법을 이용하였으나 향후 정액연구에 대해 더욱 관심을 가지기 위해서는 일반연구와 정액연구를 분리하여 평가하는 방법을 고려해볼 필요가 있다.
셋째, 연구실적 요소에 대한 가중치 부여는 전체 시 뮬레이션 결과를 이용한 가중치를 적용하는 방법과 각 학문별 시뮬레이션 결과를 이용한 가중치를 적용하는 방법을 생각할 필요가 있다.
첫째, 본 연구를 위한 데이터가 2013, 2014년 2개년도 데이터만 분석했기 때문에 이를 늘림으로써 보다 정확한 시뮬레이션이 이루어질 수 있다.
질의응답
핵심어
질문
논문에서 추출한 답변
정액연구 지원의 목적은?
둘째, 정액연구 지원은 연구자의 연구비 관리 부담을 줄여주자는 목적을 지닌다.
정액연구의 장점은?
첫째, 정액연구는 소액연구의 성격을 가지는데 이는 주어진 연구지원 예산으로 보다 많은 연구자들에게 연구비를 지원할 수 있다는 장점이 있다.
정액연구지원으로 인해 한국연구재단이 겪고 있는 문제는?
이상에서 설명한 것처럼 정액연구지원은 많은 의의를 가지고 있고 연구자들로 부터도 환영받고 있는 제도이지만 지원 대상 선정을 담당하는 한국연구재단에게는 여러 문제가 발생하고 있다. 우선 과도한 수의 연구비 신청이 이루어지고 있고 선정과 관련된 관리적 업무가 크게 늘어나고 있다는 점이다. 현재의 한국연구재단의 지원 선정 절차에 의하면 연구지원자가 제출한 계획서를 평가하여 선정하는 절차는 [표 1]과 같이 3단계로 이루어지고 있다(‘2015년 인문사회분야 학술지원사업 중견연구자지원사업 신청요강’, 2015).
참고문헌 (12)
서옥이, 박귀순, 신숙경, 이성종, 이원근, 이윤희, "한국형 그랜트 지원방식 도입에 따른 선정평가 효율화를 위한 정량적 가이드라인 수립에 관한 연구," 기술혁신학회지, 제16권, 제2호, pp.424-443, 2013.
이희상, 기초연구사업 평가시 정량지표 도입을 통한 객관성 강화 방안, 한국연구재단, 2011.
한국연구재단, 사업 신청요강, 2015.
홍종선, KCI기반 Kor-Factor평가지표 개발 및 시범적용, 한국학술진흥재단, 2007.
P. D. Batista, M. G. Campiteli, O. Kinouchi, and A. S. Martinez, "Is it possible to compare researchers with different scientific interests?," Scientometrics, Vol.68, pp.179-189, 2006.
J. E. Hirsch, "An index to quantify an individual's scientific research output that takes into account the effect of multiple coauthorship," Scientometrics, Vol.85, No.3, pp.741-754, 2010.
H. Marsh, U. Jayasinghe, and W. Nigel, "Improving the Peer-Review Process for Grant Applications Reliability, Validity, Bias, and Generalizability," American Psychologist, Vol.63, No.3, pp.160-168, 2008.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.