초록 ▼

최근 들어 정부의 연구개발 사업에 대한 보다 객관적인 조사.분석.평가를 요구하는 목소리가 높아지고 있다. 이러한 요구에 부응하기 위해 정부는 1999년 '국가과학기술위원회'를 설립하고, 2005년에는「연구개발 사업 등의 성과 평가 및 성과 관리에 관한 법률」을 제정하여 정부 연구개발 투자의 효율성과 투명성을 제고시키기 위해 노력하고 있다. 이러한 국가연구개발 사업성과에 대한 분석과 평가의 강조는 상대적으로 평가가 쉽지 않은 인문사회분야에 대한 성과분석 도구의 개발에 대한 필요성을 제고시키고 있다.
인문사회과학은 단기적인 경제적

최근 들어 정부의 연구개발 사업에 대한 보다 객관적인 조사.분석.평가를 요구하는 목소리가 높아지고 있다. 이러한 요구에 부응하기 위해 정부는 1999년 '국가과학기술위원회'를 설립하고, 2005년에는「연구개발 사업 등의 성과 평가 및 성과 관리에 관한 법률」을 제정하여 정부 연구개발 투자의 효율성과 투명성을 제고시키기 위해 노력하고 있다. 이러한 국가연구개발 사업성과에 대한 분석과 평가의 강조는 상대적으로 평가가 쉽지 않은 인문사회분야에 대한 성과분석 도구의 개발에 대한 필요성을 제고시키고 있다.
인문사회과학은 단기적인 경제적 가치만으로 평가할 수 없는 내재적이고 문화적인 가치를 가진다. 문제는 이러한 인문사회과학의 역할과 기여를 입증하고, 평가할 수 있는 지표 체계의 마련이 쉽지 않다는 것이다.
이 연구는 기존 응용과학 중심의 성과평가체계가 가진 문제점을 비판적으로 넘어서서 인문사회분야의 특성을 반영하는 성과지표 체계를 만들고, 이를 바탕으로 기존 학술연구조성 사업들의 성과와 투자효과를 분석하는 데 그 목적이 있다. 성과 평가의 체계와 틀은 단기(1~2년)의 사업성과와 중기(2년 이상)의 사업성과분석을 위한 두 가지로 구성하였다. 동일 사업이라 하더라도 분석기간과 방법에 따라 접근 방법이 달라야 하기 때문이다.
이를 위해 본 연구에서는 먼저 한국학술진흥재단이 활용하고 있는 성과지표체계의 기준이 되는 국가연구개발사업 성과지표 체계의 논리적 구조를 분석하고, 외국의 지표 체계 현황과 변화 경향을 검토하였다. 이러한 작업을 통해 학술연구조성사업의 사업별 지표 체계가 가지고 있는 특성과 문제점들을 정리한 다음, 성과분석을 위한 일반적 모델을 제시하였다. 4개 대영역인 지식생산, 인적자원개발, 교류협력, 그리고 연구성과 확산의 틀을 양, 질, 다양성이라는 3가지 축과 교차시키고, 논리적 연역작업을 통해 구체적인 하위지표들을 도출하였다. 직접적인 산출(output)과 관련되는 이러한 지표체계는 시간의 흐름과 환류의 기제 속에서 결과(outcome)의 일부가 될 수 있다는 방법론적인 틀을 마련하는 작업이 먼저 이루어진 것이다. 분석 모델에서 산출, 결과요인들은 논문생산과 같은 사업의 즉각적이고 직접적인 산출로부터 보다 간접적이고 중기적 결과요인들, 그리고 장기적 결과와 영향을 측정하기 위한 요인들에 이르기까지 계기적으로 배열하였다.
이를 바탕으로 3장에서는 산출분석을 위한 기존 한국학술진흥재단의 사업별 성과지표 체계를 진단하고, 대안적 지표의 예를 제시해본다. 구체적으로는 2006년도에 이루어진 한국학술진흥재단의 자체성과보고서에 대한 내용 분석, 전문가들에 의한 심층면접(focused group interview), 그리고 PM들에 대한 설문조사를 통해 기존 사업별 성과지표 체계가 가지고 있는 문제점들을 분석하고, 이를 수정하기 위한 몇가지 지침을 마련했다. 더불어 이를 바탕으로 어떤 지표 체계가 가능한지를 실험적 수준에서 검토하였다. 기초연구과제지원사업, 신진교수연구지원사업, 중점연구소지원사업, 그리고 학문후속세대양성사업 등이 가지는 사업취지에 부합되도록 지표체계를 재구성하고, 몇 가지 구체적인 하위지표들을 선택한 샘플을 제시한 것이다. 여기서 도출된 결과들을 2003년에서 2006년까지의 결과보고서 DB에 적용하여 연차 사업성과 평가시 결과에 어떠한 영향을 미치는가를 모의실험(simulation)하여 개선안을 최종 제안하였다.
중기적 성과분석을 위한 투자효과분석은 지식생산, 인적자원 개발, 교류와 협력, 지식확산의 4개 영역을 핵심 성과지표로 설정하고, 각 영역별로 구체적인 지표를 선정한 다음, 2003년에서 2006년까지 4년에 걸쳐 학술진흥재단의 지원을 받은 기초연구과제지원사업, 신진교수연구지원사업, 중점연구소지원사업, 학문후속세대양성사업, 교수해외연수지원사업의 5개 사업의 투자효과를 분석하였다.
분석모델은 비용-편익 중심의 경제학적이고 정량적 모델 대신에 기초연구사업의 사업특성과 인문사화과학이라는 전공 특성을 반영할 수 있도록 보다 탄력적이고 융통성있는 분석틀을 마련하였다. 연구비나 연구원 수와 같은 정량적 투입 변인 대신에 연구 주제의 성격이나 전공, 연구방법, 지원연도와 같은 연구형태의 질적 특성을 사업성과의 주요 설명요인으로 도입하였다.
분석 전략은 엄밀한 연역적 절차에 의한 인과성 검증을 위한 것이 아니라 경험적 근거들에 의거하여 포괄적 변수와 요인 중 타당한 성과지표를 색출해내고, 나아가 성과 요인들 간의 관련성을 파악하기 위한 귀납적인 방법을 활용하였다. 설문조사 방법은 엄밀한 측정이 어렵고 응답편이의 문제점에 있지만, 다양한 여러 요인의 측정을 용이하게 한다는 이점 때문에 본 조사의 자료수집방법으로 채택하였다. 동시에 일부 지표에 대해서는 기존 DB를 활용하였다.
조사결과의 주요 내용은 다음과 같다. 먼저 핵심 성과지표인 지식생산, 교류와 협력, 지식확산을 위한 활동 등의 기술적 통계치들을 통해서 적어도 수요자의 차원에서 볼 때 지난 4년간 5개 사업의 성과가 상당한 수준에 이르렀음을 입증하였다. 자기평가라는 한계가 있지만 논문 질에 대한 평가는 항목별로 대체로 5점 만점에 평균 4점을 넘어서는 수준이며, 가장 낮은 항목도 3.5이상을 넘고 있다. 연구수행 결과 전공 연구자와의 학문적 교류가 증가했다는 반응도 거의 2/3에 이르고 있다
연구성과물을 대학 강좌에 많이 활용하는 경우는 40% 정도, 학생논문 작성에 연구결과를 활용한 경우는 30% 정도로 나타나 성과에 대한 평가는 엇갈릴 수 있다. 그러나 인적자원개발에 대한 사업의 긍정적 효과는 고용 영역에서 보다 분명하게확인할 수 있었다. 과제수행 중 취업을 한 연구자의 60% 이상이 과제수행이 안정적 일자리로 이동하는데 도움이 되었다고 보고하고 있다. 연구성과에 대한 언론보도율은 13.7%, 일반 대중을 상대로 한 강의 및 강연 경험율은 40%를 넘어서고 있어 지식확산 활동율도 예상보다 높은 수준으로 나타났다.
일반성과지표로서 조사한 목표달성도와 사업 적시성 평가로 연구제안시 설정했던 목표가 평균 85.3%로 달성되었다고 자기보고하고 있으며, 사업지원이 없었더라면 연구를 포기하거나 한동안 지연되었을 것이라는 연구자가 60%를 넘어서는 것으로 조사되었다.
연구역량은 사업의 간접적이고 중기적 결과로서 연구산출물과 결과를 연구재생산으로 연계하는 핵심 요인이다. 연구역량의 하위지표인 자신감, 전문성, 연구자 위상, 인지도에 있어서 연구로 인한 향상도가 크다는데 연구자의 50% 정도가 동의하고 있었으며, 향상도가 매우 크다는 반응도 30%로 나타나 전체 80%정도가 사업으로 인한 상당한 수준의 연구능력 증대 효과를 인정하는 것으로 나타났다.
사업의 장기적 파급효과는 공공적 기여, 학문적 기여, 그리고 국가적 기여 영역으로 구분하여 조사하였는데, 이 가운데 학문적 기여도가 가장 높은 것으로 나타났으며, 그 중에서도 특히 지식축적과 연구활성화에 대한 기여도가 가장 높은 것으로 조사되었다. 비교적 긍정적인 사업성과에도 불구하고 성과 점수의 내적 분화와 편차도 적지 않음을 확인할 수 있었다. 사업별로는 논문성과 관련 지표를 위시하여 중점연구소지원사업이 타 사업에 비해서 성과가 두드러진 항목이 많은 것으로 나타난 반면, 학문후속세대양성사업은 전체 평균에서는 낮은 점수를 보여준 항목이 적지 않았으며, 수혜자간 평가가 엇갈리는 대표적 사업으로 확인되었다.
연구주제 활성화 정도에 따른 연구단계별 차이도 몇 가지 항목에서 확인되었는데, 대체로 연구가 시작하거나 기반을 구축하는 단계에 있을 때 사업의 효율성이 더욱 크다는 사실에 주목할 필요가 있다. 특히 사업적시성과 논문 관련 성과는 연구주제가 시작단계에 사업에서 성과가 크게 나타나는 것으로 조사되었다. 전공과 연구방법별 성과 차이는 예상보다 크지 않았다. 인문학과 사회과학은 학문적 특성의 차이에도 불구하고, 본 조사 결과에서는 일부 항목에서의 차이는 발견되었지만 성과의 차별성이 뚜렷하게 부각되지 않았다.
성과에 영향을 미치는 요인에 관한 구체적 분석을 위해서 사업별 성과분석이 이이어졌다. 기초연구과제지원사업, 신진교수연구지원사업, 학문후속세대양성사업의 3개 사업을 대상으로 연구환경이 성과에 미치는 영향, 성과지표들 간 상관성, 연구역량과 연구재생산성 분석을 시행하였다.
본 연구에서는 기초연구과제지원사업을 대상으로 단년과 다년 과제의 사업성과를 비교하여 보았다. 일반적으로 연구자 대부분이 다년 과제를 선호하고 있는데, 과연 장시간 시간을 투여한 만큼 효과가 있는지가 주된 본 연구의 관심사항이었다. 조사결과, 논문성과를 제외한 거의 모든 항목에서 다년 과제의 효율성은 두드러지는 것으로 나타났다.
연구환경이 성과에 미치는 효과에 대한 분석 결과, 행정부담보다 강의 부담이 연구성과에 더 큰 영향을 미치는 것으로 나타났다. 연구 투여시간이 연구성과에 미치는 영향은 사업별로 차이가 있는 것으로 조사되었는데, 기초연구과제지원사업은 연구시간보다 연구집중도가 더 영향을 주는 반면, 신진교수연구지원사업은 연구시간의 영향을 더 많이 받고 있는 것으로 나타났다. 학문후속세대양성사업은 다른 두사업에 비해 연구집중도가 연구성과에 미치는 효과가 상대적으로 크게 나타났는데, 이는 시간투여와 같은 물리적 환경보다 연구에 전념할 수 있는 심리적 안정성이 연구성과 제고를 위해서는 주요 요건임을 시사해 주고 있다.
성과 요인간 관련성을 분석한 결과, 논문의 양과 질이 미치는 효과는 사업별로 다소 차이가 있는 것으로 나타났다. 기초연구과제지원사업은 논문의 양보다 논문의 질적 수준이 학문적 교류, 교육적 활용, 지식확산에 미치는 효과가 강한 것으로 나타난 반면, SCI급 논문 수가 다른 성과 변수에 미치는 영향은 대체로 유의미하지 않은 것으로 나타났다. 신진교수연구지원사업의 경우, 논문의 양은 지식확산에 영향을 미치고 있는 것으로 조사되었으며, SCI논문은 적어도 해외연구자와의 교류를 촉진하는 요인인 것으로 밝혀졌다. 그러나 다른 사업과 마찬가지로 신진교수연구지원 사업에서도 논문의 양보다 질이 타 성과 요인에 미치는 영향이 더 큼을 발견할 수 있었다.
지식 생산의 양적 측면을 제외한 교육적 활용, 학문적 교류, 지식확산활동 간의 높은 상관성은 이들 성과요인이 순환적 맥락에서 상호 영향을 주고 있음을 보여주는 것이며, 이 같은 상호영향성은 특히 기초연구과제지원사업에서 분명하게 나타났다. 또한 학문후속세대양성사업이 연구의 단기적 성과들에도 불구하고 보다 안정적이고 장기적인 연구재생산으로 파급되기 위해서는 극복되어야 할 장애요인들이 적지 않이 존재함을 확인할 수 있었다.

Abstract ▼

There has been an increased interest in the analysis and assessment of government funded research projects. Korean government established National Science and Technology Council in 1999 in order to enhance the effectiveness, transparency, and efficiency of publicly funded research projects. Under th

There has been an increased interest in the analysis and assessment of government funded research projects. Korean government established National Science and Technology Council in 1999 in order to enhance the effectiveness, transparency, and efficiency of publicly funded research projects. Under thess circumstances, there has been strong demand that the humanities & social sciences also need analytical tools to assess their performances and efficiency of investment.
Humanities and social sciences produce various long-term cultural values which cannot be measured by short-term result-oriented indices. Yet, the challenge is how the contribution of humanities & social sciences can be measured so that the government and the public be persuaded of their important role.
This study attempts to go beyond the existing performance assessment system and to construct performance indices that are sensitive to the peculiarities of humanities & social sciences. In addition, we analyze the effect of investment to the academic research projects funded by Korea Research Foundation. In order to do so, we first analyze national R&D performance index system in chapter 2, which is used as a guideline for current performance index system of research programs at Korea Research Foundation. Furthermore, we construct an analytical table which includes the key output variables, i.e., knowledge production, human resources development, exchange & cooperation, and dissemination of research outcome. This table provides logical menu to choose from in making a particular index system adequate for each research program.
In chapter 3, we provide a diagnosis of current performance of individual research support programs. This is followed by a suggestion of an alternative performance indices. To be more specific, we analyze existing performance index system by examining self-evaluation report prepared by the Korea Research Foundation, conducting focused group interviews, and surveying project managers. Based on this set of data, we reconstruct performance index systems for Junior Professor Program, Basic Research Program, Post-doctorate & Research Fellow Program, and Priority Research Program.
Chapter 4 deals with more general issue of measuring effect of investment in the humanities & social sciences. Instead of cost-benefit model which is highly quantitative, we employ a flexible analytical model which is sensitive to the unique character of humanities & social sciences. Qualitative variables such as the nature of research theme, major, research method are used as independent variables. As to the performance indicator, we have chosen various qualitative variables which reflect the peculiarities of humanities & social sciences. E-mail survey method is used to collect data on the above mentioned independent and performance variables. The sample size is 507, which is slightly more than 10 percent of total population, i.e., the recipient of research funds in the field of humanities & social sciences from 2003 to 2006. The respondents have highly assessed the effect of research fund to key output factors such as knowledge production, human resources development, exchange & cooperation, and dissemination of research outcome. In self-evaluation of goal attainment and timeliness, the researchers have responded very positively of the research programs. Sixty one percent of respondents have answered that they would not have completed their research without the timely support of Korea Foundation.
The long term impact of research programs is evaluated as well. This is measured by three separate indices such as public contribution, academic contribution, and national contribution. Academic contribution has shown highest mean and almost 90% of researchers have responded that the research support program at Korea Research Foundation has very positively affected the vitality of their research. In general, age and the rank of the respondents are important variables, while little difference is observed between the disciplines of humanities and social sciences.

목차 Contents

• 표지...3
• 제 출 문...4
• 목 차...5
• 요 약...15
• S U M M A R Y...19
• 제1장 서론...21
• 제1절 연구의 필요성과 목적...21
• 제2절 연구 방법 및 절차...22
• 1. 기초연구...22
• 2. 분석모델 설정과 산출 평가지표 도출...23
• 3. 투자효과분석...24
• 제2장 성과지표 체계와 사례 분석...26
• 제1절 이론적 검토...26
• 1. 성과와 분석모델...26
• 2. 성과지표...27
• 3. 성과분석방법론...28
• 제2절 국가연구개발사업 표준 성과지표...32
• 1. 특징...32
• 2. 평가와 시사점...33
• 제3절 해외 학술지원기관 성과지표...34
• 1. 영국의 국가연구지원사업 평...34
• 2. 유럽에서의 인문학 연구 평가지표...35
• 3. 호주의 ‘감사모델(audit model)’...36
• 제4절 한국학술진흥재단 성과지표...39
• 1. 성과지표 체계의 구성...39
• 2. 영역별 성과지표...42
• 제3장 성과분석모델과 산출지표의 제안...47
• 제1절 성과지표 체계의 구성...47
• 1. 성과분석모델의 설정...47
• 2. 산출분석을 위한 성과지표...49
• 제2절 학술연구조성사업 사업별 성과지표 체계 진단과 수정 제안...55
• 1. 성과지표 체계 개선을 위한 설문조사...55
• 2. 사업별 성과지표 진단 및 수정 제안...59
• 3. 사업별 하위성과지표 구성 시뮬레이션 : 논문을 중심으로...73
• 제4장 투자효과분석...80
• 제1절 분석 내용과 방법...80
• 1. 분석 내용...80
• 2. 성과지표의 설정과 측정...84
• 제2절 사업별 모집단의 특성...89
• 1. 사업별 연구지원현황...89
• 2. 수혜자 특성...91
• 제3절 성과지표의 수집 및 조사대상자의 특성...93
• 1. 성과지표의 수집...93
• 2. 조사대상자의 특성...94
• 제4절 성과 요인별 효과 분석...96
• 1. 사업적시성...96
• 2. 논문 산출...99
• 3. 연구자 교류와 협력...106
• 4. 인적자원개발 효과...108
• 5．지식(연구성과) 확산...112
• 6. 목표달성도...114
• 7. 연구역량 강화...115
• 8. 연구재생산...118
• 9. 파급 효과 : 기여도...121
• 제5절 사업별 투자효과 분석...126
• 1. 기초연구과제지원사업...126
• 2. 신진교수연구지원사업...139
• 3. 학문후속세대양성사업...145
• 제5장 결론...155
• 제1절 산출 영역 투자효과...155
• 1. 일반적 효과...155
• 2. 사업별 효과 비교...156
• 3. 기타 설명요인별 효과 ...158
• 제2절 결과 영역 투자효과...159
• 1. 일반적 효과...159
• 2. 사업별 효과 비교...159
• 제3절 사업별 특정 요인에 따른 투자효과...160
• 제4절 정책적 제언...162
• 1. 다년 과제의 확대와 효과적 운용...162
• 2. 학문후속세대양성사업의 개선...162
• 3. 신진교수연구지원사업의 효율화...163
• 4. 연구성과의 질적 성과관리 필요...163
• 5. 연구주제에 대한 고려...163
• 6. 전공별, 연구형태에 따른 성과지표 도입...164
• <참고문헌>...165
• <부록 1> 영국 AHRC와 ESRD의 Output framework...166
• <부록 2> 기초연구과제지원 용 설문지...172
• <부록 3> 신진교수연구지원 용...181
• <부록 4> 교수해외연수지원 용...189
• <부록 5> 중점연구소지원 용...196
• <부록 6> 학문후속세대양성 용...206
• <부록 7> PM용 설문지...214
• <부록 8> 주요 변수의 배경변수별 분석...221