보고서 정보
주관연구기관 |
한국과학기술기획평가원 Korea Institute of Science and Technology Evaluation and Planning |
연구책임자 |
이승규
|
참여연구자 |
김윤정
,
안소영
,
심혜영
,
강선영
,
최문정
|
보고서유형 | 최종보고서 |
발행국가 | 대한민국 |
언어 |
한국어
|
발행년월 | 2018-02 |
과제시작연도 |
2017 |
주관부처 |
과학기술정보통신부 Ministry of Science and ICT |
등록번호 |
TRKO201800036064 |
과제고유번호 |
1711062559 |
사업명 |
한국과학기술기획평가원연구운영비지원 |
DB 구축일자 |
2018-07-28
|
DOI |
https://doi.org/10.23000/TRKO201800036064 |
초록
▼
1. 서론
■ (필요성) 대규모 델파이조사 방식의 한계 극복하고 기술수준평가 결과의 신뢰도 제고 및 기술수준평가 결과의 활용도를 향상을 위해 평가방법론 개선 연구 및 활용 방안 모색이 필요
◎ 기존 연구에서는 주로 델파이조사 방식의 객관성 제고에 집중하였으나 델파이 조사 중심의 평가 방식의 개선 필요성이 대두
- 전체 평가에서 델파이조사와 결과 분석에 들어가는 시간과 비용의 비중이 지나치게 높아 심층적인 평가 결과의 도출과 활용도 제고에 제약사항으로 작용하고 있어, 평가 과정의 효율성을 높이고 정성적 분석을 강화하는
1. 서론
■ (필요성) 대규모 델파이조사 방식의 한계 극복하고 기술수준평가 결과의 신뢰도 제고 및 기술수준평가 결과의 활용도를 향상을 위해 평가방법론 개선 연구 및 활용 방안 모색이 필요
◎ 기존 연구에서는 주로 델파이조사 방식의 객관성 제고에 집중하였으나 델파이 조사 중심의 평가 방식의 개선 필요성이 대두
- 전체 평가에서 델파이조사와 결과 분석에 들어가는 시간과 비용의 비중이 지나치게 높아 심층적인 평가 결과의 도출과 활용도 제고에 제약사항으로 작용하고 있어, 평가 과정의 효율성을 높이고 정성적 분석을 강화하는 방법론에 대한 검토가 필요
- 국내・외 기술수준평가 사례 분석, 국내 기술수준평가 참여 전문가 및 활용전문가 의견수렴, 방법론 개선에 대한 시범연구 등을 통해 차기 기술수준 평가를 위한 평가방법론 개선방향(안) 도출 필요
◎ 평가대상 기술에 관해 수행된 다른 분석 결과와 수준평가 결과를 연계 분석하여 기술수준평가 결과의 활용 가능성을 모색할 필요가 있음
- 국가연구개발사업 중 각 기술별 관련 과제 현황(연구비 규모, 연구수행주체,연구개발단계 등)과의 연계 분석을 통해 향후 기술수준 향상을 위한 정부연구비 투자전략 및 관련 정책에 대한 시사점을 얻을 수 있음
■ 연구목표
◎ 기술수준평가 결과의 신뢰도 및 활용도 제고 방안 고찰
- 기술수준평가 방법론 및 절차 개선 방안 도출
- 기술수준평가 결과와 정부연구개발활동 연계 분석
■ 연구내용
◎ 기술수준평가 결과의 신뢰도 제고를 위한 평가방법 개선 방안 도출
- 국내・외 기술수준평가 사례 조사
- 전문가 의견 수렴을 통한 기존 방법론의 장단점 분석 및 개선방안 도출
- 국내・외 사례조사, 전문가 의견 수렴 과정에서 도출된 개선 방안 중 주요 내용에 대한 시범적용 연구
- 기술수준평가 개선안 도출: 기술수준평가 대상기술과 분석 단위 조정, 평가참여자의 전문성 제고, 정책적 활용도 제고를 위한 정성적 분석 강화 방안 등
◎ 기술수준평가 결과의 활용도 제고를 위한 타 조사 결과와의 연계 분석
- 기존의 평가대상인 국가전략기술에 대해서는 관련된 정부연구개발사업 세부과제에 대한 파악이 가능하므로, 동 과제의 다양한 정보와 기술수준 평가 결과와의 연계 분석이 가능함
- 즉 국가전략기술별 기술수준과 관련 정부연구비 규모, 과제 수행 주체,연구개발단계 등 다양한 정보와의 관계 분석을 통해 향후 투자의 효과성 향상을 위한 시사점 도출: 2014년과 2016년 기술수준평가 결과 변화를 동기간의 국가연구개발사업의 관련 과제 현황과 비교・분석
2. 국내・외 기술수준평가 사례 조사・분석
■ 국내 기술수준평가
◎ 대부분 델파이조사 또는 설문조사를 이용해 세계 최고기술 보유국 대비 국내 기술의 상대적 수준과 격차를 정량화하여 평가
- 사례조사 대상 10개 중 9개에서 델파이조사 또는 설문조사 중심의 평가방법을 채택하였고, 사례조사 대상 10개 모두에서 최고기술보유국을 도출하고, 해당 국가 대비 상대적 기술수준을 백분율(%)로, 기술격차를 기간(년도)로 정량화하여 평가함
◎ 기술수준 및 기술격차 이외에도 다양한 지표에 대해서 객관식 문항을 이용한 델파이조사 또는 설문조사 방식의 평가를 수행
- 기술수준 및 기술격차의 이유, 기술의 위치나 특성, 기술의 중요도, 기술수준 향상방안 또는 기술격차 해소방향(안) 등에 관해 몇 개의 척도 또는 유형에 대해 선택(응답) 비율을 활용해 분석
◎ 일부 조사 사례에서는 델파이조사 또는 설문조사 방식으로 수행된 결과에 추가 자료조사와 전문가의 분석 과정을 더해 정책방향 및 제언사항을 제시
- KISTEP 기술수준평가 등 일부 조사의 경우 기술별 기술・산업・정책 동향 자료조사, 논문・특허 분석 결과 등을 추가로 수행하고, 이를 바탕으로 SWOT 분석과 정책제언을 제시하였고, IITP 기술수준평가의 경우 Hype Cycle 이라는 분석 프레임을 적용해 기술의 산업적 의미와 관련 정책 제언을 제시
■ 국외 기술수준평가
◎ 미국과 일본 사례를 중심으로 전문가에 의한 심층적인 자료조사와 분석 과정을 거친 평가를 수행
- (주요 사례) 5점 척도 조사 결과에 대해 자문위원회의 최종 검토(미국 OSTP),분야별 전문가의 해외 방문 인터뷰(미국 WTEC), 국내・외 유명 연구자 인터뷰 조사(일본 NISTEP), 국내・외 연구기관 및 연구자에 대해 400여회의 방문조사・의견교환・워크숍(일본 JST-CRDS) 등
※ 단, 중국의 경우에는 국내사례와 유사하게 전문가 집단에 대한 델파이조사 중심의 평가 수행
◎ 기술의 현황과 국제 수준 대비 자국 수준 평가를 척도화・등급화・유형화 방식으로 수행하고 이를 바탕으로 각 사례별로 다양한 정책적 활용 방안을 제시
- 미국 OSTP 사례는 미국의 기술성능을 주요국 대비 수준에 따라 5점 척도로 평가하였고, 일본의 JST-CRDS 사례는 연구개발활동 및 성과 정도를 4등급으로, 최근 2년의 변화 트렌드를 3개 유형으로 평가함
■ 국내・외 기술수준평가사례의 시사점
◎ 보다 다양한 평가방법론 고찰이 필요
- 대부분의 평가에서 전문가 집단에 대한 델파이조사 또는 설문조사 방식을 통해 정량적 지표에 대한 산술적 결과를 도출하고 있어 기술수준평가 방법론의 발전과 평가결과의 활용도 향상 속도가 더뎌지는 원인이 될 수 있음
◎ 평가의 신뢰도뿐 아니라 정책적 활용도 제고를 위한 분석 강화가 필요
- 국내 및 중국의 경우 대규모 전문가 대상 델파이조사 방법론을 중심으로 정량적 기술수준 지표에 대한 평가결과의 신뢰성 확보에 중점을 두고 있음
- 이에 비해 미국 및 일본 사례는 전문가의 심도 있는 조사와 분석 과정을 통해 다양한 내용분석과 전략적 제언을 도출함으로써 향후 정책적 활용도 향상을 지향한다는 점을 참고할 필요가 있음
3. 평가방법론 개선 연구
■ 개선 방향
◎ 델파이조사에 참여하는 전문가의 전문성 향상, 델파이조사 결과와 종합분석과의 연계성 강화 등을 중심으로 평가결과의 신뢰도를 향상
◎ 평가/분석 근거 강화, 전략적 중요성 관련 분석 강화 등을 중심으로 기술 수준 중심의 활용에서 벗어나 정책적 활용성을 높이는 것이 필요
■ 기초자료 강화
◎ 결과의 신뢰도 향상을 위해서는 평가의 정확성을 향상시킬 수 있도록 평가자들의 객관적이고 전문적인 판단에 도움이 될 수 있는 관련 자료 제공을 강화할 필요
■ 평가절차 및 평가방법
◎ (평가절차) 결과의 신뢰도 향상을 위해서는 평가 과정의 일관성 확보의 불확실성을 최소화할 수 있도록 평가 방법・절차가 개선되어야 함
- 다수 전문가들의 응답을 수렴하여 수치로 표현되는 델파이조사 결과와 특정 전문가의 해석을 거쳐 정성적으로 작성되는 종합분석 결과 간에는 왜곡의 위험성이 존재하므로 델파이조사와 종합 분석 간의 연계성 강화가 필요
- 델파이조사 방식의 단점을 보완하기 위해 FGI(Focused Group Interview)방식을 적절히 활용・연계하는 방법론을 통해 보다 활발하고 적극적인 논의를 유도하고 기술수준 및 관련 내용을 보다 면밀히 분석할 수 있는 방안을 마련할 필요하며, 특히 델파이조사 참여와 중에서 소수패널을 구성하여 종합분석 FGI를 통해 기술수준 및 기술격차, 증감원인 등에 대한 분석을 추진하는 방안에 대한 검토 필요
◎ (평가자 구성) 평가자의 전문성과 책임성 제고 방안을 위해 평가자 참여 과정에 대한 질적 관리 방안을 마련하고, 델파이조사와 종합분석 참여 전문가의 연계 강화가 필요
- 국가전략기술 선정을 위해 부처로부터 추천받은 전문가를 활용하거나, 관련 학회나 협회, 연구관리 전문기관 등을 중심으로 분야별로 적절한 전문가를 선정하기 위한 위원회를 구성하거나 관련 절차를 마련할 필요
- 「제4차 과학기술기본계획」 수립을 위한 국가전략기술의 동향 분석에 참여한 전문가, 관련 정부연구개발과제의 연구책임자 등을 활용해 보다 구조화된 평가자 선발 방안을 모색할 필요
◎ (평가항목) 결과의 활용도 측면에서 평가항목을 재구성하고, 델파이조사 이외의 데이터 기반 평가지표를 강화할 필요
- 기술수준평가의 과학기술정책 수립을 위한 기초자료 제공이라는 목적에 부합할 수 있는 고품질의 다양한 자료를 제공할 수 있도록 조사문항을 검토하여 활용도, 중요도가 높은 항목들을 중심으로 재구성할 필요
- 한편, 수요조사를 통해 필요시 정책적 중요도가 높은 항목들을 추가하거나 기존 항목을 수정・보완・활용방안 변경 등을 통해 활용도를 제고하는 방안 마련 필요
- 신규 항목이 추가될 경우 해당항목의 분석 및 활용 방안을 고려해 항목별 선택내용 또는 평가척도 개발 연구가 필요
- 논문 및 특허를 기반으로 주요국 대비 기술수준 지표를 제시
◎ (종합분석) 전략적 중요성을 판단할 수 있도록 기존 지표의 평가 결과에 대한 보다 심층적인 분석이 필요
- 백분율로 표시되지만 5개 등급화된 기술수준, 그리고 기술수준과 기술격차의 관계 등 핵심 지표에 대해 보다 세부적인 해석과 활용이 가능한 방안의 모색이 필요
- 평가대상 기술을 구성하는 세부기술 단위에 대한 추가적인 평가와 이를 바탕으로 대상 기술별 전략적 연구개발 방향(세부기술 단위의 우선순위 도출 등) 제시가 필요
■ 평가환경
◎ (UI 개선) 기술수준평가 응답률 제고를 위해 평가자 입장을 고려한 델파이 조사가 될 수 있도록 UI를 개선할 필요
- 평가자가 기술수준평가 및 평가하는 대상 기술과 평가 항목에 대한 정확한 이해를 바탕으로 평가에 임할 수 있도록 설명 자료를 고안
- 참고자료로 제공되는 동향 분석 및 논문・특허 분석 자료와 2차 조사 시 제공되는 타응답자들의 답변을 참조하기 쉬운 형태로 재구성할 필요
4. 기술수준평가-국가연구개발사업 연계 분석
■ 국가전략기술 관련 국가연구개발투자 현황
◎ 국가전략기술별 평균 정부연구비 규모 및 세부과제 수
- 120개 국가전략기술과 관련해 수행된 세부과제는 총 35,180개로 국가전략기술당 평균 293.2개의 세부과제가 수행됨
- 투입된 정부연구비 규모는 총 10조 2,911억 원으로 국가전략기술 당 평균 857.6억 원의 정부연구비가 투입됨
◎ 최대 정부연구비 투입 주체 및 최다 세부과제 수행 주체
- 연구수행주체 중에서는 출연연구소를 통해 수행된 연구과제 규모가 4조 135억 원(전체 연구비 중 약 39.0%)으로 가장 많았고, 대학이 가장 많은 17,263개의 세부 과제(전체 과제의 49.1%)를 수행하였음
- 정부부처 중에서는 미래창조과학부(현 과학기술정보통신부)의 투자규모 3조 9,534억 원(전체 규모의 38.4%), 세부과제 수 9,303개(전체 11.1%)로 가장 많은 정부연구비와 세부과제를 차지
◎ 최대 정부연구비 투입 주체 및 최다 세부과제 수행 분야(10대 분야)
- 바이오 분야에서 가장 많은 8,978개의 세부과제가 수행되었고, 전자・정보・통신 분야에 가장 많은 1조 7,396억 원의 정부연구비가 투입됨
■ 정부연구비와 기술수준 변화 비교 분석(2014년 대비 2016년)
◎ 전체 투자 규모 및 관련과제 현황
- 120개 국가전략기술의 평균 기술수준은 2014년 78.4%에서 78.6%로 0.2% 상승하였고, 동 기간 관련 정부연구비는 9조 5,040억 원에서 10조 2,911억원으로 7,871억 원 증가하였음
◎ 10대 분야별 변화 비교
- 2014년 대비 정부연구비가 증가한 분야는 8개이며, 이 중 6개 분야는 기술별 기술수준 변화가 평균적으로 향상되었으나, 2개 분야는 하락하였음
※ 정부연구비 총액 증가율 대비 기술수준 향상 비율이 가장 높은 분야는 환경 지구 해양 분야로 정부연구비 1% 증가에 따라 기술수준이 0.922% 향상
- 2014년 대비 정부연구비가 하락한 분야는 2개인데, 이 중 에너지・자원・극한기술 분야는 정부연구비 하락에도 불구하고 기술별 기술수준 변화가 평균적으로 향상되었으나, 기계・제조・공정 분야는 하락하였음
※ 기계 제조 공정 분야는 정부연구비 1% 감소에 따라 기술수준이 0.394% 하락
◎ 120개 기술별 변화 현황
- 2014년 대비 2016년 정부연구비가 증가한 기술은 75개이며, 이 중 기술 수준이 향상된 기술은 41개, 하락한 기술은 34개임
- 2014년 대비 2016년 정부연구비가 감소한 기술은 45개이며, 이 중 기술 수준이 향상된 기술은 25개, 하락한 기술은 20개임
■ 시사점
◎ 국가연구개발사업 투자 현황과 기술수준 변화의 상관관계 및 영향에 대한 보다 면밀한 분석이 필요
- 전자・정보・통신 등 6개 분야의 국가전략기술들에 대해서는 지난 2년 간(2014년 대비 2016년) 정부연구비 투입 총규모가 증가하면서 평균 기술수준 또한 증가하였으므로 관련 정부연구비 투자가 기술수준 향상에 영향을 주었을 가능성이 있음
- 다만 정부연구비 증가율 대비 기술수준 향상 정도는 분야별로 최대 73배*까지 차이가 나며, 분야별로 연구개발비 투입의 효율성에 대한 보다 면밀한 분석이 필요함
* 정부연구비 1% 증가 시 환경 지구 해양 분야는 최대치인 0.922% 상승하였고, 나노 소재 분야는 최소치인 0.013% 상승에 그침
- 기계・제조・공정 분야의 국가전략기술들에 대해서는 지난 2년 간(2014년 대비 2016년) 정부연구비 투입 총규모가 오히려 감소하였고 평균 기술수준 또한 하락하였으므로 관련 정부연구비 투자가 기술수준 하락에 영향을 주었을 가능성에 대한 분석이 필요
◎ 기술수준 및 변화 동향과 연계해 기술수준 향상 및 최고기술보유국과의 기술 격차 축소를 위한 정부연구비 투입 전략 수립 방안에 대한 검토 필요
- 의료, 항공・우주 등 2개 분야의 국가전략기술들에 대해서는 지난 2년 간(2014년 대비 2016년) 정부연구비 투입 총규모가 증가하였음에도 평균 기술 수준이 하락하였으므로, 연구비 투입 방식의 적정성 검토와 함께 연구비 이외에 기술수준 향상 방안 도출이 필요
- 에너지・자원・극한기술 분야의 국가전략기술들에 대해서는 지난 2년 간(2014년 대비 2016년) 정부연구비 투입 총규모가 오히려 감소하였음에도 평균 기술 수준은 상승하였으므로 관련 요인 분석을 통해 국가전략기술 전반의 정부 연구비 투입의 효율성을 높일 수 있는 방안 마련이 필요
( 출처: 요약문 5p )
목차 Contents
- 표지 ... 1
- 제출문 ... 3
- 요약문 ... 5
- 목차 ... 15
- 표목차 ... 16
- 그림목차 ... 20
- 제1장 서 론 ... 21
- 제1절 연구 필요성 ... 23
- 제2절 연구 목표 및 내용 ... 26
- 제2장 국내・외 기술수준평가 사례 조사・분석 ... 29
- 제1절 국내 기술수준평가 사례 ... 31
- 제2절 국외 기술수준평가 사례 ... 50
- 제3절 소결 – 요약 및 시사점 ... 55
- 제3장 평가방법론 개선 연구 ... 59
- 제1절 개요 ... 61
- 제2절 조사 결과 ... 64
- 제3절 시범연구 ... 79
- 제4절 소결 – 개선 방향 ... 117
- 제4장 기술수준평가-국가연구개발사업 연계 분석 ... 125
- 제1절 개요 ... 127
- 제2절 분석 결과 ... 128
- 제3절 소결 – 요약 및 시사점 ... 173
- 참고문헌 ... 179
- 별첨 ... 181
- 별첨. 일본 JST-CRDS 기술부감보고서(2017) 주요 결과 ... 183
- 끝페이지 ... 254
※ AI-Helper는 부적절한 답변을 할 수 있습니다.