- 서론
지난 1년간 연구평가 개혁이 집단행동이 필요한 제도적 과제라는 점이 분명해짐. 제도개혁의 핵심은 여러 이해 관계자가 참여하는 복잡한 과제를 해결하지 못한다는 것임. 이로 인해 2020년에 실천 커뮤니티를 구축하고 의사결정을 개선하여 연구 경력 기관에 대한 새로운 지원방법을 찾는데 전념함.
현재 코로나19 대유행은 많은 산업뿐만 아니라 학술 연구분야에도 갑작스러운 혼란을 초래하였음. 연구실 및 연구자원에 접근이 제한된 학자들은 업무가 중단되어 학술 발전과 승진 등에 영향을 주었으며 여성 및 소수자 연구자들에게 불이익이 될 수 있음. 그래서 지난 4월에 DORA(The Declaration on Research Assessment)는 기관들에게 기준 재정립과 평가절차 수정방안에 대한 제출을 요청함. 5월에 DORA는 팬데믹으로 인한 일부 교수진의 걱정을 반영하여 RBR(Rescue Biomedical Research)과 함께 웨비나(Webinar)를 조직함.
DORA의 역할 검토
DORA의 비전은 전 세계 모든 학문 분야에 걸쳐 실용적 연구평가 방식이 적용되도록 발전시키는 것임. 이를 위해 운영위원회와 자문위원회는 2020년 상반기에 목표와 추진 방법을 개발함.
- 목표: 인식 제고, 실현 장려, 변화 장려, 형평성 향상
- 추진방법: 지역사회 참여, 자원개발, 파트너십, 조언, 소집
DORA는 연구 평가회의에 참여하여 고찰한 의견을 바탕으로 형평성과 오픈 스칼라쉽(Open Scholarship)에 대한 회의를 진행함. 이를 통해 운영위원회와 자문위원회가 책임연구원 평가와 오픈 스칼라쉽, 형평성 사이의 교차점을 검토함. 이런 주제는 아래 그림과 같이 여러 복잡한 방식으로 상호 작용하기 때문에 DORA는 일련의 원칙을 식별함(그림 참조).

(i) 연구평가 개혁, (ii) 오픈 스칼라쉽, (iii) 형평성 등의 개념은 상호 연관됨. 이들은 강력하고 복잡한 방식으로 상호 작용하며 평가 실무자와 수혜자 뿐만 아니라 다양한 분야의 가장 수준 높은 연구문화 조성에 기여함.
(The intersections between DORA, open scholarship, and equity. 2020.)
실무 커뮤니티 구축 및 지원
연구평가 개혁과 같은 시스템 문제를 해결하려면 이해 관계자와 관련 그룹 간 정보공유와 조정작업이 필요함. DORA는 2020년에 분기별로 공공 및 민간 연구 후원자를 위한 두 개의 실무 커뮤니티를 시작함. 공정하고 책임 있는 연구평가를 위해 소통을 늘리고 집단행동을 장려하는 것이 목표임.
DORA는 또한 웨비나를 통해 학회가 연구평가 개혁에 관한 주제토론을 하는 학습공간을 조성함. 2020년에는 다양한 언어의 학술성과 인정의 중요성과 영어 출판물을 선호하는 평가시스템의 문제를 논의하기 위해 연사를 초빙함. 2020년 4월 150여 명의 사서들이 참여하여 변화창출 및 경험공유를 통해 연구평가 시스템 개혁을 위한 도서관의 역할에 대한 아이디어를 제시함. 미국이 당면한 글로벌 학술경쟁을 분석하여 현행 생물의학 연구시스템의 내재적 결함을 원인을 밝혀냄. 7월 웨비나에서 개최된 연구평가 제도개선 추진회의에 100명 이상의 아시아 태평양 지역 담당자와 정책입안자들이 참여하여 개혁의 기회와 장애물을 이해하게 되었음. DORA는 또한 2020년 10월에 유네스코 및 라틴 아메리카의 파트너들과 함께 '학술평가의 관행과 개혁이 오픈액세스(OA)의 미래에 미치는 영향'에 대한 웹 세미나를 후원함.
제도변화를 위한 자원 창출
지난 2년간 DORA는 학계와 연계하여 연구평가 개혁을 위한 가시적인 조치를 이끌어내고 있음. 2020년 DORA는 연구평가 개혁 추진을 위한 학술기관 지원 리소스 개발에 착수함.
연구평가 개혁은 어렵지만 불가능하지는 않다.
DORA는 하워드 휴즈 의학연구소(the Howard Hughes Medical Institute, HHMI)와 공동 후원한 2019년 회의의 후속조치로 2020년 8월 네 가지 실행 프레임워크를 발표함. 1) 변화를 막는 장애물 이해, 2) 모든 수준에서 다양한 아이디어 및 접근방식 실험, 3) 정책과 관행의 검토 및 개정을 위한 연구평가 공유 비전 생성, 4) 캠퍼스 및 외부 조직으로의 확산
실행 아이디어
일리노이 공과대학 디자인연구소의 부교수인 루스 슈미트(Ruth Schmidt)와 협력하여 정책과 관행 개선을 위한 개인 및 조직 지원 도구를 개발함. 학계 지도자들이 연구평가의 동기부여를 위한 5가지 평가 통념과 개혁실행을 장려하기 위한 5가지 설계 원칙을 제공함.
의도하지 않은 인지 및 시스템 편향
슈미트 교수와 공동 개발하여 가을에 발표한 두 번째 개념은 학술평가의 인지적 편견이 갖는 기관의 영향에 관한 대응전략을 제공함(그림 참조).

우리가 선택한 평가방식에 영향을 미치는 판단과 의사결정 과정에서의 편견이 불평등, 승진, 채용 관행으로 귀결됨. 이러한 편견을 개인적 수준에서 인식하는 것도 중요하지만, 편견을 줄이기 위한 새로운 구조적, 제도적 여건을 만드는 것은 훨씬 더 가치 있음.
(Rethinking Research Assessment: Unintended Cognitive and System Biases. 2020.)
연구평가 발전을 위한 SPACE 루브릭*
2020년 가을, DORA는 기관들이 학술평가 개입을 지원할 수 있는 능력을 측정하고 성공을 위한 수단을 개발하기 위해 슈미트 교수와 함께 새로운 커뮤니티 프로젝트를 시작함. 프로젝트 목표는 기관들의 추진 성과를 분석하여 새로운 관행의 개발을 돕는 것임. 2020년 8월 26개국 6개 대륙 70여 명이 비공식 설문조사에 응했고, 9월 3차례에 걸쳐 약 35명이 함께함. 집단지성을 통해 SPACE 루브릭을 개발함. 루브릭의 초안은 2020년 마지막 분기에 개발함. 대학 학장, 정책자문위원, 연구 행정관, 교직원, 대학원생 등 학계 구성원 7명이 참여한 가운데 초기 시범 단계를 거쳐 2021년 최종판을 제작함.
*SPACE 루브릭(SPACE rubric): 기관 진행률 지표 및 성공 조건 분석을 위한 루브릭
리소스 라이브러리
지식공유는 공정하고 책임 있는 연구평가를 발전시키기 위한 DORA 비전의 중심이기 때문에, 사용자가 관련 콘텐츠를 쉽게 식별하고 표시할 수 있도록 설계된 웹사이트를 12월에 발표함. 업데이트는 DORA의 기존 우수사례 및 리소스 모음을 통합하고 확장하는 리소스 라이브러리 생성이 포함됨. 이 라이브러리는 검색 가능하며 유형과 대상 독자에 따라 구성됨.
학술 평가 재구상: 혁신과 변화의 이야기
웹사이트에는 동기, 과정, 일정, 새로운 정책 및 관련 인력의 유형과 같은 제도변화의 핵심 요소를 문서화한 사례연구 리포지터리가 추가됨. 리포지터리는 유럽 대학협회와 SPARC Europe과의 협력으로 제작함. 사례연구를 통해 변화에 대한 상향식 지원을 위한 협력체계 구축의 중요성과 광범위 학술 활동의 장려 및 보상의 필요성을 보여줌. 신규 정책과 관행의 생성정보를 공유함으로써 학술평가의 검토나 개선하려는 기관들에게 사례연구가 영감의 원천이 될 수 있음.
커뮤니티에 다가가기
올해 DORA 작업의 핵심 부분은 학술연구 평가개혁을 지원하기 위한 방법 탐색임. 자원 개발 외에도 연구평가 개혁에 대한 지식공유를 늘리기 위해 격월 뉴스레터를 도입함. 새로운 리소스, 예정된 이벤트 및 DORA 활동의 참여기회에 대한 정보를 제공. DORA의 프로그램 디렉터와 운영위원회 및 자문위원회 위원들은 올해 9개국 이상에서 공정하고 책임 있는 연구평가에 대해 20개의 초청 프레젠테이션을 진행.
컨퍼런스 세션은 DORA가 공정하고 책임 있는 연구평가에 대한 인식을 높이기 위해 광범위한 학계에 접근하는 또 다른 방법임. DORA는 2020년 9월 ESOF2020 Euroscience Open Forum 회의에서 자금 제공자, 학술기관, 연구원들의 연구평가 개혁의 장애요인 해결 세션을 조직함. 또한 12월에 Cell Bio Virtual 2020에서 연구 출판, 오픈사이언스, 학문적 보상 및 인정 시스템의 교차점에서 새로운 트렌드를 조사함.
정책 추진 상황 관찰
2020년에도 연구평가 개혁을 위한 정책 수행에 탄력을 받음. 지난 2월 발표된 중국의 새로운 연구평가 정책은 연구논문에 대한 현금 보상을 금지하고 있으며 기관들이 더 이상 출판 횟수나 인용문에 따라 연구원을 배타적으로 고용하거나 승진시킬 수 없다는 것을 명시함. 6월에 Wellcome은 DORA 원칙에 근거하여 책임있고 공정한 연구평가 방법에 대한 연구단체 지침을 발표함. 2021년 1월부터 Wellcome 자금 지원기관들은 고유 장점에 따라 연구성과와 기타 연구 기여도를 평가하고 대리 또는 부적절한 기준 사용 금지를 공개적으로 약속할 것.
Science Europe은 효과적이고 공정하고 투명한 연구 품질평가를 장려하기 위해 연구평가 프로세스에 대한 새로운 입장 표명과 권고안을 7월에 발표함. 미국에서 DORA는 동료심사(peer review)를 거친 학술 출판물, 데이터 및 연방정부의 자금 지원과 비롯된 코드에 대한 공개 접근에 대한 정보를 요청하는 백악관 과학기술정책실(OSTP)의 공개 발표에 세 번 언급됨.
글로벌 리서치 협의회(Global Research Council)는 11월에 책임있는 연구평가 가상회의를 조직하여 연구생태계 전반과 연구평가에 영향을 미치는 이해관계자, 평가기금 제공자의 역할을 모색함. 회의에 앞서 글로벌 리서치 협의회, DORA, UKRI(Uk Research and Innovation), 남아프리카 공화국의 국가연구재단은 공동으로 연구평가 기금제공자의 역할 변화에 관한 백서를 발간함. 그 외에도 지난 3월, DORA는 연구경력에 영향을 미치는 학술기관의 의사결정 방식에 대한 개선 상황을 검토함. 연말에 운영위원회와 자문위원회는 연구평가 개혁을 위한 새로운 발전과 필수 참고자료에 대한 연례 목록을 발표함.
향후
1,300명 이상의 연구자와 290개 단체가 2020년 선언문에 서명하여 연구자 평가방식과 학술연구의 결과물 개선에 대한 비전을 공유함. 연구평가를 위한 문화개혁은 집단행동이 필요하기 때문에, DORA는 2020년 지식공유를 개선하고 연구기금과 학술기관의 집단행동을 촉진하기 위한 리소스 제작을 목표함.
DORA의 포트폴리오는 2021년에 TARA(Advanced Research Assessment)의 Lisbet Rausing과 Peter Baldwin이 후원한 자선 기금인 Arcadia의 120만 달러 지원으로 확장 예정. 프로젝트 TARA의 목적은 대학이 채용, 승진, 종신 재직권(tenure) 결정에 필요한 기준을 파악하고 이해하고 가시화하는 것임. 이 정보는 학술 및 학술기관의 연구평가 개혁에 대한 리소스와 실질적 지침 작성에 사용될 수 있음. 향후 DORA는 지식공유, 자원 개발 및 커뮤니티 참여를 통해 문화개혁을 지원하고 공정하고 책임있는 연구평가 정책 및 관행 개발을 장려하기 위해 노력할 것임.
]]>