[논문]공공도서관 데이터를 활용한 도서관 성과평가 시스템 구축 연구

한상우; 박성재

doi:10.4275/kslis.2018.52.4.163

공공도서관 데이터를 활용한 도서관 성과평가 시스템 구축 연구
A Study on Building of Outcomes Evaluation System Using Data of a Public Library 원문보기

한국문헌정보학회지 = Journal of the Korean Society for Library and Information Science, v.52 no.4, 2018년, pp.163 - 178

한상우 (광주대학교 문헌정보학과) , 박성재 (한성대학교 도서관정보문화트랙)

초록
AI-Helper

본 연구는 공공도서관에서 운영하는 프로그램의 성과를 측정할 수 있는 시스템의 구축을 목적으로 한다. 이를 위해 로직모델을 기반으로 개발된 도서관 성과측정 프레임워크를 적용하고 사서가 직접 KOLAS에서 데이터를 반출하고 성과평가 시스템에 업로드하여 성과를 측정하고 결과를 출력할 수 있도록 시스템(LibOutcomes system)을 구축하였다. 연구 결과, 성과평가 시스템을 이용한 성과 측정은 시각적으로 결과를 확인하기에 유용하였다. 또한 웹 기반 시스템으로 구축함으로써 접근 및 이용의 용이성을 확보할 수 있었고, 향후 KOLAS의 한 기능으로 확장할 수 있는 가능성을 제시하였다.

Abstract ▼ AI-Helper

The purpose of this study is to build outcomes evaluation system for measuring outcomes of programs provided by a public library. For the study, we constructed outcomes evaluation system(LibOutcomes system) that applied library outcome measurement framework based on the logic model and this system made librarians to measure outcome directly import data from the KOLAS and upload it. As a result, LibOutcomes system was useful for verifying outcomes as visual result. In addition, since the system was built a web-based system, it is possible to secure accessibility and ease of use. Finally, we suggested possibility to expand the system as a function of KOLAS in the future.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 연구는 공공도서관의 데이터를 활용하여 도서관의 성과를 측정할 수 있는 웹 기반 평가 시스템의 구축을 목적으로 한다. 구체적으로 로직모델에 기반하여 공공도서관에서 제공하는 프로그램의 성과를 측정할 수 있는 프레임 워크를 평가의 틀로서 이용하고, 국내 공공도서관에서 이용하고 있는 KOLAS에서 추출한 데이터를 활용하여 성과를 측정하는 웹 기반 평가 시스템을 구축하고 실제 평가를 수행해 봄으로써 동 시스템이 도서관의 성과 측정에 유용한지를 확인해보고자 한다.
본 연구는 공공도서관의 데이터를 활용하여 도서관의 성과를 측정할 수 있는 웹 기반 평가 시스템의 구축을 목적으로 하였다. 구체적으로 로직모델에 기반하여 공공도서관에서 제공하는 프로그램의 성과를 측정할 수 있는 프레임워크를 평가의 틀로서 이용하고, 국내 공공도 서관에서 이용하고 있는 KOLAS에서 추출한 데이터를 활용하여 성과를 측정하는 웹 기반 평가 시스템을 구축하고 실제 평가를 수행해 봄으로써 동 시스템이 도서관의 성과 측정에 유용한지를 확인해보고자 하였다.
다만, 이러한 의미에도 불구하고 일부 연구의 제한점을 밝히고 이에 대한 제언을 하고자 한다. 본 연구에서 수행한 성과평가를 위해서는 KOLAS 데이터의 수집이 필수적인데 현재 KOLAS에 저장되어 있는 데이터의 유형이 매우 제한적이라 보다 다양한 성과지표를 생성하 기에 어려움이 있다.
본 연구는 공공도서관의 데이터를 활용하여 도서관의 성과를 측정할 수 있는 웹 기반 평가 시스템의 구축을 목적으로 하였다. 구체적으로 로직모델에 기반하여 공공도서관에서 제공하는 프로그램의 성과를 측정할 수 있는 프레임워크를 평가의 틀로서 이용하고, 국내 공공도 서관에서 이용하고 있는 KOLAS에서 추출한 데이터를 활용하여 성과를 측정하는 웹 기반 평가 시스템을 구축하고 실제 평가를 수행해 봄으로써 동 시스템이 도서관의 성과 측정에 유용한지를 확인해보고자 하였다.
본 연구는 공공도서관의 데이터를 활용하여 도서관의 성과를 측정할 수 있는 웹 기반 평가 시스템의 구축을 목적으로 한다. 구체적으로 로직모델에 기반하여 공공도서관에서 제공하는 프로그램의 성과를 측정할 수 있는 프레임 워크를 평가의 틀로서 이용하고, 국내 공공도서관에서 이용하고 있는 KOLAS에서 추출한 데이터를 활용하여 성과를 측정하는 웹 기반 평가 시스템을 구축하고 실제 평가를 수행해 봄으로써 동 시스템이 도서관의 성과 측정에 유용한지를 확인해보고자 한다.
본 연구에서는 공공도서관의 기본 시스템인 KOLAS에서 생산되고 저장되어 있는 데이터를 성과측정시 사용하도록 구축하였다. 이는 도서관 프로그램의 성과측정을 위해 사서가 별도의 데이터를 생산해야 하는 번거로움을 줄이고 모든 공공도서관에서 공히 사용하는 KOLAS 에서 데이터를 추출함으로써 향후 본 연구의 결과물인 성과평가 시스템을 확산할 경우 평가의 유용성을 도모하고 평가과정의 용이성을 제고하기 위한 목적이 있기 때문이다.
본 연구에서는 박성재, 한상우(2018)의 연구에서 개발된 “공공도서관 어린이 독서프로그램의 성과측정을 위한 프레임워크”와 “성과측정 평가 지표”를 원용하고자 한다.
본 연구에서는 공공도서관의 기본 시스템인 KOLAS에서 생산되고 저장되어 있는 데이터를 성과측정시 사용하도록 구축하였다. 이는 도서관 프로그램의 성과측정을 위해 사서가 별도의 데이터를 생산해야 하는 번거로움을 줄이고 모든 공공도서관에서 공히 사용하는 KOLAS 에서 데이터를 추출함으로써 향후 본 연구의 결과물인 성과평가 시스템을 확산할 경우 평가의 유용성을 도모하고 평가과정의 용이성을 제고하기 위한 목적이 있기 때문이다. 본 평가시스템을 이용하기 위한 주요 데이터는 두 가지로 나누어 볼 수 있다.
이상의 연구들은 건수 위주의 대출기록을 단지 도서관 활동의 산출물로서 평가하는 것이 아니라 도서관에서 추출 가능한 데이터로 이해하고 의미를 추출하여 다양한 각도에서 연계하여 분석하고자 하였으며, 도서관 데이터를 활용한 개선된 방식의 성과측정을 시도한 연구로 볼 수 있다. 이러한 연구는 평가의 객관성과 도서관에서 제공하는 프로그램의 지속적인 영향력, 장기적으로 도서관의 가치를 평가하는 측면에서 의미 있게 바라볼 수 있으며 다양한 관점에서 논의될 필요가 있다.

제안 방법

(1) KOLAS 데이터: KOLAS에 저장되어 있는 소장자료 내역, 대출현황, 대출자료의 주제 등의 데이터를 KOLAS의 반출 기능을 이용하여 사서가 직접 추출하여 별도의 전처리 작업 없이 바로 이용할 수 있도록 설계하였다. KOLAS 에서 추출되는 데이터 필드 중 특정 필드만을 전처리하여 성과측정에 이용할 경우 처리 과정에서 발생할 수 있는 오류로 인해 성과측정이 올바르게 되지 않을 가능성이 존재할 뿐만 아니라 별도의 처리 과정을 거치게 되어 사서에게 업무 가중이 되는 점을 고려하였다.
KOLAS에서 반출되는 데이터가 기본적으로 다수의 필드를 포함하고 있어 여러 파일을 동시에 업로드할 경우 평가 데이터의 저장에 오류가 발생할 수 있어 데이터의 업로드는 순차적으로 한 개 파일이 완료된 후에 재업로드가 가능하도록 제한하여 설계하였다( 참조).
해당 데이터는 KOLAS에서 반출한 데이터 포맷을 변형없이 사용할 수 있도록 구축하였다. LibOutcomes 시스템에서 사용할 필드를 제한하였을 경우 사서가 별도의 처리 작업이 필요 하며, 처리시 오류가 발생하면 성과평가가 정상적으로 수행되지 않을 수 있으므로 반출한 데이터를 그대로 업로드하면 시스템에서 성과 평가에 필요한 필드만 추출하여 별도로 기록하고 평가할 수 있도록 설계하였다. 다만, 필드명을 임의로 변경하거나 수정하는 경우에는 평가에 제한이 발생할 수 있다.
LibOutcomes 시스템의 주요 기능으로는 실제 도서관 프로그램의 성과를 측정하는 기능인 ‘LibOutcomes 평가’와 평가한 결과를 저장하고 확인할 수 있는 개인화 기능인 ‘My LibOutcomes’로 구성 된다. LibOutcomes 시스템은 도서관별로 사서가 계정을 생성하여 직접 성과평가를 수행하는 프로세스를 거치므로 각 계정과 시스템을 관리할 수 있는 관리자 기능을 별도로 구축하였다. LibOutcomes 시스템의 전체적인 구성은 <그림 2>와 같다.
48/Lib OutcomesWeb/)은 Apache Tomcat Web Server 와 MySQL DB를 이용하여 웹서비스 환경을 구축하였으며, 웹 개발은 jsp와 java로 개발하였다. LibOutcomes 시스템은 반응형 웹(responsive web)으로 개발되어 모바일 인터페이스에 대응하도록 설계되었으며, 성과평가 기능은 PC 인터페이스에서만 가능하도록 구축하였다. LibOutcomes 시스템의 주요 기능으로는 실제 도서관 프로그램의 성과를 측정하는 기능인 ‘LibOutcomes 평가’와 평가한 결과를 저장하고 확인할 수 있는 개인화 기능인 ‘My LibOutcomes’로 구성 된다.
KOLAS 에서 추출되는 데이터 필드 중 특정 필드만을 전처리하여 성과측정에 이용할 경우 처리 과정에서 발생할 수 있는 오류로 인해 성과측정이 올바르게 되지 않을 가능성이 존재할 뿐만 아니라 별도의 처리 과정을 거치게 되어 사서에게 업무 가중이 되는 점을 고려하였다. 따라서 KOLAS에서 사용하는 필드명을 그대로 이용한 데이터를 성과평가 시스템에서 사용함으로써 인위적으로 필드명을 변경하지 않는 이상 성과측정이 정상적으로 진행될 수 있도록 구축하였다.
로직모델의 성과 중 단기성과는 비교적 짧은 시간 안에 프로그램의 참여와 활동에 따라 나타날 수 있는 지식, 인식, 태도, 기술 등에 대한 변화로 볼 수 있고 중기와 장기성과는 상대적으로 긴 시간 동안 추적 관찰을 통해 얻어질 수있는 성과로서, 로직모델을 기반으로 하는 성과는 주로 단기성과를 측정하고 있다(박성재, 한상우 2018). 따라서 각 프로그램의 단기 성과를 측정할 수 있는 지표를 각 로직모델의 단기성과에 매핑하는 방식을 채택하였다. 해당 성과측정 평가지표는 <표 1>과 같다.
또한 업로드된 데이터를 와 같이 임의의 테이블로 분리하여 저장함으로써 체계적인 성과 평가 로직을 설계하여 구축하였다.
성과평가의 결과 단계와 평가 프레임워크를 동시에 보여주는 것은 해당 프로그램의 운영에 대한 전체적인 프로세스를 제시하여 사서로 하여금 해당 프로그램의 논리적인 절차를 확인하고 진행에 맞는 성과를 바로 확인이 가능하도록 설계하였기 때문이다. 로직모델에서 성과는 단기, 중기, 장기 성과로 구분할 수 있으며 중기, 장기성과는 비교적 장기간 동안 이용자의 변화를 지속적으로 관찰하는 과정이 필요하기 때문에 LibOutcomes 시스템에서 측정이 가능한 성과는 단기성과 위주로 평가할 수 있도록 구축하였다.
본 연구는 위의 선행연구 연속 연구로서 일차적으로 로직모델 기반 성과측정 프레임워크와 성과측정 평가지표를 개발하였고, 두 번째 단계로 공공도서관 프레임워크 중의 하나를 프로토타입 시스템으로 개발하고 도서관 데이터를 이용하여 실제 도서관 프로그램의 성과를 측정하는 단계를 거쳤다.
본 연구에서 구축한 LibOutcomes 시스템은 KOLAS 데이터를 반출하여 데이터의 변환없이 업로드를 하는 경우 업로드된 데이터 중 필요한 필드를 선별하여 시스템 상에서 성과평가를 위한 연산을 하도록 설계하였다. <그림 4>에서 볼 수 있듯이 일차적으로 이용자ID를 중심으로 프로그램에 참여한 이용자 데이터, KOLAS 에서 반출한 대출 데이터, 소장 자료의 주제분 류를 간소화한 가공 대출 데이터를 이용하여 USER_KEY로 연결하는 데이터 가공 작업을 수행하였다.
본 연구에서 구축한 도서관 성과평가 시스템 (이하 LibOutcomes, http://113.198.83.48/Lib OutcomesWeb/)은 Apache Tomcat Web Server 와 MySQL DB를 이용하여 웹서비스 환경을 구축하였으며, 웹 개발은 jsp와 java로 개발하였다. LibOutcomes 시스템은 반응형 웹(responsive web)으로 개발되어 모바일 인터페이스에 대응하도록 설계되었으며, 성과평가 기능은 PC 인터페이스에서만 가능하도록 구축하였다.
분석 페이지에서 상단의 프로그램명을 클릭하면 해당 프로그램에 대한 평가프레임워크인 로직모델이 나타나고 입력된 데이터를 바탕으로 분석된 결과를 확인할 수 있는 성과에는 에서 볼 수 있듯이 로직모델의 다른 유닛과 달리 다른 색깔로 나타나도록 구축하였다.
(5) My LibOutcomes: 개인화 기능으로 LibOutcomes 시스템은 사서가 소속 도서관을 대표하여 계정을 생성하여 도서관의 성과를 평가하는 방식이므로 평가를 수행한 결과자료를 저장하여 추후 이용할 수 있도록 구축하였다. 아울러, 성과평가 시 사용한 raw data는 평가 종료 시 자동삭제되도록 구현하여 개인정보의 유출 등 발생할 수 있는 사안을 미연에 방지할수 있도록 설계하였다.
도서관의 회원으로 등록되어 있는 이용자가 해당 프로그램에 참여한 경우 부여된 ID를 동일하게 사용할 수 있으나 비회원이 프로그램에 참여하는 경우 KOLAS 데이터로는 비회원을 식별할 수 없어 임의의 식별자를 부여하는 절차가 필요하다. 아울러, 현재 국내의 개인정보보호법 상 이용자의 ID가 노출되어 개인정보의 유출이 발생하는 것을 방지하고 있으므로 본 성과평가 시스템에서는 성과 평가 절차가 종료되면 원시 데이터를 휘발시킴으로써 개인정보의 유출을 예방하도록 설계하였다.
본 연구에서 구축한 LibOutcomes 시스템은 KOLAS 데이터를 반출하여 데이터의 변환없이 업로드를 하는 경우 업로드된 데이터 중 필요한 필드를 선별하여 시스템 상에서 성과평가를 위한 연산을 하도록 설계하였다. <그림 4>에서 볼 수 있듯이 일차적으로 이용자ID를 중심으로 프로그램에 참여한 이용자 데이터, KOLAS 에서 반출한 대출 데이터, 소장 자료의 주제분 류를 간소화한 가공 대출 데이터를 이용하여 USER_KEY로 연결하는 데이터 가공 작업을 수행하였다. 이어서 성과평가 데이터의 처리를 위한 임의의 테이블을 생성하고 해당 데이터를 기록하여 테이블에 저장되어 있는 필드를 성과 측정 지표와 매칭하여 각 성과의 결과를 보여줄 수 있도록 구축하였다.
양지안(2017) 은 대학도서관의 10년간의 대출데이터를 주제 별, 구성원별, 계열별, 연도별로 구분하고 도서관 이용자의 장서대출패턴을 시계열적 관점과 대출 주제별 관점, 이용자 구성원별 관점, 소속 계열별 관점 등에서 분석하고, 종단적 관점에서 대출이 집중적으로 발생하는 핵심장서를 도출하고, 대출건수 기반의 도서반감기를 산출하여 세부 주제별 장서의 수명을 분석하고자 하였다.연구의 결과, 주제별 장서의 수명을 분석하고 핵심장서의 역할을 규명함으로써 이를 기반으로 미래 이용자 중심의 장서구성과 함께 도서관 장서평가의 타당성을 분석할 수 있는 객관적인 분석 자료를 제공하였다. 김태영, 백지연, 오효정(2018)은 국립세종도서관의 빅데이터 로그를 기반으로 이용자 관련 연령정보 107,369건, 성별 정보 106,918건, 거주지 정보 106,838건을 추출하고, 대출 관련 이용자 정보 536,083건, 대출 횟수 정보 6,509,368건을, 서비스 이용 정보로 82,813건을 추출하여 연령별, 성별, 거주지별 이용자 현황 및 연도별, 월별, 요일별 대출 현황 등을 다각도로 분석하고 이용자 그룹별 특성을 파악함으로써 도서관의 효율적인 운영 방안을 제안하는 연구를 진행한 바 있다.
본 연구는 위의 선행연구 연속 연구로서 일차적으로 로직모델 기반 성과측정 프레임워크와 성과측정 평가지표를 개발하였고, 두 번째 단계로 공공도서관 프레임워크 중의 하나를 프로토타입 시스템으로 개발하고 도서관 데이터를 이용하여 실제 도서관 프로그램의 성과를 측정하는 단계를 거쳤다. 이 과정에서 도출된 결과를 본 연구에 반영하여 웹 기반의 성과평가 시스템을 구축하였다.
박성재, 한상우(2018)는 공공도서관의 어린이 독서프로그램의 성과를 측정하기 위한 프레임워크를 개발하는 연구를 진행하였다. 이 연구에서는 투입, 활동, 산출, 성과 단계로 구성된 로직모델을 평가 프레임워크의 이론적 토대로 이용하였으며, 도서관 데이터를 기반으로 측정 가능한 성과측정 지표를 제안하였다. 평가 프레임워크는 한 공공도서관에서 운영하고 있는 독서프로그램을 대상으로 이를 운영하기 위한 문서와 KOLAS 에서 추출한 데이터를 기반으로 개발하고 사서와의 협의 과정을 통해 4개 프로그램의 평가 프레임워크를 제안하였다.
<그림 4>에서 볼 수 있듯이 일차적으로 이용자ID를 중심으로 프로그램에 참여한 이용자 데이터, KOLAS 에서 반출한 대출 데이터, 소장 자료의 주제분 류를 간소화한 가공 대출 데이터를 이용하여 USER_KEY로 연결하는 데이터 가공 작업을 수행하였다. 이어서 성과평가 데이터의 처리를 위한 임의의 테이블을 생성하고 해당 데이터를 기록하여 테이블에 저장되어 있는 필드를 성과 측정 지표와 매칭하여 각 성과의 결과를 보여줄 수 있도록 구축하였다. 또한 업로드된 데이터를 <그림 5>와 같이 임의의 테이블로 분리하여 저장함으로써 체계적인 성과 평가 로직을 설계하여 구축하였다.
이 연구에서는 투입, 활동, 산출, 성과 단계로 구성된 로직모델을 평가 프레임워크의 이론적 토대로 이용하였으며, 도서관 데이터를 기반으로 측정 가능한 성과측정 지표를 제안하였다. 평가 프레임워크는 한 공공도서관에서 운영하고 있는 독서프로그램을 대상으로 이를 운영하기 위한 문서와 KOLAS 에서 추출한 데이터를 기반으로 개발하고 사서와의 협의 과정을 통해 4개 프로그램의 평가 프레임워크를 제안하였다. 아울러, 동 프레임워크를 이용하여 공공도서관의 독서프로그램의 성과를 실증적으로 측정한 결과 해당 프로그램에 참여한 이용자의 대출빈도가 상승하고 프로그램의 주제에 따라 장서의 주제가 변화하는 결과를 확인함으로써 성과 측정이 갖는 효과와 의미를 규명하였다(한상우, 박성재 2018).
(2) 성과를 측정하기 위해 대출현황과 소장 자료 현황에 대한 데이터를 업로드하는 단계이다. 해당 데이터는 KOLAS에서 반출한 데이터 포맷을 변형없이 사용할 수 있도록 구축하였다. LibOutcomes 시스템에서 사용할 필드를 제한하였을 경우 사서가 별도의 처리 작업이 필요 하며, 처리시 오류가 발생하면 성과평가가 정상적으로 수행되지 않을 수 있으므로 반출한 데이터를 그대로 업로드하면 시스템에서 성과 평가에 필요한 필드만 추출하여 별도로 기록하고 평가할 수 있도록 설계하였다.
해당 연구에서 성과측정 평가지표는 공공도서관 기본 시스템인 KOLAS에서 추출이 가능한 데이터를 이용하여 지표를 설계하였다. 로직모델의 성과 중 단기성과는 비교적 짧은 시간 안에 프로그램의 참여와 활동에 따라 나타날 수 있는 지식, 인식, 태도, 기술 등에 대한 변화로 볼 수 있고 중기와 장기성과는 상대적으로 긴 시간 동안 추적 관찰을 통해 얻어질 수있는 성과로서, 로직모델을 기반으로 하는 성과는 주로 단기성과를 측정하고 있다(박성재, 한상우 2018).
(4) 앞의 단계에서 결과를 확인할 수 있는 성과를 선택하면 <그림 9>와 같은 결과가 시각화 되어 나타난다. 확인 가능한 성과를 선택할 때마다 결과는 즉시 확인이 가능하도록 별도의 화면으로 제시되며, 분석결과 데이터는 csv 포맷의 파일로 다운로드가 가능하며, 해당 시각화 결과는 이미지 및 문서포맷(jpg, png, pdf 등)으로 다운로드가 가능하도록 구축하였다. 아울러, 해당 결과는 해당 계정의 ‘My LibOutcomes’ 메뉴에 결과값만 저장되어 언제라도 본인의 성과 평가 결과를 확인할 수 있게 하였다.

대상 데이터

동 연구에서는 설계 대상 프로그램으로 “꾸러기열람실”, “어린이 독서회”, “독서교실”, “북스타트 데이”의 4가지로 선정하였으며, 은 “어린이 독서회” 로직모델 예시이다.

이론/모형

본 연구에서 LibOutcomes 시스템을 이용하여 도서관 프로그램의 성과평가를 수행하는 방법은 다음의 절차를 따라 진행되었다.
LibOutcomes 시스템에서 ‘LibOutcomes 평가’ 메뉴로 들어가면 가장 먼저 해당 프로그램에 참여한 이용자 데이터를 ‘파일선택’을 이용하여 업로드한다. 업로드하는 파일 포맷은 KOLAS에서 데이터의 반출시 .csv 파일로 반출되므로 동일한 포맷을 이용하도록 설계하였다.

성능/효과

(3) 데이터의 업로드가 완료되면 입력된 데이터를 분석하여 성과를 평가하고 확인이 가능하다. 분석 페이지에서 상단의 프로그램명을 클릭하면 해당 프로그램에 대한 평가프레임워크인 로직모델이 나타나고 입력된 데이터를 바탕으로 분석된 결과를 확인할 수 있는 성과에는 <그림 8>에서 볼 수 있듯이 로직모델의 다른 유닛과 달리 다른 색깔로 나타나도록 구축하였다.
(5) My LibOutcomes: 개인화 기능으로 LibOutcomes 시스템은 사서가 소속 도서관을 대표하여 계정을 생성하여 도서관의 성과를 평가하는 방식이므로 평가를 수행한 결과자료를 저장하여 추후 이용할 수 있도록 구축하였다. 아울러, 성과평가 시 사용한 raw data는 평가 종료 시 자동삭제되도록 구현하여 개인정보의 유출 등 발생할 수 있는 사안을 미연에 방지할수 있도록 설계하였다.
둘째, 시스템 발전의 측면에서 현재 시스템 에서 축적되고 있는 데이터는 대부분 소장자료에 대한 데이터와 대출데이터가 대부분이어서 유용한 성과의 평가를 위해서는 수집하는 데이터가 다양화될 필요가 있음을 제시하였다. 도서관 안팎에서 활용될 수 있는 데이터를 유형화하고 수집 가능한 데이터를 축적하여 활용도를 높임으로써 현재 일부 정체되어 있는 도서관시스템에 새로운 기능으로 개발할 수 있을 것으로 기대해 볼 수 있다.

후속연구

둘째, 시스템 발전의 측면에서 현재 시스템 에서 축적되고 있는 데이터는 대부분 소장자료에 대한 데이터와 대출데이터가 대부분이어서 유용한 성과의 평가를 위해서는 수집하는 데이터가 다양화될 필요가 있음을 제시하였다. 도서관 안팎에서 활용될 수 있는 데이터를 유형화하고 수집 가능한 데이터를 축적하여 활용도를 높임으로써 현재 일부 정체되어 있는 도서관시스템에 새로운 기능으로 개발할 수 있을 것으로 기대해 볼 수 있다.
반면, 웹 기반 방식은 네트워크에 연결된 웹 브라우저만 있다면 어디서든 접근이 가능하고 이용자가 수행해야만 하는 여타의 절차가 발생하지 않아 자원을 효율적으로 사용할 수 있는 장점을 가지고 있어 많은 정보 시스템들이 웹 기반으로 구축된 상황이다. 따라서 본 연구의 목적인 도서관 성과측정 시스템 역시 각급 도서관에서 용이하게 이용할 수 있도록 웹 기반 시스템으로 구축해야 할 필요가 있다.
다만, 이러한 의미에도 불구하고 일부 연구의 제한점을 밝히고 이에 대한 제언을 하고자 한다. 본 연구에서 수행한 성과평가를 위해서는 KOLAS 데이터의 수집이 필수적인데 현재 KOLAS에 저장되어 있는 데이터의 유형이 매우 제한적이라 보다 다양한 성과지표를 생성하 기에 어려움이 있다. 이에 향후 KOLAS 구조의 변경과도 연결이 되어야 할 사항으로 본 연구 결과의 확산을 통해 KOLAS 시스템 개선 시 고려되어야 할 필요가 있을 것으로 판단된다.
성과 개념을 중심으로 기존의 서비스 평가에 대해 성찰하고 지역사회에 대한 도서관의 역할과 가치를 정립하는데 유효할 것으로 판단된다. 아울러 데이터 기반의 성과 평가를 통해 보다 객관화된 평가와 이용자의 변화 추이를 분석하고 이해함으로써 도서관의 영향력을 제고함과 동시에 도서관의 지속적인 발전의 근거로 활용될 수 있을 것이다.
이러한 제한점에도 불구하고 본 연구의 결과는 도서관 데이터를 이용한 성과평가 시스템을 웹 기반으로 구축하여 누구나 도서관의 성과를 평가할 수 있도록 구현하였다는 것에 의의가 있고, 본 연구와 연속된 연구들에서 생산된 로직 모델 기반의 성과 측정 프레임워크와 성과지표 등은 발전적인 도서관 평가의 기초 자료로 활용될 수 있을 것으로 기대된다. 아울러, 본 연구를 토대로 국내에서 활용되고 있는 도서관 시스템에 성과평가 기능을 추가하는 것을 고려하는 등 활용방안을 모색하고, 향후 공공도서관 사서를 대상으로 성과평가 시스템을 활용하여 각 도서관의 성과를 측정해보는 사용성 평가를 통해 본 시스템의 효율성을 확인하고 확산하는 연구가 수행될 필요가 있을 것이다.
LibOutcomes 시스템의 장점은 성과평가를 위해 별도의 데이터 생산 없이 도서관에서 소장하고 있는 데이터를 활용하여 평가를 수행할 수 있다는 점에서 유용할 것으로 판단되고, 사서가 직접 원하는 프로그램을 선택하여 시각화된 결과를 확인할 수 있다는 점에서 평가결과의 활용성에 의미를 둘 수 있을 것이다. 아울러, 본 연구에서 사용한 로직모델 기반 성과평가 프레임워크와 평가지표 등은 향후 대상 프로그램을 확장하고 지표가 추가될 경우 전반적으로 도서관의 성과평가 체계를 발전시킬 수 있는 토대가 될 것으로 기대해 볼 수 있다. 이에 본 연구의 결과가 갖는 의미를 다음과 같이 정리할 수 있을 것이다.
이상의 연구들은 건수 위주의 대출기록을 단지 도서관 활동의 산출물로서 평가하는 것이 아니라 도서관에서 추출 가능한 데이터로 이해하고 의미를 추출하여 다양한 각도에서 연계하여 분석하고자 하였으며, 도서관 데이터를 활용한 개선된 방식의 성과측정을 시도한 연구로 볼 수 있다. 이러한 연구는 평가의 객관성과 도서관에서 제공하는 프로그램의 지속적인 영향력, 장기적으로 도서관의 가치를 평가하는 측면에서 의미 있게 바라볼 수 있으며 다양한 관점에서 논의될 필요가 있다.
이러한 제한점에도 불구하고 본 연구의 결과는 도서관 데이터를 이용한 성과평가 시스템을 웹 기반으로 구축하여 누구나 도서관의 성과를 평가할 수 있도록 구현하였다는 것에 의의가 있고, 본 연구와 연속된 연구들에서 생산된 로직 모델 기반의 성과 측정 프레임워크와 성과지표 등은 발전적인 도서관 평가의 기초 자료로 활용될 수 있을 것으로 기대된다. 아울러, 본 연구를 토대로 국내에서 활용되고 있는 도서관 시스템에 성과평가 기능을 추가하는 것을 고려하는 등 활용방안을 모색하고, 향후 공공도서관 사서를 대상으로 성과평가 시스템을 활용하여 각 도서관의 성과를 측정해보는 사용성 평가를 통해 본 시스템의 효율성을 확인하고 확산하는 연구가 수행될 필요가 있을 것이다.
본 연구에서 수행한 성과평가를 위해서는 KOLAS 데이터의 수집이 필수적인데 현재 KOLAS에 저장되어 있는 데이터의 유형이 매우 제한적이라 보다 다양한 성과지표를 생성하 기에 어려움이 있다. 이에 향후 KOLAS 구조의 변경과도 연결이 되어야 할 사항으로 본 연구 결과의 확산을 통해 KOLAS 시스템 개선 시 고려되어야 할 필요가 있을 것으로 판단된다.
첫째, 문헌정보학계의 측면에서 기존의 산출 중심의 평가체계에서 성과중심의 평가체계로 전환하는 사례가 될 것이다. 성과 개념을 중심으로 기존의 서비스 평가에 대해 성찰하고 지역사회에 대한 도서관의 역할과 가치를 정립하는데 유효할 것으로 판단된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	정보시스템을 구축하는 방법에서 일반화된 방법 중 C/S 방식의 특징은 무엇인가?	정보시스템을 구축하는 방법에서 일반화된 방법은 C/S(client/server) 방식과 웹 기반 방식을 들 수 있다. C/S 방식은 시스템의 운영을 위해 해당 소프트웨어 설치 파일을 획득하여 설치하고 이용을 해야 하며, 업데이트를 적용 하는 경우 이러한 절차를 반복하여 수행하는 번거로움이 있다. 반면, 웹 기반 방식은 네트워크에 연결된 웹 브라우저만 있다면 어디서든 접근이 가능하고 이용자가 수행해야만 하는 여타의 절차가 발생하지 않아 자원을 효율적으로 사용할 수 있는 장점을 가지고 있어 많은 정보 시스템들이 웹 기반으로 구축된 상황이다.
	평가란 사전적 의미로 무엇을 나타내는가?	사전적 의미로 평가(evaluation)는 어떤 현상이나 대상의 가치나 질을 판단하는 과정으로 측정을 통해서 얻어진 자료에 대한 해석까지를 포함한다는 면에서 목적지향적이며 가치 관련 적인 활동이다(HRD 용어사전 2010). 즉 평가는 다양한 대상에 대해 그 대상이 생산한 성과의 분석을 통해 그 가치를 판단하는 것으로 이해할 수 있고, 이는 다양한 이용자 계층에게 서비스하는 도서관의 입장에서 볼 때 도서관의 서비스가 이용자에게 미치는 성과를 올바르게 측정하고 이해하는 것은 도서관의 가치를 판단하는 것으로 볼 수 있다.
	로직모델의 특징은 무엇인가?	도서관과 같은 비영리조직에서 제공되는 서비스의 영향력을 측정하는 성과측정모델로서 로직모델을 들 수 있다(지은구 2012). 로직모델은 프로그램 이론을 바탕으로 주로 단위 프로그램의 성과측정을 위해 사용되며, 구성원의 업무 또는 서비스 등 다양한 활동 등에 대하여 투입, 산출, 성과의 단계로 구분을 하여 단계별 분석과 측정이 가능함은 물론 각 단계를 연계 하여 단기, 중기, 장기의 성과를 종합적으로 측정해 볼 수 있는 특징을 가지고 있는 모델이다 (한상우, 박성재 2018). 문헌정보학 분야에서 로직모델에 기반한 성과측정은 기존의 산출 중심의 평가에서 벗어나 성과 중심 평가로 전환 하는 계기가 될 것으로 기대할 수 있다.

참고문헌 (13)

Kim, Gyu-Hwan and Nam, Young-Joon. 2008. "A Study on Development of Performance Indicators for Korean Public Libraries." Journal of the Korean Society for Library and Information Science, 42(4): 113-139.
Kim, Jeong-Taek. 2009. "A Study on Developing BSC-based Public Library Performance Indicator Model." Journal of Korean Library and Information Science Society, 40(1): 47-71.
Kim, Tae-Young, Baek, Ji-Yeon and Oh, Hyo Jung. 2018. "An Analysis of Library User and Circulation Status based on Bigdata Logs: A Case Study of National Library of Korea, Sejong." Journal of Korean Library and Information Science Society, 49(2): 357-388.
Kim, HyoSuk and Kim, HaeKyoung. 2008. "A Study on the Development of Measuring Instrument for the Performance of Public Library." Proceeding of Korea Society for Information Management, 97-103.
Park, Seong-Woo and Chang, Woo-Kwon. 2011. "A Study on the Cause and Effect of Assessment Index of Intellectual Capital and Performance of the Public Library." Journal of the Korean Society for Information Management, 28(4): 279-307.
Park, Sung-Jae and Lee, Yonggu. 2015. "Measuring Library Outcomes Using a Logic Model." Journal of the Korean Biblia Society for Library and Information Science, 26(2): 269-287.
Park, Sung Jae and Han, Sang Woo. 2018. "A Study on the Development of Frameworks for Outcomes Measurement of Reading Programs for Children in a Public Library." Journal of the Korean Society for Information Management, 35(3): 311-325.
Yang, Ji-Ann. 2017. "A Study on Use Behaviors of Books through Circulation Data Analysis in an Academic Library." Journal of Korean Library and Information Science Society, 48(2): 263-293.
Ji, Eun-Gu. 2012. "The Possibility of the Using and Limitations of Logic Model and BSC model for Measuring Performance in Non-profit Organizations." Korean Journal of Social Science, 31(1): 381-407.
Korea Society for Learning and Performance. 2010. HRD Glossary. Seoul: eLabor., s.v. "evaluation."
Han, Sang Woo and Park, Sung Jae. 2018. "A Study on the Outcomes Measurement of a Public Library's Reading Program for Children using the Evaluation Framework based-on the Logic Model." Journal of the Korean Society for Information Management, 35(3): 271-286.
Heo, Sun and Chung, Yeon Kyoung. 2014. "A Study on Public Libraries' User Behaviors based upon Circulation data in Gangseo and Yangcheon Region." Journal of The Korean Biblia Society For Library And Information Science, 25(4): 187-207.
ACRL Research Planning and Review Committee. 2012. "2012 Top Ten Trends in Academic Libraries." College & Research Libraries News, 73(6): 311-320.

상세보기

저자의 다른 논문 :

LOADING...

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증