[논문]해상교통안전진단제도의 메타평가 모형설계에 관한 연구

조경민; 공길영; 조익순

doi:10.7837/kosomes.2013.19.4.382

해상교통안전진단제도의 메타평가 모형설계에 관한 연구
A Study on the Design of Metaevaluation Model for the Maritime Traffic Safety Assessment Scheme 원문보기

海洋環境安全學會誌 = Journal of the Korean society of marine environment & safety, v.19 no.4 = no.57, 2013년, pp.382 - 390

조경민 (부산지방해양항만청 선원해사안전과) , 공길영 (한국해양대학교 항해학부) , 조익순 (한국해양대학교 선박운항과)

초록
AI-Helper

해상교통안전진단제도가 도입된 이후 제도개선을 위한 노력은 계속되어 왔다. 이 제도가 정착단계를 거쳐 고도화 단계로 나아가기 위해서는 진단활동 전반에 대한 종합적이고 체계적인 검토가 필요하다. 이에 본 연구에서는 해상교통안전진단에 대한 종합적인 분석 모형 설계를 목적으로 진단수행의 질적 향상을 위한 수단으로 파악되는 평가에 대한 평가, 즉 메타평가에 관한 이론을 적용하였다. 구체적으로는 메타평가의 주요 접근방식인 문헌연구와 전문가 검토, 설문조사 등의 방법으로 해상교통안전진단에 적합한 메타평가 기본모형을 도출하고, 이에 대한 타당성과 신뢰성을 검증하여 활용 가능한 'PIP'OU 메타평가 모형'을 제시하였다. 본 모형은 해상교통안전진단제도에 대한 최초의 메타평가 모형으로써 향후 제도의 문제점 도출과 개선방안 마련을 위한 해상교통안전진단제도의 메타평가 분석틀로 활용될 수 있을 것으로 기대한다.

Abstract ▼ AI-Helper

The efforts for improving 'Maritime Traffic Safety Assessment Scheme(MTSA scheme)' have continued to the present. At this point, it needs to establish sound MTSA scheme to proceed acceleration step through the comprehensive review and systematic approach. In this study, it aimed to design of Metaevaluation Model for the comprehensive analysis of MTSA scheme with applying theory of the Metaevaluation, that is the evaluation of evaluation. To put it concretely, This research draw a basic model by using Metaevaluation methods like as literature studies, expert reviews, surveys and etc. and proposed a available 'PIP'OU' Metaevaluation Model through verified validity and reliability. This PIP'OU Model is the first proposed Metaevaluation Model in maritime field and it is expected to be used as framework to draw up improvement measure with deriving problem for the MTSA scheme.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 연구에서는 진단수행의 질적 향상을 위한 수단으로 파악되는 평가에 대한 평가, 즉 메타평가에 관한 이론을 적용하여 해상교통안전진단에 대해 종합적으로 분석·평가하기 위한 메타평가 모형을 설계하는데 목적을 두었다.
본 연구는 ‘해상교통안전진단제도’를 보다 종합적이고 체계적인 관점에서 살펴보기 위한 분석틀 개발을 위하여 사회적 평가제도에서 활용되고 있는 메타평가 이론을 적용하여 해상교통안전진단제도의 메타평가 모형을 설계하고, 검증을 통해 해상교통안전진단 메타평가 모형을 확정하였다.

제안 방법

(1) 메타평가의 대상으로서 해상교통안전진단에 대한 특성을 규명하였다.
(2) 메타평가의 이론적 논의를 통해 해상교통안전진단에 대한 메타평가 모형과 세부 평가요소들을 설계하여 메타평가에 관한 평가 영역을 확장하였다.
(3) 설계된 메타평가 구성요소에 대한 타당성과 신뢰성 검증을 통해 해상교통안전진단제도에 대한 메타평가 모형, 즉 ‘PIP'OU 메타평가 모형’을 최초로 개발하였다.
해상교통안전진단의 메타평가 구성요소 초안에 대한 수정·보완을 위해 해상교통안전진단 관련 전문가 20인을 구성하여 두 차례에 걸친 전문가조사를 실시하였다. 1차 조사는 면접조사 방식으로 전문가 20인 중 절반에 해당하는 전문가 10인을 대상으로 2012년 5월 7일부터 18일까지 면대면 심층 면접을 실시하여 메타평가의 세부구성요소 선정 등 수정안 작성에 관한 자문을 받았고, 2차 조사는 설문조사 방식으로 2012년 6월 11일부터 22일까지 전문가 20인을 대상으로 e-mail을 통해 메타평가 구성요소 선정에 관한 설문지를 발송하여 회신을 받은 후 이를 바탕으로 전화 또는 면대면 면접과정을 거쳐 수정 보완 작업을 수행하였다.
본 연구에서는 메타평가 모형 검증에 대한 설문조사는 해상교통안전진단제도의 장·단점에 대한 조사가 아니라, 해상교통안전진단제도에 적용할 분석틀이 연구목적에 적합한지를 파악하기 위해 설계된 모형의 타당성과 신뢰성을 조사하기 위한 것이므로 진단 관련 전체를 대표할 대상보다는 해상교통안전진단제도에 대한 이해와 관심, 그리고 전문성을 갖춘 대상자 선정이 요구된다. 따라서 균형 잡힌 시각과 전문성 및 객관성을 유지하기 위해 검증대상으로 해상교통안전진단제도 시행 이후 해상교통안전진단에 참여한 전문기관(Specialized institution), 검토기관(Reviewers), 대행기관(Agencies), 처분기관(Authorities), 사업자(Business), 전문가(Expert) 등 모든 관련 집단 중 30명을 Table 4와 같이 선정하여 적합성(타당성 및 신뢰성) 검증을 실시하였다.
특히, ‘평가준거 설정’ 방법은 객관적인 준거 설정을 통해 평가활동의 유용성, 실행가능성, 정당성, 정확성 등을 평가하는 것으로서 해상교통안전진단제도를 체계적 접근으로 메타평가 구성요소를 설정하여 평점법(Scoring method)으로 메타평가를 수행할 수 있다. 따라서 본 연구에서는 메타평가를 위한 준거를 설정하여 체제론적(System theory)으로 접근하였다.
연구방법으로는 해상교통안전진단제도와 메타평가에 대한 이론적 고찰을 통한 해상교통안전진단에 적합한 메타평가 기본모형을 설정하고, 설문조사 및 면접을 실시하여 메타평가 모형의 구성요소를 선정하였다. 또한, 모형설계에 따른 평가영역 항목 지표를 전문가 조사 방법을 활용하여 검증한 후 해상교통안전진단 메타평가 모형을 설계하였다.
본 연구는 해상교통안전진단의 메타평가 모형설계를 위한 것으로 이전 연구들과 마찬가지로 Fig. 2와 같이 문헌연구(Literature research)를 통해 일반적인 평가지표를 구성하여 메타평가 기본모형을 마련(Draw basic model for Metaevaluation)하고, 2회에 걸친 전문가검토(Expert interview and surveys)와 면접(Interview)을 실시하여 메타평가 구성요소를 개발(Development of Metaevaluation After modify draft, arrange components)하고, 아이디어를 공유하여 해상교통안전진단제도의 특성이 잘 반영될 수 있도록 하였다.
본 연구에서의 타당성 검증은 Likert 5점 척도의 평균 산정 결과의 평균과 표준편차를 산출하여 각 평가지표별 내용타당성에 대한 조사대상자별 공통 인식 정도와 차이를 확인하여 타당성 검증을 실시하고, 검증 결과 3.5 이상의 평점을 받은 평가지표는 내용타당성이 적합한 것으로 판정하고, 표준편차가 지나치게 큰 평가지표에 대해서는 이를 함께 고려하기로 한다.
선행 연구결과를 토대로 정책 및 프로그램을 대상으로 사례 연구를 실시한 Ryu(2007)가 제시한 메타평가의 기본모형에서 착안하여 해상교통안전진단제도를 진단계획(Assessment Plan), 진단투입(Assessment Input), 진단수행(Assessment Process), 진단결과(Assessment Output), 진단활용(Assessment Utilization) 등 5단계의 순환과정으로 파악하고 Fig. 4와 같이 메타평가 모형을 설정하였다.
2와 같이 문헌연구(Literature research)를 통해 일반적인 평가지표를 구성하여 메타평가 기본모형을 마련(Draw basic model for Metaevaluation)하고, 2회에 걸친 전문가검토(Expert interview and surveys)와 면접(Interview)을 실시하여 메타평가 구성요소를 개발(Development of Metaevaluation After modify draft, arrange components)하고, 아이디어를 공유하여 해상교통안전진단제도의 특성이 잘 반영될 수 있도록 하였다. 아울러 조사 대상을 확대하여 1회의 설문조사(Question investigation)를 추가 실시하여 평가모형 및 평가지표, 즉 사전적 구성요소의 적합성 검증(the verification of Metaevaluation components)으로 타당성과 신뢰성을 확보하였다.
앞서 Table 3에서 도출된 메타평가 구성요소 수정안은 타당성과 신뢰성 검증을 통해 ‘해상교통안전진단에 대한 메타평가 구성요소’로 적합한 것으로 판정되어 총 5개의 평가영역, 17개 평가항목 및 44개 평가지표로 구성된 ‘해상교통안전진단 메타평가 모형’으로 최종 확정하였다.
연구방법으로는 해상교통안전진단제도와 메타평가에 대한 이론적 고찰을 통한 해상교통안전진단에 적합한 메타평가 기본모형을 설정하고, 설문조사 및 면접을 실시하여 메타평가 모형의 구성요소를 선정하였다. 또한, 모형설계에 따른 평가영역 항목 지표를 전문가 조사 방법을 활용하여 검증한 후 해상교통안전진단 메타평가 모형을 설계하였다.
이 설문조사는 2012년 7월 9일부터 20일까지 실시되었으며 설문지는 메타평가 구성요소 수정안을 도출하기 위해 실시하였던 전문가 조사 때와 유사한 방식으로 Likert 5점 척도법에 따라 작성하였다. 아울러, 배포된 설문조사지는 30부 전체가 회수되어 메타평가 모형 검증에 활용하였다.
해상교통안전진단 평가에 대한 메타평가 구성요소 초안은 국내외 문헌연구를 통해 도출된 평가항목을 기초로 선행연구의 메타평가의 주요 공통적 구성요소가 누락되지 않도록 하였으며, 유사한 구성요소는 통합하고 해상교통안전진단에 대한 관찰과 진단사례 등을 통해 확인된 제도의 특성을 반영하여 PIP'OU 메타평가 논리모형의 주요 구성요소로 작성하였다.
해상교통안전진단의 메타평가 구성요소 초안에 대한 수정·보완을 위해 해상교통안전진단 관련 전문가 20인을 구성하여 두 차례에 걸친 전문가조사를 실시하였다.

대상 데이터

이 설문조사는 2012년 7월 9일부터 20일까지 실시되었으며 설문지는 메타평가 구성요소 수정안을 도출하기 위해 실시하였던 전문가 조사 때와 유사한 방식으로 Likert 5점 척도법에 따라 작성하였다. 아울러, 배포된 설문조사지는 30부 전체가 회수되어 메타평가 모형 검증에 활용하였다.

데이터처리

본 연구에서는 신뢰성 검증은 각 구성요소의 영역별 내적 일관성 정도를 파악하기 위해 SPSS 20.0 통계 프로그램을 사용하여 설문조사 결과를 분석하고 각 항목의 영역별 내적 일관성 정도를 측정하였다.

성능/효과

Cronbach's α 계수 추정 방법을 이용하여 산출한 평가항목별, 평가영역별, 그리고 전체에 대한 Cronbach's α 계수는 Table 6과 같이 모든 평가항목(Evaluation Item), 평가영역(Evaluation Domain) 및 전체(Evaluation Total)에 대한 신뢰성이 0.6 이상으로 확인되어 본 메타평가 모형의 구성요소에 대한 신뢰성은 높은 것으로 검증되었다.
그 결과, 첫째, 평가영역(Evaluation Domain)의 구성요소에 대한 평점평균은 진단계획(P) 4.40, 진단투입(I) 4.40, 진단수행(P) 4.47, 진단결과(O) 4.67, 진단활용(U) 4.00으로 모두 3.5 이상으로 모든 구성요소가 적절하여 총 5개 영역은 변경 없이 활용 가능하였다.
넷째, 진단결과(O) 영역은 진단보고서 신뢰성(O1), 진단보고서 유용성(O2), 진단결과 보고(O3), 진단결과 심사 및 사후관리(O4)의 4개 항목과 진단보고서 구성 및 내용의 합리성(O1-①), 진단보고서 결과 도출 및 해상교통안전대책의 타당성(O1-②), 진단보고서 상 대안 및 안전대책의 실현가능성(O1-③), 진단보고서 이해관계자 요구 반영 정도(O2-①), 진단보고서 내용에 대한 이해의 용이성(O2-②), 진단결과 보고(배포) 시기 및 공개 범위의 적절성(O3-①), 진단결과에 대한 이의제기 기회의 충분성(O3-②), 진단결과 분석 및 비판적 검토 절차의 적절성(O4-①), 진단심사결과에 대한 처분기관의 반영 여부(O4-②), 진단심사결과에 대한 대상사업자의 수용정도(O4-③), 진단심사결과의 이행 정도 및 이행모니터링 체계의 적정성(O4-④)의 11개 지표이다.
둘째, 진단투입(I) 영역은 진단역량(I1), 진단예산(I2), 진단자료(I3), 진단기간(I4)의 4개 항목과 진단(대행)기관의 진단기능 부합 여부(I1- ①), 진단(대행)기관의 중립성과 독립성(I1-②), 진단인력 구성의 질적·양적 충분성(I1-③), 진단예산 규모의 적정성(I2-①), 진단예산의 안정적 지원 여부(I2-②), 진단예산이 대상사업 전체예산에서 차지하는 비율(I2-③), 진단자료의 질적·양적 충분성(I3-①), 진단자료의 핵심내용 포함 여부(I3--②), 진단자료의 접근 용이성(자료의 DB 구축 충실성)(I3-③), 진단서 작성기간의 적절성(I4-①), 진단 협의기간의 충분성(I4-②), 서면진단 및 현장진단 시간의 충분성(I4-③)의 12개 지표이다.
둘째, 평가항목(Evaluation Item)의 구성요소에 대한 평점평균이 2.93인 ‘U2’항목을 제외한 모든 항목은 3.5 이상이었다.
따라서 ‘U2’ 평가항목은 삭제하고, 나머지 평가항목은 전문가조사 의견을 반영하여 평가항목 ‘P1’ 및 ‘P2’는 ‘P1’으로 합병하여 총 19개 영역에서 17개 영역으로 축소되었다.
또한, 지표 P2-③와 P2-④ , 지표 O1-②와 O1-③ , 지표 O1-① 와 P1-② , 지표 U1-① 과 U1-② , 지표 I4-① 과 I4-③ 는 각 1개 지표로 합병되어 ① P1항목의 지표가 2개에서 3개로, ② P2항목의 지표가 4개에서 3개로, ③ I2항목의 지표가 3개에서 2개로, ④ I3항목의 지표가 3개에서 2개로, ⑤ I4항목의 지표가 3개에서 2개로, ⑥ P’1항목의 지표가 5개에서 3개로, ⑦ P’2항목의 지표가 3개에서 4개로, ⑧ O1항목의 지표가 3개에서 2개로, ⑨ O3항목의 지표가 2개에서 3개로, ⑩ O4항목의 지표가 4개에서 3개로, ⑪ U1항목의 지표가 4개에서 2개로 변경되었다.
마지막으로, 진단활용(U) 영역은 진단결과 활용(U1), 진단결과 확산(U2), 진단시스템 개선(U3)의 4개 항목과 진단(대행)자 측면의 진단결과 활용 정도(U1-①), 검토(심사)자 측면의 진단결과 활용 정도(U1-②), 진단결과가 차기 진단대상사업에 미치는 영향성(U1-③), 진단결과가 관련자의 사고에 미치는 영향성(U1-④), 일반인들에게 진단결과의 공개 정도(U2-①), 진단시스템에 대한 진단 및 개선활동의 적절성(U3-①)의 6개 지표이다.
메타평가 구성요소 수정안에 대한 타당성 검증 결과, Table 5와 같이 평점이 가장 낮게(3.43) 나타난 지표 P4-②를 제외한 모든 지표가 3.5 이상으로 평가되어 타당하였으며, 지표 P4-②의 경우도 중앙값(3.0) 이상은 되고, 표준편차도 0.8825 이므로 평가지표로서 타당하다고 볼 수 있는 것으로 판정하였다.
설문지는 Likert 5점 척도법에 따라 작성하게 하고, ‘보통(3점)’과 ‘적합(4점)’의 중간점수인 3.5이상의 평점을 받은 경우는 구성요소로서 적합한 것으로 판정하였다.
셋째, 진단수행(P') 영역은 진단수행방법(P'1), 진단수행내용(P'2), 진단수행항목(P'3), 진단수행절차(P'4)의 4개 항목과 진단규정의 형태 및 내용적 적합성(P'1-①), 진단규정의 세부 진단기술기준 명확성(P'1-②), 진단대상 특성에 따른 평가방법 활용의 적절성(P'1-③), 진단항목 설정의 타당성(중점진단 항목/제외항목)(P'2-①), 진단항목의 일관성 유지 정도(P'2-②), 현황조사의 적정성(P'3-①), 현황측정의 적정성(P'3-②), 해상교통시스템(통항 접이안 계류 해상교통류) 평가의 정확성(P'3-③), 진단절차(서면/현장)의 합리성((P'4-①), 진단자와 이해당사자간 의사소통의 충분성 절차(검토·보완·협의) 충실성((P'4-②), 진단과정에서 진단인력들의 균형적 시각 유지 정도((P'4-③)의 11개 지표이다.
셋째, 평가지표(Evaluation Index)의 구성요소에 대한 평점평균은 지표 U2-① , I3-③ , I2-③ 가 3.5 미만으로 삭제되고, 지표 P'1-① , P'1-②가 P’영역에서 P영역으로, 지표 O1-②가 O영역에서 P’영역으로, 지표 O4-② , O4-③ , O4-④ 가 O영역에서 U영역으로, 지표 O4-①이 O4항목에서 O3항목으로 이동·수정되었다.
이로써 메타평가 구성요소 수정안은 Table 3과 같이 5개의 평가영역, 17개의 평가항목 및 44개의 평가지표로 수정되었다.
8825 이므로 평가지표로서 타당하다고 볼 수 있는 것으로 판정하였다. 즉, 해상교통안전진단 관련 관계자들은 해상교통안전진단 시스템을 분석하기 위해 실시한 메타평가 구성요소 수정안에 대해 전반적으로 타당성이 높은 것으로 판단하였다. 따라서 이러한 지표들은 메타평가 지표로서의 중요도가 있음을 의미하는 것으로 분석되었다.

후속연구

본 연구에서는 메타평가 모형 검증에 대한 설문조사는 해상교통안전진단제도의 장·단점에 대한 조사가 아니라, 해상교통안전진단제도에 적용할 분석틀이 연구목적에 적합한지를 파악하기 위해 설계된 모형의 타당성과 신뢰성을 조사하기 위한 것이므로 진단 관련 전체를 대표할 대상보다는 해상교통안전진단제도에 대한 이해와 관심, 그리고 전문성을 갖춘 대상자 선정이 요구된다.
향후에는 본 연구에서 제안한 PIP'OU 메타평가 모형을 적용하여 해상교통안전진단제도에 대한 종합적인 메타평가를 실시하고 그 결과 도출된 제도의 문제점과 개선방안 마련을 위한 메타평가 분석틀로 활용될 수 있을 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	해상교통안전진단이란 무엇인가?	해사안전법 제2조 제16항에서는 해상교통안전진단을 ‘안전진단 대상사업으로 발생할 수 있는 항행안전 위험 요인을 전문적으로 조사 측정하고 평가하는 것’이라 정의하고 있다.
	평가의 특징은?	즉, 평가란 모든 것을 그 대상으로 할 수 있는 것으로 해상교통안전진단은 해상교통안전에 영향을 미치는 안전진단 대상사업으로 발생할 수 있는 항행안전 위험 요인을 전문적으로 조사·측정하고 평가하는 것으로서 모든 분야를 적용대상으로 할 수 있는 평가의 속성을 지닌다.
	메타평가 범주중 최협의는 무엇인가?	국외 연구자들의 메타평가 정의에 따른 평가 범위와 대상은 학자마다 다양하게 제시하고 있지만, 개념 정의에 근거하여 메타평가 범주를 최협의, 협의, 광의로 구분할 수 있다. 최협의는 평가결과의 종합으로 평가결과에 대한 재분석으로 평가결과를 메타평가 대상으로 한다. 대표적인 학자로는 Chelimsky가 있다.

참고문헌 (20)

AEA(1995), American Evaluation Association, Guiding Principles for Evaluators, http://www.eval.org.
Brinkerhoff, R. O., D. M. Brethower, T. Hluchyi and J. R. Nowakowski(1983), Programme Evaluation: A Practitioner's Guide for Trainers and Educators, Boston: Kluwer-Nijhoff Publishing, p. 221.
Chae, S. I.(2005), Social science search methodology(The 3rd edition), B&M Books. pp. 179-188.
Cho, I. S., Kim I. J. and Lee Y. S.(2010), The Introductory Concept of Maritime Safety Audit as a tool for Identifying Potential Hazards, Journal of Navigation and Port Research (International Edition), Vol. 34, No. 9, pp. 699-704.

원문보기 상세보기
Cho, I. S.(2011), A Study on the Present Status and Future Directions of Maritime Safety Audit, Journal of the Korean Society of Marine Environment & Safety, Vol. 17, No. 4, pp. 399-405.

원문보기 상세보기
Cho, K. M.(2013), A Study on the Design and Application of Metaevaluation model for Maritime Traffic Safety Assessment Scheme, Doctorial Dissertation, Korea Maritime University, p. 63.
Im, O. J.(2007), Meta-evaluation of evaluation system for credit bank system, Doctorial Dissertation. Kyungpook National University. p. 70.
JCSEE(1994), Joint Committee on Standards for Educational Evaluation, http://www.wmich.edu/evalctr/jc.
Kim, B. C.(2009), Theory of Metaevaluation, Korea research information service Ltd., pp. 19-25 & 186-189.
Kim, M. S.(1993), Public Policy Evaluation(revised edition), Bakyeongsa., pp. 7-11.
Larson, R. C. and Berliner L.(1983), On Evaluating Evaluations, Policy Sciences, 16(2), pp. 147-163.

상세보기
Lee, C. G.(1997), The study of Meta-evaluation for research development business : with IT industry as center, Doctorial Dissertation, Chungnam National University, p. 72.
National Assembly Budget Office(2012), Meta-Evaluation for the Environmental Effects Evaluation system, p. 19.
OECD/DAC(2006), DAC Evaluation Quality Standards(for test phase application) Network on Development Evaluation, Development Assistance Committee, http://www.oecd.org.
Oh, M. G.(1986), The study of Meta-evaluation, Myongji College,, Research of Educational problems, 4, pp.151-167.
Ryu, Y. S.(2007), The Design and Application of Metaevaluation Model for Technology Assessment in Korea. Doctorial Dissertation. Hanyang University, pp. 64-68 & 119.
Scriven, M.(1991), Evaluation Thesaurus(4th ed.). Newbury Park, CA: Sage Publications, pp. 230-231.
Shin, Y.(2011), Improvement of judge management system for self-inspection : by Meta-evaluation, The Korean Association for Public Management, 25(2), pp. 1-25.
Stufflebeam, D. L.(1974), Metaevaluation, Occasional Paper Series, 3, Kalamazoo: The Evaluation Center, Western Michigan University.
UNEG(2005), United Nations Evaluation Group, Norms for Evaluation in the UN System, http://www.uneval.org.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증