[논문]교육수요자 만족도조사의 신뢰성 제고방안 탐색: S대학교 사례를 중심으로

안수현; 이상준

doi:10.14400/jdc.2017.15.12.71

교육수요자 만족도조사의 신뢰성 제고방안 탐색: S대학교 사례를 중심으로
Investigation on Methods to Improve the Reliability of Education Satisfaction Surveys: Focused on the S University Case 원문보기

디지털융복합연구 = Journal of digital convergence, v.15 no.12, 2017년, pp.71 - 77

초록
AI-Helper

교육수요자와 대학 간의 원활한 양방향 소통을 위해서는 올바른 시스템을 갖춘 만족도조사가 병행되어야 한다. 본 연구는 교육수요자 만족도조사의 실시과정에서 기인하는 불성실응답의 원인을 지적하면서 학생들의 성실한 응답을 유도할 수 있는 신뢰성 제고방안에 대해 논의한다. S대학교의 사례를 분석한 결과 강제적인 온라인 평가방식으로 인해 높은 응답률은 얻었지만, 불성실한 일관적 응답의 비율이 높게 나타났다. 이에 조사의 신뢰도를 확인하고 조사방법의 개선을 위해 재조사를 진행하였다. 연구결과 대표성 있는 표본조사를 통해 일관적 응답패턴은 감소하였고 자료의 분포는 정규분포를 충족하는 것으로 나타났다. 그리고 이러한 심층적인 원인과 해결방안을 파악하고자 포커스 그룹 인터뷰를 진행하였다. 마지막으로 교육수요자 만족도조사의 신뢰성을 확보하기 위한 다각적인 시도 및 연구가 필요하다는 점을 밝히면서 신뢰성 제고방안에 대해 제언한다.

Abstract ▼ AI-Helper

In order for the consumers of education and university to be mutually communicating well, satisfaction surveys with a correct system are essential. This study points out the causes for insincere responses found in the process of education satisfaction surveys while discussing possible methods to elicit sincere responses from the students. As a result of analyzing S University, it was observed that enforced online evaluation methods did have a high response rate but also monotonously insincere responses showed to have a high ration among them. A second study was carried out in order to improve the research method after confirming the reliability of the research. Study results sowed that through a representative sample survey, monotonous response patterns decreased and the data distribution satisfied normal distribution. Moreover, a focus group interview was carried out in order to understand the root causes and possible solutions to the problem. Lastly, this study revealed the need of diversified attempts and research in order to secure reliability in education satisfaction surveys while proposing methods of improvement.

주제어

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

이 요인들은 만족도점수의 신뢰도에도 영향을 줄 수 있기 때문에 교육수요자 만족도조사를 진행하고 결과를 환류하는 전체적인 과정에서 신중하게 활용되고 해석되어야 함을 언급하고자 한다. 그리고 불성실하게 일관적으로 응답하는 패턴의 원인이 조사방법에 의한 것인지에 대해서 심층 분석을 하면서 각 대학에서 타당성과 신뢰성을 갖춘 교육수요자 만족도조사를 설계하기 위한 방안에 대해 제언하고자 한다.
셋째, 교육수요자 만족도조사 결과의 비공개는 조사의 취지를 무색하게 하는 것으로 자료의 신뢰성을 떨어뜨리며, 정보의 생략과 더불어 결과공개에 대한 문제가 제기될 수 있다. 만족도조사 결과를 교육수요자에게 알림으로써 대학과 구성원 간에 소통할 수 있는 계기를 마련하고, 교육 품질개선을 위한 대학의 지속적인 노력을 공감할 수 있도록 조사결과를 게시하는 것을 제안한다.
본 연구는 S대학교의 교육수요자 만족도조사 사례를 토대로 교육수요자 만족도조사의 실시과정에서 기인하는 오차의 주요 요인인 무성의하고 불성실한 응답패턴의 원인을 밝히고자 한다. 이 요인들은 만족도점수의 신뢰도에도 영향을 줄 수 있기 때문에 교육수요자 만족도조사를 진행하고 결과를 환류하는 전체적인 과정에서 신중하게 활용되고 해석되어야 함을 언급하고자 한다.
본 연구는 S대학교의 교육수요자 만족도조사 사례를 토대로 교육수요자 만족도조사의 실시과정에서 기인하는 오차의 주요 요인인 무성의하고 불성실한 응답패턴의 원인을 밝히고자 한다. 이 요인들은 만족도점수의 신뢰도에도 영향을 줄 수 있기 때문에 교육수요자 만족도조사를 진행하고 결과를 환류하는 전체적인 과정에서 신중하게 활용되고 해석되어야 함을 언급하고자 한다. 그리고 불성실하게 일관적으로 응답하는 패턴의 원인이 조사방법에 의한 것인지에 대해서 심층 분석을 하면서 각 대학에서 타당성과 신뢰성을 갖춘 교육수요자 만족도조사를 설계하기 위한 방안에 대해 제언하고자 한다.
교육수요자와 대학과의 원활한 양방향 소통을 위해서는 올바른 시스템을 갖춘 만족도조사가 병행되어야한다. 이에 본 연구에서는 S대학교의 교육수요자 만족도조사 사례를 통해 각 고등교육 기관별 특성을 반영한 교육수요자만족도조사 도구의 신뢰성을 확보하기 위한 다각적인 시도 및 연구가 필요하다는 것을 밝히고. 만족도 조사의 신뢰성 신장방안에 대해 설문조사 방법 및 문항에 대한 신뢰도, 응답자의 평가에 대한 신뢰도로 나누어 제언하고자 한다.

제안 방법

이를 위해 R에서 랜덤 샘플을 추출하기 위한 난수를 만드는 공식에 초기 시드 값을 지정했고, sample 함수를 통해 단순임의추출을 진행했다. 그리고 같은 숫자가 두 번 나오지 않는 비복원추출을 위해 sample 함수에서 replace=FALSE로 지정했고, 재학생의 비율에 비례하여 표본을 추출하기 위해 prob 파라미터를 이용하여 가중치를 지정했다. 이를 통해 최종 표본 210명을 대상으로 재조사를 실시하였다.
재조사를 진행하기 위해 2016년 교육수요자만족도 조사 당시 대상자로 포함되지 않았던 2017년 신입생을 제외한 2-4학년 재학생을 대상으로 비례층화 표본추출(proportional stratified sampling)을 하였고, 2016년 조사와 동일한 설문문항으로 오프라인 표본조사 방식으로 재조사를 실시하였다. 그리고 재학생을 대상으로 포커스 그룹 인터뷰(focus group interview)를 실시하여 교육수요자 만족도조사의 조사방법과 조사내용의 개선을 위한 심층적인 면담을 진행하였다.
대표성 있는 오프라인 표본조사를 진행하기 위해 모집단 내의 모든 추출단위들의 표본 프레임인 학적부를 이용하여 단과대, 학부, 학년에 따른 비례층화 표본추출방식을 사용하였다. 이를 위해 R에서 랜덤 샘플을 추출하기 위한 난수를 만드는 공식에 초기 시드 값을 지정했고, sample 함수를 통해 단순임의추출을 진행했다.
교육수요자 만족도조사를 총괄하는 S대학교의 대학교육혁신본부의 연구자들이 학적부를 통해 표본 추출한 210명의 명단을 해당 학과로 공문 발송하였고, 재조사의 원활한 진행을 위해 학과 조교들을 대상으로 오프라인 표본조사에 대한 프로세스 및 유의사항을 자세히 설명하였다. 설문지에는 응답시작 시간과 응답종료 시간을 체크하도록 하였고, 엑셀에 코딩할 때는 데이터 유효성 검사를 설정하여 입력에 따른 오류를 최소화하였다.
대표성 있는 오프라인 표본조사를 진행하기 위해 모집단 내의 모든 추출단위들의 표본 프레임인 학적부를 이용하여 단과대, 학부, 학년에 따른 비례층화 표본추출방식을 사용하였다. 이를 위해 R에서 랜덤 샘플을 추출하기 위한 난수를 만드는 공식에 초기 시드 값을 지정했고, sample 함수를 통해 단순임의추출을 진행했다. 그리고 같은 숫자가 두 번 나오지 않는 비복원추출을 위해 sample 함수에서 replace=FALSE로 지정했고, 재학생의 비율에 비례하여 표본을 추출하기 위해 prob 파라미터를 이용하여 가중치를 지정했다.
재조사를 진행하기 위해 2016년 교육수요자만족도 조사 당시 대상자로 포함되지 않았던 2017년 신입생을 제외한 2-4학년 재학생을 대상으로 비례층화 표본추출(proportional stratified sampling)을 하였고, 2016년 조사와 동일한 설문문항으로 오프라인 표본조사 방식으로 재조사를 실시하였다. 그리고 재학생을 대상으로 포커스 그룹 인터뷰(focus group interview)를 실시하여 교육수요자 만족도조사의 조사방법과 조사내용의 개선을 위한 심층적인 면담을 진행하였다.
조사-재조사 분석결과에서 도출된 문제점에 대한 심층적인 원인과 해결방안을 파악하기 위해 2016년 온라인 전수조사와 2017년 오프라인 표본 재조사에 모두 참여한 재학생 중 5명을 섭외하여 포커스 그룹 인터뷰를 진행하였다. 교육수요자 만족도조사에 대한 폭넓은 의견과 개선에 대한 아이디어를 청취하기 위해 참석자의 소속은 겹치지 않도록 배정하였다.
9%)이 응답하였다. 조사내용은 전반적 만족도 및 인구통계변수 이외에 10개의 요인(교양교육, 전공교육, 비교과 프로그램, 학사제도, 학습지원 프로그램, 학교시설, 행정서비스, 대학홍보, 문화공연, 취창업 프로그램), 총 42개 문항의 5점 리커트 척도로 구성하였다.
이는 S대학교가 양질의 대학 교육서비스를 제공하고, 교육 수요자의 니즈를 체계적으로 취합하고 반영할 수 있는 시스템을 갖추기 위해 노력하였음을 증명한 결과라고 볼 수 있다. 하지만 자료의 분포가 정규성을 만족하지 않았고 응답자의 36.9%가 일관적 응답패턴을 보이는 것으로 확인되었기 때문에 조사결과의 신뢰도를 확인하고 조사 내용 및 방법의 개선을 위해 재조사(Retest)를 실시할 필요가 있었다.

대상 데이터

2016년 온라인 전수조사에 참여했던 응답자 중 오프라인 표본 재조사에도 참여한 공통 응답자를 정확히 파악하기 위해 학번을 기준으로 데이터를 통합하였고, 그 결과 개인정보가 정확히 일치하는 학생은 총 177명이었다. 이들을 대상으로 조사-재조사 응답에 대한 반복성 및 일치도를 확인하기 위해 급내 상관계수(ICC)를 산출하였는데[16], 두 응답들 간의 ICC는 낮게 나타났다.
S대학교 교육수요자 만족도조사는 2016년 12월 12일부터 12월 28일까지 17일간 S대학교의 포털 시스템을 통해 온라인으로 진행되었고, 전체 재학생 7,535명 중 6,701명(응답률 88.9%)이 응답하였다. 조사내용은 전반적 만족도 및 인구통계변수 이외에 10개의 요인(교양교육, 전공교육, 비교과 프로그램, 학사제도, 학습지원 프로그램, 학교시설, 행정서비스, 대학홍보, 문화공연, 취창업 프로그램), 총 42개 문항의 5점 리커트 척도로 구성하였다.
그리고 같은 숫자가 두 번 나오지 않는 비복원추출을 위해 sample 함수에서 replace=FALSE로 지정했고, 재학생의 비율에 비례하여 표본을 추출하기 위해 prob 파라미터를 이용하여 가중치를 지정했다. 이를 통해 최종 표본 210명을 대상으로 재조사를 실시하였다.

성능/효과

2]과 같이 정규분포인 것으로 나타났다. 그리고 전체 응답자의 패턴을 살펴보니 전체 42개 문항에 3번만을 선택한 응답자는 2명, 4번만을 선택한 응답자는 2명, 5번만을 선택한 응답자는 1명으로 나타나 일관적 응답경향은 거의 없는 것으로 나타났다.
1]과 같이 정규분포가 아닌 것으로 나타났다[14]. 그리고 전체 응답자의 패턴을 살펴보니, 불성실한 설문응답 태도라고 볼 수 있는 일관적 응답경향이 전체 응답자 중 36.9%인 것으로 나타났다. 보다 구체적으로 전체 42개의 문항에 1번만을 선택한 응답자는 35명, 2번만을 선택한 응답자는 26명, 3번만을 선택한 응답자는 896명, 4번만을 선택한 응답자는 471명, 5번만을 선택한 응답자는 1,043명으로 나타났다.
둘째, 학생들은 교육수요자 만족도조사의 단점으로 교육수요자 만족도조사 실시 시기상 쫓기는 마음으로 참여하다 보니 문항 수가 많다고 느낀다는 점을 이야기하였다. 그리고 학생들의 접근성과 참여율을 높이고자 시행된 온라인 조사방법을 학생들은 오히려 불편하게 느낀다는 것을 알 수 있다.
먼저 자료의 분포가 정규분포에 얼마나 근접한지를 탐색적으로 확인하기 위해 정규성 검정(normality test)을 실시한 결과 kolmogorov-smirnov 통계량 0.105, 유의확률 0.000으로 [Fig. 1]과 같이 정규분포가 아닌 것으로 나타났다[14]. 그리고 전체 응답자의 패턴을 살펴보니, 불성실한 설문응답 태도라고 볼 수 있는 일관적 응답경향이 전체 응답자 중 36.
셋째, 교육수요자 만족도조사 결과의 비공개는 조사의 취지를 무색하게 하는 것으로 자료의 신뢰성을 떨어뜨리며, 정보의 생략과 더불어 결과공개에 대한 문제가 제기될 수 있다. 만족도조사 결과를 교육수요자에게 알림으로써 대학과 구성원 간에 소통할 수 있는 계기를 마련하고, 교육 품질개선을 위한 대학의 지속적인 노력을 공감할 수 있도록 조사결과를 게시하는 것을 제안한다.
셋째, 학생들은 교육수요자 만족도조사의 목적과 결과, 그리고 환류에 대해 궁금한 점이 있음을 알 수 있으며, 이에 대해 학교에서 적극적으로 홍보해주기를 바라는 것을 알 수 있다.
이를 종합해보면 조사-재조사에 참여한 응답자들의 응답패턴은 상관관계가 낮게 나타났고, 이러한 결과를 통해 재조사에 참여한 응답자들은 2016년 온라인 전수조사 당시 불성실하게 응답하였다고 판단할 수 있다. 왜냐하면 2016년 조사에 비해 재조사는 일관적 응답경향이 현저히 줄어들었고, 자료의 분포가 정규분포를 충족하였기 때문이다.
한편 S대학교는 교육수요자 중심의 진정성 있는 성과관리를 위해 2016년 12월 온라인 전수조사 방법으로 교육수요자 만족도조사를 진행하였다. 자료수집 이후 본격적인 데이터 검증 결과 자료의 분포가 특정 점수대에 편중되어 정규성을 만족하지 않았고, 모든 문항에 똑같은 점수로 무성의하고 일관적 응답을 한 학생의 비율이 36.9%가 되었다. 연구자들은 이러한 현상의 원인으로 성적확인 이전에 필수적으로 수행해야 하는 2가지 과업(교육수요자 만족도조사와 강의평가)이 작용하였을 것으로 유추하였다.
자료의 분포가 정규분포에 얼마나 근접한지 확인하기위해 정규성 검정(normality test)을 실시한 결과 kolmogorov-smirnov 통계량 0.029, 유의확률 0.200으로 나타나 자료의 분포는 [Fig. 2]과 같이 정규분포인 것으로 나타났다. 그리고 전체 응답자의 패턴을 살펴보니 전체 42개 문항에 3번만을 선택한 응답자는 2명, 4번만을 선택한 응답자는 2명, 5번만을 선택한 응답자는 1명으로 나타나 일관적 응답경향은 거의 없는 것으로 나타났다.
현재 S대학교는 교육수요자 만족도조사와 강의평가에 참여한 이후 성적열람을 할 수 있는 프로세스로 인해 응답자의 불성실 응답 및 일관적 응답패턴이 높아졌는데, 다음과 같은 문제점을 발견할 수 있었다. 첫째, 교육수요자 만족도조사 시스템에서는 일관적 응답패턴을 방지할 수 있는 예방 기능(예: 비정상적으로 빠른 시간 내 응답을 하는 경우 응답시간을 확인하여 이벤트 창을 띄우는 기능 등)이 없었다. 둘째, 전체 응답 중 일관적 응답패턴이 발견되었을 때 과연 몇 개의 일관적 응답을 불성실 응답으로 처리할지의 여부, 그리고 비정상적인 빠른 응답시간에 대한 정의 등 규정 정립과 내부적인 합의가 없었다.
포커스 그룹 인터뷰 내용을 심층적으로 분석한 결과 주요 내용은 다음과 같다. 첫째, 참여한 학생들 대부분이 성적을 확인하려면 교육수요자 만족도조사와 강의평가를 필수로 해야 하는 절차상 어쩔 수 없이 강제적으로 설문조사에 응답을 하고 있음을 알 수 있다.
첫째, 현행 S대학교 교육수요자 만족도조사의 경우처럼 강제적인 시스템 절차에 따른 전수조사는 학생들이 불성실하게 점수를 매기는 방식의 평가를 하는 비율을 높게 하여 자료의 정규성 검정을 만족하지 않는 결과로 이어지게 한다. 따라서 조사방법을 대표성 있는 표본조사로 변경하고 표본오차를 줄이기 위해 체계적인 표본추출방법을 사용하여 효율적으로 설문조사를 진행할 필요가 있다.

후속연구

이에 현재 대부분의 대학교는 자체 주요 평가준거인 교육수요자 만족도조사를 시행하고 있으며, 결과를 통해 교육서비스개선, 대학의 효과성과 책무성을 제고함으로써 대학 발전에 기여할 수 있도록 최선의 노력을 기울이고 있다. 교육수요자 만족도조사가 각 고등교육 기관별 특성을 반영하여 타당성과 신뢰성을 모두 갖춘 설문조사로서의 기능을 유지하기 위해서는 교육수요자 만족도조사의 타당성과 신뢰성을 저해하는 요인에 대한 지속적인 분석과 연구가 이루어져야 할 것이다.
둘째, 만족도조사의 목적이나 내용에 대한 중요성을 인식할 수 있도록 응답자 대상 사전교육이 필요하고, 성실하게 응답한 참여자를 대상으로 보상(rewards)을 제공하여 설문조사에 적극적으로 참여하도록 동기를 유발시키는 것이 필요하다. 동기유발을 위해 제공하는 설문조사의 보상의 경우 보상의 종류, 지급대상에 대해서는 좀 더 세부적인 연구가 필요하다.
둘째, 만족도조사의 목적이나 내용에 대한 중요성을 인식할 수 있도록 응답자 대상 사전교육이 필요하고, 성실하게 응답한 참여자를 대상으로 보상(rewards)을 제공하여 설문조사에 적극적으로 참여하도록 동기를 유발시키는 것이 필요하다. 동기유발을 위해 제공하는 설문조사의 보상의 경우 보상의 종류, 지급대상에 대해서는 좀 더 세부적인 연구가 필요하다.
둘째, 외생변수를 최대한 차단하기 위해 표본조사 시 동일한 장소에서 동일한 설문조사 진행요원이 조사를 진행하여야 하며, 반드시 사전에 교육을 받아야 한다. 설문조사 진행요원은 조사에 참여한 응답자들에게 교육수요자 만족도조사에 대한 안내 및 성실한 답변을 하도록 설득하는 등 체계적인 조사절차에 따라 진행하여야 한다.
이에 본 연구에서는 S대학교의 교육수요자 만족도조사 사례를 통해 각 고등교육 기관별 특성을 반영한 교육수요자만족도조사 도구의 신뢰성을 확보하기 위한 다각적인 시도 및 연구가 필요하다는 것을 밝히고. 만족도 조사의 신뢰성 신장방안에 대해 설문조사 방법 및 문항에 대한 신뢰도, 응답자의 평가에 대한 신뢰도로 나누어 제언하고자 한다.

질의응답

핵심어	질문	논문에서 추출한 답변
	강제적인 평가방식이 초래한 신뢰성 없는 강의평가의 예시는?	고등교육에서 불성실한 일관적 응답과 관련된 연구의 대부분은 강의평가와 관련된 내용들인데[4,5,6], 그 연구들을 바탕으로 교육수요자 만족도조사의 일관적 응답의 원인을 찾을 수 있었다. 학생들은 자신이 수강한 모든 수업에 대해 반복해서 평정해야 하는 상황 속에서 짧은 시간에 성실하지 못한 응답을 하는 경향이 나타나게 되고[7,8], 온라인상에서 학생들이 성적열람 이전에 수강과목에 대하여 일괄적으로 강의평가를 진행하면서 모든 문항에 동일한 평가점수에 체크하는 불성실한 경우가 다수 발생한다[9,10]. 또한 평가를 대하는 태도가 무성의하여 일관적 응답 비율이 50% 이상으로 나타나는 사례도 발견되는데, 이는 대학의 형태와 수업의 유형과 무관한 현상으로 분석되고 있다[11,12]. 이와 같이 강제적인 평가방식으로 인해 높은 참여율은 얻을 수 있지만 모든 문항에 대해 같은 번호로 무성의하게 응답하는 결과를 초래할 수 있고, 분석 자료의 품질을 논하지 않은 채 고급통계분석기법을 적용하는 것은 ‘Garbage in, Garbage out’ 이라고 지적할 수 있다[13].
	과학적 조사란 무엇인가?	과학적 조사(scientific research)는 일반 현상 가운데 관계가 있을 것이라 생각되는 가설적인 명제들을 체계적, 통계적, 비판적으로 탐구하는 일련의 활동이다[1]. 이는 조사자가 조사결과에 대한 확신을 가질 수 있도록 철저히 통제되고 체계적이어야 하며, 이러한 탐구과정은 동일한 통제 상황 하에서 타인에 의해 조사되어도 동일한 결과가 발생할 수 있도록 객관적이어야 한다는 것을 의미한다[2].
	학교에서 학생의 니즈를 적극적으로 수용하고 판단하기 위해 해야하는 것은?	최근 대학교육의 질에 대한 사회적 요구가 높아지고 정부의 교육개혁정책 및 학령인구의 감소로 인한 대학입학정원의 감축이 불가피해지면서 대학들은 공급자 중심에서 수요자 중심의 교육체제로 변화를 모색하고 있다. 교육수요자인 학생의 니즈를 적극적으로 수용하고 판단하기 위해서는 학교에서 제공하는 교육 서비스에 얼마나 만족하는지를 조사하고, 기대에 미치지 못하는 부분에 대해서는 구체적인 개선점을 도출하여 이를 정책수립에 반영하는 순환적 환류체계를 구축해야만 한다.

참고문헌 (16)

Kerlinger, F. N., "Foundations of Behavioral Science", New York: Holt, Renehard and Winston, 1973.
S. I. Chaiy, "Social Science Research Methodology", B&M Books, 2005.
Sumaedi, S., Bakit, I. G. M. Y., & Metasari, N., "The Effect of Students' Perceived Service Quality and Perceived Price on Student Satisfaction", Management Science and Engineering, Vol. 5, No. 1, pp. 88-97, 2011.
M. H. Kim, "Validity and Reliability of Lecture Evaluation", Asian Journal of Education, Vol. 6, No. 3. pp. 1-24, 2005.
I. W. Park, "A Study on Effects of Student Ratings of Their Learning on Consistent Responses in Student Ratings of College Teaching", The Korean Journal of Educational Methodology Studies, Vol. 24, No. 1. pp. 257-281, 2012.
K. S. Hong, "An Analysis of Students' Response to Course Evaluation", The Journal of Educational Information and Media, Vol. 12, No. 2, pp. 97-127, 2006.
K. S. Yang, "A Study on the Students' Consistent Responses to Course Evaluation at Universities", Journal of Educational Evaluation, Vol. 27, No. 2, pp. 255-278, 2014.
S. Y. Shin, J. H. Kwon, "A Study on the Improvement of the Reliability of the Course Evaluation: Focused on the Management of Course Evaluation System", Soonchunhyang Journal of Humanities, Vol. 35, No. 4, pp. 115-145, 2016.
K. H. Lee, "A Study on Validity and Reliability of Students; Evaluation", Journal of the Korean Data & Information Science Society, Vol. 21, No. 1, pp. 87-98, 2010.
O. S. Ha, M. H. Jung, "A Study on the Improvement of a Student Evaluation Tool Through the Analysis of Response of Student Evaluation", The Journal of Yeolin Education, Vol. 22, No. 3, pp. 273-294, 2014.
O. Y. Kwon, Y. T. Park, I. K. Hwang, T. W. Ahn, K. S. Kim, "A Study on the Reliability Improvement for the Course Evaluation System", Journal of Engineering Education Research, Vol. 17, No. 2, pp. 35-41, 2014.

원문보기 상세보기
W. S. Lee, H. W. Lee, Y. K. Tschong, "A Study on Effects of Course Evaluation Methods on Consistent Responses in Student Ratings of College Teaching", The Korean Journal of Educational Methodology Studies, Vol. 24, No. 3, pp. 547-561, 2012.
K. S. Han, S. H. Choi, J. C. Park, "Problems in Mandatory Course Evaluations", Communications for Statistical Applications and Methods, Vol. 18, No. 1, pp. 35-45, 2011.

원문보기 상세보기
Cooper, D. R., & Schindler, P. S., "Business Research Methods", New York: McGraw-Hill Irwin.
J. W. Choi, D. K. An, "A Study on the Data Analysis of the Written Comments in Lecture Evaluation", Journal of Digital Convergence, Vol. 14, No. 11, pp. 101-106, 2016.
Shrout, P. E., & Fleiss, J. L., "Intraclass Correlations: Uses in Assessing Rater Reliability", Psychological Bulletin, Vol. 86, No. 2, pp. 420-428, 1979.

상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증