[논문]한의 건강 측정을 위한 미병과 한열설문의 웹과 종이 기반 조사 방법의 신뢰도: 예비연구

정경식; 김호석; 이시우; 임수은; 백영화

doi:10.5392/jkca.2022.22.08.671

[국내논문] 한의 건강 측정을 위한 미병과 한열설문의 웹과 종이 기반 조사 방법의 신뢰도: 예비연구
Reliability of Web and Paper-Based Survey Methods for Mibyeong and Cold-Heat Pattern Questionnaire for Korean Medicine Health Assessment: Pilot Study 원문보기

한국콘텐츠학회논문지 = The Journal of the Korea Contents Association, v.22 no.8, 2022년, pp.671 - 680

정경식 (한국한의학연구원 한의약데이터부) , 김호석 (한국한의학연구원 한의약데이터부) , 이시우 (한국한의학연구원 한의약데이터부) , 임수은 (한국한의학연구원 한의약데이터부) , 백영화 (한국한의학연구원 한의약데이터부)

초록
AI-Helper

본 연구의 목적은 한의학 기반 건강상태 및 진단 분류 도구인 미병과 한열설문의 웹 기반과 종이 기반 간의 일치도를 평가하는 것이다. 일반인 72명을 대상으로 웹 기반 조사를 먼저 시행하고, 시간 간격을 두고 종이기반 설문을 진행하였다. 웹과 종이 기반 조사 방법 간의 동등성은 급내상관계수(Intraclass Correlation Coefficient, ICC)와 Bland-Altman 방법으로 설문 점수 간의 일치도를 평가하였다. 미병설문은 웹과 종이 조사 간에 높은 신뢰도를 보였고(ICC=0.95, 95% CI 0.92 - 0.97), 한열설문의 한증(ICC=0.98, 95% CI 0.96 - 0.99)과 열증(ICC=0.9, 95% CI 0.83 - 0.93) 모두 우수한 신뢰도를 나타냈다. 두 조사 방법 간의 평균 점수 차이는 미병설문이 -0.25점이고, 한열설문의 한증 -0.17점, 열증 0.11점으로 유사한 일치 양상을 나타냈다. 대상자의 84%가 웹 기반에 긍정적인 만족도를 보였고, 80%가 웹 조사를 선호하였다. 본 연구에서 미병설문과 한열설문의 웹 조사 방법 간의 신뢰도와 실행 가능성을 확인하였다. 이것은 장기간 걸쳐 진행되는 코호트 연구에서 대상자 추적 관찰에 유용한 도구로 고려된다.

Abstract ▼ AI-Helper

This study evaluated the consistency between the web-based and paper-based mibyeong and cold-heat pattern questionnaire, the Korean medicine-based tool for diagnosing and classifying health status. First, a web-based survey was conducted on 72 ordinary people; subsequently, a paper-based survey was conducted after a certain time interval. The equivalence between the web-based and paper-based surveys was evaluated on the basis of the consistency between scores using the Intraclass Correlation Coefficient (ICC) and Bland-Altman methodology. The mibyeong questionnaire showed high reliability for the web-based and paper-based surveys (ICC=0.95, 95% CI 0.92 - 0.97), and the cold-heat pattern questionnaire showed high reliability for both cold syndrome (ICC=0.98, 95% CI 0.96 - 0.99) and heat syndrome (ICC=0.9, 95% CI 0.83 - 0.93). The difference in average scores between the two survey methods was -0.25 for the mibyeong survey, -0.17 for the cold syndrome, and 0.11 for the heat syndrome, showing a similar pattern. Among the respondents, 84% showed positive satisfaction with the web-based survey, and 80% preferred the web-based survey. Overall, this study confirmed the reliability and feasibility of the web-based survey methods for the mibyeong and cold-heat pattern questionnaire. This could be a useful tool for the follow-up of subjects in long-term cohort studies.

주제어

표/그림 (5)

그림 Figure 1. Screenshots of the Web-based system displayed on a mobile device(a) and in a browser(b)
표 Table 1. General Characteristic of the Subjects
표 Table 2. Reliability analysis between web and paper formats
표 Table 3. Web-based survey satisfaction results
그림 Figure 2. Bland-Altman plots showing the difference between scores of the web and paper versions of the Mibyeong (a) and Cold-Heat questionnaire (b,c)

AI 본문요약
AI-Helper

문제 정의

본 연구는 한의학 기반의 건강 상태 평가 도구인 미병설문과 한열설문의 웹 버전을 개발하여, 종이 조사방법 간의 신뢰도와 실행 가능성을 평가하였다. 분석결과 새롭게 개발된 웹 기반 설문은 종이 버전과 0.
본 연구에서 사용한 미병설문은 이상증상 기반의 건강 상태를 평가하기 위한 목적으로 개발되었다[11]. 미병설문은 피로, 통증, 수면이상, 소화이상, 우울, 분노, 불안의 7개 범주로 21문항으로 구성되어 있다.
환자 보고에 의한 설문은 환자가 주관적으로 호소하는 여러 증상들을 중시하는 한의학의 특성과 서로 잘 부합되어[8], 한열[9], 체질[10], 미병[11] 등 한의 진단과 건강상태를 평가하는 설문들이 임상과 연구에서 활용되고 있다[12][13]. 본 연구에서는 미병과 한열설문을 포함하여 여러 설문 도구를 웹 기반 시스템으로 개발했다. 이 연구의 목적은 미병설문과 한열설문의 웹기반과 종이 기반 조사 방법 간의 동등성과 사용자 만족도를 평가하는 것이다.
본 연구에서는 미병과 한열설문을 포함하여 여러 설문 도구를 웹 기반 시스템으로 개발했다. 이 연구의 목적은 미병설문과 한열설문의 웹기반과 종이 기반 조사 방법 간의 동등성과 사용자 만족도를 평가하는 것이다.

제안 방법

본 연구에서 사용한 미병설문은 이상증상 기반의 건강 상태를 평가하기 위한 목적으로 개발되었다[11]. 미병설문은 피로, 통증, 수면이상, 소화이상, 우울, 분노, 불안의 7개 범주로 21문항으로 구성되어 있다. 각범주는 증상정도, 지속기간, 휴식 후 회복정도에 대한 3개의 질문에 7점 척도로 응답한다.
본 연구는 2021년 9월에서 2021년 11월까지 S대학교 2곳의 부속한방병원에서 단일군으로 시행된 예비연구이다. 연구대상자는 태블릿 또는 핸드폰을 이용하여 웹기반 조사를 먼저 진행하고 동일 날짜의 1-2시간 후에 종이 설문을 시행하였다. 웹 기반과 종이 기반 설문조사 사이에 기기 측정과 다른 설문조사를 시행하여 시간 간격을 두었다.
연구대상자는 태블릿 또는 핸드폰을 이용하여 웹기반 조사를 먼저 진행하고 동일 날짜의 1-2시간 후에 종이 설문을 시행하였다. 웹 기반과 종이 기반 설문조사 사이에 기기 측정과 다른 설문조사를 시행하여 시간 간격을 두었다.
만족도 조사는 총 6개의 문항으로 구성되었다. 이 설문의 문항은 메뉴구성 정확도, 정보일관성, 화면구성 편리성, 사용 편의성, 시스템 만족도, 선호도에 대한 만족도를 조사하였다. 조사 방법의 선호도를 제외한 모든문항은 '매우 그렇다', '그렇다', '보통이다', '미흡하다', '아주 미흡하다'의 5점 척도로 조사하였다.

대상 데이터

본 연구는 2021년 9월에서 2021년 11월까지 S대학교 2곳의 부속한방병원에서 단일군으로 시행된 예비연구이다. 연구대상자는 태블릿 또는 핸드폰을 이용하여 웹기반 조사를 먼저 진행하고 동일 날짜의 1-2시간 후에 종이 설문을 시행하였다.
연구대상자는 S대학교 및 부속한방병원에서 근무하는 만 30세 이상 59세 이하의 교직원 중 설문지 작성, 생체지표 측정 등에 참여하기에 합당하지 않은 자고 외한 교직원을 대상으로 진행 중인 직장기반 한의 코호트 연구의 참여자이다[20]. 본 연구는 코호트 대상자 200명 중에서 연구의 목적 및 내용에 대한 설명을 들은 후 참여에 동의한 자발적 참여자 76명을 대상으로 시행되었다. 종이 설문에서 결측 자료 4건을 제외하고 최종 72명의 자료를 분석하였다.
연구대상자는 S대학교 및 부속한방병원에서 근무하는 만 30세 이상 59세 이하의 교직원 중 설문지 작성, 생체지표 측정 등에 참여하기에 합당하지 않은 자고 외한 교직원을 대상으로 진행 중인 직장기반 한의 코호트 연구의 참여자이다[20]. 본 연구는 코호트 대상자 200명 중에서 연구의 목적 및 내용에 대한 설명을 들은 후 참여에 동의한 자발적 참여자 76명을 대상으로 시행되었다.
웹 기반 조사와 관련된 2건의 문헌고찰 연구는 2007 년 이전 연구(46개 논문 포함)와[16] 2007-2014년(55 개 논문 포함)에[17] 발표된 연구를 대상으로 시행되었다. 연구 디자인은 교차연구와 비교연구로 진행되었고, 분석 방법은 상관분석과 평균값 비교가 가장 많이 활용되었으며, 상관분석 중에서 급내상관계수(Intraclass Correlation Coefficient, ICC)가 가장 많이 사용되었다.
본 연구는 코호트 대상자 200명 중에서 연구의 목적 및 내용에 대한 설명을 들은 후 참여에 동의한 자발적 참여자 76명을 대상으로 시행되었다. 종이 설문에서 결측 자료 4건을 제외하고 최종 72명의 자료를 분석하였다. 본 연구는 기관생명윤리위원회의 승인을 받았다(No.

데이터처리

Bland-Altman plot으로 일치도 결과를 그래픽으로 확인하고 시각화하였다. Bland-Altman plot은 동일 대상에 대한 두 개의 측정값에서 각 측정값의 짝마다 평균(x축)과 차이(y축)를 계산하여 산점도로 표시된다.
인구통계학적 특성은 빈도분석(Frequency Analysis) 을 실시하여 빈도와 백분율, 평균과 표준편차로 요약하였다. 미병설문과 한열설문에 대해 웹과 종이 형식의응답 간의 일치 수준은 급내상관계수(Intraclass Correlation Coefficient, ICC)와 95% 신뢰 구간 (Confidence Interval, CI)으로 분석하였다.
인구통계학적 특성은 빈도분석(Frequency Analysis) 을 실시하여 빈도와 백분율, 평균과 표준편차로 요약하였다. 미병설문과 한열설문에 대해 웹과 종이 형식의응답 간의 일치 수준은 급내상관계수(Intraclass Correlation Coefficient, ICC)와 95% 신뢰 구간 (Confidence Interval, CI)으로 분석하였다.

성능/효과

본 연구는 웹 버전으로 개발된 미병설문과 한열 설문을 종이기반 설문 방법과 비교하여 신뢰성을 평가하고, 대상자의 수용 가능성을 확인하였다. 결과적으로 미병설문과 한열설문 모두 웹 기반과 종이 기반 설문 조사 간에 ICC 0.9 이상의 높은 수준의 신뢰도를 보였으며, 웹기반 설문조사 방법에 대한 대상자 수용도도 높았다.
그러나 두 조사 방법 사이에 다른 측정을 통해 일정부분 설문응답에 대한 기억력의 영향을 최소화하였다. 둘째, 웹과 종이 조사를 무작위 배정을 고려하지 않아, 조사 방법순서에 따른 이월효과와 선호도에 영향을 미칠 수 있다. 일부 연구에서 웹과 종이 설문 유형과 조사 순서 간의 유의미한 차이가 나타나지 않았으나[3], 교차 설계와같은 연구 디자인을 제안한다.
미병설문은 두 조사 방법 간의 급내상관계수인 ICC 값은 미병총점 0.95, 미병 7개의 하위 범주에서도 0.83 - 0.96 범위의 값을 보였으며, 한열설문은 한증 0.98, 열증 0.9으로 각각 나타냈다. ICC 값이 반복성과 평가자 내 또는 평가자간 신뢰도 분석에서 널리 사용되는 신뢰도 지수로 ICC값은 0.
웹 기반 설문 조사는 설문 조사함에 있어 설문 수행시간 단축 등 많은 장점을 가지고 있으므로 종이 기반설문 조사보다 유용할 것으로 예측되고 있다. 본 연구는 웹 버전으로 개발된 미병설문과 한열 설문을 종이기반 설문 방법과 비교하여 신뢰성을 평가하고, 대상자의 수용 가능성을 확인하였다. 결과적으로 미병설문과 한열설문 모두 웹 기반과 종이 기반 설문 조사 간에 ICC 0.
본 연구는 한의학 기반의 건강 상태 평가 도구인 미병설문과 한열설문의 웹 버전을 개발하여, 종이 조사방법 간의 신뢰도와 실행 가능성을 평가하였다. 분석결과 새롭게 개발된 웹 기반 설문은 종이 버전과 0.83-0.96의 범위 내로 적정 수준의 신뢰도를 보였으며, 웹 조사의 선호도도 84%로 높았다.
웹 기반 설문의 전반적인 만족도는 63명(84%)이 긍정적인 응답을 하였고, 60명(80%)이 종이보다는 웹기반 조사 방법을 선호하였다. 또한, 대상자들은 웹 기반설문은 사용 편의성 측면에서 명확하고 일관성 있는 화면 구성으로 전반적으로 편리하다고 평가하였다.
27점이었다. 한열설문은 한증과 열증으로 나누어 비교하였고, 한증점수는 웹 기반이 23.65+5.61점, 종이 기반이 23.82+5.73점이며, 열증점수는 웹 기반이 18.38H4.62점, 종이 기반이 18.26=4.42점으로 나타났다. 웹 기반 설문과 종이 기반 설문 간의 신뢰도는 미병설문에서 미병총점의 ICC가 0.

후속연구

일부 연구에서 웹과 종이 설문 유형과 조사 순서 간의 유의미한 차이가 나타나지 않았으나[3], 교차 설계와같은 연구 디자인을 제안한다. 마지막으로 예비연구를 토대로 본 연구가 시도될 필요가 있다.
본 연구의 제한점은 첫째, 두 조사 방법 간의 기한을 두지 않고 당일에 시행하여, 대상자의 기억력과 관련된 회상 바이어스의 영향이 고려되지 않았다. 그러나 두 조사 방법 사이에 다른 측정을 통해 일정부분 설문응답에 대한 기억력의 영향을 최소화하였다.
웹 기반의 미병설문과 한열설문은 대상자 친화적이며, 장기간 걸쳐 진행되는 코호트 연구에서 대상자의 추적 관찰에 유용한 도구로 고려된다.
둘째, 웹과 종이 조사를 무작위 배정을 고려하지 않아, 조사 방법순서에 따른 이월효과와 선호도에 영향을 미칠 수 있다. 일부 연구에서 웹과 종이 설문 유형과 조사 순서 간의 유의미한 차이가 나타나지 않았으나[3], 교차 설계와같은 연구 디자인을 제안한다. 마지막으로 예비연구를 토대로 본 연구가 시도될 필요가 있다.

참고문헌 (23)

I. McDowell, Measuring health: a guide to rating scales and questionnaires, Oxford University Press, 2006.
최지숙, 박영신, 김지애, 박춘선, "의료의 질 향상을 위한 환자중심 건강결과 측정의 국제동향과 국내 시사점-OECD PaRIS 를 중심으로," 한국의료질향상학회지, 제25권, 제1호, pp.11-28, 2019.
J. Hou, Q. Li, M. Yu, F. Li, Y. Tang, and Y. Long, "Validation of a Mobile Version of the American Shoulder and Elbow Surgeons Standardized Shoulder Assessment Form: An Observational Randomized Crossover Trial," JMIR mHealth and uHealth, Vol.8, No.7, pp.1-9, 2020.
이지영, 김진교, "온라인 패널 조사와 오프라인 대인면접 조사 간 데이터 품질 비교: 신뢰도와 타당도를 중심으로," 마케팅연구, 제21권, 제4호, pp.209-231, 2006.
R. A. Kollenburg, D. M. Bruin, and H. Wijkstra, "Validation of the electronic version of the International Index of Erectile Function(IIEF-5 and IIEF-15): a crossover study," Journal of medical Internet research, Vol.21, No.7, pp.1-8, 2019.
O. M. Epis, C. Casu, L. Belloli, E. Schito, D. Filippini, and M. Muscara, "Pixel or paper? Validation of a mobile technology for collecting patient-reported outcomes in rheumatoid arthritis," JMIR Research Protocols, Vol.5, No.4, pp.1-8, 2016.
이봉교, 한방진단학, 성보사, 1986.
송낙근, 김중길, 신선화, 김용호, 황규동, 안규석, 최선미, "설문지 통계분석을 통한 변증진단 객관화 연구," 한국한의학연구원논문집, 제11권, 제1호, pp.127-138, 2005.
배광호, 윤영흠, 여민경, 김호석, 이영섭, 이시우, "건강 증진을 위한 평소 증상 기반의 한열변증 설문지 개발-일치도를 중심으로," 대한예방한의학회지, 제20권, 제2호, pp.17-26, 2016.
백영화, 장은수, 박기현, 유종향, 진희정, 이시우, "체형, 성격, 소증 기반 단축형, 사상체질 진단설문지 (ks-15) 개발 및 타당도 연구," 사상체질의학회지, 제27권, 제2호, pp.211-21, 2015.
이영섭, 백영화, 박기현, 진희정, 이시우, "이상증상 기반 미병 분류도구의 신뢰도 및 타당도 연구," 대한예방한의학회지, 제20권, 제3호, pp.45-53, 2016.
김수정, 이시우, 이영섭, "건강군과 미병군의 한열지표 차이에 관한 연구," 대한예방한의학회지, 제21권, 제1호, pp.49-56, 2017.
장은수, 김윤영, 백영화, 이시우, "사상체질별 7대 건강행위와 주관적 건강상태의 연관성," 사상체질의학회지, 제30권, 제1호, pp.32-42, 2018.
J. C. Lee, S. H. Kim, Y. Lee, S. Song, Y. Kim, and S Lee, "The concept of Mibyeong (sub-health) in Korea: A Delphi study," European Journal of Integrative Medicine, Vol.5, No.6, pp.514-518, 2013.

상세보기
WORLD HEALTH ORGANIZATION, WHO international standard terminologies on traditional medicine in the western pacific region, 2007.
S. J. Coons, C. J. Gwaltney, R. D. Hays, J. J. Lundy, J. A. Sloan, and D. A. Revicki, "Recommendations on evidence needed to support measurement equivalence between electronic and paper-based patient-reported outcome (PRO) measures: ISPOR ePRO," Good Research Practices Task Force report, Vol.12, No.4, pp.419-429, 2009.
N. Campbell, F. Ali, A. Y. Finlay, and S. S. Salek, "Equivalence of electronic and paper-based patient-reported outcome measures," Quality of Life Research, Vol.24, No.8, pp.1949-1961, 2015.

상세보기
M. K. White, S. M. Maher, A. A. Rizio, and J. B. Bjorner, "A meta-analytic review of measurement equivalence study findings of the SF-36® and SF-12® Health Surveys across electronic modes compared to paper administration," Quality of life research, Vol.27, No.7, pp.1757-1767, 2018.
M. H. Berg, A. Overbeek, H. J. Pal, A. B. Versluys, D. Bresters, E. Flora, and E. Leeuwen, "Using web-based and paper-based questionnaires for collecting data on fertility issues among female childhood cancer survivors: differences in response characteristics," Journal of medical Internet research, Vol.13, No.37, p.1707, 2011.
박정수, 성현경, 신선미, 고호연, 이시우, 백영화, "신체 생체지표를 이용한 사상체질 판별 연구-한의 코호트 연구를 중심으로," 대한예방한의학회지, 제23권, 제3호, pp.21-30, 2019.
공경애, "검사법 평가: 검사법 비교와 신뢰도 평가," Ewha Med J, 제40권, 제1호, pp.9-16, 2017.
T. K. Koo and M. Y. Li, "A guideline of selecting and reporting intraclass correlation coefficients for reliability research," Journal of chiropractic medicine, Vol.15, No.2, pp.155-163, 2016.

상세보기
M. Duracinsky, C. Lalanne, C. Goujard, S. Herrmann, C. C. Lung, and J. P. Brosseau, "Electronic versus paper-based assessment of health-related quality of life specific to HIV disease: reliability study of the PROQOL-HIV questionnaire," Journal of medical Internet research, Vol.16, No.4, pp1-12, 2014.

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증