선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문은 영유아의 체계적인 치아우식 관리를 위해 CAMBRA-kids 애플리케이션을 개발하고 애플리케이션의 기술적인 오류나 사용 중 발생하는 문제점을 평가하기 위해 전문가 평가인 알고리즘, 휴리스틱, 사용성을 평가하였다.
- 본 연구는 영유아의 체계적인 치아우식 관리를 위해 CAMBRA-kids 애플리케이션을 개발하여 치아우식 관리시스템을 활성화하고 영유아의 치아우식 관리에 기여하고자 하였다. 연구를 통해 얻은 결론은 다음과 같다.
- 이에 본 연구에서는 아동의 우식위험을 평가하고 체계적으로 치아우식을 관리할 수 있는 CAMBRAkids 애플리케이션을 개발하고, 애플리케이션의 시스템적인 측면과 사용성을 검증하기 위해 전문가 평가를 실시하여 애플리케이션의 타당성을 확보하고 궁극적으로 CAMBRA-kids 애플리케이션을 통한 영유아 치아우식관리 시스템을 활성화하고자 한다.
제안 방법
- CAMBRA-kids 애플리케이션의 알고리즘에서 사용자가 보고 실행할 수 있는 A 영역과 애플리케이션 상에서 우식 위험군과 관리방법이 배정되는 B 영역을 평가하였으며, 각 영역에서 화살표에 따라 설계된 알고리즘대로 명령이 이행되는지에 따라 +1점, 0점, -1점의 점수를 매겼다.
- MARS 도구를 이용하여 애플리케이션 사용과정 중에 발생하는 문제점과 학습 용이성, 애플리케이션에 대한 주관적인 흥미나 느낌에 대해 알아보기 위해 사용성을 평가하였다.
- 각각의 하위 영역에서 평균 점수를 계산하여 애플리케이션의 사용성을 평가하였다.
- 위험도별 관리방법 화면은 위험도별로 구성하였고 상단에 치아 캐릭터를 넣어 시각적으로 아동의 위험도가 어떤 상태인지 쉽게 인식할 수 있도록 하였다. 관리방법 빨간색으로 설정하고 에 대한 설명은 개조식으로 구성하여 가독성을 높였다. ‘치아홈메우기’, ‘치약의 양’, ‘자일리톨 함유 음식’ 등은 글씨를 클릭시 팝업창으로 자세한 설명을 볼 수 있도록 하였다.
- 본 연구에서 선정한 5인의 전문가들에게 모바일 휴리스틱 평가도구를 소개하고, CAMBRA-kids 모바일 애플리케이션을 설치하도록 안내하였다. 그 후 8개 원칙에 따라 휴리스틱 문제와 심각성 점수를 평가하였다. 2명 이상의 전문가가 같은 휴리스틱 문제를 제기하거나, 한 명의 전문가가 제시한 심각성 수준이 4점 이상인 경우 앱 수정에 반영하였다[16,23,24].
- 둘째, 프로세스 영역에서는 영유아의 치아우식 위험도 산출 및 관리방법을 제공하기 위한 규칙을 컴퓨터가 인식할 수 있는 알고리즘 형태로 설계하였다.
- 애플리케이션 평가는 소수의 전문가가 애플리케이션의 시스템적인 오류나 그래픽에 대한 평가를 진행하는 휴리스틱 평가를 하였다. 또한, 애플리케이션 사용과정 중 애플리케이션이 효율적이고 정확하게 작동하는지와 학습 용이성을 알아보고 애플리케이션에 대한 주관적인 흥미나 느낌이 어떤지에 대해 알아보기 위해 사용성 평가를 하였다.
- 본 연구에서 선정한 5인의 전문가들에게 모바일 휴리스틱 평가도구를 소개하고, CAMBRA-kids 모바일 애플리케이션을 설치하도록 안내하였다.
- 사용방법을 읽은 후 위험요인과 보호요인을 ‘예’, ‘아니오’ 버튼을 눌러 답할 수 있도록 하였고, 설문 내용 중 어려운 용어는 빨간색으로 설정하고 클릭시 팝업창으로 자세한 설명을 볼 수 있도록 하였다.
- 사용자가 설문을 완료한 다음, 전문가가 질병지표 입력을 마무리하면, 우식위험군배정 알고리즘에 따라 저, 중, 고, 초고위험군으로 자동으로 분류되고 우식위험도 결과를 볼 수 있게 하였다.
- 설계 단계에서는 CAMBRA-kids 애플리케이션을 개발하기 위해 다음과 같이 애플리케이션의 전체 구성도, 애플리케이션에서 활용되는 데이터, 애플리케이션이 동작하는 프로세스, 애플리케이션과 사용자의 상호작용을 위한 인터페이스(UI)를 설계하였다[16].
- 셋째, 사용자 인터페이스 영역에서는 대상자가 모바일 애플리케이션을 사용할 때 화면 간의 이동을 최소화하기 위해 애플리케이션의 메뉴 구성을 설계하였고 모바일 애플리케이션을 사용 시 집중도가 높아질 수 있도록 사용자의 편의에 맞게 화면을 디자인하였다.
- , Boston, MA, USA, 2018)를 이용하여 분석하였다. 알고리즘 평가는 제시된 성능도와 능률도 수식을 이용하여 산출하였고, 휴리스틱 평가는 전문가별로 표에 심각성 점수를 나열하여 2명 이상의 전문가가 같은 휴리스틱 문제를 제기하거나, 한 명의 전문가가 제시한 심각성 수준이 4점 이상인 경우를 찾아내어 평가하였다. 사용성 평가는 기술통계 분석을 이용하여 각 영역별 평균과 표준편차를 산출하여 분석하였다.
- 애플리케이션 평가는 소수의 전문가가 애플리케이션의 시스템적인 오류나 그래픽에 대한 평가를 진행하는 휴리스틱 평가를 하였다. 또한, 애플리케이션 사용과정 중 애플리케이션이 효율적이고 정확하게 작동하는지와 학습 용이성을 알아보고 애플리케이션에 대한 주관적인 흥미나 느낌이 어떤지에 대해 알아보기 위해 사용성 평가를 하였다.
- 사용자가 설문을 완료한 다음, 전문가가 질병지표 입력을 마무리하면, 우식위험군배정 알고리즘에 따라 저, 중, 고, 초고위험군으로 자동으로 분류되고 우식위험도 결과를 볼 수 있게 하였다. 우식위험도를 시각적으로 표현하기 위해 색깔별 막대로 표현하였고, 하단에 위험도와 그와 관련된 간략한 설명을 기재하였다. 또한, 우식위험도 검사 결과 조회 후 관리방법을 볼 수 있게 ‘충치관리방법 바로가기’ 버튼을 삽입하였다.
- 또한, 우식위험도 검사 결과 조회 후 관리방법을 볼 수 있게 ‘충치관리방법 바로가기’ 버튼을 삽입하였다. 위험도별 관리방법 화면은 위험도별로 구성하였고 상단에 치아 캐릭터를 넣어 시각적으로 아동의 위험도가 어떤 상태인지 쉽게 인식할 수 있도록 하였다. 관리방법 빨간색으로 설정하고 에 대한 설명은 개조식으로 구성하여 가독성을 높였다.
- 의료정보학을 이수한 전문가 1인과 CAMBRA 프로그램에서 우식 위험도와 관리방법 등이 올바르게 매칭되는지 평가하기 위해 CAMBRA 프로그램에 대해 숙지하고 있는 경력 5년 이상의 석사학위를 소지한 치위생학 전공자 1인이 알고리즘 평가를 시행하였다.
- 첫째, 모바일 애플리케이션의 전체 구성도 영역에서는 사용자의 스마트폰 내에서 동작하는 클라이언트 부분과 서버를 통하여 동작하는 부분을 나누어 설계하였다.
- 초기화면은 전체적으로 파스텔톤 색감을 사용하여 밝은 분위기 연출하였고 CAMBRA-kids에 관련된 간략한 소개를 메인에 노출함으로써 사용자의 프로그램 이해도를 높일 수 있도록 하였다.
- 휴리스틱 평가는 소수의 전문가로 애플리케이션의 시스템적인 오류나 그래픽에 대한 평가를 진행하는 것인데, 본 연구에서는 총 5명의 전문가가 애플리케이션에 대한 휴리스틱 평가를 시행하였다.
대상 데이터
- CAMBRA-kids 애플리케이션은 본 연구자가 설계한 내용을 기반으로 개발업체(GodwebsCo., Cheonan, South Korea)의 도움을 받아 2018년 7월부터 2018년 10월까지 개발하였고 구글 플레이스토어에 ‘CAMBRA-kids’, ‘캠브라 키즈’로 등록하였다.
- 국내의 영유아 치아우식관련 애플리케이션 현황을 조사하고자 2018년 6월 기준으로 앱 마켓 ‘구글 플레이 스토어‘에서 애플리케이션을 검색하였다.
- 문헌 분석에서는 국내˙외에서 출판된 논문이 적어 총 5편의 논문을 분석하였다.
- 연구 대상자는 의료 정보학관련 전문가 1인, 컴퓨터 관련 학문 전공 전문가 2인, 치위생학 전공자 2인 등 총 5명의 전문가로 선정되었다.
- 학부모 구강보건교육 요구도 관련 문헌 1편[28], 구강관리 애플리케이션관련 국내˙외 문헌 3편[15,29,30]을 분석하였다.
데이터처리
- 데이터베이스는 개방 소스를 사용한 관계형 표준 데이터시스템인 MySQL 5.x를 이용하여 구조화 질의어인 SQL(Structured Query Lite)을 사용하였고 시스템 언어는 JAVA와 PHP를 이용하여 구현하였다.
- 알고리즘 평가는 제시된 성능도와 능률도 수식을 이용하여 산출하였고, 휴리스틱 평가는 전문가별로 표에 심각성 점수를 나열하여 2명 이상의 전문가가 같은 휴리스틱 문제를 제기하거나, 한 명의 전문가가 제시한 심각성 수준이 4점 이상인 경우를 찾아내어 평가하였다. 사용성 평가는 기술통계 분석을 이용하여 각 영역별 평균과 표준편차를 산출하여 분석하였다.
- 알고리즘 평가는 알고리즘에 따라 우식 위험군이 적절하게 배정되는지 여부와 우식 위험군에 따라 본 연구에서 개발한 한국형 CAMBRA 프로그램의 관리방법과 모바일 앱에서 제공하는 관리방법과의 일치도를 비교·평가하였다[21].
이론/모형
- CAMBRA-kids 애플리케이션 사용성 평가는 Stoyanov 등[25]이 개발한 모바일 앱 등급 척도(Mobile app rating scale, MARS)를 변[17]이 번안한 도구를 이용하여 평가하였다.
- 또한, 모바일 애플리케이션에서 사용자의 정보를 안전하게 서버로 전달하기 위하여 ModSecurity 방화벽을 사용하였다.
- 본 연구의 애플리케이션 개발은 소프트웨어 개발 생명주기 방법론(System Development Life Cycle)의 폭포수 모델(Waterfall Model)을 사용하였다[27]. 폭포수 모델은 순차적으로 소프트웨어를 개발하는 전형적인 모델로 가장 많이 사용되고 있다[27].
- 애플리케이션의 기술적 오류나 문제점을 평가하기 위해 한국어 버전의 모바일 휴리스틱 도구를 사용하였다[16,23,24]. 휴리스틱 평가도구는 기존의 10가지 원칙[20]을 8가지 원칙으로 수정한 도구를 사용하여 평가하였으며[24], 8가지 원칙은 애플리케이션의 가시성, 실제 세계에 대한 반영성, 일관성 및 연결성, 인체공학적인 디자인, 화면의 가독성과 입력 편이성, 사용자 설정의 유용성 및 효율성, 감성적인 측면과 오류 관리 등으로 구성되어있다[16,23,24].
- CAMBRA-kids 애플리케이션의 알고리즘에서 사용자가 보고 실행할 수 있는 A 영역과 애플리케이션 상에서 우식 위험군과 관리방법이 배정되는 B 영역을 평가하였으며, 각 영역에서 화살표에 따라 설계된 알고리즘대로 명령이 이행되는지에 따라 +1점, 0점, -1점의 점수를 매겼다. 우식 위험군 배정과 관리방법은 전문가가 서면으로 안내된 우식 위험군 배정법에 따라 애플리케이션 상에서 테스트를 진행하였다. 성능도는 우식 위험군 배정이 올바르게 되며 위험도에 따른 관리방법이 모두 일치하는 경우 +1점, 두 항목 중 하나만 될 경우 0점, 우식 위험군 배정이 올바르게 되지 않고 위험도에 따른 관리방법이 일치하지 않을 경우 –1점을 부여하였다.
- 휴리스틱 평가도구는 기존의 10가지 원칙[20]을 8가지 원칙으로 수정한 도구를 사용하여 평가하였으며[24], 8가지 원칙은 애플리케이션의 가시성, 실제 세계에 대한 반영성, 일관성 및 연결성, 인체공학적인 디자인, 화면의 가독성과 입력 편이성, 사용자 설정의 유용성 및 효율성, 감성적인 측면과 오류 관리 등으로 구성되어있다[16,23,24].
성능/효과
- 1. CAMBRA-kids 애플리케이션의 알고리즘의 성능도와 능률도를 계산한 결과, 평가자 A와 평가자 B 모두 각각 100%으로 나타났다.
- 2. 휴리스틱 평가에서 제시된 총 5개의 문제 중 심각성 수준이 높은 2문제는 ‘보안성이 취약하여 추가적인 보안 프로토콜 설치가 필요하다’와 ‘영유아의 구강건강관련 정보가 거의 없고 부족하여 일회성 이용으로 끝날 가능성이 크다’이었다.
- 3. 애플리케이션에 대한 사용성을 평가한 MARS 결과, 전체적인 점수는 5점 만점에 3.27점이었다. MARS 도구의 하위 영역(참여, 기능성, 심미성, 정보)별 점수에서는 ‘참여’ 영역이 평균 2.
- CAMBRA-kids 애플리케이션의 알고리즘의 성능도와 능률도 점수를 계산한 결과, 전문가 A와 전문가 B는 각각 100% 점수를 주었다[Table 2].
- 가장 높은 점수를 받은 하위 영역은 ‘기능성’으로 평균 3.75점이었고, 최대 점수 5점에서 75.0%에 해당하는 점수를 받은 것으로 나타났다.
- 검색 결과 ‘어린이 구강관리’의 경우 총 248종 ‘어린이 치아우식증’의 경우 총 233종이 검색되었다.
- 그럼에도 불구하고 본 연구에서 개발한 CAMBRA-kids 애플리케이션의 휴리스틱 평가결과와 사용성이 대체적으로 양호하게 나타났으며, 체계적으로 우식관리를 해주는 최초의 모바일 애플리케이션이라는 점에 의의가 있다.
- 다만, 선행연구의 경우 고혈압이 있는 환자가 기타 부작용과 다른 기저질환이 합해져 있는 경우가 많고 당뇨병의 경우에도 1형과 2형으로 분류되며 다른 복합적인 요소를 고려해야 하는 경우가 있어 안내되는 가이드라인의 수가 많아 8-10% 정도의 불일치율이 나타난 것과는 차이가 있었다. 본 연구의 경우, 알고리즘이 단순하고 CAMBRA 프로그램에서 우식 위험도별 가이드라인이 명확하게 정해져 있어 높은 일치율을 보인 것으로 사료된다.
- 알고리즘을 평가한 결과, 성능도와 능률도가 100%로 높은 일치율을 보였는데 이는 Martins[21]의 연구에서 고혈압 환자에 대해 의사가 작성한 182건의 가이드라인과 시스템에서 권고해주는 가이드라인의 일치도를 비교한 결과 약 90%의 일치율을 보였고, 전[16]의 연구에서 당뇨병 환자를 대상으로 시스템에서 제공하는 권고 사항과 전문가가 선택한 권고 사항의 성능도와 능률도가 90-94%로 나타난 것과 비슷하게 높은 수준을 보였다.
- CAMBRA-kids 애플리케이션의 알고리즘의 성능도와 능률도 점수를 계산한 결과, 전문가 A와 전문가 B는 각각 100% 점수를 주었다[Table 2]. 연구결과, 알고리즘은 설계된 대로 작동하였고 영유아의 위험군 수준도 알맞게 분류되었으며 위험군 수준에 따른 위험도별 관리방법이 알맞게 안내되는 것으로 나타났다.
- 이를 기준으로 CAMBRA-kids 애플리케이션을 평가하였을 때, 3.27점으로 3.0점보다 높은 점수를 받아 전반적으로 만족스러운 수준인 것으로 나타났다.
- 0%에 해당하는 점수를 받은 것으로 나타났다. 전체적으로 개발된 CAMBRA-kids 애플리케이션의 MARS 도구를 사용한 사용성 평가 점수는 5점 만점에 3.27점이었다[Table 5]. 전문가별 MARS 점수 및 앱에 대한 의견에서는 전반적으로 전문가들이 영유아의 구강관련 정보가 부족하여 추가적인 정보제공을 제언하였다[Table 6].
- 제시된 총 5개의 문제를 심각성 수준이 높은 문제부터 나열한 결과, 총 2개의 휴리스틱 문제를 앱 수정시 반영해야하는 것으로 나타났다.
- 휴리스틱 평가에서 ‘가시성, 보안성, 추적가능성’ 항목에 해당하는 ‘보안 취약성’ 1개, ‘시스템과 실제세계 비교’ 항목에 해당하는 ‘용어의 어려움’ 1개, ‘인체공학적, 최소주의, 디자인’ 항목에 해당하는 ‘정보 부족’ 1개, ‘입력이 쉬움, 화면 가독성, 보기 쉬움’ 항목에 해당하는 ‘글자 보기 어려움’, ‘버튼이 잘 안임’ 등 총 5개의 문제가 제시되었는데, 이 중 보완이 필요한 심각성 수준이 높은 2문제는 ‘보안 취약성’과 ‘구강건강관련 정보가 부족하여 일회성 이용으로 끝날 가능성이 크다’ 문항이었다.
- 휴리스틱 평가에서 발견된 휴리스틱 문제는 ‘가시성, 보안성, 추적가능성’ 항목에 해당하는 ‘보안 취약성’ 1개, ‘시스템과 실제세계 비교’ 항목에 해당하는 ‘용어의 어려움’ 1개, ‘인체공학적, 최소주의, 디자인’ 항목에 해당하는 ‘정보 부족’ 1개, ‘입력이 쉬움, 화면 가독성, 보기 쉬움’ 항목에 해당하는 ‘글자 보기 어려움’, ‘버튼이 잘 안보임’ 2개이었다.
후속연구
- 본 연구에서 나타난 휴리스틱 문제인 ‘정보 부족’과 ‘보안 취약성’은 사용자가 이용하는데 있어 주요한 사안이므로 추후 애플리케이션 보수 시 반영해야 하는데, 현재 방화벽인 ModSecurity만으로 보안성을 유지하고 있으므로 모바일 애플리케이션에서 사용자의 정보를 안전하게 서버로 전달하기 위하여 SSL(Secure Socket Layer) Lite 보안 프로토콜을 설치하고 사용자 평가를 통해 사용자가 원하는 구강건강관련 정보를 파악하여 애플리케이션에 반영해야할 것으로 사료된다.
- CAMBRA-kids 애플리케이션도 선행연구의 문제점과 비슷한 양상을 보여 앱이 일회성으로 끝나지 않고 지속적으로 활용할 수 있도록 정보 부분에서 보완이 필요하고 후속 연구에서는 추가적인 사용자 평가를 통해 문제점을 발견하고 애플리케이션에 반영해야 할 것이다.
- 후속 연구에서는 사용자에 대한 평가가 이루어져야 할 것이고 전문가 평가를 통해 나온 결론을 애플리케이션에 반영하고 보완해야 할 필요가 있다. 본 연구에서는 소프트웨어와 애플리케이션에 복합적으로 쓰이는 휴리스틱 원칙을 적용하여 평가하였는데 후속 연구에서는 모바일 애플리케이션 평가에 특화된 휴리스틱 원칙을 사용해야할 것으로 사료된다.
- 본 연구의 CAMBRA-kids 애플리케이션은 향후 영유아 우식관리 분야에서 응용되고 활용될 것으로 기대되며 애플리케이션을 활용하여 치아우식 관리시스템을 활성화시켜 영유아 치아우식증 예방에 기여할 것으로 기대된다.
- 본 연구의 제한점과 제언은 다음과 같다. 연구 대상자 수가 상대적으로 적어 일반화시키기에 무리가 있어 후속 연구에서는 더 많은 수의 전문가와 사용자를 대상으로 연구해야 할 것이다. 또한, 전문가 평가만 진행하여 사용자에 대한 의견을 알 수 없었다.
- 그럼에도 불구하고 본 연구에서 개발한 CAMBRA-kids 애플리케이션의 휴리스틱 평가결과와 사용성이 대체적으로 양호하게 나타났으며, 체계적으로 우식관리를 해주는 최초의 모바일 애플리케이션이라는 점에 의의가 있다. 추후 보완과정을 거쳐 애플리케이션을 활용한다면 사용자가 애플리케이션을 유용하게 사용할 수 있고 영유아 구강관리에 도움이 될 것이라 생각된다.
- 또한, 전문가 평가만 진행하여 사용자에 대한 의견을 알 수 없었다. 후속 연구에서는 사용자에 대한 평가가 이루어져야 할 것이고 전문가 평가를 통해 나온 결론을 애플리케이션에 반영하고 보완해야 할 필요가 있다. 본 연구에서는 소프트웨어와 애플리케이션에 복합적으로 쓰이는 휴리스틱 원칙을 적용하여 평가하였는데 후속 연구에서는 모바일 애플리케이션 평가에 특화된 휴리스틱 원칙을 사용해야할 것으로 사료된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.