선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 초기 챗봇 개발과정과 동일하게 발화의 분류, 발화의 다양화, 엔티티 데이터베이스화를 진행하여 추가 발화를 등록하였다. 본 업데이트는 보다 향상된 기능을 환자에게 제공하기 위해, 환자 대상으로 진행된 만족도 설문조사 이전에 이루어졌다.
- 본 연구는 AMS 제공의 보조 도구를 개발하고자 하는 목적에서 시작하였다. 이를 위한 도구로 최근 IoT기술 확산에 따라 금융서비스부터 헬스케어서비스에 이르기까지 활발하게 도입되고 있는 챗봇을 활용하였고 결과적으로 '와파린톡'이 일반적인 AMS에서 제공하는 정보를 환자들에게 전달할 수 있다는 가능성을 확인하였다.
- 본 연구에서는 메신저 AI 플랫폼을 기반으로 항 응고 약물치료 상담 서비스에서 제공하는 warfarin 복용관련 질의응답 내용에 대한 챗봇을 개발하였다. 개발된 챗봇을 활용하여 시간 및 공간적 제약을 넘어 환자에게 warfarin 관련 정보를 실시간을 제공할 수 있고, 항응고약물치료상담 서비스 제공에 투입되는 약사 인력에도 긍정적인 영향을 미칠 것으로 기대할 수 있다.
- 본 연구에서는 항응고약물치료상담 서비스의 제한된 인력 및 시간적, 공간적 제약을 극복하고, warfarin을 복용하는 환자를 위한 메신저 AI (Artificial intelligence) 플랫폼 기반 warfarin 정보 제공 챗봇을 개발하고자 하였다.
- 마지막으로, 사용자가 발화를 입력하기 전 가이드버튼을 제공한다는 특징을 가지고 있다. 이를 통해 사전에 정의된 질문에만 답변할 수 있는 챗봇의 한계를 극복하고자 하였다. 일반적으로 사용자는 다양한 어미와 어구를 사용하여 질문하는데, 챗봇의 현재 기술 수준으로는 이러한 자연어를 처리하지 못하기 때문이다.
제안 방법
- 만족도 조사의 경우, 사용자 경험을 분류한 허니콤 모델19)을 참고하여 본 연구에 알맞게 설문 항목을 개발하였다. '와파린톡'의 발화 중 응답자 본인에게 유용했던 정보에 대해 복수 응답하도록 하였으며, 챗봇의 만족도 및 활용도(약사 부재시 도움이 될지에 대한문항)에 대해 질문하였다. 두 설문 모두 선지형 문항의 경우 5 점 리커트 척도로 답변하도록 구성하였다(Appendix 1, 2 참조).
- 이 중 용법/용량에 관한 발화가 61건, 약물-약물 상호작용이 4, 170건, 약물-음식 상호작용(식이요법)이 1, 497건, 약물-음식 상호작용(건강기능식품)이 1, 618 건, 모니터링이 35건, 부작용이 26건, 주의사항이 40건, 그 외가 67건이었다. 같은 주제를 여러 동의어로 검색하더라도 동일한 결과가 나올 수 있도록 설정하고자 총 9, 675개의 엔티티를 오픈빌더 내에 업로드 하였다. 약물 엔티티가 총 9, 150개였으며, 건강기능식품 및 음식의 경우 307개, 검사 용어가 52 개, 증상 및 질환이 166개였다.
- 신뢰도 조사의 설문항목은 '와파린톡'의 전반적인 답변의 적절성(appropriateness), 일관성(consistency), 추천도 (recommendation)를 통해 신뢰도를 확인하였다. 또한 답변 용이성, 사용 친화성, 정보 완성도 부문으로 나누어 7가지 분류기준에 따라 챗봇의 성능에 관하여 질문하였다. 만족도 조사의 경우, 사용자 경험을 분류한 허니콤 모델19)을 참고하여 본 연구에 알맞게 설문 항목을 개발하였다.
- 또한 현재의 자연어 처리기술 한계로 인한 발화 인식률 하락을 방지하기 위해 한 발화당 동일한 의미를 가지는 발화를 다양하게 입력할 수 있도록 단어 또는 문장의 형태로 DB를 구축하였다. 질문의 주요 키워드가 한글명 또는 영문명(약물의 경우에는 성분명, 제품명을 포함)과 같이 여러 방식으로 표현이 가능한 경우, 동일한 답변을 제공하기 위해 엔티티(entity, 봇이 이해할 수 있는 용어를 체계적으로 정리한 데이터 사전이다.
- 또한 답변 용이성, 사용 친화성, 정보 완성도 부문으로 나누어 7가지 분류기준에 따라 챗봇의 성능에 관하여 질문하였다. 만족도 조사의 경우, 사용자 경험을 분류한 허니콤 모델19)을 참고하여 본 연구에 알맞게 설문 항목을 개발하였다. '와파린톡'의 발화 중 응답자 본인에게 유용했던 정보에 대해 복수 응답하도록 하였으며, 챗봇의 만족도 및 활용도(약사 부재시 도움이 될지에 대한문항)에 대해 질문하였다.
- 신뢰도 조사를 위해 병원 및 지역약국에 종사하는 약사 중 warfarin 을 조제 또는 복약지도한 경험이 있는 약사 30명을 대상으로 '와파린톡'을 이용한 후 성능에 대한 설문조사를 온라인으로 진행하였다. 만족도는 만 18세 이상의 성인으로 서울대학교병원에 내원 또는 입원한 환자 중 warfarin 복용을 시작하거나 복용 중인 환자로서, 약사의 항응고상담 또는 warfarin 관련 교육을 받은 자를 대상으로 '와파린톡'을 이용하게 한 뒤, 사용자경험에 대한 설문을 진행하였다. 환자 10명을 대상으로 하여 기술형 서술로 만족할 만한 수준의 챗봇을 개발했는지를 확인하였다.
- 본 연구는 챗봇을 개발하기 전 챗봇 내에 입력할 자료를 수집하여 데이터베이스(database, DB) 구축 작업을 선행하였다. 이후 프로토타입 챗봇을 개발한 뒤, 파일럿 연구(설문조사)를 통해 신뢰도와 만족도를 확인하였다.
- 본 연구에 ㈜카카오에서 제공하는 오픈빌더를 기반으로 메신저 '카카오톡' 내에서 '와파린톡'을 구현하였다. 데이터베이스 구축을 통해 선정한 224개의 대표발화를 다양화하여 업로드 된 발화는 총 7, 514개였다.
- 본 연구에서 개발한 '와파린톡'의 개선을 위해 파일럿 연구로서 신뢰도 및 만족도에 대한 설문조사를 진행하였다. 신뢰도 조사를 위해 병원 및 지역약국에 종사하는 약사 중 warfarin 을 조제 또는 복약지도한 경험이 있는 약사 30명을 대상으로 '와파린톡'을 이용한 후 성능에 대한 설문조사를 온라인으로 진행하였다.
- 신뢰도 조사를 위해 병원 및 지역약국에 종사하는 약사 중 warfarin 을 조제 또는 복약지도한 경험이 있는 약사 30명을 대상으로 '와파린톡'을 이용한 후 성능에 대한 설문조사를 온라인으로 진행하였다. 만족도는 만 18세 이상의 성인으로 서울대학교병원에 내원 또는 입원한 환자 중 warfarin 복용을 시작하거나 복용 중인 환자로서, 약사의 항응고상담 또는 warfarin 관련 교육을 받은 자를 대상으로 '와파린톡'을 이용하게 한 뒤, 사용자경험에 대한 설문을 진행하였다.
- 환자 10명을 대상으로 하여 기술형 서술로 만족할 만한 수준의 챗봇을 개발했는지를 확인하였다. 신뢰도 조사의 설문항목은 '와파린톡'의 전반적인 답변의 적절성(appropriateness), 일관성(consistency), 추천도 (recommendation)를 통해 신뢰도를 확인하였다. 또한 답변 용이성, 사용 친화성, 정보 완성도 부문으로 나누어 7가지 분류기준에 따라 챗봇의 성능에 관하여 질문하였다.
- 약사를 대상으로 진행하는 신뢰도 설문조사에서 본 챗봇의 보완사항에 대한 서술형 응답을 수집하여 챗봇의 기능향상을 위한 업데이트를 진행하였다. 초기 챗봇 개발과정과 동일하게 발화의 분류, 발화의 다양화, 엔티티 데이터베이스화를 진행하여 추가 발화를 등록하였다.
- 약사를 대상으로 한 신뢰도 설문조사를 통하여 챗봇의 발화를 추가하였다. 추가된 발화는 총 29건이었으며, 약물-음식 상호작용(건강기능식품)에 관한 발화가 12건, 약물-약물 상호작용에 관한 발화가 10건, 주의사항 관련이 3건, 모니터링에 관한 발화가 3건, 용법/용량에 관한 건이 1건이었다.
- 이를 이용하여 각 질문의 주요 키워드를 기준으로만 작성되었던 발화에 엔티티를 연결하여 여러 동의어로 검색하더라도 동일한 결과가 나올 수 있도록 설정하였다. 이외에도 챗봇의 응답률 향상을 위해 오픈 빌더에서 제공하는 '바로 연결 버튼' 기능을 이용하여 질문의 가이드를 추가로 생성하였다.
- 이를 이용하여 각 질문의 주요 키워드를 기준으로만 작성되었던 발화에 엔티티를 연결하여 여러 동의어로 검색하더라도 동일한 결과가 나올 수 있도록 설정하였다. 이외에도 챗봇의 응답률 향상을 위해 오픈 빌더에서 제공하는 '바로 연결 버튼' 기능을 이용하여 질문의 가이드를 추가로 생성하였다. 이는 사용자가 발화를 직접 작성하지 않고 답변을 얻을 수 있는 기능으로 챗봇이 먼저 발화를 제시하는 형식을 취하고 있다.
- 또한 한 발화에 대한 답변을 한 뒤, 반복적으로 바로 연결 버튼을 제시할 수 있어 연속적으로 다빈도 발화에 대해 높은 성공률로 답변할 수 있었다. 이후 본 챗봇의 특성을 살려 '와파린 톡'으로 카카오톡 채널 및 챗봇 배포를 진행하였다.
- 선행하였다. 이후 프로토타입 챗봇을 개발한 뒤, 파일럿 연구(설문조사)를 통해 신뢰도와 만족도를 확인하였다. 파일럿 연구에서 챗봇의 기능에 대한 서술형 의견을 수집하여 챗봇 기능 향상을 위한 업데이트 작업에 활용하였다(Fig.
- 업데이트를 진행하였다. 초기 챗봇 개발과정과 동일하게 발화의 분류, 발화의 다양화, 엔티티 데이터베이스화를 진행하여 추가 발화를 등록하였다. 본 업데이트는 보다 향상된 기능을 환자에게 제공하기 위해, 환자 대상으로 진행된 만족도 설문조사 이전에 이루어졌다.
- 이후 프로토타입 챗봇을 개발한 뒤, 파일럿 연구(설문조사)를 통해 신뢰도와 만족도를 확인하였다. 파일럿 연구에서 챗봇의 기능에 대한 서술형 의견을 수집하여 챗봇 기능 향상을 위한 업데이트 작업에 활용하였다(Fig. 1).
- 만족도는 만 18세 이상의 성인으로 서울대학교병원에 내원 또는 입원한 환자 중 warfarin 복용을 시작하거나 복용 중인 환자로서, 약사의 항응고상담 또는 warfarin 관련 교육을 받은 자를 대상으로 '와파린톡'을 이용하게 한 뒤, 사용자경험에 대한 설문을 진행하였다. 환자 10명을 대상으로 하여 기술형 서술로 만족할 만한 수준의 챗봇을 개발했는지를 확인하였다. 신뢰도 조사의 설문항목은 '와파린톡'의 전반적인 답변의 적절성(appropriateness), 일관성(consistency), 추천도 (recommendation)를 통해 신뢰도를 확인하였다.
대상 데이터
- 데이터베이스 구축을 통해 선정한 224개의 대표발화를 다양화하여 업로드 된 발화는 총 7, 514개였다. 이 중 용법/용량에 관한 발화가 61건, 약물-약물 상호작용이 4, 170건, 약물-음식 상호작용(식이요법)이 1, 497건, 약물-음식 상호작용(건강기능식품)이 1, 618 건, 모니터링이 35건, 부작용이 26건, 주의사항이 40건, 그 외가 67건이었다.
- 신뢰도 설문을 진행하면서 수집된 서술형 의견은 총 55건이었다. 이 중 용법/용량에 관한 의견이 6건, 약물-약물 상호작용은 4건, 약물-음식 상호작용(식이요법)은 2건, 약물-음식 상호작용(건강기능식품), 모니터링, 부작용에 관해서는 각각 3건, 주의사항에 관한 의견이 5건이었고, 이러한 의견을 이용해 기존의 답변을 변경하도록 '와파린톡'에 발화를 새롭게 추가하거나 답변을 변경하였다.
- 같은 주제를 여러 동의어로 검색하더라도 동일한 결과가 나올 수 있도록 설정하고자 총 9, 675개의 엔티티를 오픈빌더 내에 업로드 하였다. 약물 엔티티가 총 9, 150개였으며, 건강기능식품 및 음식의 경우 307개, 검사 용어가 52 개, 증상 및 질환이 166개였다. 이는 평균 대표 엔티티 1개당 약 38.
- 자료수집을 통하여 프로토타입 챗봇 업로드를 위해 구축한 데이터베이스는 총 224개의 질문으로 구성되었는데, 용법/용량에 관한 내용이 10건, 약물-약물 상호작용이 111건, 약물-음식 상호작용(식이요법)이 36건, 약물-음식 상호작용(건강기능식품)이 33건, 모니터링이 6건, 부작용이 6건, 주의사항이 8건, 그 외가 14건이었다.
이론/모형
- 국내 스마트폰 사용자의 대부분이 이용하는 메신저인 '카카오톡' 내에서 챗봇을 구현하고자 했기 때문에 ㈜카카오에서 제공하는 “Kakao I open builder” (이하 '오픈빌더'라 함.) 플랫폼(platform)을 챗봇의 개발도구로 사용하였다. 앞서 구축한 DB를 활용하여 각 분류에 대한 발화와 답변을 입력하였다.
- 챗봇은 현실에서 바로 응용되어야 하기 때문에 챗봇에 포함될 정보 데이터베이스 구축을 위해서 실제 현장에서 사용되고 있는 정보 위주로 구성하기 위해서 단일 상급종합병원 약제 부항 응고 상담실의 교육자료 및 상담실 담당 약사가 업무 기록과 경험에서 추출한 다빈도 질의응답 내용을 기본으로 하였으며, 이의 객관적인 확인을 위해서 「Pharmacotherapy」4), 「약물 치료학 Part1」, Lexicomp®17), IBM Micromedex®18)의 국내외 3차문헌을 참고하였다. 챗봇의 답변은 전문의나 약사의 답변을 대신할 정도의 책임을 가지지 못하므로 근거가 불충분하거나 개체 간의 차이가 클 것으로 예상되는 문답의 경우 답변에 의사 및 약사와 상담할 것을 권장하는 문구를 삽입하였다.
성능/효과
- 1) 그러나 여전히 기계판막 또는 중등도 이상의 승모판막 협착의 경우 warfarin이 1차 권고 약제로 사용되고 있다.2, 3) Warfarine 구조상 vitamin K와 유사한 구조를 가지기 때문에 vitamin K epoxide reductase를 저해하여 혈액응고인자 생성을 억제한다.4) Warfarine 약동학적/약력 학적 특성으로 환자에서의 반응에는 개체 간/개체 내에서 차이가 발생하게 된다.
- 2, 3) Warfarine 구조상 vitamin K와 유사한 구조를 가지기 때문에 vitamin K epoxide reductase를 저해하여 혈액응고인자 생성을 억제한다.4) Warfarine 약동학적/약력 학적 특성으로 환자에서의 반응에는 개체 간/개체 내에서 차이가 발생하게 된다.5) 뿐만 아니라 warfarine 다른 약물/ 음식과 상호작용하는 것으로 알려져 있다.
- 5개의 동일한 의미를 가진 엔티티를 입력한 것임을 의미한다. 또한 '와파린톡'의 응답률 향상을 위해 '바로가기 버튼'을 이용하여 질문의 가이드를 생성하여 챗봇의 완성도를 높였다(Fig. 2).
- 이는 사용자가 발화를 직접 작성하지 않고 답변을 얻을 수 있는 기능으로 챗봇이 먼저 발화를 제시하는 형식을 취하고 있다. 또한 한 발화에 대한 답변을 한 뒤, 반복적으로 바로 연결 버튼을 제시할 수 있어 연속적으로 다빈도 발화에 대해 높은 성공률로 답변할 수 있었다. 이후 본 챗봇의 특성을 살려 '와파린 톡'으로 카카오톡 채널 및 챗봇 배포를 진행하였다.
- 개발된 챗봇을 활용하여 시간 및 공간적 제약을 넘어 환자에게 warfarin 관련 정보를 실시간을 제공할 수 있고, 항응고약물치료상담 서비스 제공에 투입되는 약사 인력에도 긍정적인 영향을 미칠 것으로 기대할 수 있다. 약사의 주된 업무 중 하나인 의약정보 제공의 창구로서 메신저 기반 챗봇의 가능성을 확인하였다.
- 10명(100%) 모두 4점 이상으로 답변하였다. 이러한 결과를 통해 실제 warfarin을 복용하는 환자들은 비대면 방식의 정보제공 서비스에 대해 긍정적으로 생각하고 있으며, 해당 서비스 제공에 대한 요구가 있음을 확인할 수 있었다.
- 시작하였다. 이를 위한 도구로 최근 IoT기술 확산에 따라 금융서비스부터 헬스케어서비스에 이르기까지 활발하게 도입되고 있는 챗봇을 활용하였고 결과적으로 '와파린톡'이 일반적인 AMS에서 제공하는 정보를 환자들에게 전달할 수 있다는 가능성을 확인하였다. 이는 해당 정보가 시간 및 공간적 제약을 넘어 실시간으로 제공될 수 있음을 의미한다.
- 추가된 발화는 총 29건이었으며, 약물-음식 상호작용(건강기능식품)에 관한 발화가 12건, 약물-약물 상호작용에 관한 발화가 10건, 주의사항 관련이 3건, 모니터링에 관한 발화가 3건, 용법/용량에 관한 건이 1건이었다. 이를 통해 '와파린 톡' 내에 등록된 발화수는 초기 개발시에 224건이었으나, 253건으로 증가하였다. 추가된 발화 또한 다양화를 진행하였으므로, 발화의 다양화 건수 또한 7, 514건에서 7, 929건으로 증가하였다.
- 정보 완성도의 경우 부작용 4점, 용법/용량, 모니터링, 주의사항이 4점 순으로 점수가 높은 것으로 확인되었다(Fig. 4).
후속연구
- 대한 챗봇을 개발하였다. 개발된 챗봇을 활용하여 시간 및 공간적 제약을 넘어 환자에게 warfarin 관련 정보를 실시간을 제공할 수 있고, 항응고약물치료상담 서비스 제공에 투입되는 약사 인력에도 긍정적인 영향을 미칠 것으로 기대할 수 있다. 약사의 주된 업무 중 하나인 의약정보 제공의 창구로서 메신저 기반 챗봇의 가능성을 확인하였다.
- 존재한다. 먼저, 제한적인 설문조사 결과가 갖는 한계로는, 첫째, 연구 기간 중 오프라인 대면이 코로나19 상황으로 인해서 어려워진 상황으로 파일럿으로 시행하였기 때문에 전문가 온라인 설문과 달리 환자 만족도 조사 대상을 10명의 환자를 제한하였던 점, 둘째, 설문조사의 대상 환자의 첫 warfarin 복용자와 기존복용자 및 연령에 대해 층화하지 않아, 설문조사일에 항응고상담실에 내원, 입원한 환자로 설정하여 기존설문조사에 참여한 환자의 대다수가 60대 이상의 고령인 점, 셋째, 해당 환자들의 warfarin 복용기간이 1년 이상으로 신규 복용환자 대비 warfarin복용에 관한 사전 지식이 많은 점을 고려할 때 warfarin 복용 환자에 대한 대표성을 띄기 어렵다는 한계가 있다. 또한, 집중그룹인터뷰의 형식이 아니라 대면 오프라인 설문이고, 설문시간의 한계로 인해서 '와파린톡'에 상대적으로 많은 발화를 입력하지 않은 점 등으로 인해 전문가와 달리 환자의 설문조사 결과는 챗봇의 업데이트를 위한 것이기 보다는 환자의 챗봇 구성 등에 대한 환자 활용 가능성과 만족도를 파악하는 정도로 활용할 수 밖에 없었다.
- 그럼에도 불구하고, warfarin을 처음 복용하는 환자가 본 챗봇을 이용할 경우, 필수로 알아야 하는 내용들에 대해 실시간으로 정보를 제공받을수 있다는 점은 긍정적이다. 비록 일부 환자를 대상으로 한 설문조사 결과이기 때문에 후속 연구가 필요할 것이나, 답변 용이성과 활용도 등의 측면에서, 환자들의 만족도가 높았던 점을 바탕으로 warfarin 복용 환자가 본 챗봇을 통해 생활습관관리에 도움을 받을 수 있다는 것을 확인하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.