[논문]딥러닝을 활용한 알약인식 및 복용관리 시스템

김강희; 김소현; 정다함; 이보경

doi:10.7236/jiibc.2024.24.1.9

딥러닝을 활용한 알약인식 및 복용관리 시스템
Systems for Pill Recognition and Medication Management using Deep Learning 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.24 no.1, 2024년, pp.9 - 16

김강희 (한국공학대학교 컴퓨터공학부) , 김소현 (한국공학대학교 컴퓨터공학부) , 정다함 (한국공학대학교 컴퓨터공학부) , 이보경 (한국공학대학교 컴퓨터공학부)

초록
AI-Helper

알약 구매 후 조제약 봉투나 포장지를 잃어버린 경우 약의 효능을 알기 어렵고 많은 사람들이 시중에서 판매하는 약을 구매하여 복용한 후 보관 시 용도를 구분해서 보관하지 않는 경우가 많다. 또한 알약 부작용에 대한 정보의 접근성이 낮아 약을 오남용하는 상황이 발생하기도 한다. 기존의 알약 정보를 검색하여 정보를 알려 주는 대부분의 서비스 및 어플리케이션들은 사용자가 알약의 상세정보를 직접 입력하거나 선택해야 하는 번거로움이 존재한다. 본 논문에서는 이러한 불편한 상황들은 개선하고 보다 나은 서비스를 제공하기 위해 약학정보원에서 제공하는 알약 22,000종의 사진에 대해 제형과 색상을 학습시킨 딥러닝 모델을 구축하였다. 구축된 정보를 활용하여 촬영된 사진으로 알약을 검색하고 알약 정보를 알려주며 사용자의 약 복용을 관리해주는 기능을 갖는 시스템을 개발하였다.

Abstract ▼ AI-Helper

It is difficult to know the efficacy of pills if the pill bag or wrapper is lost after purchasing the pill. Many people do not classify the use of commercial pills when storing them after purchasing and taking them, so the inaccessibility of information on the side effects of pills leads to misuse of pills. Even with existing applications that search and provide information about pills, users have to select the details of the pills themselves. In this paper, we develope a pill recognition application by building a model that learns the formulation and colour of 22,000 photos of pills provided by a Pharmaceutical Information Institution to solve the above situation. We also develope a pill medication management function.

주제어

표/그림 (13)

그림 그림 1. 시스템 구성도 Fig. 1. System Configuration
그림 그림 2. 다중 라벨 리스트 Fig. 2. Multi Label List
그림 그림 3. 경량화된 VGGNet Fig. 3. Smaller VGGNet
그림 그림 4. 알약인식 기능 Fig. 4. Function of Pill Recognition
그림 그림 5. 알파 메인 화면 Fig. 5. Alpha Main Screen
그림 그림 6. 알약 사진 검색 화면 Fig. 6. Pill Photo Search Screen
그림 그림 7. 알약 직접 검색 화면 Fig. 7. Pill Direct Search Screen
그림 그림 8. 알림화면 Fig. 8. Notification Screen
그림 그림 9. 즐겨찾기 화면 Fig. 9. Bookmark Screen
그림 그림 10. 체크박스 화면 Fig. 10. Checkbox Screen
그림 그림 11. Loss, Accuracy 값 Fig. 11. Value of Loss and Accuracy
표 표 1. 약 20종 테스트 결과 Table 1. Test Result for 20 Pills
표 표 2. 학습시키지 않은 알약 20종 테스트 결과 Table 2. Test Result for 20 untrained pills

AI 본문요약
AI-Helper

문제 정의

또한 복용관리를 위하여 사용자가 원하는 약 복용 시간에 맞춰 알림을 주는 기능도 제공하지 않는다. 따라서 본 논문에서는 딥러닝 모델을 이용하여 사진 촬영으로 알약 정보를 제공하며 사용자의 알약 복용을 관리해주는 기능을 갖는 알약 파인더(알파) 시스템을 개발하였다.
본 논문에서는 smaller VGGNet 딥러닝 모델을 이용하여 사진 촬영으로 알약 정보를 제공하며 사용자의 알약 복용을 관리해주는 기능을 갖는 알약 파인더(알파) 시스템을 개발하였다. 현재 운영되고 있는 대부분의 알약 검색 서비스 및 어플리케이션 들은 알약을 직접 촬영하여 이미지로 검색하는 기능을 제공하고 있지 않다.
이러한 불편한 상황들을 개선하고자 본 논문에서는 기존에 있던 서비스들의 단점을 보완하고 간편한 사진 촬영만으로 알약의 이름과 효능, 복용 방법 등 알약 인식 및 정보를 제공하며 사용자의 알약 복용을 관리해주는 알약 파인더(알파) 시스템을 개발하였다. 약학정보원에서 제공하는 알약 22,000종의 사진에 대해 제형과 색상을 학습시키는 VGGNet 기반의 딥러닝 모델을 구축하였다.

제안 방법

Google Vision API와 구축한 딥러닝 모델을 통합하여 1차적으로 Google Vision API를 통해 알약의 후보군을 좁히고, 2차적으로 딥러닝 모델을 통해 알약의 색상과 제형이 모두 일치하는 경우, 알약의 색상만 완전히 일치하는 경우, 알약의 모양만 완전히 일치하는 경우를 우선순위로 두고 최종 알약을 예측한 결과를 확인하는 방식으로 테스트를 진행하였다.
각 알약들을 구분하기 위하여 알약의 제형, 색상, 음각의 3가지 특징을 이용한다. 이 중 알약의 음각은 Google Vision API를 활용하여 글자, 모양 등을 인식하며, 알약의 제형과 색상은 딥러닝 모델을 이용하여 분류되도록 하였다.
현재 운영되고 있는 대부분의 알약 검색 서비스 및 어플리케이션 들은 알약을 직접 촬영하여 이미지로 검색하는 기능을 제공하고 있지 않다. 본 논문에서 개발한 알약 파인더(알파) 시스템은 간단한 촬영만으로 알약의 기본 정보와 상세정보, 상호작용과 같은 주의사항까지 한 번에 제공해준다. 기존의 서비스 및 어플리케이션에서는 알약의 색상과 제형 등을 일일이 선택하고 입력해야 하는 번거로움이 있는데 이를 해결함으로써 사용자들이 더욱 편리하게 사용할 수 있도록 기능을 구현하였다.
약학정보원에서 제공하는 알약 22,000종의 사진에 대해 제형과 색상을 학습시키는 VGGNet 기반의 딥러닝 모델을 구축하였다. 알약을 가이드에 맞게 촬영하여 이미지만으로 의약품을 검색하고 기본 정보는 물론 상세정보를 제공하는 차별성을 두었다. 규칙적인 알약 복용을 위한 알림 기능과 자주 복용하는 알약에 대한 즐겨찾기 기능, 복용 여부를 기록하는 체크박스 기능을 더하여 정확하고 올바른 알약 복용을 할 수 있도록 하였다.
이러한 불편한 상황들을 개선하고자 본 논문에서는 기존에 있던 서비스들의 단점을 보완하고 간편한 사진 촬영만으로 알약의 이름과 효능, 복용 방법 등 알약 인식 및 정보를 제공하며 사용자의 알약 복용을 관리해주는 알약 파인더(알파) 시스템을 개발하였다. 약학정보원에서 제공하는 알약 22,000종의 사진에 대해 제형과 색상을 학습시키는 VGGNet 기반의 딥러닝 모델을 구축하였다. 알약을 가이드에 맞게 촬영하여 이미지만으로 의약품을 검색하고 기본 정보는 물론 상세정보를 제공하는 차별성을 두었다.
또한 VGGNet은 VGG16, VGG19 두 가지 대표적인 아키텍처로 구성되는데 이러한 모델은 사전 훈련된 가중치를 제공하여 적은 양의 데이터로 효과적인 학습이 가능한 장점을 가지며 추후 새로운 알약이 개발될 경우, 모델을 추가로 학습시킬 필요 없이도 새로운 알약을 예측할 수 있다는 장점을 갖는다. 이는 알약의 모양과 색상 같은 시각적 특징을 다양한 수준에서 감지할 수 있기 때문에 본 논문에서는 VGGNet을 활용한 알약 모양 및 색상 탐지 모델을 구축하였다.
딥러닝 서버는 학습된 정보를 이용하여 클라이언트로부터 수신한 알약 사진의 모양, 색상, 음각을 분석하여 알약의 일련번호를 예측한다. 이때 다중 라벨 분류 방식 및 VGGNet 딥러닝 모델을 통하여 예측하였다. 데이터베이스에는 알약에 대한 기본 정보와 클라이언트 사용자에 대한 정보를 관리하고 있으며 딥러닝 서버로부터 예측된 일련번호와 매칭이 되는 알약의 기본정보를 알파 서버를 통해 클라이언트에게 전달된다.

대상 데이터

구현시스템 알파는 클라이언트, 알파 서버, 딥러닝 서버, 데이터베이스 등으로 구성된다.
또한, 추가적으로 신약에 대한 판별 가능 여부를 확인하기 위해 모델 학습에 사용되지 않은 알약 20종을 선정하여 테스트를 진행하였다. 그 결과 표 2와 같이 20종 중 17종의 판별이 성공했고, 3종의 판별은 실패하였다.
약학정보원에서 제공된 알약 사진 22,000장을 사용하여 배경을 투명화시킨 후, Epochs 값을 75, Batch size 값을 32로 하여 딥러닝 모델 학습을 진행하였다. 또한 Scikit-learn 라이브러리를 이용하여 모델의 성능을 평가하였는데 그 결과, 그림 11과 같이 Accuracy는 0.
테스트에는 사진 촬영한 에페날정 등 알약 20종의 실제 촬영 사진이 사용되었으며, 20종 중 18종이 판별에 성공하였고, 2종이 판별에 실패하였다. 판별에 실패한 알약은 알약 중앙에 OCR 인식이 되지 않는 십자 모양의 마크가 있는 경우가 있었으며 또한 알약의 제형 혹은 색상을 잘못 예측한 경우도 있었다.

이론/모형

또한 이전에 알약을 분류했던 특성 이외의 새로운 특성을 가진 신약이 개발된다고 가정했을 때, 모델을 업데이트하고 유지 보수하는 과정이 수시로 발생할 수 있다. 다중라벨분류방식은 알약 각각의 특성에 대해 독립적인 라벨링을 수행할 수 있기에 데이터 라벨링의 유연성을 제공하며, 훈련 데이터를 라벨링하는데 편리하다는 장점이 있기 때문에 본 논문에서는 다중라벨분류방식을 채택하였다.
이 중 알약의 음각은 Google Vision API를 활용하여 글자, 모양 등을 인식하며, 알약의 제형과 색상은 딥러닝 모델을 이용하여 분류되도록 하였다. 알약의 제형과 색상에 따른 라벨 리스트는 그림 2와 같이 53종으로 분류되었으며 모델이 다수의 객체(제형 및 색상)를 탐지할 수 있도록 Multi-Label Classification 방식을 사용했다.
각 알약들을 구분하기 위하여 알약의 제형, 색상, 음각의 3가지 특징을 이용한다. 이 중 알약의 음각은 Google Vision API를 활용하여 글자, 모양 등을 인식하며, 알약의 제형과 색상은 딥러닝 모델을 이용하여 분류되도록 하였다. 알약의 제형과 색상에 따른 라벨 리스트는 그림 2와 같이 53종으로 분류되었으며 모델이 다수의 객체(제형 및 색상)를 탐지할 수 있도록 Multi-Label Classification 방식을 사용했다.

성능/효과

알약을 가이드에 맞게 촬영하여 이미지만으로 의약품을 검색하고 기본 정보는 물론 상세정보를 제공하는 차별성을 두었다. 규칙적인 알약 복용을 위한 알림 기능과 자주 복용하는 알약에 대한 즐겨찾기 기능, 복용 여부를 기록하는 체크박스 기능을 더하여 정확하고 올바른 알약 복용을 할 수 있도록 하였다.
기존의 서비스 및 어플리케이션에서는 알약의 색상과 제형 등을 일일이 선택하고 입력해야 하는 번거로움이 있는데 이를 해결함으로써 사용자들이 더욱 편리하게 사용할 수 있도록 기능을 구현하였다. 또한 알약 이미지 검색 외에도 기존 어플리케이션에는 없는 알약 복용 알람 기능, 알약 즐겨찾기 기능, 복용 여부를 기록하는 체크박스 등의 복용관리 기능을 추가하여 사용자들이 올바르게 알약을 복용할 수 있도록 하였다.

후속연구

그러나 본 논문에서 구현한 딥러닝 모델은 데이터 셋 수에 비해 알약의 실제 사진을 통한 테스트가 많이 이루어지지 않았기 때문에 모델의 실제 정확도의 절대적인 수치를 명확하게 분석하기가 어렵다. 따라서 구현 모델의 정확도를 높이기 위해 더 많은 알약의 실물 사진을 수집하고 다양한 환경에서 사진 촬영을 시도하는 것이 무엇보다 중요하다.
따라서 구현 모델의 정확도를 높이기 위해 더 많은 알약의 실물 사진을 수집하고 다양한 환경에서 사진 촬영을 시도하는 것이 무엇보다 중요하다. 또한 다중라벨 분류에 따른 데이터 셋의 불균형이 있을 수 있는데 향후 이 부분에 대한 분석을 통하여 보완 모델에 대한 연구를 진행하고자 한다.
그러나 Fully-connected 레이어에서는 파라미터의 수가 많아지기 때문에 모델의 크기가 커지고 메모리 요구사항이 높아지는 단점을 갖는다. 본 논문의 구현시스템인 알파는 컴퓨팅 리소스가 제한적인 모바일 환경에서 실행되므로, 딥러닝 모델을 모바일 환경에 적합하게 만들기 위해 VGGNet의 파라미터 수와 레이어 수를 줄일 필요가 있다. 그래서 VGG-16의 변형인 Smaller VGGNet를 기반으로 하여 딥러닝 모델을 구축하였다.

참고문헌 (13)

Ministry of Food and Drug Safety Integrated Drug Information System, "https://nedrug.mfds.go.kr/index"？
Karen Simonyan, Andrew Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition", 2014？
Pharmaceutical Information Institution, "https://www.health.kr/searchDrug/search_detail.asp"？
Meon Yak, "https://munyak.co.kr/"？
KIMS,"http://www.kimsonline.co.kr/DrugCenter/identa/search"？
whatispill, "https://apkgk.com/com.whatispill"？
drubinfo, "https://www.druginfo.co.kr/identy/identy_char.aspx"？
wandb.ai,"https://wandb.ai/ayush-thakur/dl-question-bank/reports/A-Guide-to-Multi-Label-Classification-on-Keras-VmlldzoyMDgyMDU"？
public data portal, "https://www.data.go.kr/"？
Mincheol Yang, Kyungnam Moon, Yong-Guk Kim, "A Comparison of Image Classification System for Building Waste Data based on Deep Learning", The Journal of The Institute of Internet, Broadcasting and Communication (IIBC) Vol. 23, No. 3, pp.199-206, Jun. 30, 2023. DOI:https://doi.org/10.7236/JIIBC.2023.23.3.199？

원문보기 상세보기
Donggu Lee, Young-Ghyu Sun, Soo-Hyun Kim, Issac Sim, Kye-San Lee, Myoung-Nam Song, Jin-Young Kim, "CNN-based Image Rotation Correction Algorithm to Improve Image Recognition Rate", The Journal of The Institute of Internet, Broadcasting and Communication (IIBC) Vol. 20, No. 1, pp.225-229, Feb. 29, 2020. DOI:https://doi.org/10.7236/JIIBC.2020.20.1.225？

원문보기 상세보기
JeongHo Kim, YoungEon Yoon, Joo-Eun Kim, Ji-Hoon Bae, and JongHyuk Lee, "Deep Learning-Based Drug Property Prediction Using Graph Neural Networks", Proceedings of Korean Information technology conference, pp258-262, 2023？
Shin Hyunho, Lee Jaehyung, Choi Yeonrok, Ider Orgil, Ohyunbileg Dorjsuren, Ryu Duksan, and Yoo Cheol-Jung, "Development of a Pill Search Application to Prevent Misuse, Mixed use, and Abuse of Pill", Proceedings of Korean Information technology conference, 817-820, 2023

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증