[논문]의료능력을 고려한 대량전상자 환자분류 강화학습 모델

박병호; 조남석

doi:10.15683/kosdi.2023.3.31.044

의료능력을 고려한 대량전상자 환자분류 강화학습 모델
Reinforcement Learning Model for Mass Casualty Triage Taking into Account the Medical Capability 원문보기

한국재난정보학회논문집 = Journal of the Society of Disaster Information, v.19 no.1 = no.59, 2023년, pp.44 - 59

박병호 (Department of Defense Science, Korea National Defense University) , 조남석 (Department of Defense Science, Korea National Defense University)

초록
AI-Helper

연구목적: 대량전상자 발생 시 신속하고 정확한 환자분류가 진행되어야 최대한 많은 환자를 회복시켜 전장으로 돌려보낼 수 있다. 그러나 복잡한 전투현장에서 적은 의료인력으로 대량전상자의 환자분류를 시행하기란 임무는 과다하고 환경은 불확실하다. 따라서, 전투현장에서 의료인력을 보조하고 대체할 수 있는 인공지능 모델에 대해 논의하고자 한다. 연구방법:인공지능의 한 분야인 강화학습을 활용하여 환자분류 모델을 제시한다. 모델의 학습은 무작위로 설정된 환자의 상태와 병원시설의 의료능력을 고려하여 최대 다수의 환자가 치료받을 수 있는 정책을 찾도록 진행된다. 연구결과:강화학습 모델이 정상적으로 학습되었음은 누적 보상 값 등을 통하여 확인하였고, 학습된 모델이 정확하게 환자를 분류하는 것은 생존자 수를 통해 확인하였다. 또한, 규칙 기반 모델과 비교하여 성능을 검증하였으며, 강화학습 모델이 규칙 기반 모델에 비해 약 10%만큼 더 많은 환자를 생존시킬 수 있었다. 결론:강화학습을 이용한 환자분류 모델은 의료인력의 대량전상자 환자분류 의사결정을 보조하고 대체하는 대안으로 활용 가능하다.

Abstract ▼ AI-Helper

Purpose: In the event of mass casualties, triage must be done promptly and accurately so that as many patients as possible can be recovered and returned to the battlefield. However, medical personnel have received many tasks with less manpower, and the battlefield for classifying patients is too complex and uncertain. Therefore, we studied an artificial intelligence model that can assist and replace medical personnel on the battlefield. Method: The triage model is presented using reinforcement learning, a field of artificial intelligence. The learning of the model is conducted to find a policy that allows as many patients as possible to be treated, taking into account the condition of randomly set patients and the medical capability of the military hospital. Result: Whether the reinforcement learning model progressed well was confirmed through statistical graphs such as cumulative reward values. In addition, it was confirmed through the number of survivors whether the triage of the learned model was accurate. As a result of comparing the performance with the rule-based model, the reinforcement learning model was able to rescue 10% more patients than the rule-based model. Conclusion: Through this study, it was found that the triage model using reinforcement learning can be used as an alternative to assisting and replacing triage decision-making of medical personnel in the case of mass casualties.

주제어

표/그림 (14)

그림 Fig. 1. Conceptual diagram of the study
그림 Fig. 2. AI-Triage model in unity 3D
그림 Fig. 3. AI-Triage model
그림 Fig. 4. Expected learning results
표 Table 1. Environments in reinforcement learning
그림 Fig. 5. Reinforcement learning results graph (1)
그림 Fig. 6. Reinforcement learning results graph (2)
그림 Fig. 7. The number of survivors graph
그림 Fig. 8. Flowchart of Rule-Based model
표 Table. 2. Simulation result of Rule-Based model
표 Table. 3. Simulation result of reinforcement learning model
표 Table. 2. Simulation result of Rule-Based model (Continue)
표 Table. 3. Simulation result of reinforcement learning model (Continue)
표 Table 4. Results of repeated experiments

AI 본문요약
AI-Helper

문제 정의

따라서 군에서는 의료능력을 세부적으로 판단해야 환자를 1명이라도 더 살릴 수 있다. 본 연구는 다양한 환자분류 선행연구 중에서, 환자의 상태와 병원시설의 의료능력을 고려하여 대량전상자를 적절하게 분산배치가 가능한 STM을 바탕으로 환자분류를 논의한다.
본 연구에서는 전투현장에서 이루어지는 환자분류를 인공지능 기술의 한 분야인 강화학습(Reinforcement Learning)을 활용하여, 환자상태와 군 병원시설의 의료능력을 고려하여 환자분류 전략을 세우는 모델에 대해 논의한다. 본 모델은 AI-Triage라고 명명하였으며, AI-Triage는 환자 상태에 따라 가용한 후송자산, 병상, 필요한 혈액을 가지고 있는 병원으로 분류하여 최종적으로 최대의 환자를 생존시키도록 모델링(Modeling) 하였다.
본연구는 과학적인 환자분류 기법으로 최대 다수의 환자를 생존시키는 모델 구현을 목표로 진행되었으며, 기여점은다음과같다. 첫째, 대량전상자가 발생한 현장에서 시행되는 환자분류에 인공지능을 적용한 최초의 연구이다.

가설 설정

보상은 식(2)와 같다. 환자 상태에 따라 치료가 가능한 병원으로 분류되면 생존한다고 가정하여 보상을 받으며, 중상자가 경상자보다 더 큰 보상을 받아 중상자를 먼저 분류하게 끔 모델링하였다. 가용한 구급차보다 더 많은 환자를 분류하거나, 혈액이 부족함에도 분류한 경우에는 페널티를 받게 된다.

제안 방법

강화학습의 결과는 누적 보상값(Cumulative Reward)과 엔트로피(Entropy)를 시각화하여 학습이 잘 되었는지 분석한다. Fig.
규칙기반 모델은 강화학습 모델과 동일한 논리에 따라 환자상태와 병상, 후송자산, 혈액보유량의 의료능력을 고려하여 환자를 분류한다. 강화학습 모델과 같이 환자별 상태는 정해져 있고 이를 가용한 의료능력에 따라 분류하게 된다.
기존에 강화학습을 활용한 환자분류 모델이 있다면 AI-Triage와 비교를 통해 성능을 평가할 수 있겠지만, 기존 모델이 없기 때문에 동일한 방법론 간의 비교 평가가 제한된다. 그러나 환자상태와 의료능력을 동시에 고려한 환자분류는 강화학습이 유일한 방법론은 아니기 때문에 다른 방법론을 활용하여 비교 평가를 진행한다.
지도학습의 경우 기존 사례, 데이터 등이 필요하지만, 군의 대량전상자와 관련된 환자 데이터와 군 병원의 의료능력 데이터를 확보하기란 제한적이다. 따라서 본 연구에서는 현실과 유사한 환경이 구축되면 학습이 가능한 강화학습을 기반으로 개발되었다.
다만, 이것은 기술적인 분석이고, 실제로 에이전트가 올바른 행동을 하고 있는지 알 수 있는 지표 선정이 필요하다. 따라서, 효과척도(Measure of Effectiveness, MOE)로 생존자 수를 선정하여 본 모델이 환자를 의료능력에 맞게 분류하고 있는지를 확인하였다. Fig.
본 연구는 대량전상자 발생 시 환자분류에 대한 이론적 배경을 설명하고, Unity 3D를 사용해 대량전상자 발생 환경을 구축하여 강화학습을 통해 에이전트를 학습시켰다. 학습과정에서 누적 보상값이 증가함과, 생존자 수가 점차 증가하는 것을 통해 모델의 학습이 잘 진행되었음을 확인하였다.
본 연구에서 의료능력을 고려한 환자분류는 인공지능을 활용하여 모델링 된다. 환자분류에 인공지능을 접목한 선행연구는 다음과 같다.
본 장에서는 환자의 상태와 의료능력을 고려하여 환자를 분류하는 규칙기반 모델(Rule-Based Model)을 소개하고, 이를 강화학습 모델인 AI-Triage와 성능을 비교한다. 비교를 위해 연구가자 만든 환자분류의 규칙기반 모델은 Fig.

대상 데이터

동일한 환경에서 발생한 환자를 규칙기반 모델로 분류한 결과, 생존자 수는 규칙기반 모델이 23명이며 중상자가 13명, 경상자가 10명이었다. 같은 환경에서 강화학습으로 분류한 결과 총27명이 생존하였으며, 중상자가 15명, 경상자가 12명 생존하여 규칙기반 대비 8% 더 많은 환자를 생존시켰다.
A병원은 중환자실 20개, B병원은 일반병상 20개를 보유하고 있고, 혈액은 A병원이 50unit, B병원이 15unit을 보유하고 있다. 구급차는 총40대가 가용하여 40명을 후송시킬 수 있다.
동일한 환경에서 발생한 환자를 규칙기반 모델로 분류한 결과, 생존자 수는 규칙기반 모델이 23명이며 중상자가 13명, 경상자가 10명이었다. 같은 환경에서 강화학습으로 분류한 결과 총27명이 생존하였으며, 중상자가 15명, 경상자가 12명 생존하여 규칙기반 대비 8% 더 많은 환자를 생존시켰다.
전체 환경은 에피소드(Episode)가 종료될 때 초기화되며, 환자의 상태는 각 에피소드마다 무작위로 변경된다. 본 모델은 각 에피소드마다 환자 50명이 랜덤한 상태로 시작된다. 의료능력은 고정값을 가지며, A와 B로 구분되는 2개의 병원이 있다.
각 병원의 의료능력은 A병원이 20개의 중환자실과 50unit의 혈액을 보유하고 있으며, B병원은 20개의 일반병상과 15unit의 혈액을 보유하고 있다. 사용 가능한 구급차는 총40대이다. 마지막 열의 ‘분류결과’는 최종적으로 환자가 분류된 병원을 의미하며, (-)는 병원으로 분류되지 않은 환자이다.
학습은 총500,000회 진행하였다. 최초1~2,000회의 평균 보상값은 11.
Table 2와 Table 3은 다음과 같이 해석된다. 환자는 총 50명으로 중상자 25명, 경상자 25명이 무작위로 1~50번 순서로 편성되었으며, 환자분류는 순서대로 진행된다. 각 병원의 의료능력은 A병원이 20개의 중환자실과 50unit의 혈액을 보유하고 있으며, B병원은 20개의 일반병상과 15unit의 혈액을 보유하고 있다.

데이터처리

학습과정에서 누적 보상값이 증가함과, 생존자 수가 점차 증가하는 것을 통해 모델의 학습이 잘 진행되었음을 확인하였다. 또한 규칙기반모델과 비교분석을 통해 강화학습 모델의 성능을 확인하였다.

이론/모형

모델 환경은 게임 개발환경을 제공하는 게임엔진이자, 가상현실 등 인터랙티브(Interactive) 제작 도구(Tool)인 유니티3D(Unity 3D)를 활용해 구축하였다. 또한 유니티 내부의 강화학습 패키지 ML-Agents를 활용하였다. ML-Agents는 유니티에서 구축한 환경과 파이썬(Python)의 기계학습 라이브러리(Library)와 서로 연결시켜 학습이 되도록 이어주는 툴킷(Toolkit)이다.
, 2017). 모델 환경은 게임 개발환경을 제공하는 게임엔진이자, 가상현실 등 인터랙티브(Interactive) 제작 도구(Tool)인 유니티3D(Unity 3D)를 활용해 구축하였다. 또한 유니티 내부의 강화학습 패키지 ML-Agents를 활용하였다.
본 연구에서는 전투현장에서 이루어지는 환자분류를 인공지능 기술의 한 분야인 강화학습(Reinforcement Learning)을 활용하여, 환자상태와 군 병원시설의 의료능력을 고려하여 환자분류 전략을 세우는 모델에 대해 논의한다. 본 모델은 AI-Triage라고 명명하였으며, AI-Triage는 환자 상태에 따라 가용한 후송자산, 병상, 필요한 혈액을 가지고 있는 병원으로 분류하여 최종적으로 최대의 환자를 생존시키도록 모델링(Modeling) 하였다.
본 연구에서는 강화학습 알고리즘 중 하나인 Open AI의 PPO(Proximal Policy Optimization)를 활용하였다. PPO 알고리즘은 대표적인 강화학습 알고리즘 중 하나이며, 다른 알고리즘에 비해 쉬운 구현으로 우수한 성능을 보이기 때문에 널리 활용된다(Schulman et al.
이러한 과정의 반복적인 시행착오를 통해 목표를 달성하는 최적의 정책을 찾는 학습과정이다. 이는 마코프 결정과정(Markov Decision Process)을 이용하여 수학적으로 모델링이 가능하다(Sutton, 2018).
2017). 현재 우리나라를 비롯한 대다수의 나라는 환자의 중증도에 따라 다수의 사상자를 4단계로 구분하는 START(Simple Treatment and Rapid Transport) 환자분류 기법을 활용하고 있다. 그러나 2000년대 이후에는 환자의 중증도와 더불어 환자 상태 악화 가능성, 가용한 의료능력 등을 복합적으로 고려하는 STM(Sacco Triage Method)이 생존율을 더 높게 한다고 발표되었다(Sacco et al.
본 장에서는 일반적인 환자분류 기법과 인공지능 방법론을 활용한 환자분류 기법 사례를 살펴본다. 환자분류는 프랑스 나폴레옹 시절 외과의사인 Dominique Jean Larrey에 의해 발명되었다. 이후, 환자분류는 환자가 발생한 상황과 환자 상태, 악화 가능성, 의료능력 등을 고려하여 다양한 기법으로 발전되었으며 최근에는 인공지능을 활용한 환자분류 모델 연구가 진행되고 있다.

성능/효과

강화학습의 평가지표인 누적 보상값, 엔트로피, 손실함수 그래프를 통해 학습이 잘 이뤄졌음을 확인하였다. 다만, 이것은 기술적인 분석이고, 실제로 에이전트가 올바른 행동을 하고 있는지 알 수 있는 지표 선정이 필요하다.
재분류를 위해 모델의 복잡도가 높아진다면 시간이 더 소요될 뿐 아니라, 복잡한 전투현장에서 실행되기에는 더욱 제한적이다. 결론적으로 전투현장에서 강화학습 모델이 규칙기반에 비해 유용하게 적용될 수 있다.
3과 같은 방법으로 총10회 진행하였으며 결과는 Table 4와 같다. 반복 실험을 통해 환자의 상태가 무작위로 바뀌어 중상자와 경상자 수가 변경되어도 강화학습 모델이 규칙기반 모델에 비해 더 많은 환자를 생존시킬 수 있음을 확인하였다. 환자의 구성에 따라 다르지만, 50명 환자 기준으로 생존자 수의 점추정 값은 규칙기반 모델이 23.
셋째, 인공지능을 적용한 환자분류는 대부분이 지도학습을 활용하였다. 지도학습의 경우 기존 사례, 데이터 등이 필요하지만, 군의 대량전상자와 관련된 환자 데이터와 군 병원의 의료능력 데이터를 확보하기란 제한적이다.
본 연구는 대량전상자 발생 시 환자분류에 대한 이론적 배경을 설명하고, Unity 3D를 사용해 대량전상자 발생 환경을 구축하여 강화학습을 통해 에이전트를 학습시켰다. 학습과정에서 누적 보상값이 증가함과, 생존자 수가 점차 증가하는 것을 통해 모델의 학습이 잘 진행되었음을 확인하였다. 또한 규칙기반모델과 비교분석을 통해 강화학습 모델의 성능을 확인하였다.
반복 실험을 통해 환자의 상태가 무작위로 바뀌어 중상자와 경상자 수가 변경되어도 강화학습 모델이 규칙기반 모델에 비해 더 많은 환자를 생존시킬 수 있음을 확인하였다. 환자의 구성에 따라 다르지만, 50명 환자 기준으로 생존자 수의 점추정 값은 규칙기반 모델이 23.4명, 강화학습 모델이 28.2명이었고, 95% 신뢰구간에서 규칙기반 모델은 [20.53, 26.27], 강화학습 모델은 [25.25, 31.14]로 나타났다.

후속연구

또한, 미래 군 의료시스템은 IoT를 기반으로 환자발생 현장에서부터 단위부대의 지휘통제실까지 실시간으로 연결될 것이다. 이러한 변화를 통해 대량전상자가 발생한 현장과 군 병원이 실시간으로 연결된다면, 인공지능 환자분류 모델의 실현이 가능할 것이다. AI-Triage는 대량전상자 상황에서 부족한 의료인력을 보조 및 대체할 수 있으며, 신속하고 정확한 분류를 통해 기존보다 더 많은 환자를 살릴 수 있을 것이다.

참고문헌 (20)

Abe, D., Inaji, M., Hase, T., Takahashi, S., Sakai, R., Ayabe, F., Tanaka, Y., Otomo, Y., Maehara, T. (2022). "A？prehospital triage system to detect traumatic intracranial hemorrhage using machine learning algorithms." JAMA？Network Open, Vol.5, No.6, e2216393.
Ahn, C.-W, Lim, T.-H. (2015). "Emergency medical services in disasters." Hanyang Medical Reviews, Vol. 35, No.？3, pp. 136-140.

상세보기
Altevogt, B.M, Gostin, L.O., Hanfling, D., Hanson, S.L., Stroud, C. (2009). Guidance for Establishing Crisis Standards of Care for Use in Disaster Situations. National Academies Press a Letter Report. US.
Boltin, N.D., Culley, J.M., Valafar, H. (2022). "Application of dimensional reduction in artificial neural networks to？improve emergency department triage during chemical mass casualty incidents." arXiv preprint arXiv, 2204.00642
Janousek, J.T., Jackson, D.E., De Lorenzo, R.A., Coppola, M. (1999). "Mass casualty triage knowledge of military？medical personnel." Military Medicine, Vol. 164, No. 5, pp. 332-335.

상세보기
Jenkins, J.L., McCarthy, M.L., Sauer, L.M., Green, G.B., Stuart, S., Thomas, T.L., Hsu, E.B. (2008). "Masscasualty triage: Time for an evidence-based approach." Prehospital and Disaster Medicine, Vol. 23, No. 1, pp. 3-8.

상세보기
Kang, D.Y., Cho, K.J., Kwon, O., Kwon, J.M., Jeon, K.H., Park, H. (2020). "Artificial intelligence algorithm to？predict the need for critical care in prehospital emergency medical services." Scandinavian Journal of Trauma,？Resuscitation and Emergency Medicine, Vol. 28, No. 1, pp. 1-8.

상세보기
Kim, D., You, S., So, S., Lee, J., Yook, S., Jang, D.P., Park, H.K. (2018). "A data-driven artificial intelligence model？for remote triage in the prehospital environment." PLoS One, Vol. 13, No. 10, e0206006.

상세보기
Lee, K.-J. (2018). Golden Hour 1. Heuleum Publishing Inc, South
Lim, G.-S, Hwang, S.-O. (2017). Rescue and Emergency Care. 8th ed, KoonJA Publishing Inc. South
Raita, Y., Goto, T., Faridi, M.K., Brown, D.F., Camargo, C.A., Hasegawa, K. (2019). "Emergency department？triage prediction of clinical outcomes using machine learning models." Critical Care, Vol. 23, No. 1, pp. 1-13.

상세보기
Razzaki, S., Baker, A., Perov, Y., Middleton, K., Baxter, J., Mullarkey, D., Johri, S. (2018). "A comparative study of？artificial intelligence and human doctors for the purpose of triage and diagnosis." arXiv preprint arXiv, 1806.10698.
Sacco, W., Navin, M., Fiedler, K. (2005). " Precise formulation and evidence based application of resource？constrained triage." Academic Emergency Medicine, Vol. 12, No. 8, pp. 759-770.

상세보기
Sacco, W.J., Navin, D.M., Waddell, R.K., Fiedler, K.E., Long, W.B., Buckman Jr, R.F. (2007). "A new resource？constrained triage method applied to penetrating-injured victims." Journal of Trauma and Acute Care Surgery, Vol.？63, No. 2, pp. 316-325.

상세보기
Schulman, J., Wolski, F., Dhariwal, P., Radford, A., Klimov, O. (2017). "Proximal policy optimization algorithms."？arXiv preprint arXiv, 1707.06347.
Soltan, A.A., Kouchaki, S., Zhu, T., Kiyasseh, D., Taylor, T., Hussain, Z.B., Peto, T., Brent, A.J., Eyre, D.W., Clifton,？D.A. (2021). "Rapid triage for COVID-19 using routine clinical data for patients attending hospital: Development？and prospective validation of an artificial intelligence screening test." The Lancet Digital Health, Vol. 3, No. 2, pp.？78-87.
Super, G., Groth, S., Cleary, V. (1983). START: A Training Triage Module. Hoag Presbyterian Memorial Hospital,？Newport Beach, CA.
Sutton, R.S., Barto, A.G. (2018). Reinforcement Learning: An Introduction, Second Edition, J-Pub, US.
Townsend, C.M. (2021), Sabiston Textbook of Surgery. 21th ed. US.
Yoo, M.-R. (2015). Disaster Nursing Practice. Sumunsa. South Korea.？

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증