[논문]메디컬 디지털 트윈 기반 동적 가상 인체 획득 시스템

Kim, Daehwan; Kim, Yongwan; Lee, Kisuk

doi:10.6109/jkiice.2020.24.10.1398

메디컬 디지털 트윈 기반 동적 가상 인체 획득 시스템
Medical Digital Twin-Based Dynamic Virtual Body Capture System 원문보기

한국정보통신학회논문지 = Journal of the Korea Institute of Information and Communication Engineering, v.24 no.10, 2020년, pp.1398 - 1401

Kim, Daehwan (VR) , Kim, Yongwan (VR) , Lee, Kisuk (VR)

Abstract ▼ AI-Helper

We present the concept of a Medical Digital Twin (MDT) that can predict and analyze medical diseases using computer simulations and introduce a dynamic virtual body capture system to create it. The MDT is a technology that creates a 3D digital virtual human body by reflecting individual medical and biometric information. The virtual human body is composed of a static virtual human body that reflects an individual's internal and external information and a dynamic virtual human body that reflects his motion. Especially we describe an early version of the dynamic virtual body capture system that enables continuous simulation of musculoskeletal diseases.

주제어

표/그림 (8)

그림 Fig. 1 The concept of the Medical Digital Twin.
그림 Fig. 2 The static and dynamic virtual body acquisition process to create a medical digital twin.
그림 Fig. 3 The dynamic virtual body capture system.
그림 Fig. 4 Three types of data captured from the dynamic virtual body capture system. (a) Color images from four vision cameras. (b) Pressure sensor images. (c) IMU data.
그림 Fig. 5 The full body pose estimation process based on depth and color fusion.
그림 Fig. 6 The motions related to musculoskeletal knee disease. From left to right, (a) lifting one foot and bending the other knee. (b) mini lunge. (c) mini lunge with moving the knee from side to side. (d) general walking. (e) climbing stairs.
그림 Fig. 7 Examples of full body pose estimation results.
그림 Fig. 8 A Example of test results to analyze musculoskeletal knee disease.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 근골격계 질환 예측 및 분석 연구와 디지털 트윈 기술을 혼합한 메디컬 디지털 트윈 (Medical Digital Twin, MDT)이라는 기술을 제시하고, 이를 생성하기 위한 동적 가상 인체 획득 시스템에 관해 설명하고자 한다.
본 논문은 의료 질환을 예측하고 분석할 수 있는 메디컬 디지털 트윈을 제시하고 개인의 동적 움직임을 반영하는 초기 버전의 동적 가상 인체 획득 시스템을 소개하였다. 메디컬 디지털 트윈은 개인의 의료 정보와 생체정보를 반영하여 3차원 디지털 가상 인체를 만들고 시뮬레이션을 통하여 질환 상황을 예측해 볼 수 있는 기술이다.

제안 방법

따라서 깊이 입력 영상에는 이진 회귀 트리 (binary regression tree) 기반의 지오데식 경로(geodesic path)를 추적하는 계층적 포즈 탐색 방법[9] 과 컬러 입력 영상에는 중첩 컨볼류션 뉴럴 네트워크(Convolutional Neural Network, CNN) 학습 기반의 확률적 포즈 위치검출 방법[10]을 융합하여 포즈를 재정의 (pose refinement) 하였다. 계층적 포즈 탐색이 실패할 경우, 확률적 포즈 위치 검출을 사용하여 관절 위치를 찾도록 하였다. 관절검출 실패 여부를 판단하기 위해 학습 데이터베이스를 이용하여 수렴 에러값 (Convergence error value)을 설정하였고, 그 값보다 크다면 관절 추정에 실패했다고 판단했다.
계층적 포즈 탐색이 실패할 경우, 확률적 포즈 위치 검출을 사용하여 관절 위치를 찾도록 하였다. 관절검출 실패 여부를 판단하기 위해 학습 데이터베이스를 이용하여 수렴 에러값 (Convergence error value)을 설정하였고, 그 값보다 크다면 관절 추정에 실패했다고 판단했다. 그림 5는 컬러와 깊이 영상 융합 기반의 전신 관절 추정 프로세스를 보여준다.
동적 가상 인체 획득 시스템을 이용하여 동적 인체 생성과정을 검증하기 위해 근골격 무릎 질환 및 예방과 관련한동작들을 획득하여 간단한 무릎 질환 분석을 해 보았다. 획득한 동작들은 (1) 한발 들고 무릎 구부리기, (2) 미니 런지, (3) 미니 런지하여 무릎 양옆으로 움직이기, (4) 일반 보행, (5) 계단 오르기이다.
하지만 컬러 영상 기반의 확률적 포즈 위치 검출 방법은 가려진 상황에서도 상당히 나은 결과를 제공한다. 따라서 깊이 입력 영상에는 이진 회귀 트리 (binary regression tree) 기반의 지오데식 경로(geodesic path)를 추적하는 계층적 포즈 탐색 방법[9] 과 컬러 입력 영상에는 중첩 컨볼류션 뉴럴 네트워크(Convolutional Neural Network, CNN) 학습 기반의 확률적 포즈 위치검출 방법[10]을 융합하여 포즈를 재정의 (pose refinement) 하였다. 계층적 포즈 탐색이 실패할 경우, 확률적 포즈 위치 검출을 사용하여 관절 위치를 찾도록 하였다.
분석한 테스트 예시를 보여주고 있다. 본 테스트 예시에서는 미니 런지 수행 시 엉덩관절 각과 무릎 관절내반슬 정도에서의 차이를 분석하도록 하였다. 엉덩관절 각에서는 –21도와 무릎 관절 내반슬 정도에서는 0 도 및–21도에서 변화량을 살펴보았을 때 대상자 사이의 질환 단계 차이를 확인할 수 있었다.
획득한 동작들은 (1) 한발 들고 무릎 구부리기, (2) 미니 런지, (3) 미니 런지하여 무릎 양옆으로 움직이기, (4) 일반 보행, (5) 계단 오르기이다. 추가로, 비전 기반 전신 관절 추정 성능을 확인하기 위해 가려짐이 많이 발생하는 운동 동작들 (런지, 하프버피, 클램쉘, 트렁크)을 테스트하였다. 그림 6 은 근골격 무릎 질환과 관련하여 획득한 동작들이다.
메디컬 디지털 트윈은 개인의 의료 정보와 생체정보를 반영하여 3차원 디지털 가상 인체를 만들고 시뮬레이션을 통하여 질환 상황을 예측해 볼 수 있는 기술이다. 특히 가상 인체 생성에 동적 움직임 반영이 중요한데 다수의 이종 센서들을 이용하여 다양한 동작들을 획득하여 질환 분석을 시도해 보았다. 추후 연구로는 현재의 값비싼 광학 마커 기반의 획득 장비를 제거하고 비전과 관성 측정 장치로 정확하게 다양한 동작을 획득 할 수 있는 메디컬 디지털 트윈 기반 저비용 동적 가상 인체 획득 시스템을 연구할 예정이다.
특히, 비전 센서 기반의 전신 관절 추정 성능을 높이기 위해 깊이와 컬러 영상을 융합한 알고리즘을 사용하였다. 일반적으로 깊이 영상 기반의 포즈 추정 알고리즘 [8][9]이 정확한 3차원 관절 위치 정보를 제공해 주지만 가려짐(occlusion)이 발생하는 상황에서 좋은 결과를 제공하지 못한다.

대상 데이터

광학 센서, 비전 센서 및 관성 측정 센서는 각기 전신 관절의 3차원 정보, 컬러/깊이 영상 데이터, 그리고 관절의 회전/가속 정보를 획득하며 바닥 압력 센서는 동작 시의 지면 반력(Ground Reaction Force, GRF) 영상 데이터를 획득한다. 그림 4는 동적 가상 인체 획득 시스템으로부터 얻어진 비전 영상, 압력 영상과 관성 측정 데이터 획득 결과를 보여준다.
4종 센서들을 사용한다. 본 동적 가상 인체 획득시스템은 각 8대의 광학 센서, 4대의 비전 센서, 1개의 바닥 압력 센서, 그리고 7개의 관성 측정 센서로 구성된다. 각 다수의 센서는 서로 동기화되어 있으며 원본 영상 형태로 저장한다.

성능/효과

있다. 제시된 결과 영상을 보면 근골격에 관련한 동작들뿐만 아니라 가려짐이 심각하게 발생하는 동작들에서도 좋은 성능을 보여주고 있다.

후속연구

특히 가상 인체 생성에 동적 움직임 반영이 중요한데 다수의 이종 센서들을 이용하여 다양한 동작들을 획득하여 질환 분석을 시도해 보았다. 추후 연구로는 현재의 값비싼 광학 마커 기반의 획득 장비를 제거하고 비전과 관성 측정 장치로 정확하게 다양한 동작을 획득 할 수 있는 메디컬 디지털 트윈 기반 저비용 동적 가상 인체 획득 시스템을 연구할 예정이다.
엉덩관절 각에서는 –21도와 무릎 관절 내반슬 정도에서는 0 도 및–21도에서 변화량을 살펴보았을 때 대상자 사이의 질환 단계 차이를 확인할 수 있었다. 하지만 추후 다양한 동작들을 이용한 정확한 분석이 필요할 것 같다.

참고문헌 (10)

KOSTAT, Special estimate of future population: 2017-2067, 2019. [Internet]. Available: http://kostat.go.kr/portal/korea/kor_nw/1/2/6index.board.
Health Insurance Review and Assessment Service, and National Health Insurance Corporation, 2017 Health insurance statistical yearbook, 2018. [Internet]. Available: https://www.hira.or.kr/bbsDummy.do?pgmidHIRAA020045020000.
El Saddik, Abdulmotaleb, "Digital twins: The convergence of multimedia technologies," IEEE Multimedia, vol. 25, no. 2, pp. 87-92, 2018.

상세보기
KISTEP, "Trends and implications of digital twin promotion in major countries," Issue Analysis, vol. 133, 2020.
H. Kim, K. Lee, D. Lee, and N. Beak "3D reconstruction of leg bones from x-ray images using cnn-based feature analysis," in Proceeding of International Conference on Information and Communication Technology Convergence (ICTC), pp. 669-672, 2019.
N. Arora, M. Martolia, A. Ashok, "A Comparative study of the Image Registration Process on the Multimodal Medical Images," Asia-pacific Journal of Convergent Research Interchange, vol. 3, no. 1, pp. 1-17, 2017.
X. Chun, R. Jaques, B. Michael, E. W. Brent, and U. Ginu, "Individual differences in women during walking affect tibial response to load carriage: the importance of individualized musculoskeletal finite-element models," IEEE Transactions on Biomedical Engineering, vol. 67, no. 2, pp. 545-555, 2019.

상세보기
J. Shotton, R. Girshick, A. Fitzgibbon, T. Sharp, M. Cook, M. Finocchio, R. Moore, P. Kohli, A. Criminisi, A. Kipman, and A. Blake, "Efficient human pose estimation from single depth images," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 35, no. 12, pp. 2821-2840, 2012.

상세보기
H. Jung, S. Lee, Y. Heo, and I. Yun, "Random tree walk toward instantaneous 3D human pose estimation," in proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2467-2474, 2015.
Z. Cao, T. Simon, S. Wei, and Y. Sheikh, "Realtime multi-person 2d pose estimation using part affinity fields," in proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 7291-7299, 2017.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증