초록 ▼

본 발명의 다양한 실시 예에 따르면, 복수의 환자를 촬영하는 복수의 카메라 각각으로부터 영상을 획득하는 단계; 상기 획득한 영상들 각각을 구성하는 프레임 이미지들에 포함된 사람 수 및 키포인트 수에 기반하는 행렬을 결정하는 단계; 상기 프레임 이미지들에 대하여 결정된 상기 행렬을 학습된 상기 딥러닝 모듈의 입력값으로서 연산하는 단계; 상기 연산 결과에 기반하여 낙상으로 결정되는 적어도 하나의 프레임 이미지를 결정하는 단계; 및 상기 낙상으로 결정된 적어도 하나의 프레임 이미지에 대응되는 환자에 대하여 낙상 알림을 처리하는 단계;를

본 발명의 다양한 실시 예에 따르면, 복수의 환자를 촬영하는 복수의 카메라 각각으로부터 영상을 획득하는 단계; 상기 획득한 영상들 각각을 구성하는 프레임 이미지들에 포함된 사람 수 및 키포인트 수에 기반하는 행렬을 결정하는 단계; 상기 프레임 이미지들에 대하여 결정된 상기 행렬을 학습된 상기 딥러닝 모듈의 입력값으로서 연산하는 단계; 상기 연산 결과에 기반하여 낙상으로 결정되는 적어도 하나의 프레임 이미지를 결정하는 단계; 및 상기 낙상으로 결정된 적어도 하나의 프레임 이미지에 대응되는 환자에 대하여 낙상 알림을 처리하는 단계;를 포함하는, 딥러닝에 기반하여 낙상 사고를 감지하는 방법 및 그 전자장치를 제공한다.

대표청구항 ▼

딥러닝에 기반하여 낙상 사고를 감지하는 전자장치의 동작 방법에 있어서,복수의 환자를 촬영하는 복수의 카메라 각각으로부터 영상을 획득하는 단계;상기 획득한 영상들 각각을 구성하는 프레임 이미지들에 포함된 사람 수 및 키포인트 수에 기반하는 행렬을 결정하는 단계;상기 프레임 이미지들에 대하여 결정된 상기 행렬을 학습된 상기 딥러닝 모듈의 입력값으로서 연산하는 단계;상기 연산 결과에 기반하여 낙상으로 결정되는 적어도 하나의 프레임 이미지를 결정하는 단계; 및상기 낙상으로 결정된 적어도 하나의 프레임 이미지에 대응되는 환자에 대하여 낙상

딥러닝에 기반하여 낙상 사고를 감지하는 전자장치의 동작 방법에 있어서,복수의 환자를 촬영하는 복수의 카메라 각각으로부터 영상을 획득하는 단계;상기 획득한 영상들 각각을 구성하는 프레임 이미지들에 포함된 사람 수 및 키포인트 수에 기반하는 행렬을 결정하는 단계;상기 프레임 이미지들에 대하여 결정된 상기 행렬을 학습된 상기 딥러닝 모듈의 입력값으로서 연산하는 단계;상기 연산 결과에 기반하여 낙상으로 결정되는 적어도 하나의 프레임 이미지를 결정하는 단계; 및상기 낙상으로 결정된 적어도 하나의 프레임 이미지에 대응되는 환자에 대하여 낙상 알림을 처리하는 단계;를 포함하고,상기 연산 결과에 기반하여 낙상으로 결정되는 적어도 하나의 프레임 이미지를 결정하는 단계는,상기 낙상으로 결정되는 적어도 하나의 프레임에 기반하여 앞, 뒤 또는 옆으로 쓰러지는지, 주저 않는지, 또는 침대에서 떨어지는지에 대한 환자의 자세를 결정하는 단계;를 더 포함하는, 딥러닝에 기반하여 낙상 사고를 감지하고,상기 딥러닝 모듈은, mask regions with convolutional Neural Network(mask R-CNN) 아키텍처의 적어도 일부를 포함하며, 복수의 spatial-temporal graph convolutional neural network(ST-GCN)에 대하여 학습되어 있으며,상기 mask R-CNN 아키텍처에 backbone 모듈, RPN 모듈이 포함되어 있고, 상기 카메라를 통해 획득한 영상을 기초로 생성된 입력 이미지가 상기 backbone 모듈을 거쳐 상기 RPN 모듈에 입력되고, 상기 RPN 모듈에서는 지정된 사이즈의 앵커 박스를 선정하여 상기 앵커 박스에 객체의 존재 여부를 결정하며, 상기 mask R-CNN 아키텍처에 포함된 헤드 모듈들의 연산 결과를 (C, T, V, M)의 행렬(단, C는 채널 수, T는 프레임 이미지 수, V는 키포인트, M은 환자의 수)로 치환하여, 상기 ST-GCN 모듈에 입력 값으로 적용하고, 상기 ST-GCN 모듈은수식 에 기초로 설정되며,상기 A는 조정 행렬이고, I는 단위행렬이며, W는 가중행렬이고, Λ는 대각 행렬로서 관절의 엣지 연결 개수를 표현하고,상기 ST-GCN 모듈에 의해 결정된 포즈 키포인트의 변화에 기반하여 상기 환자가 앞, 뒤 또는 옆으로 쓰러지는지, 주저 앉는지, 침대에서 떨어지는지에 대한 상기 환자의 자세 변화를 탐지하고 낙상 여부를 감지하는, 딥러닝에 기반하여 낙상 사고를 감지하는 전자장치의 동작 방법.