초록 ▼

□ 연구개발 목표 및 내용
○ 최종 목표
- 엣지 컴퓨터 환경에서 동작하는 음성 위협상황 인지 기술, 영상 속 쓰러짐 탐지 기술, 생활 폐기물 검출 기술 개발
위협상황 인지, 쓰러짐 검출, 폐기물 검출과 같이 생활 문제 해결에 필요한 기술 개발을 하고, 엣지 컴퓨터(NVIDIA Jetson AGX Xavier 보드) 환경에서 독립적으로 동작하도록 기술을 개발하여 생활 문제 해결에 실질적 적용이 가능하게 함

○ 전체 내용
- 엣지 컴퓨터 환경에서 동작하는 음성 위협상황 인지 기술 개발
음성 속

□ 연구개발 목표 및 내용
○ 최종 목표
- 엣지 컴퓨터 환경에서 동작하는 음성 위협상황 인지 기술, 영상 속 쓰러짐 탐지 기술, 생활 폐기물 검출 기술 개발
위협상황 인지, 쓰러짐 검출, 폐기물 검출과 같이 생활 문제 해결에 필요한 기술 개발을 하고, 엣지 컴퓨터(NVIDIA Jetson AGX Xavier 보드) 환경에서 독립적으로 동작하도록 기술을 개발하여 생활 문제 해결에 실질적 적용이 가능하게 함

○ 전체 내용
- 엣지 컴퓨터 환경에서 동작하는 음성 위협상황 인지 기술 개발
음성 속 위협상황 인지 기술 개발을 위해 소음 제거, 음성 구간 분할, 음성 인식, 텍스트 위협상황 인식 모델을 통해 최종적으로 위협상황을 인지하는 기술을 개발하였음. 본 과제에서 목표로 하는 위협상황 5분류(협박, 갈취 및 공갈, 직장내 괴롭힘, 기타 괴롭힘, 일반대화)에 대해서 분류할 수 있는 모듈을 개발하였고, 저사양의 엣지컴퓨팅 환경에서도 돌아갈 수 있도록 최적화 기법을 적용하였음. 또한 본 기술은 공인인증시험을 통해 NVIDIA Jetson AGX Xavior 보드에서 테스트 하여 최종 시험인증서를 획득함.
- 엣지 컴퓨터 환경에서 동작하는 쓰러짐 탐지 기술 개발
쓰러짐 탐지 기술 개발을 위해 객체 인식, 포즈 인식, 나이 및 성별 인식을 통해 넘어진 사람이 혼자 넘어졌는지 또는 충돌에 의해 넘어졌는지를 판단하는 기술을 개발함. 또한 문자 인식을 통해 어떤 가게 앞에서 넘어졌는지에 대해서도 판단하는 기술을 개발하였음. 넘어짐 여부를 탐지하는 후처리의 경량화를 통해 저사양 환경에서도 실시간으로 분석이 가능하도록 개발하였음.
- 엣지 컴퓨터 환경에서 동작하는 비정형 생활 폐기물 검출 기술 개발
비정형 생활폐기물을 검출 기술 개발을 위해 객체 인식, 포즈 인식을 통해 버려지는 폐기물의 종류와 사람의 손의 위치를 판단하여 버려지는 시점을 확인하도록 개발하였음. 또한 문자 인식 기술을 통해 쓰레기통 근처에 적힌 레이블을 인식하여 어떤 폐기물에 대한 쓰레기통인지를 판단하고, 잘못 버려지는 폐기물을 검출하도록 개발하였음. 추론속도 경량화를 위해 2-stage 방식의 모델을 사용하여 저사양 환경에서도 실시간으로 분석이 가능하도록 개발하였음.
- 엣지 컴퓨터용 모듈화 개발
엣지 컴퓨터의 대상 하드웨어는 NVIDIA Jetson AGX Xavior로 정하였으며, 모델 경량화를 위해 ONNX 및 TensorRT를 이용하여 하드웨어에 최적화된 모델로 변환하여 추론 시간을 단축하였음. 또한 총 3가지 세부 태스크에 대해서 각 모듈별 시간 및 통합하였을 때 걸리는 시간 계산하여 순차적인 처리 및 병렬 처리 등을 통해 효율성을 높였음. 최종적으로 통합 모듈로 개발하여 3가지 세부 태스크에 대해서 분류하고 판단할 수 있도록 개발하였음.

□ 연구개발성과
- 음성 위협상황 인지 기술 개발
음성 속 위협상황 인지 기술 개발 결과 위협상황 5분류에 대해 f1-score 0.848의 성능을 얻었음
- 쓰러짐 탐지 기술 개발
쓰러짐 탐지 기술의 경우, 충돌쓰러짐에 대해 mAP 0.7, 기타쓰러짐에 대해 mAP 0.8의 성능을 얻음
- 비정형 생활 폐기물 검출 기술 개발
생활 폐기물 검출 기술은 15종의 폐기물에 대해 f1-score 0.72의 성능을 얻었음.
- 엣지컴퓨팅 경량화 기술 개발
엣지 컴퓨팅 하드웨어인 NVIDIA Jetson AGX Xavior 보드에서 추론이 가능하도록 개발하였음

□ 연구개발성과 활용계획 및 기대 효과
- CCTV 사각지대에서의 위협상황 검출에 활용
CCTV 사각지대에서 음성정보만을 이용하여 위협상황을 인지하고, 사전에 감지하여 물리적인 폭력을 예방하는데 활용 가능
- CCTV 분석을 통한 보행자 안전사고 확인에 활용
인적이 드문 곳의 CCTV 영상을 자동으로 분석하여 보행자의 위험상황을 파악하고, 실시간으로 긴급구조 서비스와 연계할 수 있음
- 분리수거가 가능한 생활쓰레기 자동분류기 개발에 활용
생활쓰레기 및 재사용 가능한 쓰레기를 자동으로 분류하는 기술에 활용 가능

(출처 : 요약문 5p)

목차 Contents

• 표지 ... 1
• 최종보고서 ... 2
• 요 약 문 ... 4
• 목차 ... 7
• 1. 연구개발과제의 개요 ... 8
• 1) 기술개발 배경 ... 8
• 2) 기술개발 정의 ... 8
• 3) 기술개발의 중요성 ... 8
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 9
• 1) 지역 사회, 생활 문제 해결을 위한 멀티모달 인식 구조 설계 ... 9
• 2) 멀티모달 인식을 위한 공통 모듈 연구 ... 9
• 3) 위협상황 인지 기술 개발 ... 14
• 4) 쓰러짐 탐지 기술 개발 ... 21
• 5) 비정형 생활 폐기물 검출 기술 개발 ... 25
• 6) 엣지 컴퓨터용 모듈화 개발 ... 28
• 7) 멀티모달 인식을 위한 통합 모듈 개발 ... 32
• 3. 연구개발과제의 수행 결과 및 목표 달성 정도 ... 35
• 1) 연구수행 결과 ... 35
• 2) 목표 달성 수준 ... 43
• 4. 목표 미달 또는 미흡한 사항에 대한 원인분석 ... 43
• 1) 목표 미달 또는 미흡한 연구결과에 대한 원인(사유) 자체분석 내용 ... 43
• 2) 미달 또는 미흡한 결과물에 대한 보완 활동 ... 43
• 3) 연구개발 과정의 성실성 ... 44
• 5. 연구개발성과의 관련 분야에 대한 기여 정도 ... 44
• 6. 연구개발성과의 관리 및 활용 계획 ... 44
• 1) 향후 5년간 성과활용·확산 활용방안 및 계획(활동계획) ... 45
• 2) 주요 성과활용 (기대)성과목표 ... 47
• 3) 성과활용·관리 추진체계 ... 47
• 4) 기타 ... 47
• 7. 연구개발성과에 대한 후속연구 및 추가 개발 계획 ... 47
• 8. 연구개발비 사용실적 ... 48
• 1) 연구개발비 사용명세서 ... 48
• 2) 발생이자 사용명세서 ... 48
• 3) 반납액 명세서 ... 48
• 끝페이지 ... 60