초록 ▼

본 발명은 일반적으로 H.264 AVC 및 H.265 HEVC 등의 압축영상으로부터 객체 분류를 효과적으로 수행하는 기술에 관한 것이다. 더욱 상세하게는, 본 발명은 예컨대 CCTV 카메라가 생성하는 압축영상에 대해 종래기술처럼 복잡한 이미지 프로세싱을 통해 객체를 인식 및 분류하는 것이 아니라 압축영상 데이터를 파싱하여 얻어지는 신택스 정보(예: 모션벡터, 코딩유형)를 활용하여 영상 내에서 무언가 유의미한 움직임이 존재하는 영역, 즉 이동객체 영역을 추출하고 그 이동객체 영역의 이미지를 객체후보 영역으로 삼아 CNN(합성곱 신경망

본 발명은 일반적으로 H.264 AVC 및 H.265 HEVC 등의 압축영상으로부터 객체 분류를 효과적으로 수행하는 기술에 관한 것이다. 더욱 상세하게는, 본 발명은 예컨대 CCTV 카메라가 생성하는 압축영상에 대해 종래기술처럼 복잡한 이미지 프로세싱을 통해 객체를 인식 및 분류하는 것이 아니라 압축영상 데이터를 파싱하여 얻어지는 신택스 정보(예: 모션벡터, 코딩유형)를 활용하여 영상 내에서 무언가 유의미한 움직임이 존재하는 영역, 즉 이동객체 영역을 추출하고 그 이동객체 영역의 이미지를 객체후보 영역으로 삼아 CNN(합성곱 신경망)에 입력하여 객체 분류 결과를 획득하는 기술에 관한 것이다. 특히, 이동객체 영역의 모션벡터 패턴을 훈련 데이터집합으로 삼아 심층신경망에 대한 머신러닝을 수행함으로써 로컬화(localization) 성능이 강화된 MRPN(모션벡터 RPN)을 구성하고, 그 MRPN을 CNN의 포워드패스(forward pass)에 적용하여 이동객체 영역의 이미지를 전처리함으로써 하나의 이동객체 영역에 복수의 객체가 포함되어 있다면 이들 객체를 분리해내어 각 객체 별로 객체 분류 결과를 획득하는 기술에 관한 것이다.

대표청구항 ▼

압축영상의 비트스트림을 파싱하여 코딩 유닛에 대한 모션벡터 및 코딩유형을 획득하는 제 1 단계;압축영상을 구성하는 복수의 영상 블록 별로 미리 설정된 시간동안의 모션벡터 누적값을 획득하는 제 2 단계;상기 복수의 영상 블록에 대하여 상기 모션벡터 누적값을 미리 설정된 제 1 임계치와 비교하는 제 3 단계;상기 제 1 임계치를 초과하는 모션벡터 누적값을 갖는 영상 블록을 이동객체 영역으로 마킹하는 제 4 단계;상기 압축영상을 디코딩하여 상기 이동객체 영역의 이미지를 획득하는 제 5 단계;각각의 이동객체 영역에 대해 해당 이동객체 영역

압축영상의 비트스트림을 파싱하여 코딩 유닛에 대한 모션벡터 및 코딩유형을 획득하는 제 1 단계;압축영상을 구성하는 복수의 영상 블록 별로 미리 설정된 시간동안의 모션벡터 누적값을 획득하는 제 2 단계;상기 복수의 영상 블록에 대하여 상기 모션벡터 누적값을 미리 설정된 제 1 임계치와 비교하는 제 3 단계;상기 제 1 임계치를 초과하는 모션벡터 누적값을 갖는 영상 블록을 이동객체 영역으로 마킹하는 제 4 단계;상기 압축영상을 디코딩하여 상기 이동객체 영역의 이미지를 획득하는 제 5 단계;각각의 이동객체 영역에 대해 해당 이동객체 영역에 속하는 복수의 영상 블록에 대해 상기 제 1 단계에서 획득된 모션벡터의 방향 성분과 크기 성분의 2차원 배열을 포함하여 모션벡터 패턴을 취합하고, 상기 취합된 이동객체 영역의 모션벡터 패턴을 훈련 데이터집합으로 설정하여 심층신경망에 대한 머신러닝을 수행하여 모션벡터 패턴을 기준으로 입력 이미지를 분할하는 로컬화 성능이 강화된 심층신경망을 MRPN(모션벡터 RPN)으로 설정하는 제 6 단계;상기 이동객체 영역의 이미지에 상기 MRPN을 적용하여 상기 이동객체 영역의 이미지에 대한 객체 후보영역을 추출하는 제 7 단계;상기 이동객체 영역의 이미지를 CNN(합성곱 신경망)에 입력하여 상기 제 7 단계에서 추출된 객체 후보영역에 따른 CNN 특징을 연산하는 제 8 단계;상기 CNN의 연산 결과로부터 상기 이동객체 영역에 대한 객체 분류 결과를 획득하는 제 9 단계;를 포함하여 구성되는 압축영상에 대한 신택스 기반의 MRPN-CNN을 이용한 객체 분류 방법.