선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 원적외선 기반의 보행자 인식 시스템에서는 픽셀 밝기 값 투영을 통해 보행자의 후보영역을 추출[19]하였다. 본 논문에서는 knowledge 기반의 보행자검출 후보 추출과 고속의 HOG 특징 및 분류를 통한 효율적인 보행자 검출 방법을 제안한다. 보행자검출 후보 추출 단계에서는 보행자 영역과 주변의 밝기 차이와 에지펙터 (edge factor), 수직방향 에지성분, 머리와 어깨 부분 영상의 PCA(Principal Component Analysis) 복원 영상과 원영상의 차이를 이용하여 배경영역의 검출 윈도우를 제거하였다.
- 본 논문에서는 보행자 후보 검출과 PCA 복원 영상을 이용한 보행자 선 검출 과정을 통하여 연산 복잡도가 높은 HOG 특징 값 계산이 필요한 보행자 검출 윈도우의 수를 줄임으로써 보행자 검출 속도를 높일 수 있는 방법을 제안하였다. 보행자 샘플 영상의 머리와 어깨 영역에서 추출한 크기의 영상과 PCA 보행자 학습 과정에서 추출한 16개의 주성분만으로 입력 영상에서 보행자 머리와 어깨의 영상을 유사하게 복원함으로써 보행자와 밝기 변화 패턴을 갖는 보행자 검출 윈도우를 효과적으로 판단할 수 있었다.
제안 방법
- 대표적인 차량용의 보행자 보호 시스템 연구 중 하나로 PROTECTOR 시스템이 있었다. PROTECTOR 시스템에서는 스테레오 카메라를 통해 계산된 깊이 맵을 기준으로 관심 영역을 정한 후 계층적인 템플릿 기반 분류기를 이용하여 효율적으로 보행자를 검출하였다[1].
- ChnFtrs 방법을 제안한 Dollar 는 특징 값 추출의 속도를 높이기 위해 k 번째 스케일에서만 ChnFtrs 특징을 추출하고 나머지는 인접한 스케일에서 특징 값을 근사하여 추출하는 FPDW 방법[6]과 이미지 pyramid 생성과정 없이도 N/k 번의 sliding windows 의 스케일 변화에 대응되는 분류기를 따로 생성하여 입력 영상에서 영상의 스케일 변화없이 검출이 가능한 VeryFast 방법[7]을 제안하였다.
- 고속처리를 위해 GPU 코드로 구현된 ChnFtrs 와 VeryFast 알고리즘은 SVM 분류기와 결합되었을 때 각각 1.38Hz 과 2.68Hz로 작동하였다.
- 야간의 빠른 보행자 추출을 위한 방법으로 근적외선 영상에서 수직 성분 마스크의 필터 값이 가장 큰 경우만 에지 값을 구함으로써 초기 보행자의 검출 영역을 분할하였다[11]. 스테레오 카메라에서 대칭성을 이용한 연구로 고도맵(elevation map)으로부터 추출된 보행자, 자동차, 도로 폴대와 같은 오브젝트의 윈도우를 구하고, 밝기 값과 이진 에지를 기준으로 두 개의 수직 대칭 맵에서 구한 히스토그램들의 가중 합을 기준으로 보행자 검출 후보를 한정하는 방법이 제안[15]되었다.
- 본 논문에서는 knowledge 기반의 보행자검출 후보 추출과 고속의 HOG 특징 및 분류를 통한 효율적인 보행자 검출 방법을 제안한다. 보행자검출 후보 추출 단계에서는 보행자 영역과 주변의 밝기 차이와 에지펙터 (edge factor), 수직방향 에지성분, 머리와 어깨 부분 영상의 PCA(Principal Component Analysis) 복원 영상과 원영상의 차이를 이용하여 배경영역의 검출 윈도우를 제거하였다. Dalal 이 제안한 기존의 HOG[5] 특징은 모든 블록에 대하여 픽셀 단위로 에지성분의 크기 및 방향 성분 값을 참조하여 계산하였으나, 제안하는 방법은 겹쳐지는 블록 영역 내부 셀의 히스토그램을 먼저 계산해 놓고 블록 내의 HOG 계산 시 이를 가중 결합하는 방법을 통해 고속으로 연산이 가능하다.
- 보행자검출 후보 추출 단계에서는 보행자 영역과 주변의 밝기 차이와 에지펙터 (edge factor), 수직방향 에지성분, 머리와 어깨 부분 영상의 PCA(Principal Component Analysis) 복원 영상과 원영상의 차이를 이용하여 배경영역의 검출 윈도우를 제거하였다. Dalal 이 제안한 기존의 HOG[5] 특징은 모든 블록에 대하여 픽셀 단위로 에지성분의 크기 및 방향 성분 값을 참조하여 계산하였으나, 제안하는 방법은 겹쳐지는 블록 영역 내부 셀의 히스토그램을 먼저 계산해 놓고 블록 내의 HOG 계산 시 이를 가중 결합하는 방법을 통해 고속으로 연산이 가능하다.
- 그림 1은 제안하는 보행자 검출 방법의 전체적인 블록 다이어그램이다. 제안하는 방법은 전처리, 보행자 검출 후보추출, 보행자 검출 단계로 구성된다.
- Gray 영상은 보행자 검출 후보 추출에 사용된다. 전체 영상의 밝기 분포를 균일화하기 위해 gray 영상에 히스토그램 평활화를 수행한다.
- 영상 내에서 크기가 다른 보행자의 검출을 위해 입력 영상의 스케일을 일정하게 변화하며 64X128 크기의 검출 윈도우 내의 보행자 여부를 판단하였다. 밝기 차이 계산을 위해 그림 3과 같이 설정한 윈도우에서 위쪽, 아래쪽, 왼쪽과 오른쪽 영역에서 각각 밝기 차를 비교한다.
- 은 x와 y 방향의 1 차원 gradient이다. Gradient 의 크기는 연산을 단순화하기 위해 Gx 와 Gy의 절대 값의 합으로 근사하여 구하였다.
- 가 증가함에 따라 실제 값과 오차가 커지게 된다. 제안하는 방법에서는 식(2)의 gradient 크기의 근사치를 사용했을 때의 오차에 따른 영향을 없애기 위해 실제 gradient 크기 그대로를 적용하였다. 대신에 x, y 방향의 1차원 픽셀 변화율 값에 해당되는 grad (x, y) 값을 미리 계산하여 저장한 룩업테이블을 참조하여 빠른 연산이 가능하도록 하였다.
- 제안하는 방법에서는 식(2)의 gradient 크기의 근사치를 사용했을 때의 오차에 따른 영향을 없애기 위해 실제 gradient 크기 그대로를 적용하였다. 대신에 x, y 방향의 1차원 픽셀 변화율 값에 해당되는 grad (x, y) 값을 미리 계산하여 저장한 룩업테이블을 참조하여 빠른 연산이 가능하도록 하였다. 또한 윈도우 영역 내에서 임계치 보다 큰 픽셀 수는 누적 영상을 이용하여 빠르게 계산하였다.
- 또한 영상에서 수평에지성분은 보행자의 좌, 우측 경계에서 크기가 크면서 상하로 연속하여 나타난다. 제안하는 방법은 이러한 특성을 검사하기 보행자의 검출 윈도우를 x 좌표 기준으로 8 픽셀 씩 이동하며 너비 16, 높이 128 크기의 서브 윈도우 내의 수평 에지 합을 구하였다.
- 이후 좌, 우측에서 서브 윈도우 중 수평 에지의 최대 값을 구하여, 그 값이 임계 값 이하인 경우 해당 윈도우를 보행자 검출 후보에서 제거하였다. 서브 윈도우 내 수평 에지의 합은 수평 에지영상의 누적영상을 이용하여 고속으로 계산하였다.
- 본 연구에서는 PCA 복원 영상의 유사도 판단에 의한 보행자 접근 검출 아이디어를 보행자 후보 추출에 사용하였다. 제안하는 방법은 32X32 크기의 보행자의 머리 및 어깨 영역의 gray 영상을 이용하여 PCA 학습을 한 후에, 원영상과 PCA 복원 영상 유사도를 기준으로 패턴이 상이한 배경 영역을 보행자 후보에서 제외하였다.
- 본 연구에서는 PCA 복원 영상의 유사도 판단에 의한 보행자 접근 검출 아이디어를 보행자 후보 추출에 사용하였다. 제안하는 방법은 32X32 크기의 보행자의 머리 및 어깨 영역의 gray 영상을 이용하여 PCA 학습을 한 후에, 원영상과 PCA 복원 영상 유사도를 기준으로 패턴이 상이한 배경 영역을 보행자 후보에서 제외하였다. 영상에서 머리와 어깨 부분은 보행자의 다양한 자세 변화에 따른 패턴의 변화가 적은 곳으로 PCA 학습을 통하여 보행자의 머리 및 어깨 윤곽에 대한 주요한 특징을 찾아내고 적은 차원의 데이터로 보행자의 패턴을 효율적으로 나타낼 수 있다.
- 만약 d 가 설정된 값 미만일 경우 보행자와 유사한 영역이라 판단하고 보행자 후보로 추출한다. 제안하는 방법에서는 16개의 주성분 벡터만을 사용하여 영상을 복원하였다. 또한 PCA 복원된 영상과 원 영상간의 SAD의 빠른 계산을 위해 CPU 에 탑재된 SSE 명령어를 사용하여 한번에 16 픽셀의 절대 값 및 누적 합을 계산하도록 구현하였다.
- 제안하는 방법에서는 16개의 주성분 벡터만을 사용하여 영상을 복원하였다. 또한 PCA 복원된 영상과 원 영상간의 SAD의 빠른 계산을 위해 CPU 에 탑재된 SSE 명령어를 사용하여 한번에 16 픽셀의 절대 값 및 누적 합을 계산하도록 구현하였다.
- 이러한 계산 과정을 단순화 하여 속도를 개선하기 위해 본 논문에서 제안하는 방법은 먼저 셀 단위의 히스토그램을 먼저 계산하고 이를 가중 결합하여 HOG 블록 기술자를 구하는 것이다. 셀 단위의 히스토그램의 결합에 의한 HOG 블록 기술자는 그림 6에 제시된 2X2개의 셀에 대하여 서브 셀들로부터 1, 2, 3, 4번 셀로 누적되는 가중치의 총합을 구하여 그림 7과 같이 각 셀마다의 테이블로 저장한다.
- 이러한 과정은 복잡한 연산이 필요한 부분이다. 제안하는 방법은 특징 값 계산의 효율성을 높이기 위해 수평, 수직 방향의 가능한 에지값 조합에 대해 결과를 미리 계산하여 룩업 테이블(look up table)에 저장하여 HOG 특징 계산 시 참조하였다.
- 제안하는 방법은 전체 검출 윈도우 중에서 보행자검출 후보로 추출된 윈도우에 내부에 대해서만 HOG 특징을 계산하면 된다. 이를 위해 lazy descriptor 라는 새로운 블록 단위 HOG 특징 값 계산구조를 제안하였다.
- 제안하는 방법은 전체 검출 윈도우 중에서 보행자검출 후보로 추출된 윈도우에 내부에 대해서만 HOG 특징을 계산하면 된다. 이를 위해 lazy descriptor 라는 새로운 블록 단위 HOG 특징 값 계산구조를 제안하였다. Lazy descriptor 방법은 전체 영상 내에서 계산되는 전체 블록의 수만큼 선언된 배열을 이용하여 특정 블록 내부의 특징 값이 이미 계산되어 있는지 여부를 체크한다.
- 제안하는 방법의 성능 평가를 위해 전통적인 HOG 방법과 동일한 파라미터 (셀 크기, 블록 크기, 블록의 겹침 정도, 검출 윈도우의 step, 영상 스케일 변화)를 설정하였다. 성능 평가에 사용된 시스템은 Intel 3.
- 추출된 HOG 특징 값의 SVM 학습을 위해 SVMLight 라이브러리[22]를 이용하였다. 이후 학습된 분류기를 이용하여 배경 트레이닝에 사용된 영상을 입력하여 모든 스케일 및 위치에서 배경 내에서 보행자로 오인식이 발생한 검출 윈도우 내의 영상을 추출하고, 이들을 더하여 다시 SVM 학습을 수행하여 최종 HOG/SVM 분류기를 생성하였다. PCA 를 통한 보행자의 머리, 어깨 영역의 학습은 1208 장의 영상 중 550 장의 영상을 무작위 선별 후 이용하였다.
- 정량적인 인식성능 비교를 위해 테스트 영상에서 인식율과 오검출 수를 계산하였다. 영상에서 가장 자리에 위치한 보행자 검출이 가능하도록 영상 둘레에 16 픽셀의 padding 영역을 설정하였다.
- 정량적인 인식성능 비교를 위해 테스트 영상에서 인식율과 오검출 수를 계산하였다. 영상에서 가장 자리에 위치한 보행자 검출이 가능하도록 영상 둘레에 16 픽셀의 padding 영역을 설정하였다. 보행자 영역의 일부가 영상에서 벗어나는 경우에는 인식률 측정에서 제외하였다.
- 보행자의 검출 성능 지표로써 INRIA에서 제공하는 보행자/배경 데이터 셋으로부터 동일 파라미터를 가지고 계산된 FPPW(False Positives Per Window) 와 미검출율(missing rate)을 측정하였다. 또한 검출 속도 비교를 위해 64X128 사이즈의 검출 윈도우 내부의 특징 값 추출 및 판별에 소요되는 평균 시간을 측정하였다.
- 본 논문에서 제안한 lazy descriptor 구조는 검출 윈도우에서 HOG 특징 값을 추출해야 할 필요성이 있는 경우에만 블록 및 셀 내부의 특징 값을 추출하여 캐시에 저장하기 때문에 보행자 후보 영역 추출방법과 결합하여 불필요한 HOG 특징 값 계산을 효과적으로 줄일 수 있다. 또한 룩업 테이블을 이용하여 계산 량이 많은 제곱근 계산을 피하고, 인접 각도 bin으로의 보간을 테이블의 값 참조만으로 가능하도록 개선하였다.
대상 데이터
- 보행자 검출 후보를 위한 첫 번째 단계는 검출 윈도우 내에서 보행자와 그 주변부의 밝기 변화를 측정하는 단계이다. 보행자 학습과 검출을 위해 사용한 검출 윈도우는 64X128 크기로, 그림 2와 같이 보행자 영역을 중심으로 둘레에 16 픽셀의 가장자리를 포함하였다.
- 4 Ghz CPU 와 8GB DDR3 RAM으로 구성된다. 트레이닝과 인식 성능의 실험을 위해 INRIA 의 보행자/배경데이터 셋[21]을 활용하였다. 트레이닝에 사용된 보행자 영상은 1208 장의 영상과 각 영상에 대한 좌우 반전 영상으로 총 2416 장이 사용되었다.
- 트레이닝과 인식 성능의 실험을 위해 INRIA 의 보행자/배경데이터 셋[21]을 활용하였다. 트레이닝에 사용된 보행자 영상은 1208 장의 영상과 각 영상에 대한 좌우 반전 영상으로 총 2416 장이 사용되었다. 배경 트레이닝 샘플 추출을 위해 보행자가 포함되지 않은 1218 장의 영상에서 임의의 스케일과 위치에서 총 36540 장의 영상을 추출하였다.
- 트레이닝에 사용된 보행자 영상은 1208 장의 영상과 각 영상에 대한 좌우 반전 영상으로 총 2416 장이 사용되었다. 배경 트레이닝 샘플 추출을 위해 보행자가 포함되지 않은 1218 장의 영상에서 임의의 스케일과 위치에서 총 36540 장의 영상을 추출하였다. 추출된 HOG 특징 값의 SVM 학습을 위해 SVMLight 라이브러리[22]를 이용하였다.
- 이후 학습된 분류기를 이용하여 배경 트레이닝에 사용된 영상을 입력하여 모든 스케일 및 위치에서 배경 내에서 보행자로 오인식이 발생한 검출 윈도우 내의 영상을 추출하고, 이들을 더하여 다시 SVM 학습을 수행하여 최종 HOG/SVM 분류기를 생성하였다. PCA 를 통한 보행자의 머리, 어깨 영역의 학습은 1208 장의 영상 중 550 장의 영상을 무작위 선별 후 이용하였다.
- 제안하는 보행자 후보 영역 추출 방법의 효율성을 측정하기 위해, 보행자가 존재하지 않는 배경 영상에 대하여 후보 영역 추출 단계 별 검출 윈도우 수를 구하여 그림 9에 제시하였다. 시험에 사용한 영상의 크기는 384X288 이고 전체 영상 스케일에서 생성되는 검출 윈도우의 총합은 2191개이다.
데이터처리
- 동작 속도 측정을 위해 제안하는 보행자 후보 추출 방법 및 셀 단위 히스토그램 기반의 HOG 블록 기술자 특징 추출 방법을 적용했을 때와 최적화된 코드로 구현된 Dalal의 HOG 방법을 적용 시 384X288 크기의 동영상에서 초당 처리 프레임을 계산하였다. 동일한 파라미터 상에서 Dalal 의 HOG는 최대 8 FPS 속도로 동작하나, 제안하는 방법을 모두 적용하면 약 21 FPS 정도로 작동하였다.
- 보행자 검출 후보추출 이후 보행자 검출을 위해 본 논문에서 제안된 셀 단위 히스토그램 기반의 HOG 기술자와 Dalal이 제안한 HOG 기술자[5]의 정량적인 검출 성능을 비교하였다.
- 보행자의 검출 성능 지표로써 INRIA에서 제공하는 보행자/배경 데이터 셋으로부터 동일 파라미터를 가지고 계산된 FPPW(False Positives Per Window) 와 미검출율(missing rate)을 측정하였다. 또한 검출 속도 비교를 위해 64X128 사이즈의 검출 윈도우 내부의 특징 값 추출 및 판별에 소요되는 평균 시간을 측정하였다.
이론/모형
- 배경 트레이닝 샘플 추출을 위해 보행자가 포함되지 않은 1218 장의 영상에서 임의의 스케일과 위치에서 총 36540 장의 영상을 추출하였다. 추출된 HOG 특징 값의 SVM 학습을 위해 SVMLight 라이브러리[22]를 이용하였다. 이후 학습된 분류기를 이용하여 배경 트레이닝에 사용된 영상을 입력하여 모든 스케일 및 위치에서 배경 내에서 보행자로 오인식이 발생한 검출 윈도우 내의 영상을 추출하고, 이들을 더하여 다시 SVM 학습을 수행하여 최종 HOG/SVM 분류기를 생성하였다.
- 보행자 성능 측정을 위해 CAVIAR 의 테스트 영상[23]을 사용하였다. 그림 8은 동일 장면에서 Dalal의 HOG 기술자[5]와 제안하는 방법의 검출 결과를 비교하였다.
성능/효과
- 블록 기술자는 블록 내부의 각 셀에서 구한 히스토그램에 1, 2, 3, 4번으로 누적되는 누적 가중치를 곱하여 인접 셀의 히스토그램에 가중하여 더한다. 제안하는 방법은 Dalal 의 방법과 달리 동일한 셀에 대하여 블록의 위치에 따른 픽셀 단위의 반복 계산을 피하므로 연산속도를 크게 향상시킬 수 있다.
- 실험을 통해 셀 단위의 히스토그램에 의한 HOG 기술자 계산은 삼선형 보간법을 사용한 기존 방법[5]과 비교하여 인식성능은 거의 동일하면서도 검출 속도는 매우 개선됨을 확인하였다.
- 그림 8은 동일 장면에서 Dalal의 HOG 기술자[5]와 제안하는 방법의 검출 결과를 비교하였다. 각 스케일 상에서 검출되는 결과의 차이로 최종 검출 윈도우의 위치에서 약간의 차이가 발생하나, 두 방법을 적용하였을 때 거의 유사한 위치에서 보행자가 검출됨을 알 수 있다.
- 표 1은 CAVIAR 데이터 셋에서 전체 보행자 수 대비 인식한 보행자의 수를 측정한 결과이다. 제안하는 방법과 Dalal 의 방법 모두에서 배경을 보행자로 오검출이 발생하지 않았다.
- 제안하는 방법은 Dalal의 방법과 비교하여 거의 동등한 보행자 인식 성능을 보인다. 제안하는 방법에서 인식한 보행자 수의 차이는 보행자 후보 추출 단계에서 실제 보행자 윈도우를 배경으로 오 판단하여 발생한다.
- 이는 밝기차이 체크에 의해 바닥면 등과 같이 밝기 변화가 크지 않은 영역이 대부분 제거되었기 때문이다. 한편 보행자 후보 검출 마지막 단계인 PCA 복원영상을 이용한 후보추출을 거치면서 보행자의 머리, 어깨 패턴과 유사도가 낮은 배경인 후보 윈도우가 매우 효과적으로 제거됨을 확인할 수 있다.
- 동작 속도 측정을 위해 제안하는 보행자 후보 추출 방법 및 셀 단위 히스토그램 기반의 HOG 블록 기술자 특징 추출 방법을 적용했을 때와 최적화된 코드로 구현된 Dalal의 HOG 방법을 적용 시 384X288 크기의 동영상에서 초당 처리 프레임을 계산하였다. 동일한 파라미터 상에서 Dalal 의 HOG는 최대 8 FPS 속도로 동작하나, 제안하는 방법을 모두 적용하면 약 21 FPS 정도로 작동하였다.
- 그림 10과 표 2부터 알 수 있듯이 제안하는 셀 기반의 블록 기술자 계산방법을 사용하면 인식 성능의 차이는 매우 적으면서도 검출 속도는 2 배 이상 개선됨을 확인하였다. 또한 FPPW가 극히 적은 수치임을 감안하면 제안하는 방법의 보행자 성능이 약간 더 우세하게 측정되었다.
- 그림 10과 표 2부터 알 수 있듯이 제안하는 셀 기반의 블록 기술자 계산방법을 사용하면 인식 성능의 차이는 매우 적으면서도 검출 속도는 2 배 이상 개선됨을 확인하였다. 또한 FPPW가 극히 적은 수치임을 감안하면 제안하는 방법의 보행자 성능이 약간 더 우세하게 측정되었다.
- 본 논문에서는 보행자 후보 검출과 PCA 복원 영상을 이용한 보행자 선 검출 과정을 통하여 연산 복잡도가 높은 HOG 특징 값 계산이 필요한 보행자 검출 윈도우의 수를 줄임으로써 보행자 검출 속도를 높일 수 있는 방법을 제안하였다. 보행자 샘플 영상의 머리와 어깨 영역에서 추출한 크기의 영상과 PCA 보행자 학습 과정에서 추출한 16개의 주성분만으로 입력 영상에서 보행자 머리와 어깨의 영상을 유사하게 복원함으로써 보행자와 밝기 변화 패턴을 갖는 보행자 검출 윈도우를 효과적으로 판단할 수 있었다.
- 본 논문에서 제안한 lazy descriptor 구조는 검출 윈도우에서 HOG 특징 값을 추출해야 할 필요성이 있는 경우에만 블록 및 셀 내부의 특징 값을 추출하여 캐시에 저장하기 때문에 보행자 후보 영역 추출방법과 결합하여 불필요한 HOG 특징 값 계산을 효과적으로 줄일 수 있다. 또한 룩업 테이블을 이용하여 계산 량이 많은 제곱근 계산을 피하고, 인접 각도 bin으로의 보간을 테이블의 값 참조만으로 가능하도록 개선하였다.
- 본 논문에서 제안하는 방법은 카메라 컬리브레이션 정보나 스테레오 카메라에서 구한 깊이 정보 등을 이용하지 않고도, 영상만으로 보행자와 유사한 검출 후보 윈도우를 효과적으로 선택할 수 있다. 또한 본 논문에서 제안하는 보행자 검출을 위한 HOG 기술자는 기존 HOG 와 비교하여 인식 성능이 동등하면서도 검출 시간은 크게 줄어드는 것을 확인하였다.
- 본 논문에서 제안하는 방법은 카메라 컬리브레이션 정보나 스테레오 카메라에서 구한 깊이 정보 등을 이용하지 않고도, 영상만으로 보행자와 유사한 검출 후보 윈도우를 효과적으로 선택할 수 있다. 또한 본 논문에서 제안하는 보행자 검출을 위한 HOG 기술자는 기존 HOG 와 비교하여 인식 성능이 동등하면서도 검출 시간은 크게 줄어드는 것을 확인하였다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.