선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 50cm에서 70cm 내외의 근거리에서 영상정보 만을 이용하여 사람을 판단하고 사람과의 상대거리 및 방향을 추정하는 알고리즘을 제시하였다. HOG특징벡터와 SVM 분류기를 이용하여 사람의 두부 및 어깨를 검출하고, 검출된 윈도우의 위치와 크기를 이용하여 최종적으로 사람과 카메라간의 상대 거리 및 각도를 구하는 알고리즘을 구현하였다.
- 실제 사람도 한쪽 눈의 정보만으로도 근거리에서 앞 사람을 일정한 거리를 두고 쫓아가는데 문제가 없다. 본 논문에서는 단안 카메라를 이용한 사람과 로봇(카메라)간의 상대 거리 및 각도를 추정하는 방법을 제안하고자 한다.
- 본 연구에서는 두부/어깨 영역 인식률을 높이기 위해 기존(2)의 HOG detection algorithm 수행 이후 Trained SVM-2로 한 번 더 검출하는 Dual-SVM detection algorithm(D-SVM)을 제안한다.
제안 방법
- 외형 기반 방법은 보행자의 움직임, 의복, 및, 자세와 배경 등 다양한 외부 조건에 영향을 많이 받는다.(6) 따라서 본 논문에서는 입력 영상에서 특징을 추출하여 실시간을 보행자를 추출하는 방법을 사용하였다. 특징 추출 방법으로 Haar Wavelet 기반 방법,(7) Gabor Filter 방법,(8) LRF(Local Receptive Field) 방법, HOG(Histogram of Oriented Gradient) 방법 등이 있고, 분류기에는 AdaBoost,(9) 신경망, 트리 분류기, SVM(Support Vector Machine) 등이 많이 사용하고 있다.
- 본 논문에서는 특징 기반 방식 중 HOG을 이용하여 특징 벡터를 추출하고, 분류기로는 SVM 방법을 사용하였다.(10) HOG 특징 벡터추출 방법은 연산량이 많아 CPU 기반의 프로그래밍으로는 실시간 연산처리가 불가능하므로, 병렬 프로그래밍을 지원하는 NVIDIA사의 CUDA를 사용하여 초당 15 프레임 내외의 고속 연산 프로그램을 하였다.
- 본 논문에서는 50cm에서 70cm 내외의 근거리에서 영상정보 만을 이용하여 사람을 판단하고 사람과의 상대거리 및 방향을 추정하는 알고리즘을 제시하였다. HOG특징벡터와 SVM 분류기를 이용하여 사람의 두부 및 어깨를 검출하고, 검출된 윈도우의 위치와 크기를 이용하여 최종적으로 사람과 카메라간의 상대 거리 및 각도를 구하는 알고리즘을 구현하였다. 또한 알고리즘 검증을 위해 실제 객체가 존재하는 환경에서의 사람 검출 및 상대 거리를 계산 한 결과와 레이저 스캐너의 거리 출력과 비교하였다.
- 이는 CPU 기반으로 HOG 특징 벡터를 계산하기에는 연산량이 너무 길어 실시간 알고리즘 수행이 불가능하다. 그래서 본 논문에서는 NVIDA에서 지원하는 그래픽 카드와 CUDA 라이브러리를 이용하여 고속 연산이 가능한 병렬처리 연산을 수행했다. 수행한 결과는 아래 Fig.
- 4(b)처럼 사람 두부/어깨 영역 근처의 여러 개의 중첩된 검출 윈도우가 아닌 각 객체(사람의 두부 및 어깨)를 대표하는 단일 검출 윈도우이다. 그래서 사람의 두부/어깨 영역 검출 과정의 마지막 과정으로 KDE(Kernel Density Estimation)을 응용한 Non-Maximum Suppression(NMS) 알고리즘을 사용하여 최종 검출 윈도우를 검출(2)하였다.
- 또한 본 논문에서는 사람 검출 시 기존의 사람 몸 전체를 검출하는 방법(2) 대신 사람의 두부 및 어깨만을 검출하는 방법을 사용한다. 이 방법을 쓸 경우 Fig.
- HOG특징벡터와 SVM 분류기를 이용하여 사람의 두부 및 어깨를 검출하고, 검출된 윈도우의 위치와 크기를 이용하여 최종적으로 사람과 카메라간의 상대 거리 및 각도를 구하는 알고리즘을 구현하였다. 또한 알고리즘 검증을 위해 실제 객체가 존재하는 환경에서의 사람 검출 및 상대 거리를 계산 한 결과와 레이저 스캐너의 거리 출력과 비교하였다. 수행 결과 특징 벡터의 추출이 알고리즘 성능에 큰 영향을 끼침을 알 수 있었다.
- 본 논문에서 HOG를 사용하여 생성된 특징 벡터를 SVM 분류기를 사용하여 객체와 비객체를 구분하기 위해서는 미리 SVM 분류기를 학습해야 한다. SVM 분류기 학습을 하기 위해서는 Data Set인 긍정 예 이미지(Positive example image)와 부정 예 이미지(Negative example image)가 필요하다.
- 본 논문에서 실험을 위한 프로그램 및 알고리즘은 Window XP 환경에서 MFC를 이용하여 UI 프로그램을 구현하였다. 카메라에서 영상 획득부분은 OpenCV를 이용하고, 고속 연산처리를 위하여 NVIDIA사에서 지원하는 CUDA을 이용하였다.
- 본 연구에서는 Dalal과 Triggs가 보행자 전신 검출을 위하여 제안한 HOG 알고리즘(2)을 응용하여 사람의 두부/어깨 영역을 검출하였다. HOG 은 여러 개의 Positive image와 Negative image로부터 추출된 HOG 특징 벡터를 가지고 SVM 파라미터를 학습하는 단계(Learning Phase)와 입력 영상내의 다양한 크기 및 위치를 가지는 부분 이미지의 HOG 특징 벡터와 학습된 SVM을 이용하여 객체를 검출하는 검출 단계(Detection Phase)로 이루어져 있다(Fig.
- 사람과 로봇(카메라)간의 상대 거리 및 각도를 추정하는 알고리즘 정확도 비교를 위해서 SICK 레이저 스캐너 출력과 비교하였다.
- D-SVM은 항상 Trained SVM-2을 가지고 다시 한번 검출하지 않는다. 이전에 두부/어깨 검출 영역에 제한하여 이전 검출된 영역의 1.5배 영역에 대해서 Trained SVM-2을 이용하여 다시 한 번 검출한다. D-SVM을 수행하기 위해서 Trained SVM-1으로 검출된 윈도우 위치와 크기 값을 Buffer에 저장한다.
대상 데이터
- 이 때 사람의 몸은 좌우로 대칭되어 있는 점을 이용하여 추출한 이미지 한장을 좌우 대칭하여 두 개의 긍정 예 이미지를 생성한다. 그래서 본 논문에서는 2940개의 긍정 예 이미지를 제작하여 사용했다. 다음으로 부정 예 이미지 생성과정은 먼저 사람이 없는 이미지와 사람 두부 및 어깨 부분만 없는 이미지를 가지고 윈도우 크기와 중심 좌표값을 무작위로 생성하여부정 예 이미지를 생성한다.
- 하나의 이미지 당 64x64 크기를 가지는 10개의 부정 예 이미지를 생성한다. 따라서 본 논문에서는 이미지 1562개를 가지고 총 15620개의 부정 예 이미지를 제작하여 사용하였다. Fig.
- HOG를 이용하여 특징 벡터를 추출할 때는 많은 연산량이 필요한다. 본 논문에서 사용한 입력 영상 크기는 640x480, 윈도우 크기는 64x64, 이미지 피라미드 단계는 64단계로 했을 때 한 프레임 영상마다 추출해야 하는 특징 벡터 개수는 총 234,084개이다. 이는 CPU 기반으로 HOG 특징 벡터를 계산하기에는 연산량이 너무 길어 실시간 알고리즘 수행이 불가능하다.
- SVM 분류기 학습을 하기 위해서는 Data Set인 긍정 예 이미지(Positive example image)와 부정 예 이미지(Negative example image)가 필요하다. 이 때 사용한 학습 이미지는 INRIA에서 지원하는 이미지와 자체 실험실에서 촬영한 이미지를 사용하였다. 먼저 긍정 예 이미지 생성과정은 64x64크기의 사람 두부와 어깨가 들어 있는 이미지를 추출한다.
데이터처리
- 카메라와 사람 간의 Y축 거리(Oy)와 검출된 윈도우에서 얻은 Dy와 Ds간의 상관 관계를 알아보기 위해 키가 171/172/174/178 cm인 사람들을 대상으로 실험해 본 결과 Fig. 11의 그래프가 도출되었고 실험에 사용한 Oy와 Dy의 평균값을 최소 제곱법을 이용하여 식 (1)과 같은 4차 추정 함수를 구한다.
이론/모형
- 이러한 문제를 해결하기 위해 NVIDIA사는 기존의 Geforce 시리즈를 그래픽 전용처리를 위한 구조에서 유연성를 향상시켜 프로그램을 처리할 수 있도록 변경하였다. 또한 행렬 연산은 Blite++ 라이브러리(13)을 사용하여 NMS 알고리즘 코드를 구현하였다. 알고리즘이 수행하는 하드웨어 사양은 CPU는 Intel(R) Core(TM)2 Quad 2.
- 특징 추출 방법으로 Haar Wavelet 기반 방법,(7) Gabor Filter 방법,(8) LRF(Local Receptive Field) 방법, HOG(Histogram of Oriented Gradient) 방법 등이 있고, 분류기에는 AdaBoost,(9) 신경망, 트리 분류기, SVM(Support Vector Machine) 등이 많이 사용하고 있다. 본 논문에서는 특징 기반 방식 중 HOG을 이용하여 특징 벡터를 추출하고, 분류기로는 SVM 방법을 사용하였다.(10) HOG 특징 벡터추출 방법은 연산량이 많아 CPU 기반의 프로그래밍으로는 실시간 연산처리가 불가능하므로, 병렬 프로그래밍을 지원하는 NVIDIA사의 CUDA를 사용하여 초당 15 프레임 내외의 고속 연산 프로그램을 하였다.
- 본 논문에서 실험을 위한 프로그램 및 알고리즘은 Window XP 환경에서 MFC를 이용하여 UI 프로그램을 구현하였다. 카메라에서 영상 획득부분은 OpenCV를 이용하고, 고속 연산처리를 위하여 NVIDIA사에서 지원하는 CUDA을 이용하였다. CUDA(11)는 그래픽카드를 이용한 GPGPU(General Purpose Graphics Processing Unit)(12)의 통합개발 환경 제공을 목적으로 한다.
성능/효과
- 사람 검출을 위한 영상 획득 방법에는 카메라 한 대를 이용한 단일영상획득 방법과 두 개 이상의 카메라를 이용하여 얻은 스테레오 영상으로 영상의 깊이 차를 이용하는 방법이 있다.(1) 스테레오 카메라는 카메라와 사람의 깊이(Depth) 정보를 제공해준다는 장점이 있지만 단안 카메라에 비해 상대적으로 고가이며 깊이 정보도 노이즈에 의해 정확한 값의 계산이 어렵다. 실제 사람도 한쪽 눈의 정보만으로도 근거리에서 앞 사람을 일정한 거리를 두고 쫓아가는데 문제가 없다.
- 본 알고리즘에서는 레이저 스캐너의 상대 거리 및 각도 추정치와 크게 다르지 않음(오차 10cm정도)을 확인할 수 있었다. 또한 CPU와 GPU의 사용과 비교를 통해 CPU에 비해 수행 속도가 약 34배 빠름에 따라 GPU환경에서의 실시간 객체 검출이 가능함을 확인하였다. 따라서 향후 연구 방향은 본 알고리즘을 통해 계산된 상대 거리 및 각도를 활용하여 실제 로봇이 사람을 추적 및 추종하는 연구가 될 것이다.
- 모자를 쓴 사람이나, 헤어스타일이 특이한 경우 및 사람의 목이 보이지 않는 영상에 대하여 인식률이 좀 떨어지지만 향후 다양한 모양/자세에 대한 긍정 예 이미지를 추가하여 SVM 분류기를 학습 시키면 거짓 부정 이미지에 인식률은 낮아지고 참 긍정 이미지에 대한 인식률은 높아질 것이다. 본 알고리즘에서는 레이저 스캐너의 상대 거리 및 각도 추정치와 크게 다르지 않음(오차 10cm정도)을 확인할 수 있었다. 또한 CPU와 GPU의 사용과 비교를 통해 CPU에 비해 수행 속도가 약 34배 빠름에 따라 GPU환경에서의 실시간 객체 검출이 가능함을 확인하였다.
- 또한 알고리즘 검증을 위해 실제 객체가 존재하는 환경에서의 사람 검출 및 상대 거리를 계산 한 결과와 레이저 스캐너의 거리 출력과 비교하였다. 수행 결과 특징 벡터의 추출이 알고리즘 성능에 큰 영향을 끼침을 알 수 있었다. 모자를 쓴 사람이나, 헤어스타일이 특이한 경우 및 사람의 목이 보이지 않는 영상에 대하여 인식률이 좀 떨어지지만 향후 다양한 모양/자세에 대한 긍정 예 이미지를 추가하여 SVM 분류기를 학습 시키면 거짓 부정 이미지에 인식률은 낮아지고 참 긍정 이미지에 대한 인식률은 높아질 것이다.
- 8은 실험실과 자연채광이 되는 지하 로비에서 촬영한 7개의 동영상을 가지고 3절에서 설명한 HOG 알고리즘과 D-SVM 알고리즘에 대하여 인식률을 비교한 그래프이다. 특히 D-SVM 알고리즘이 HOG 알고리즘보다 우수한 점은 Fig. 9와 같이 초반에 Trained SVM-1로 사람의 두부 및 어깨를 검출하면 그 이후 사람 두부 및 어깨 영역에 손동작 같은 다른 물체가 들어와도 HOG 알고리즘보다 사람의 두부 및 어깨를 잘 검출되는 장점을 가지고 있다.
후속연구
- 또한 CPU와 GPU의 사용과 비교를 통해 CPU에 비해 수행 속도가 약 34배 빠름에 따라 GPU환경에서의 실시간 객체 검출이 가능함을 확인하였다. 따라서 향후 연구 방향은 본 알고리즘을 통해 계산된 상대 거리 및 각도를 활용하여 실제 로봇이 사람을 추적 및 추종하는 연구가 될 것이다.
- 수행 결과 특징 벡터의 추출이 알고리즘 성능에 큰 영향을 끼침을 알 수 있었다. 모자를 쓴 사람이나, 헤어스타일이 특이한 경우 및 사람의 목이 보이지 않는 영상에 대하여 인식률이 좀 떨어지지만 향후 다양한 모양/자세에 대한 긍정 예 이미지를 추가하여 SVM 분류기를 학습 시키면 거짓 부정 이미지에 인식률은 낮아지고 참 긍정 이미지에 대한 인식률은 높아질 것이다. 본 알고리즘에서는 레이저 스캐너의 상대 거리 및 각도 추정치와 크게 다르지 않음(오차 10cm정도)을 확인할 수 있었다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.