선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 본 논문에서는 U-Net 구조를 이용한 픽셀 수준의 보행자 분할 방법을 제안하였다. 기존의 방법들은 이미지에서 보행자에 대한 전역적인 특징을 잘 추출 하지 못하며 다리와 같은 부분의 모호함을 잘 찾아내지 못하지만 제안된 방법을 통해 그러한 기존의 방법에 대한 문제를 해결했음을 확인할 수 있었다.
제안 방법
- 와 같다. 본 모델은 기존의 U-Net과 같이 다운샘플링을 위한 부분과 업샘플링 부분으로 구성되었으며 서로 다른 3개의 컨볼루션 레이어에서 특징맵을 연결해 공유한다. 본 모델은 256x256x3 크기의 컬러 이미지를 입력으로 받도록 설계되어 있다.
- 우리는 이러한 FCN이 야기하는 문제를 해결하기 위하여 FCL(Fully Connected Layer)이 없는 U-Net[13] 구조를 이용한 모델을 제안한다. 제안된 방법은 이미지로부터 고수준의 전역적인 특징을 추출하여 FCN-CRF에서 발생하는 국부적인 부분의 모호성을 피할 수 있다.
- 우리는 이러한 FCN이 야기하는 문제를 해결하기 위하여 FCL(Fully Connected Layer)이 없는 U-Net[13] 구조를 이용한 모델을 제안한다. 제안된 방법은 이미지로부터 고수준의 전역적인 특징을 추출하여 FCN-CRF에서 발생하는 국부적인 부분의 모호성을 피할 수 있다.
- 0001의 속도로 학습 시켰으며 Binary Cross Entropy를 손실함수로 사용하였다. 학습을 위해 NVIDIA GTX 1080ti 그래픽카드 2개를 이용하여 전체 학습 데이터셋에 대한 학습을 150번 반복(150 epoch)하였다.
대상 데이터
- 또한 보행자 분할에 대한 성능을 테스트하기 위하여 Penn-Fudan 보행자 데이터셋을 이용하였다. Penn-Fudan 데이터셋은 170장의 보행자 이미지-마스크 쌍을 갖는다.
- 본 모델은 기존의 U-Net과 같이 다운샘플링을 위한 부분과 업샘플링 부분으로 구성되었으며 서로 다른 3개의 컨볼루션 레이어에서 특징맵을 연결해 공유한다. 본 모델은 256x256x3 크기의 컬러 이미지를 입력으로 받도록 설계되어 있다. 각 컨폴루션 레이어는 활성함수로 ReLU를 사용하며, 정규화를 위하여 He 정규화[16]를 사용한다.
- 우리는 보행자의 특징을 추출하기 위하여 2017 COCO 데이터셋[14]의 사람 카테고리의 일부 이미지 7000장을 학습(Training)과 검증(Validation)에 사용하였다. 또한 모델의 성능을 테스트하기 위하여 Penn-Fudan 데이터셋[15]을 이용하였다.
- 학습 및 검증을 위해 2017 COCO 데이터셋의 사람 카테고리의 이미지 7000장을 사용하였다. 또한 픽셀 단위의 분할을 위해 모델의 입력으로 마스크 이미지를 픽셀 단위로 레이블링하여 이미지와 함께 주어준다.
이론/모형
- 우리는 보행자의 특징을 추출하기 위하여 2017 COCO 데이터셋[14]의 사람 카테고리의 일부 이미지 7000장을 학습(Training)과 검증(Validation)에 사용하였다. 또한 모델의 성능을 테스트하기 위하여 Penn-Fudan 데이터셋[15]을 이용하였다.
- 또한 픽셀 단위의 분할을 위해 모델의 입력으로 마스크 이미지를 픽셀 단위로 레이블링하여 이미지와 함께 주어준다. 배치 사이즈(Batch-Size)는 32, 모델 최적화 기법으로는 Adam 이용하여 0.0001의 속도로 학습 시켰으며 Binary Cross Entropy를 손실함수로 사용하였다. 학습을 위해 NVIDIA GTX 1080ti 그래픽카드 2개를 이용하여 전체 학습 데이터셋에 대한 학습을 150번 반복(150 epoch)하였다.
- 위의 <표 1>은 Penn-Fudan 데이터셋의 기존의 방법들과 제안된 방법에 대한 테스트 결과이다. 성능 지표로는 IoU(Intersection over Union)를 사용하였으며 본 논문에서 제안된 방법은 80.91% IoU를 얻었다. 이는 최신의 연구 결과인 'MMBM2 + GraphCut'[18]와 비교하여 약+1.
성능/효과
- 기존의 방법들은 이미지에서 보행자에 대한 전역적인 특징을 잘 추출 하지 못하며 다리와 같은 부분의 모호함을 잘 찾아내지 못하지만 제안된 방법을 통해 그러한 기존의 방법에 대한 문제를 해결했음을 확인할 수 있었다. AP지표를 이용하여 기존 최신의 방법인 'MMBM2 + GraphCut'[18]와 비교하여 약 +1.49%향상된 정확도를 확인할 수 있었다.
- 그림 1. FCN과 단리 보행자의 전역 적인 특징을 잘 찾아내고 있고 다리와 같은 부분에서 국부적인 부분에 대한 모호함을 잘 피하고 있음을 확인할 수 있다.
- Penn-Fudan 데이터셋은 170장의 보행자 이미지-마스크 쌍을 갖는다.[15] 성능 비교를 위하여 기존의 방법인 FCN, CRF, CHOPPs[17], MMBM1[18] 및 MMBM2[18]과 비교하였으며 기존의 방법에 비해 본 연구에서 제안한 방법이 좋은 성능을 보임을 입증하였다.
- 본 논문에서는 U-Net 구조를 이용한 픽셀 수준의 보행자 분할 방법을 제안하였다. 기존의 방법들은 이미지에서 보행자에 대한 전역적인 특징을 잘 추출 하지 못하며 다리와 같은 부분의 모호함을 잘 찾아내지 못하지만 제안된 방법을 통해 그러한 기존의 방법에 대한 문제를 해결했음을 확인할 수 있었다. AP지표를 이용하여 기존 최신의 방법인 'MMBM2 + GraphCut'[18]와 비교하여 약 +1.
- 91% IoU를 얻었다. 이는 최신의 연구 결과인 'MMBM2 + GraphCut'[18]와 비교하여 약+1.49% IoU의 향상된 결과를 보임으로서 본 논문에서 제안된 방법의 성능이 보행자를 픽셀 수준에서 분할해 검출함에 있어 유의미한 결과를 보여줌을 입증한다.
- 그림 3. 제안 방법의 Penn-Fudan 데이터셋에 대한 결과를 보면 보행자를 올바르게 분할하는 것을 확인할 수 있다. 그림 3.
후속연구
- 후속 연구에서는 세밀하게 보행자를 분할하고 군집 보행자에 대한 분할이 잘 이루어질 수 있도록 하는 방법에 대해 연구할 수 있으며, 또한 의미론적 분할(Semantic Segmentation)이 아닌 객체에 대한 인스턴스 분할(Instance Segmentation) 방법에 대해 고찰해볼 필요가 있다. 이러한 연구들은 장면 인식 혹은 사람의 행동 인식에 대한 연구의 초석이 될 것이라고 생각된다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.