본 논문에서는 지능적인 보안 시스템 구현의 새로운 접근 방식으로, 인공지능형 시각 시스템에 기반한 팬/틸트 탑재형 스테레오 카메라의 기하학적 정보를 이용한 능동형 물체 추적 시스템을 제안하였다. 제안된 시스템에서는 먼저, 스테레오 카메라에서 입력된 영상으로 부터 YCbCr 컬러 모델과 위상형 상관 기법을 사용하여 표적 얼굴영역의 중심좌표를 검출한 다음, 지능형 시각 시스템에 기반한 팬/틸트 탑재형 스테레오 카메라의 능동적인 제어각도 산출을 통해 표적의 다양한 변화에 관계없이 표적의 3차원 좌표를 실시간적으로 검출하고, 이를 통한 표적 대상의 적응적인 신체 크기 추정을 수행하였다. 각기 다른 신장을 가진 3사람의 다양한 이동경로를 가진 480 프레임의 테스트용 스테레오 영상을 사용한 실험 결과, 표적의 추정된 신체 크기값 역시 계산치 및 측정치 사이의 표준편차가 평균 1.03의 작은 값으로 유지됨은 물론, 제안된 시스템에서 계산된 좌표값과 실제 실험대상으로 참여한 사람의 정확한 실제 위치와의 차이 역시 평균 1.2cm 미만의 오차와 전체적으로 1.18 %의 오차를 보임으로써 이를 통한 새로운 실시간 스테레오 표적 감시추적 시스템의 구현 가능성을 제시하였다.
본 논문에서는 지능적인 보안 시스템 구현의 새로운 접근 방식으로, 인공지능형 시각 시스템에 기반한 팬/틸트 탑재형 스테레오 카메라의 기하학적 정보를 이용한 능동형 물체 추적 시스템을 제안하였다. 제안된 시스템에서는 먼저, 스테레오 카메라에서 입력된 영상으로 부터 YCbCr 컬러 모델과 위상형 상관 기법을 사용하여 표적 얼굴영역의 중심좌표를 검출한 다음, 지능형 시각 시스템에 기반한 팬/틸트 탑재형 스테레오 카메라의 능동적인 제어각도 산출을 통해 표적의 다양한 변화에 관계없이 표적의 3차원 좌표를 실시간적으로 검출하고, 이를 통한 표적 대상의 적응적인 신체 크기 추정을 수행하였다. 각기 다른 신장을 가진 3사람의 다양한 이동경로를 가진 480 프레임의 테스트용 스테레오 영상을 사용한 실험 결과, 표적의 추정된 신체 크기값 역시 계산치 및 측정치 사이의 표준편차가 평균 1.03의 작은 값으로 유지됨은 물론, 제안된 시스템에서 계산된 좌표값과 실제 실험대상으로 참여한 사람의 정확한 실제 위치와의 차이 역시 평균 1.2cm 미만의 오차와 전체적으로 1.18 %의 오차를 보임으로써 이를 통한 새로운 실시간 스테레오 표적 감시추적 시스템의 구현 가능성을 제시하였다.
In this paper, an active object tracking system basing on the pan/tilt-embedded stereo camera system is suggested and implemented. In the proposed system, once the face area of a target is detected from the input stereo image by using a YCbCr color model and phase-type correlation scheme and then, u...
In this paper, an active object tracking system basing on the pan/tilt-embedded stereo camera system is suggested and implemented. In the proposed system, once the face area of a target is detected from the input stereo image by using a YCbCr color model and phase-type correlation scheme and then, using this data as well as the geometric information of the tracking system, the distance and 3D information of the target are effectively extracted in real-time. Basing on these extracted data the pan/tilted-embedded stereo camera system is adaptively controlled and as a result, the proposed system can track the target adaptively under the various circumstance of the target. From some experiments using 480 frames of the test input stereo image, it is analyzed that a standard variation between the measured and computed the estimated target's height and an error ratio between the measured and computed 3D coordinate values of the target is also kept to be very low value of 1.03 and 1.18% on average, respectively. From these good experimental results a possibility of implementing a new real-time intelligent stereo target tracking and surveillance system using the proposed scheme is finally suggested.
In this paper, an active object tracking system basing on the pan/tilt-embedded stereo camera system is suggested and implemented. In the proposed system, once the face area of a target is detected from the input stereo image by using a YCbCr color model and phase-type correlation scheme and then, using this data as well as the geometric information of the tracking system, the distance and 3D information of the target are effectively extracted in real-time. Basing on these extracted data the pan/tilted-embedded stereo camera system is adaptively controlled and as a result, the proposed system can track the target adaptively under the various circumstance of the target. From some experiments using 480 frames of the test input stereo image, it is analyzed that a standard variation between the measured and computed the estimated target's height and an error ratio between the measured and computed 3D coordinate values of the target is also kept to be very low value of 1.03 and 1.18% on average, respectively. From these good experimental results a possibility of implementing a new real-time intelligent stereo target tracking and surveillance system using the proposed scheme is finally suggested.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
또한, 첨단 3차원 입체 원격 제어 시스템에 대한 연구열기가 확산되고 있으며 화성탐사용 로봇인 패스파인더의 시각시스템처럼 3차원 제어 대상이 로봇인 경우 그 시각 시스템은 시스템 전체 기술에서 가장 중요한 부분으로 그 개발이 더욱 절실하다고 하겠다[5]. 따라서, 본 논문에서는 작업자가 위험한 작업 공간 내에 있지 않고 원격지에서 산업용 로봇이 작업을 수행할 경우에 작업자에게 보다 현장감 있는 환경의 제공을 통해 산업 현장의 설비 진단감시를 위한 스테레오 카메라 기반의 산업용 로봇 원격제어 및 입체 영상 관측 시스템을 제안하고자 한다. 실험결과, 교차식 스테레오 카메라 기반의 이동물체 감시추적 시스템의 실험결과 팬과 틸트를 통한 물체추적 후 표적 중심좌표의 수평, 수직 평균오차는 1.
본 논문에서는 실시간 처리 및 상황변화에 강건한 시스템의 구현을 목적으로 팬과 틸트가 탑재된 스테레오 카메라를 이용한 작업자 모니터링을 위한 능동형 물체 추적 시스템을 제안하였으며, 그림 1은 전체 흐름도를 나타낸 것으로 크게 2단계로 이루어진다.
본 논문은 작업자가 위험한 작업 공간 내에 있지 않고 원격지에서 산업용 로봇이 작업을 수행할 경우에 적업자에게 보다 현장감 있는 환경의 제공을 통해 산업 현장의 설비 진단감시를 위한 스테레오 비전 기반의 능동형 물체 추적 시스템을 제안하였다. 먼저, 스테레오 카메라에서 입력된 영상으로부터 YCbCr 칼라 임계치 기법을 사용하여 표적 얼굴영역을 검출한 다음, 지능형 시각 시스템에 기반한 팬/틸트 탑재형 스테레오 카메라의 능동적인 제어를 통해 표적의 다양한 변화에 관계없이 표적의 거리정보 및 3차원적 이동 정보를 실시간적으로 검출함으로써 표적의 적응적 추적감시를 수행하였으며, 스테레오 영상을 사용한 실험 결과, 이동표적에 대한 실시간적 위치정보 검출 및 적응적 추적을 확인하였으며, 표적의 3차원적 위치 좌표값의 오차 역시 평균 0.
제안 방법
구현된 입체영상 모니터는 입체영상 재생기에서 출력되는 2채널 HDMI 신호를 기반으로 아날로그 신호까지 지원될 수 있도록 제작하였다. 물론 아날로그 신호보다는 HDMI나 DVI로 입력을 받는 것이 여러 가지 영상 잡음을 제거할 수 있음으로 선명한 입체 영상을 제공할 수 있게 된다.
논문에서는 Kanatani의 영상보정 알고리듬을 응용하여 2차원 영상평면에서 검출된 이동된 좌표값을 팬/틸트 시스템의 제어각도로 변환하였다[10].
. 따라서 정지된 배경 영역을 포함한 검출된 모든 피부색 영역을 토대로 영상 차분필터와 논리곱 연산(AND operation)을 이용하여 공통된 움직임을 추출함으로써 표적영상을 검출하게 되며, 이에 따라 추출된 얼굴 영역의 중심좌표를 스테레오 카메라가 탑재된 팬/틸트 시스템의 응용 가능한 각도 값으로 변환하여 추적을 수행하게 된다. 따라서, 두 사람 이상의 보행자가 출현하였을 경우에도 얼굴 피부색 검출과 움직임 추정을 통해 적응적으로 위치 검출이 가능하게 되며, 본 논문에서는 스테레오 카메라로부터 처음 획득된 영상을 중심으로 팬/틸트 시스템을 구동하여 검출 및 추적 기능을 수행하였다.
따라서 정지된 배경 영역을 포함한 검출된 모든 피부색 영역을 토대로 영상 차분필터와 논리곱 연산(AND operation)을 이용하여 공통된 움직임을 추출함으로써 표적영상을 검출하게 되며, 이에 따라 추출된 얼굴 영역의 중심좌표를 스테레오 카메라가 탑재된 팬/틸트 시스템의 응용 가능한 각도 값으로 변환하여 추적을 수행하게 된다. 따라서, 두 사람 이상의 보행자가 출현하였을 경우에도 얼굴 피부색 검출과 움직임 추정을 통해 적응적으로 위치 검출이 가능하게 되며, 본 논문에서는 스테레오 카메라로부터 처음 획득된 영상을 중심으로 팬/틸트 시스템을 구동하여 검출 및 추적 기능을 수행하였다. 여기서, 이동하는 표적을 추적하기 위한 위치 제어 값은 식 (3)과 같이 무게 중심법을 이용하여 분할된 얼굴 영역의 중심좌표로 검출하게 되며, 검출된 중심 좌표값은 스테레오 카메라가 탑재된 팬/틸트 시스템의 좌우 회전각을 능동적으로 제어하여 얼굴 영역에 대한 적응적인 추적을 수행하게 된다[8].
또한, 검출된 움직임 성분을 토대로 기타 불규칙적인 조명 변화로 인해 생길 수 있는 잡음영역을 제거하기 위해 모폴로지 오프닝(morphological opening) 연산을 수행하였으며, 최종적으로, 4-연결도를 사용한 순차 연결성분 알고리즘 (Sequential Connected Components Algorithm Using 4-connectivity)과 사이즈 필터링(size filtering)을 통해 각 영역별 픽셀의 평균값을 구하여 최대의 평균값을 갖는 영역부터 차례로 얼굴 후보영역으로 검출할 대상 영역을 제한함으로써 최종적인 표적의 얼굴 영역만을 검출하게 되고, 그 외의 영역은 배경으로 간주하여 모두 제거하게 된다[7]. 따라서 정지된 배경 영역을 포함한 검출된 모든 피부색 영역을 토대로 영상 차분필터와 논리곱 연산(AND operation)을 이용하여 공통된 움직임을 추출함으로써 표적영상을 검출하게 되며, 이에 따라 추출된 얼굴 영역의 중심좌표를 스테레오 카메라가 탑재된 팬/틸트 시스템의 응용 가능한 각도 값으로 변환하여 추적을 수행하게 된다.
본 논문에서는 실시간으로 획득되는 스테레오 입력 영상 시퀀스에 대해 추적 성능을 검증하기 위해 각각 다른 환경에서 특정 사람의 이동경로를 1280×1024 픽셀의 해상도를 갖는 스테레오 입력영상을 초당 25 프레임의 속도로 처리하여 총 80프레임의 테스트 영상을 가지고 실험을 수행하였다.
따라서 소프트웨어적인 처리나 별도의 하드웨어를 구현하여 적용할 경우 미세한 시간지연이나 시스템 안정성 확보에 있어 치명적인 문제가 될 수 있으므로 시간 지연과 독립적인 광학 방식을 통해 영상 신호의 미러 기능을 수행하였다. 설계도를 바탕으로 입 체 영상 모니터의 케이스를 알루미늄 소재로 제작하고, 2대의 40인치 Full HD LCD 판넬을 각각 상판부와 후면부에 배치하였고, 중앙에 하프미러의 각도는 굴절값을 보상하여 정확하게 45°가 되도록 설계하였다. 두 장의 LCD는 위치 정렬을 위해 각각 ±5mm 정도로 이동할 수 있도록 했으며 이를 통해 미세 튜닝을 조절할 수 있었다.
, 스테레오 영상 획득 및 처리를 위한 컴퓨터 비젼 시스템으로는 SVS-VISTEK사의 SVS285CFCP[14]의 1280☓1024 픽셀의 해상도와 25 frame/sec의 촬영속도를 갖는 CCD 카메라 2대를 평행식으로 사용하여 기하학적으로 에피폴라 선(Epipolar line)상에 위치하도록 구성하였으며, 두 카메라의 광축간의 거리는 인간의 양안시차 거리인 5cm로 설정하였고, Y400 모드의 8비트 흑백영상을 Bayer 필터링 후 24비트 컬러 영상으로 변환 후 초당 25프레임으로 획득하게 된다. 스테레오 영상 저장 및 처리를 위한 프레임 그레이버는 Matrox사의 PCI-X 기반 SOL 6MCL을 사용하였고[15], 서버 시스템으로는 2.
감시 추적된 스테레오 영상으로 전송되면, 원격지에서는 실감있는 입체 환경을 모니터링하기 위해 스테레오 영상을 3D 입체 영상으로 디스플레이할 수 있는 장치가 필요하다. 이를 위해 본 논문에서는 상기에 언급된 과정을 통해 주시각 제어된 스테레오 영상의 3D 입체 영상 관측을 위해 (주) 세븐데이터의 Full HD가 지원되는 편광방식 3D 모니터를 이용하였다[12]. 현재 2채널의 Full HD 프로그래시브(progressive) 스테레오 영상을 출력할 수 있는 장비는 수천만원에서 수억원대의 고가의 프로젝터를 이용한 구성이 유일함으로 본 논문에서는 그림 5와 같이 2대의 40인치 LCD 패널과 하프미러를 이용한 고화질 입체영상 디스플레이용 편광방식 모니터를 이용하였다.
이를 위해 본 논문에서는 상기에 언급된 과정을 통해 주시각 제어된 스테레오 영상의 3D 입체 영상 관측을 위해 (주) 세븐데이터의 Full HD가 지원되는 편광방식 3D 모니터를 이용하였다[12]. 현재 2채널의 Full HD 프로그래시브(progressive) 스테레오 영상을 출력할 수 있는 장비는 수천만원에서 수억원대의 고가의 프로젝터를 이용한 구성이 유일함으로 본 논문에서는 그림 5와 같이 2대의 40인치 LCD 패널과 하프미러를 이용한 고화질 입체영상 디스플레이용 편광방식 모니터를 이용하였다. 즉, CRT 모니터와 달리 TFT-LCD 모니터를 사용함으로서 모니터의 전면에 편광필터를 사용할 필요가 없고, 그림 14과 같은 구조에서 좌, 우 모니터의 출력 영상의 광학적 합성을 위한 하프미러만 배치된 아주 간단한 구조로 설계하였다.
성능/효과
11%의 매우 낮은 에러 값을 각각 유지하였으며, 전체 95% 이상의 높은 스테레오 정합율을 가짐이 분석되었다. 따라 서, 본 논문에서 제안한 작업자의 모니터링을 위한 능동형 물체 추적 시스템은 복잡한 배경 및 주위환경 변화에도 이동 물체를 효과적으로 추출하여 적응적으로 감시 및 추적이 가능한 산업용 무인 감시추적 시스템의 구현 가능성을 제시하였다.
11과 전체 스테레오 정합율 95% 이상을 유지하며 얼굴 피부색이 서로 다른 사람에 게도 적응적으로 주시각이 제어됨을 볼 수 있다. 또한, 입력되는 스테레오 영상 시퀀스에 대해 프레임당 0.06 초의 처리시간을 가지고 평균 2 프레임 이내에 추적이 이루어짐으로 제안된 감시추적 알고리즘의 실시간적 처리가 가능함이 분석되었다.
본 논문은 작업자가 위험한 작업 공간 내에 있지 않고 원격지에서 산업용 로봇이 작업을 수행할 경우에 적업자에게 보다 현장감 있는 환경의 제공을 통해 산업 현장의 설비 진단감시를 위한 스테레오 비전 기반의 능동형 물체 추적 시스템을 제안하였다. 먼저, 스테레오 카메라에서 입력된 영상으로부터 YCbCr 칼라 임계치 기법을 사용하여 표적 얼굴영역을 검출한 다음, 지능형 시각 시스템에 기반한 팬/틸트 탑재형 스테레오 카메라의 능동적인 제어를 통해 표적의 다양한 변화에 관계없이 표적의 거리정보 및 3차원적 이동 정보를 실시간적으로 검출함으로써 표적의 적응적 추적감시를 수행하였으며, 스테레오 영상을 사용한 실험 결과, 이동표적에 대한 실시간적 위치정보 검출 및 적응적 추적을 확인하였으며, 표적의 3차원적 위치 좌표값의 오차 역시 평균 0.5% 이하로 유지됨이 분석됨으로써 이를 통한 새로운 실시간 스테레오 표적 감시추적 시스템의 구현 가능성을 제시하였다.
따라서, 본 논문에서는 작업자가 위험한 작업 공간 내에 있지 않고 원격지에서 산업용 로봇이 작업을 수행할 경우에 작업자에게 보다 현장감 있는 환경의 제공을 통해 산업 현장의 설비 진단감시를 위한 스테레오 카메라 기반의 산업용 로봇 원격제어 및 입체 영상 관측 시스템을 제안하고자 한다. 실험결과, 교차식 스테레오 카메라 기반의 이동물체 감시추적 시스템의 실험결과 팬과 틸트를 통한 물체추적 후 표적 중심좌표의 수평, 수직 평균오차는 1.82%, 1.11%의 매우 낮은 에러 값을 각각 유지하였으며, 전체 95% 이상의 높은 스테레오 정합율을 가짐이 분석되었다. 따라 서, 본 논문에서 제안한 작업자의 모니터링을 위한 능동형 물체 추적 시스템은 복잡한 배경 및 주위환경 변화에도 이동 물체를 효과적으로 추출하여 적응적으로 감시 및 추적이 가능한 산업용 무인 감시추적 시스템의 구현 가능성을 제시하였다.
질의응답
핵심어
질문
논문에서 추출한 답변
입체 영상에서 좌우 영상 신호가의 시간 지연 문제를 어떻게 해결했는가?
또한, 입체 영상에서 좌우 영상 신호가의 시간 지연 (time delay)는 입체 영상 구현에 있어 첫 번째 선결해야 될 중요한 요소이다. 따라서 소프트웨어적인 처리나 별도의 하드웨어를 구현하여 적용할 경우 미세한 시간지연 이나 시스템 안정성 확보에 있어 치명적인 문제가 될 수 있으므로 시간 지연과 독립적인 광학 방식을 통해 영상 신호의 미러 기능을 수행하였다. 설계도를 바탕으로 입 체 영상 모니터의 케이스를 알루미늄 소재로 제작하고, 2대의 40인치 Full HD LCD 판넬을 각각 상판부와 후면부에 배치하였고, 중앙에 하프미러의 각도는 굴절값을 보상하여 정확하게 45〫가 되도록 설계하였다.
스테레오 물체 추적기술은 무엇인가?
일반적으로 센싱 및 지능제어 기술에는 로봇에게 사람과 같은 또는 사람의 능력 이상의 감각기능을 부여하여 스스로 상황을 판단하고, 결정할 수 있는 능력인 지능을 제공하는 지능화 기술이 포함되어 있다[1～2]. 또한, 물체추적 및 인식 기술 연구 분야에서 스테레오 물체 추적기술은 입체영상기술과 물체추적 및 인식 기술이 총 망라된 기술로 이 기술은 관측자가 입체영상 모니터를 통해 원 하는 이동물체를 연속적으로 감시할 수 있게 하는 동시에 물체의 위치정보 및 물체의 3차원 형상을 획득하고, 카메라의 주시각을 제어함으로써 입체영상 관측자의 관측피로를 최소로 줄여 주는 핵심기술이다[3]. 특히 일반적인 2D 물체 추적기반의 로봇 시스템과는 달리 3D 스테레오 물체 추적 시스템은 움직이는 물체를 계속 추적함과 동시에 사람의 눈동자의 움직임과 같이 물체의 거리에 따라 스테레오 카메라의 주시각도를 제어하는 기능을 가지고 있어야 하며, 작업 대상체의 정확한 3차원적 위치좌표 검출이 필수적이다.
스테레오 카메라 영상에 모폴로지 오프닝 연산을 수행한 이유는 무엇인가?
또한, 검출된 움직임 성분을 토대로 기타 불규칙적인 조명 변화로 인해 생길 수 있는 잡음영역을 제거하기 위해 모폴로지 오프닝(morphological opening) 연산을 수행하였으며, 최종적으로, 4-연결도를 사용한 순차 연결성 분 알고리즘 (Sequential Connected Components Algorithm Using 4-connectivity)과 사이즈 필터링(size filtering)을 통해 각 영역별 픽셀의 평균값을 구하여 최대의 평균값을 갖는 영역부터 차례로 얼굴 후보영역으로 검출할 대상 영역을 제한함으로써 최종적인 표적의 얼굴 영역만을 검출하게 되고, 그 외의 영역은 배경으로 간주하여 모두 제거하게 된다[7]. 따라서 정지된 배경 영역을 포함한 검출된 모든 피부색 영역을 토대로 영상 차분필 터와 논리곱 연산(AND operation)을 이용하여 공통된 움직임을 추출함으로써 표적영상을 검출하게 되며, 이에 따라 추출된 얼굴 영역의 중심좌표를 스테레오 카메라가 탑재된 팬/틸트 시스템의 응용 가능한 각도 값으로 변환하여 추적을 수행하게 된다.
참고문헌 (15)
P. Danielson, cVideo surveillance for the rest of us: proliferation, privacy, and ethics education", 2002 International Symposium on Technology and Society, vol. 1, no. 1, pp. 162-167, 2002.
James Black and Tim Ellis, "Multi-camera image measurement and correspondence", Measurement, vol. 32, pp. 61-71, 2002.
Qielu Pan, Jianbo Su, Yugeng Xi, "Uncalibrated 3D robotic visual tracking based on artificial neural network", Acta Automatica Sinica, vol. 27, no. 6, pp. 194-199, 2001.
Younghan Jung, Eunsoo Park, Hakil Kim, and Ukyoul Huh, "Fast Stereo matching based on Plane-converging Belief Propagation using GPU", Journal of the Institute of Electronics Engineers of Korea, vol. 48, no. 2, pp. 88-95, 2011.
Yun-Suk Kang and Yo-Sung Ho, "Depth Generation Method Using Multiple Color and Depth Cameras", Journal of the Institute of Electronics Engineers of Korea, vol. 48, no. 3, pp. 13-18, 2011.
D. Chai and A. Bouzerdoum, "A Bayesian approach to skin color classification in YCbCr color space", IEEE Region Ten Conference(TENCON' 2000), vol.2, no.1, pp.421-424, 2000.
Darrell, G. Gordon, M. Harville, and J. Woodfill, "Integrated person tracking using stereo, color, and pattern detection", IEEE Conference on Computer Vision and Pattern Recognition '98, vol. 1, pp. 601-608, 1998.
J. S. Lee and J. H. Ko, E. S. Kim, "Real-time stereo object tracking system by using block matching algorithm and optical binary phase extraction joint transform correlator", Optics Communication, vol.191, pp.191-202, 2001.
J. H. Ko and E. S. Kim, "Stereoscopic Video Surveillance System for Detection of Target's 3D Location Coordinates and Moving Trajectories", Optics Communications, vol. 191, pp.100-10, 2006.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.