거리 측정 센서의 위치와 각도에 따른 깊이 영상 왜곡 보정 방법 및 하드웨어 구현 Depth Image Distortion Correction Method according to the Position and Angle of Depth Sensor and Its Hardware Implementation원문보기
디지털 영상 처리 분야에서 사람의 동작 인식은 다양하게 연구되고 있으며, 최근에는 깊이 영상을 이용한 방법이 매우 유용하게 사용되고 있다. 하지만 깊이 측정 센서의 위치와 각도에 따라 깊이 영상에서의 객체 크기나 형태가 왜곡되므로 사물 및 사람의 인식 과정에서 인식률이 감소하는 경우가 발생한다. 따라서 뛰어난 성능을 보장하기 위해서는 측정 센서에 의한 왜곡 보정은 반드시 고려되어야 할 사항이다. 본 논문에서는 동작 인식 시스템의 인식률을 향상시키기 위한 전처리알고리즘을 제안한다. 깊이 측정 센서로부터 입력되는 깊이 정보를 실제 공간 (Real World)으로 변환하여 왜곡 보정을 수행한 후 투영 공간 (Projective World)으로 변환한다. 최종적으로 제안된 시스템을 OpenCV와 Window 프로그램을 사용하여 구현하였으며 Kinect를 사용하여 실시간으로 성능을 테스트하였다. 또한, Verilog-HDL을 사용하여 하드웨어 시스템을 설계하고, Xilinx Zynq-7000FPGA Board에 탑재하여 검증하였다.
디지털 영상 처리 분야에서 사람의 동작 인식은 다양하게 연구되고 있으며, 최근에는 깊이 영상을 이용한 방법이 매우 유용하게 사용되고 있다. 하지만 깊이 측정 센서의 위치와 각도에 따라 깊이 영상에서의 객체 크기나 형태가 왜곡되므로 사물 및 사람의 인식 과정에서 인식률이 감소하는 경우가 발생한다. 따라서 뛰어난 성능을 보장하기 위해서는 측정 센서에 의한 왜곡 보정은 반드시 고려되어야 할 사항이다. 본 논문에서는 동작 인식 시스템의 인식률을 향상시키기 위한 전처리 알고리즘을 제안한다. 깊이 측정 센서로부터 입력되는 깊이 정보를 실제 공간 (Real World)으로 변환하여 왜곡 보정을 수행한 후 투영 공간 (Projective World)으로 변환한다. 최종적으로 제안된 시스템을 OpenCV와 Window 프로그램을 사용하여 구현하였으며 Kinect를 사용하여 실시간으로 성능을 테스트하였다. 또한, Verilog-HDL을 사용하여 하드웨어 시스템을 설계하고, Xilinx Zynq-7000 FPGA Board에 탑재하여 검증하였다.
The motion recognition system has been broadly studied in digital image and video processing fields. Recently, method using th depth image is used very useful. However, recognition accuracy of depth image based method will be loss caused by size and shape of object distorted for angle of the depth s...
The motion recognition system has been broadly studied in digital image and video processing fields. Recently, method using th depth image is used very useful. However, recognition accuracy of depth image based method will be loss caused by size and shape of object distorted for angle of the depth sensor. Therefore, distortion correction of depth sensor is positively necessary for distinguished performance of the recognition system. In this paper, we propose a pre-processing algorithm to improve the motion recognition system. Depth data from depth sensor converted to real world, performed the corrected angle, and then inverse converted to projective world. The proposed system make progress using the OpenCV and the window program, and we test a system using the Kinect in real time. In addition, designed using Verilog-HDL and verified through the Zynq-7000 FPGA Board of Xilinx.
The motion recognition system has been broadly studied in digital image and video processing fields. Recently, method using th depth image is used very useful. However, recognition accuracy of depth image based method will be loss caused by size and shape of object distorted for angle of the depth sensor. Therefore, distortion correction of depth sensor is positively necessary for distinguished performance of the recognition system. In this paper, we propose a pre-processing algorithm to improve the motion recognition system. Depth data from depth sensor converted to real world, performed the corrected angle, and then inverse converted to projective world. The proposed system make progress using the OpenCV and the window program, and we test a system using the Kinect in real time. In addition, designed using Verilog-HDL and verified through the Zynq-7000 FPGA Board of Xilinx.
* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.
문제 정의
따라서 본 논문에서는 거리 측정 센서를 이용한 동작 인식 시스템의 전처리 과정으로써 실시간 처리와 하드 웨어 구현이 가능한 깊이 영상 왜곡 보정 시스템을 제안한다. 거리 측정 센서로부터 입력되는 깊이 영상은 투영 공간 (Projective world) 으로 표현되어 2차원 배열에 각 픽셀에 대한 깊이 값으로 구성되는 데이터이다.
본 논문에서는 거리 측정 센서를 이용한 동작 인식 시스템의 전처리 과정으로써 실시간 처리와 하드웨어 구현이 가능한 깊이 영상 왜곡 보정 시스템을 제안 하였다. 깊이 영상을 이용한 동작 인식 시스템에서 투영방식으로 데이터를 입력 받는 거리 측정 센서의 위치와 각도에 따라 촬영된 영상내의 객체의 크기와 깊이 값이 달라짐에 따라 인식률이 낮아지는 문제점이 있다.
제안 방법
coordinate_conversion 블록에서는 깊이 정보가 입력으로 인가되면 깊이 영상 크기 정보인 i_WIDTH와 i_HEIGHT, FoV의 정보인 i_H_FOV와 i_V_FOV, 그리고 회전축의 위치를 결정하는 i_AXIS_OF_ROT의 값들을 이용하여 3차원 점군 데이터의 x축, y축, z축 정보들을 계산한다. rotation 블록은 입력되는 i_DEGREE에 따라 3차원 점군 데이터 정보들에 3D Rotation을 적용하도록 설계하였다. inverse_coordinate_conversion 블록은 보정된 3차원 점군 데이터 정보들을 2.
거리 측정 센서로부터 입력되는 깊이 영상은 투영 공간 (Projective world) 으로 표현되어 2차원 배열에 각 픽셀에 대한 깊이 값으로 구성되는 데이터이다. 따라서 영상 왜곡 보정 기능을 효과적으로 적용하기 위하여 3차원 점군 데이터 로 구성되는 실제 공간 (Read world)으로 변환하여, 간단한 행렬 연산을 하는 기하학적 변환 수식인 어파인 변환을 이용한 왜곡 보정 기능을 적용한다. 왜곡 보정이 적용된 3차원 점군 데이터정보는 깊이 영상으로의 출력을 위하여 Projective world로 변환되어 출력된다.
제안한 방법은 Microsoft Visual Studio 2010과 OpenCV를 이용한 윈도우 검증 프로그램을 통하여 성능을 검증하였다. 또한 Verilog-HDL을 이용하여 하드웨어로 구현하고 Field Programmable Gate Array (FPGA)와 Central Processing Unit (CPU)을 연동하여 검증 가능한 Zynq-7000 FPGA Board를 이용하여 실시간 처리를 확인 하였다.
본 논문에서 제안한 시스템은 Microsoft Kinect 거리 측정 센서로부터 640×480 크기의 깊이 영상을 입력으로 하여 Microsoft Visual Studio 2010과 OpenCV를 이용한 검증 프로그램을 통하여 성능을 검증하였다.
깊이 영상을 이용한 동작 인식 시스템에서 투영방식으로 데이터를 입력 받는 거리 측정 센서의 위치와 각도에 따라 촬영된 영상내의 객체의 크기와 깊이 값이 달라짐에 따라 인식률이 낮아지는 문제점이 있다. 본 논문에서는 입력되는 깊이 영상을 3차원 공간으로 표현하여 어파인 변환을 이용한 깊이 영상 왜곡 보정 기능을 적용한다. 제안된 방법을 이용하여 검증한 결과 객체의 크기와 깊이 값을 효과적으로 보정 가능한 것을 확인 하였다.
제안한 거리 측정 센서의 위치와 각도에 따른 영상 왜곡 보정 방법은 입력되는 깊이 영상의 효과적인 왜곡 보정을 위하여 3차원 점군 데이터로 구성되는 실제 공간으로 변환하는 좌표 변환과 거리 측정 센서의 위치나 각도에 따라 왜곡을 보정하기 위한 3차원 회전, 투영 공간으로의 변환을 위한 역 좌표 변환으로 구성 된다[4-6].
수식 (3)의 axis는 3차원 회전을 적용할 때 회전축의 위치를 결정하는 0에서 1사이의 값을 가지는 파라미터이다. 회전축의 위치에 따라 3차원 회전 적용 결과가 달라지기 때문에 센서의 상하 각도 보정을 위하여 Height 축에서 회전축의 위치를 선택할 수 있도록 하였다.
거리 측정 센서로부터 입력되는 깊이 정보는 투영 공간에 대한 표현이며, 2차원 픽셀 배열에 깊이 정보들로 구성된다. 효과적인 왜곡 보정을 위하여 좌표 변환 단계에서 2.5차원으로 표현된 입력 영상의 깊이 정보를 실제 공간에 대한 표현인 3차원 점군 데이터로 변환한다. 거리 측정 센서의 측정가능 거리를 벗어난 경우에 3차원 점군 데이터로 재구성하면서 원점으로 모이는 현상을 제거하기 위하여 수식 (1)과 같이 깊이 정보를 제한한다.
대상 데이터
표 3은 Xilinx Design Tool을 합성한 결과이다. Slice Registers는 7,259개를 사용하여 전체 면적의 1%를 차지하였고, Slice LUTs는 6,314개를 사용하여 전체의 2%가 사용되었다. 전체 시스템의 Minimum Period가 6.
5D로 변환하여 출력 깊이 정보를 산출한다. 수식에서 사용되는 Parallel Divider와 Tangent Table, Sine Cosine Table, Inverse Tangent Table을 블록 내부에서 구성하여 연산에 사용하였다.
데이터처리
Verilog-HDL로 구현된 제안한 시스템은 그림 7에 도시된 FPGA와 CPU를 연동하여 확인 가능한 Zynq-7000 FPGA Board를 이용하여 실시간 처리를 검증 하였다. 본 논문에서는 Zynq-7000 All Programmable SoC Series 중 xc7z045ffg900-1 모델을 사용하여 하드웨어 IP를 검증 하였다.
왜곡 보정이 적용된 3차원 점군 데이터정보는 깊이 영상으로의 출력을 위하여 Projective world로 변환되어 출력된다. 제안한 방법은 Microsoft Visual Studio 2010과 OpenCV를 이용한 윈도우 검증 프로그램을 통하여 성능을 검증하였다. 또한 Verilog-HDL을 이용하여 하드웨어로 구현하고 Field Programmable Gate Array (FPGA)와 Central Processing Unit (CPU)을 연동하여 검증 가능한 Zynq-7000 FPGA Board를 이용하여 실시간 처리를 확인 하였다.
이론/모형
그림 4의 (a)는 측정 센서의 위치와 각도에 의하여 왜곡된 입력 영상이고 그림 4의 (b)는 (a)의 깊이 영상 분할 알고리즘 적용 결과이다. 깊이 영상의 영상 분할을 위한 방법은 grassfire기법을 이용하여 영상 내의 깊이 값에 따라 분할하는 방법을 주로 사용한다 [2]. 이는 센서의 위치와 각도에 의하여 촬영하고자 하는 객체의 가장 윗부분과 아래 부분의 깊이 값의 차이가 커지는 경우 다른 객체로 분할하게 된다.
Verilog-HDL로 구현된 제안한 시스템은 그림 7에 도시된 FPGA와 CPU를 연동하여 확인 가능한 Zynq-7000 FPGA Board를 이용하여 실시간 처리를 검증 하였다. 본 논문에서는 Zynq-7000 All Programmable SoC Series 중 xc7z045ffg900-1 모델을 사용하여 하드웨어 IP를 검증 하였다.
성능/효과
#2~#4에서도 제안한 방법을 적용 하였을 때 측정 센서가 위쪽에 위치하더라도 정면에서 측정한 크기와 깊이 값으로 보정 가능 한 것을 확인 할 수 있다. 따라서 표1과 표2에 나타난 것과 같이 측정 센서의 위치와 각도에 따라 왜곡이 발생하는 깊이 영상에서 제안한 방법을 적용 하였을 때 깊이 영상을 효과적으로 보정 가능하다.
제안된 방법을 이용하여 검증한 결과 객체의 크기와 깊이 값을 효과적으로 보정 가능한 것을 확인 하였다. 또한 Verilog-HDL을 사용하여 하드웨어로 설계를 하였고, Zynq-7000 FPGA Board로 합성 시 최대 동작주파수가 154.775MHz로 실시간 처리가 가능한 것을 확인 하였다.
거리 측정 센서를 이용하여 사람의 동작을 효과적으로 인식 하기 위해서는 배경과 전경을 분리하여 움직이는 객체만을 추출하는 기능이 필수적이다[2]. 또한, 움직이는 객체의 각 신체 부위가 어떠한 행동을 하는지 판단하여야 사람의 동작으로 디지털 기기를 효과적으로 제어가 가능하다. 거리 측정 센서를 이용하여 배경과 전경을 분리하기 위해서는 입력되는 깊이 영상을 깊이 값에 따라 분할하여 깊이 영상 내의 객체를 구분하는 방법이 많이 사용되고 있다.
그림 4의 (c)는 제안한 방법을 적용한 깊이 영상이고 그림 4의 (d)는 (c)를 깊이 영상 분할 알고리즘에 적용한 결과 영상이다. 왜곡 보정이 효과적으로 적용 되어 하나의 객체가 동일한 객체로 분할 된 것을 확인 할 수 있다. 그림 5는 영상 분할 알고리즘에 적용 하였을 때 인식률을 나타낸 것이다.
Slice Registers는 7,259개를 사용하여 전체 면적의 1%를 차지하였고, Slice LUTs는 6,314개를 사용하여 전체의 2%가 사용되었다. 전체 시스템의 Minimum Period가 6.461ns로 최대 동작주파수가 154.775MHz까지 확보되어 실시간 처리가 가능 한 것을 확인 하였다. 따라서 매우 작은 하드웨어 자원을 사용하면서 빠른 속도의 시스템 구현이 가능한 것을 알 수 있다.
본 논문에서는 입력되는 깊이 영상을 3차원 공간으로 표현하여 어파인 변환을 이용한 깊이 영상 왜곡 보정 기능을 적용한다. 제안된 방법을 이용하여 검증한 결과 객체의 크기와 깊이 값을 효과적으로 보정 가능한 것을 확인 하였다. 또한 Verilog-HDL을 사용하여 하드웨어로 설계를 하였고, Zynq-7000 FPGA Board로 합성 시 최대 동작주파수가 154.
그림 5는 영상 분할 알고리즘에 적용 하였을 때 인식률을 나타낸 것이다. 제안된 시스템을 적용 하였을 경우 영상 분할 성공률이 약 11 % 증가하는 것을 확인 할 수 있다. 그림 4를 통하여 제안한 방법을 이용하여 동작 인식 시스템의 전처리 과정으로 적용 될 경우 인식률 향상이 가능한 것을 알 수 있다.
5m이다. 측정 센서의 위치가 객체보다 위쪽에 위치하기 때문에 제안한 방법의 적용 결과 영상은 객체의 위치가 적용 전 보다 위쪽에 위치한 것을 확인 가능 하다.
질의응답
핵심어
질문
논문에서 추출한 답변
직접선형변환 알고리즘을 이용하여 영상의 왜곡 보정을 수행 할 경우 나타나는 문제점은 무엇인가?
기존의 영상 왜곡 보정을 위한 방법으로는 임의의 점들을 이용하여 영상의 기하학적 변환을 하는 직접선형 변환 (Direct Linear Transform, DLT) 방법과 퍼지 함수를 통한 왜곡 보정과 공간 좌표 상에서 기하학적 변환을 수행하는 어파인 변환 (Affine Transform) 등이 있다[2, 3]. 직접선형변환 알고리즘을 이용하여 영상의 왜곡 보정을 수행 할 경우 특이 값 분해 (Singular Value Decomposition, SVD) 연산 등의 복잡한 행렬 연산으로 인하여 연산 량이 증가한다. 또한 퍼지함수와 같은 뉴럴 네트워크 방법의 경우 학습 알고리즘이 포함되기 때문에 학습 시간과 많은 연산이 필요하다. 이에 따라 기존의 직접선형변환이나 퍼지함수 등을 이용한 방법은 실시간 하드웨어 구현이 불가능 하고 연산 소모 시간이 증가하게 된다.
사람의 동작 인식 방법 중 깊이 영상을 이용한 방법의 문제점은?
디지털 영상 처리 분야에서 사람의 동작 인식은 다양하게 연구되고 있으며, 최근에는 깊이 영상을 이용한 방법이 매우 유용하게 사용되고 있다. 하지만 깊이 측정 센서의 위치와 각도에 따라 깊이 영상에서의 객체 크기나 형태가 왜곡되므로 사물 및 사람의 인식 과정에서 인식률이 감소하는 경우가 발생한다. 따라서 뛰어난 성능을 보장하기 위해서는 측정 센서에 의한 왜곡 보정은 반드시 고려되어야 할 사항이다.
기존의 영상 왜곡 보정을 위한 방법에는 무엇이 있는가?
기존의 영상 왜곡 보정을 위한 방법으로는 임의의 점들을 이용하여 영상의 기하학적 변환을 하는 직접선형 변환 (Direct Linear Transform, DLT) 방법과 퍼지 함수를 통한 왜곡 보정과 공간 좌표 상에서 기하학적 변환을 수행하는 어파인 변환 (Affine Transform) 등이 있다[2, 3]. 직접선형변환 알고리즘을 이용하여 영상의 왜곡 보정을 수행 할 경우 특이 값 분해 (Singular Value Decomposition, SVD) 연산 등의 복잡한 행렬 연산으로 인하여 연산 량이 증가한다.
참고문헌 (6)
I. Benbasat, "HCI Research: Future Challenges and Directions," AIS Transactions on Human-Computer Interaction, vol. 2, no. 2, pp. 16-21, Jun. 2010.
Hosang Cho, Kyounghoon Jang, Jeong-Ho Han, and Bongsoon Kang, "A Background Removal Scheme Based on a Running Average for Motion recognition Using Depth Information," ITC-CSCC 2013, pp. 474-476, Jun. 30-Jul. 3, 2013.
Jihye Jeon, Daehee Kim, Yoongi Yang, Joonki Paik and Changsu Lee, "Image Distortion Compensation for Improved Gait Recognition," Journal of the Institute of Electronics Engineers of Korea, vol. 46, no. 4, pp.97-107, July. 2009.
J. Biswas and M. Veloso, "Depth Camera Based Indoor Mobile Robot Localization and Navigation," Robotics and Automation (ICRA), IEEE International Conference on, pp. 1697-1702, May. 2012.
R. Zhou, J. Wu, Q. He, C. Hu, and Z. Yu, "Approach of Human Face Recognition Based on SIFT Feature Extraction and 3D Rotation Model," Information and Automation (ICIA), 2011 IEEE International Conference on, pp. 476-479, Jun. 2011.
M. A. Garcia and A. Solanas, "3D Simultaneous Localization and Modeling from Stereo Vision," Robotics and Automation, 2004. Proceedings. ICRA '04. 2004 IEEE International Conference on, vol. 1, pp. 847-853, May. 2004.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.