[논문]깊이 얼굴 영상 부호화에서의 양자화 인자 결정 방법

박동진; 권순각

doi:10.9723/jksiis.2020.25.1.013

깊이 얼굴 영상 부호화에서의 양자화 인자 결정 방법
Quantization Parameter Determination Method for Face Depth Image Encoding 원문보기

한국산업정보학회논문지 = Journal of the Korea Industrial Information Systems Research, v.25 no.1, 2020년, pp.13 - 23

박동진 (동의대학교 컴퓨터소프트웨어공학과) , 권순각 (동의대학교 컴퓨터소프트웨어공학과)

초록
AI-Helper

본 논문에서는 얼굴 인식 정확도에 미치는 영향을 최소화하면서 효율적으로 깊이 얼굴 영상을 압축하기 위한 양자화 변수 결정 방법을 제안한다. H.264/AVC의 양자화를 적용하여 깊이 얼굴 영상을 압축 할 때 얼굴 특징을 최대한 유지할 수 있도록 타원체 모델링의 예측 정확도와 각각의 양자화 단위 블록의 얼굴 인식에서의 중요도를 이용하여 양자화 인자를 차등적으로 부여한다. 모의실험 결과 제안된 방법을 통해 같은 압축율에서 얼굴 인식 성공률이 최대 6% 개선되었다.

Abstract ▼ AI-Helper

In this paper, we propose a quantization parameter determination method for face depth image encoding in order to minimize an impact on a face recognition accuracy. When a face depth image is compressed through quantization in H.264/AVC, differential quantization parameters are assigned according to an accuracy of ellipsoid modeling prediction and an importance degree of a unit block in extracting facial features. The simulation results show that the face recognition success rates are improved by up to 6% at the same compression rates through the proposed compression rate determination method.

주제어

표/그림 (14)

그림 Fig. 1 Prediction through Ellipsoid Modeling
그림 Fig. 2 Predicting Face Depth Image through Ellipsoid Modeling.
표 Table 1 Quantization Matrix M_f
그림 Fig. 3 Quantization through H.264/AVC for 4×4 Block.
그림 Fig. 4 Relationship between QP and PSNR through Compression of Face Depth Image by Ellipsoid Modeling
그림 Fig. 5 Weights for QP Determination
그림 Fig. 6 Face Depth Images for Simulation
그림 Fig. 7 Face Poses for Simulation
그림 Fig. 8 Compression Rate through Ellipsoid Modeling according to QP
그림 Fig. 9 Relationship between MSE and the Number of Generated Bits
그림 Fig. 10 Success Rate of Face Recognition for Depth Image according to QP
표 Table 2 Success Rate of Face Recognition and Compression Rate according to α (β = 2)
표 Table 3 Success Rate of Face Recognition and Compression Rate according to β (α = 10)
그림 Fig. 11 Comparison between Proposed QP Determination Method and Fixed QP Method

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 깊이 얼굴 영상을 부호화할 때 적용할 수 있는 양자화 인자 결정 방법을 제안하였다. 얼굴 검출 과정에서 검출된 깊이 얼굴 영상에 대해 타원체 모델링을 통한 예측을 하고, 원 영상과의 잔차를 H.
본 논문에서는 깊이 얼굴 영상의 압축을 위해 타원체 모델링을 통해 예측된 깊이 얼굴 영상의 잔차를 H.264/AVC에 도입된 정수 변환 방법과 양자화 방법을 통해 양자화를 수행한다. 정수 변환은 공간 영역에 분포된 값들을 주파수 영역으로 변환하는 방법으로, 기존 MPEG에서 쓰이는 DCT와 유사하다.
얼굴 인식의 특성에 맞춰 깊이 얼굴 영상을 압축한다면, 인식률을 유지하면서 압축율을 최대로 유지할 수 있을 것이다. 본 논문에서는 깊이 영상을 H.264/AVC을 통해 압축할 때, 얼굴 인식률을 일정 수준 이상으로 유지할 수 있는 최적의 양자화 인자를 결정하는 방법을 제안한다. 이를 위해 타원체 모델링을 통해 깊이 얼굴 영상을 예측하는 방법을 제안한다.

가설 설정

이때 식 (1)의 c는 해당 타원에서 z 축에서의 반지름을 나타내는 의미인데, 이는 얼굴에서 코의 깊이 값 d_nose와 코와 수평 위치에 있는 얼굴의 좌측 또는 우측의 경계점의 깊이인 d_l또는 d_r 간의 거리로 근사할 수 있다. 본 논문에서는 c를 d_nose와 d_l 또는 d_r 간의 차이 중 그 값이 큰 값으로 설정했다. 이를 통해 찾아야 할 타원의 인자 개수를 줄일 수 있다.

제안 방법

264/AVC에서 정의된 양자화 방법을 적용한다. H.264/AVC에서는 양자화 계단 크기를 직접 적용하는 것이 아니고, 양자화 인자 QP를 이용하여 양자화 계단크기를 계산하도록 하였다. QP는 6단계마다 양자화 계단 크기가 두 배가 되도록 설정된다.
반면 본 논문에서 제안하는 타원체 모델링은 기존 방법에 비해 정확도가 비교적 떨어지지만, 모델을 결정하기 위한 인자가 2개 뿐으로, 신속하게 모델링 인자를 계산할 수 있다. 그 후 타원체 모델링을 통해 계산된 예측 영상과 주어진 영상의 잔차를 H.264/AVC의 양자화 과정 및 엔트 로피 부호화를 통해 깊이 얼굴 영상을 압축한다. 압축 과정에서의 최적의 양자화 인자를 구하기 위해, 타원체 모델링을 통한 예측 정확도가 낮을수록 얼굴을 인식하는 데에 이용되는 특징이 잘 나타난다는 것을 고려하여, 예측 정확도가 높을수록 복원 영상의 정확도를 더 높이도록 양자화 계단 크기를 작게 설정하여 양자화를 수행한다.
또한 α와 β를 달리해서 측정한 얼굴 인식 성공률과 압축율 간의 관계를 QP를 달리해서 측정한 관계와 Fig. 11과 같이 비교하였다.
또한 신원 인식을 위해 촬영된 얼굴 영상을 제안된 방법을 통해 압축하여 고성능의 기기로 신속하게 전송하여 처리함으로써 실시간 시스템의 구현이 용이하다. 본 논문에서 제안된 방법은 H.264/ AVC의 양자화 과정과 부호화 방법을 이용하였지만, 해당 과정은 H.265/HEVC등의 부호화 표준에 적용된 양자화 및 부호화 과정을 이용할 수도 있다.
실험에서 얼굴을 인식하는 알고리즘은 Kwon (2019)의 알고리즘을 적용하였다. 본 논문에서 제안된 방법은 깊이 영상에 대해 LBP를 추출하여 얼굴을 인식하는 방법으로, 기존 방법에 비해 깊이 영상에 대한 얼굴 인식률과 인식 처리 시간이 개선된 방법이다.
본 논문에서 제안한 깊이 얼굴 영상의 압축 방법과 압축율 결정 방법을 통한 얼굴 영상의 압축률과 얼굴 인식 정확도의 관계를 측정하였다. 모의실험에서 데이터 셋은 Hg et al.
본 논문에서는 정규화된 56×56 크기의 영상에 대하여 이를 7×7의 영역으로 분할하여 각 영역마다 해당하는 가중치를 적용한다.
264/AVC의 양자화 과정 및 엔트 로피 부호화를 통해 깊이 얼굴 영상을 압축한다. 압축 과정에서의 최적의 양자화 인자를 구하기 위해, 타원체 모델링을 통한 예측 정확도가 낮을수록 얼굴을 인식하는 데에 이용되는 특징이 잘 나타난다는 것을 고려하여, 예측 정확도가 높을수록 복원 영상의 정확도를 더 높이도록 양자화 계단 크기를 작게 설정하여 양자화를 수행한다. 또한 깊이 얼굴 영상 내 눈, 코, 입 등의 얼굴 인식에 중요하다고 여겨지는 부위가 차지하는 영역 과 그렇지 않은 영역에 가중치를 차등적으로 부여하여 양자화 인자를 결정한다.
본 논문에서는 깊이 얼굴 영상을 부호화할 때 적용할 수 있는 양자화 인자 결정 방법을 제안하였다. 얼굴 검출 과정에서 검출된 깊이 얼굴 영상에 대해 타원체 모델링을 통한 예측을 하고, 원 영상과의 잔차를 H.264/AVC의 양자화 방법 및 부호화 방법을 적용하여 깊이 얼굴 영상을 압축하였다. 이 때 양자화 과정에서 양자화 인자인 QP는 타원체 모델링의 예측 정확도와 화면 내 얼굴 인식의 중요도에 따라 차등적으로 결정했다.
264/AVC을 통해 압축할 때, 얼굴 인식률을 일정 수준 이상으로 유지할 수 있는 최적의 양자화 인자를 결정하는 방법을 제안한다. 이를 위해 타원체 모델링을 통해 깊이 얼굴 영상을 예측하는 방법을 제안한다. 기존 얼굴의 3차원 모델은 MPEG-4 표준에서 제안하는 FAMC (Mamou et al.

대상 데이터

본 논문에서 제안한 깊이 얼굴 영상의 압축 방법과 압축율 결정 방법을 통한 얼굴 영상의 압축률과 얼굴 인식 정확도의 관계를 측정하였다. 모의실험에서 데이터 셋은 Hg et al. (2012)가 사람의 얼굴을 Kinect로 촬영한 깊이 영상들을 사용하였다. 해당 데이터 셋은 30명에 대한 얼굴이 포함된 깊이 영상이 있으며, 각 사람마다 Fig.
실험 영상은 Kinect를 통해 촬영되었으며, 영상의 해상도는 640×480이다.
(2012)가 사람의 얼굴을 Kinect로 촬영한 깊이 영상들을 사용하였다. 해당 데이터 셋은 30명에 대한 얼굴이 포함된 깊이 영상이 있으며, 각 사람마다 Fig. 7와 같이 얼굴을 바라보는 8가지 방향과 정면에 대한 총 9가지 얼굴 자세에 대해 각각 3번 촬영한 영상이 포함되어 있다. 실험 영상은 Kinect를 통해 촬영되었으며, 영상의 해상도는 640×480이다.

이론/모형

본 논문에서는 Kwon (2019)가 제안한 얼굴 인식 방법에서 얼굴 인식을 위해 부여한 Fig. 5의 7×7의 가중치를 적용한다.
실험 영상은 Kinect를 통해 촬영되었으며, 영상의 해상도는 640×480이다. 실험에서 얼굴을 인식하는 알고리즘은 Kwon (2019)의 알고리즘을 적용하였다. 본 논문에서 제안된 방법은 깊이 영상에 대해 LBP를 추출하여 얼굴을 인식하는 방법으로, 기존 방법에 비해 깊이 영상에 대한 얼굴 인식률과 인식 처리 시간이 개선된 방법이다.
이를 위해 Kwon (2019)가 제안한 얼굴 인식 방법을 적용하여 깊이 영상에서 얼굴을 검출한 후 크기 정규화를 거친 56×56 크기의 얼굴 영상을 생성한 후, 얼굴 영역에서 코 지점의 깊이 값으로 전체 화면의 깊이 화소 값을 뺀다.

성능/효과

α가 13, β가 3일 때 얼굴 인식 성공률이 기존 방법보다 동 압축율 기준 약 3% 개선되어 88%의 얼굴 인식 성공률을 보였다.
이 실험에서 얼굴 인식 성공률은 깊이 얼굴 영상이 입력했을 때, 해당 얼굴을 정확한 신원으로 인식을 성공한 비율로 정의한다. QP가 15일 때까지는 얼굴 인식 성공률이 약 90%로 일정하게 유지되었고, QP가 25일 때까지는 얼굴 인식 성공률이 완만하게 감소하였다.
본 논문에서 제안된 양자화 인자 결정 방법을 통해 깊이 얼굴 영상을 손실이 더 적게 압축함으로써 얼굴 인식 정확도를 개선할 수 있다. 또한 신원 인식을 위해 촬영된 얼굴 영상을 제안된 방법을 통해 압축하여 고성능의 기기로 신속하게 전송하여 처리함으로써 실시간 시스템의 구현이 용이하다. 본 논문에서 제안된 방법은 H.
또한 타원체 모델링의 예측 정확도에 따른 양자화 인자 결정에 쓰이는 인자로 α를 13, β를 3으로 했을 때 얼굴 인식 성공률이 약 3% 개선되었다.
실험 결과 타원체 모델링을 통한 깊이 얼굴 영상의 예측은 기존 구면 모델링을 통한 예측보다 예측 정확도가 약 35% 개선되었다. 또한 타원체 모델링의 예측 정확도와 화면 내 얼굴 인식 중요도에 따른 차등 양자화를 적용했을 때 깊이 얼굴 영상의 압축률은 얼굴 인식 성공률 85%를 기준으로 할 때 약 88%로 측정되어 양자화 인자를 고정했을 때보다 더욱 효율적인 압축이 수행되었다. 또한 타원체 모델링의 예측 정확도에 따른 양자화 인자 결정에 쓰이는 인자로 α를 13, β를 3으로 했을 때 얼굴 인식 성공률이 약 3% 개선되었다.
반면 본 논문에서 제안하는 타원체 모델링은 기존 방법에 비해 정확도가 비교적 떨어지지만, 모델을 결정하기 위한 인자가 2개 뿐으로, 신속하게 모델링 인자를 계산할 수 있다. 그 후 타원체 모델링을 통해 계산된 예측 영상과 주어진 영상의 잔차를 H.
본 논문에서 제안된 양자화 인자 결정 방법을 통해 깊이 얼굴 영상을 손실이 더 적게 압축함으로써 얼굴 인식 정확도를 개선할 수 있다. 또한 신원 인식을 위해 촬영된 얼굴 영상을 제안된 방법을 통해 압축하여 고성능의 기기로 신속하게 전송하여 처리함으로써 실시간 시스템의 구현이 용이하다.
실험 결과 타원체 모델링을 통한 깊이 얼굴 영상의 예측은 기존 구면 모델링을 통한 예측보다 예측 정확도가 약 35% 개선되었다. 또한 타원체 모델링의 예측 정확도와 화면 내 얼굴 인식 중요도에 따른 차등 양자화를 적용했을 때 깊이 얼굴 영상의 압축률은 얼굴 인식 성공률 85%를 기준으로 할 때 약 88%로 측정되어 양자화 인자를 고정했을 때보다 더욱 효율적인 압축이 수행되었다.
이러한 문제점을 해결하기 위해 Kwon (2019)가 화소 값이 거리로 이루어진 깊이 영상을 이용하여 얼굴을 인식하는 방법을 제안하였다. 이 방법은 깊이 영상의 지역이진패턴을 계산하여 얼굴인식을 하는 방법으로, 기존 색상 영상 기반 방법에 비해 어두운 환경에서 얼굴 인식 정확도가 개선되었다.
11과 같이 비교하였다. 제안하는 QP 결정 방법이 기존 양자화 방법보다 더 효율적임을 보인다.

후속연구

, 2018)에 대해 좀 더 개선된 방법을 적용하더라도, 제안된 깊이 얼굴 영상 압축 방법을 적용하여 실시간 시스템을 유지할 수 있다. 본 논문에서 제안된 방법을 적용한 깊이 영상을 이용한 신원 인식 시스템을 통해 정확하고 거짓 인증 시도에 안전한 신원 인식을 함으로써 신원 인식 시스템이나 출입 관리 시스템 등에 적용할 수 있을 것으로 기대된다.
향후 얼굴 검출 및 인식 방법 (Lee et al., 2018)에 대해 좀 더 개선된 방법을 적용하더라도, 제안된 깊이 얼굴 영상 압축 방법을 적용하여 실시간 시스템을 유지할 수 있다. 본 논문에서 제안된 방법을 적용한 깊이 영상을 이용한 신원 인식 시스템을 통해 정확하고 거짓 인증 시도에 안전한 신원 인식을 함으로써 신원 인식 시스템이나 출입 관리 시스템 등에 적용할 수 있을 것으로 기대된다.

질의응답

핵심어	질문	논문에서 추출한 답변
	얼굴 인식은 무엇인가?	얼굴 인식은 생체 인식 기술 분야 중의 하나로, 촬영된 얼굴에서 신원을 확인하는 인식 기술이다. 얼굴 인식은 비접촉식으로 사용자가 의식하지 않고도 자연스럽게 진행된다는 장점이 있다.
	구조를 모델링하기 위한 계산 복잡도가 크고, 프레임 간의 중복성을 제거하지 못한다는 단점이 있는 방법은?	, 2013)으로 분류된다. 3차원 구조를 통해 깊이 영상을 압축하기 위해 깊이 영상은 3차원 공간상에서의 점군(Point cloud)으로 변환된 후 점군으로 부터 3차원 구조를 모델링하여 그 구조를 압축하는 방법이다. 하지만 이 방법은 구조를 모델링하기 위한 계산 복잡도가 크고, 프레임 간의 중복성을 제거하지 못한다는 단점이 있다.
	깊이 영상을 압축하는 방법으로는 무엇이 있는가?	깊이 영상을 압축하는 방법으로는 3D 메쉬 (Wu et al., 2019), 옥트리 (Schnabel and Klein, 2006), 쿼드트리(Morvan et al., 2007) 등으로 변환하여 그 구조를 압축하는 방법과 색상 영상 부호화 방법을 응용한 방법 (Gumhold et al., 2005; Milani and Calvagno, 2010; Shen et al., 2010; Maitre and Do, 2010; Fu et al., 2013)으로 분류된다. 3차원 구조를 통해 깊이 영상을 압축하기 위해 깊이 영상은 3차원 공간상에서의 점군(Point cloud)으로 변환된 후 점군으로 부터 3차원 구조를 모델링하여 그 구조를 압축하는 방법이다.

참고문헌 (17)

Kwon, S. K. (2019). Face Recognition Using Depth and Infrared Pictures, Nonlinear Theory and Its Applications, IEICE, 10(1), 2-15. https://doi.org/10.1587/nolta.10.2.
Wu, H., Sun, X., Yang, J., and Wu, F. (2019). 3D Mesh Based Inter-Image Prediction for Image Set Compression, Proceeding of the IEEE International Conference on Multimedia and Expo, July 8-12, Shanghai, China.
Schnabel, R., and Klein, R. (2006). Octree-based Point-cloud Compression. Proceeding of the Eurographics Symposium on Point-Based Graphics, July 29-30, Boston, Massachusetts, USA.
Gumhold, S., Karni, Z., Isenburg, M., and Seidel, H. (2005) Predictive Pointcloud Compression, Proceeding of ACM SIGGRAPH, Jul. 31-Aug. 4, Los Angeles, California, USA.
Morvan, Y., Farin, D., and deWith, P.H.N. (2007). Depth-image Compression Based on An R-D Optimized Quadtree Decomposition for The Transmission of Multiview Images, Proceeding of the IEEE International Conference on Image Processing, Sep. 16-Oct. 19, San Antonio, Texas, USA.
Milani, S., and Calvagno, G. (2010). A Depth Image Coder Based on Progressive Silhouettes, IEEE Signal Process. Letters, 17(8), 711-714. https://doi.org/10.1109/LSP.2010.2051619.

상세보기
Shen, G., Kim, W., Narang, S., Orterga, A., Lee, J., and Wey, H. (2010). Edge Adaptive Transform for Efficient Depth Map Coding, Proceeding of Picture Coding Symposium, Dec. 8-10, Nagoya, Japan.
Maitre, M., and Do, M. (2010). Depth and Depth-Color Coding Using Shape Adaptive Wavelets, Journal of Visual Communication and Image Representation, 21(5-6), 513-522. https://doi.org/10.1016/j.jvcir.2010.03.005.

상세보기
Fu, J., Miao, D., Yu, W., Wang, S., Lu, Y., and Li, S. (2013). Kinect-Like Depth Data Compression, IEEE Transactions on Multimedia, 15(6), 1340-1352. https://doi.org/10.1109/TMM.2013.2247584

상세보기
Wang, X., Sekercioglu, Y. A., Drummond, T., Natalizio, E., Fantoni, I., and Fremont, V. (2016). Fast Depth Video Compression for Mobile RGB-D Sensors, IEEE Transactions on Circuits and Systems for Video Technology, 26(4), 673-686, https://doi.org/10.1109/TCSVT.2015.2416571

상세보기
Mamou, K., Zaharia, T., and Preteux, F. (2008). FAMC: The MPEG-4 Standard for Animated Mesh Compression, Proceeding of the IEEE International Conference on Image Processing, Oct. 12-15, San Diego, California, USA.
Paysan, P., Knothe, R., Amberg, B., Romdhani, S., and Vetter, T. (2009). A 3D Face Model for Pose and Illumination Invariant Face Recognition, Proceeding of IEEE International Conference on Advanced Video and Signal Based Surveillance, Sep. 2-4, Genova, Italy.
Lee, D. S. and Kwon, S. K. (2018). Intra Prediction of Depth Picture with Plane Modeling, Symmetry, 10, 1-16. https://doi.org/10.3390/sym10120715
Takagi, K., Takishima, Y., and Nakajima, Y. (2003). A Study on Rate Distortion Optimization Scheme for JVT Coder, Proceeding of SPIE, Apr. 21, Orlando, Florida, USA.
Ma, S., Wen, G., and Yan, L. (2005). Rate-Distortion Analysis for H.264/AVC Video Coding and its Application to Rate Control, IEEE Transactions on Circuits and Systems for Video Technology, 15(12), 1533-1544. https://doi.org/10.1109/TCSVT.2005.857300

상세보기
Hg, R. I., Jasek, P., Rofidal, C., Nasrollahi, K., and Moeslund, T. B. (2012). An RGB-D Database using Microsoft's Kinect for Windows for Face Detection, Proceeding of the IEEE 8th International Conference on Signal Image Technology & Internet Based Systems, Nov. 25-29, Sorrento, Naples, Italy.
Lee, D. S., Han D. H., and Kwon, S. K. (2018). Face Recognition Method by Using Infrared and Depth Images, Journal of the Korea Industrial Information Systems Research, 23(2), 1-9. http://dx.doi.org/10.9723/jksiis.2018.23.2.001.

원문보기 상세보기

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증