[논문]신뢰 척도 기반 지역 이진 패턴을 이용한 객체 인식

이용걸

doi:10.12673/jant.2023.27.1.126

신뢰 척도 기반 지역 이진 패턴을 이용한 객체 인식
Object Recognition Using Local Binary Pattern Based on Confidence Measure 원문보기

한국항행학회논문지 = Journal of advanced navigation technology, v.27 no.1, 2023년, pp.126 - 132

이용걸 (한신대학교 소프트웨어융합학부)

초록
AI-Helper

객체 인식은 이미지와 비디오에서 다양한 객체를 검출하고 식별하는 기술이다. LBP는 조명 변이에 강인하게 동작하는 기술자로써, 객체 인식 분야에 활발하게 사용되고 있다. LBP는 이웃 픽셀의 범위, 비교 연산 후 이웃들의 결합 순서, 그리고 결합의 시작 위치를 고려해야 한다. 특히, LBP의 시작 위치는 "최상위 비트"가 되기 때문에 객체 인식의 성능에 큰 영향을 미치게 된다. 따라서, 본 논문에서는 N개의 시작 위치를 기반으로 N개의 특징 공간에서 각각 입력 데이터와 가장 유사한 데이터를 탐색한다. 각 특징 공간의 서로 다른 결과를 동일한 기준에서 비교할 수 있는 신뢰 척도를 정의하고, 가장 신뢰도 높은 결과를 선택함으로써 객체 인식을 수행한다. 실험 결과에서는 LBP의 시작 위치에 따라 성능의 차이가 있다는 것을 확인했다. 또한, 제안한 방법은 기존 LBP 인식 성능과 대비하여 최대 12.66%의 높은 성능을 나타냈다.

Abstract ▼ AI-Helper

Object recognition is a technology that detects and identifies various objects in images and videos. LBP is a descriptor that operates robustly to illumination variations and is actively used in object recognition. LBP considers the range of neighboring pixels, the order of combining the neighbors after the comparison operation, and the starting position of combining. In particular, the starting position of the LBP becomes the "most significant bit"; it dramatically affects the performance of object recognition. In this paper, based on the N starting positions, the data most similar to the input data are searched in each of the N feature spaces. Object recognition is performed by the confidence measure that can compare different results of each feature space under the same criterion and select the most reliable result. In the experimental results, it was confirmed that there is a difference in performance depending on the starting position of LBP. The proposed method showed a high performance of up to 12.66% compared to the recognition performance of the existing LBP.

주제어

표/그림 (5)

그림 그림 1. MSB 위치에 따른 두 영상 간 차이 비교 예시 Fig. 1. Example of comparison of differences between two images according to MSB location
그림 그림 2. 제안한 방법의 전체 흐름도 Fig. 2. Overall procedure of proposed method
표 표 1. 사용된 데이터베이스의 특성 Table. 1. Characteristics of each database
그림 그림 3. 다양한 데이터베이스에 대한 MSB별 얼굴 인식 순위 분포의 박스플롯 Fig. 3. Boxplot of face recognition rank distribution by MSB location for different databases
표 표 2. 다양한 데이터베이스에서의 얼굴 인식 결과 Table. 2. Face recognition results for various databases

AI 본문요약
AI-Helper

문제 정의

본 논문에서는 객체 인식에서 사용되는 대표적인 기술자인 LBP의 문제점을 분석하고 성능을 향상시키는 방법을 제안한다. 일반적으로 LBP는 특정 픽셀을 처리하기 위해 주변 이웃들과 픽셀값을 비교한다.
본 논문에서는 객체 인식의 대표적인 사례인 얼굴 인식에 대해 제안한 방법의 성능을 검증한다.

가설 설정

본 논문에서는 LBP에서 결합의 시작 위치에 따른 성능의 차이가 발생한다고 가정한다. 시작 위치는 다양한 데이터셋과 각각의 입력 이미지별로 달리 적용될 수 있도록 유동적으로 설계된다.
본 논문에서는 시작 위치에 따라 LBP의 성능이 달라질 수 있다고 가정한다. 전체 픽셀의 관점에서는 유사한 두 영상들이, 오히려 전처리 방법인 LBP를 사용하였음에도 불구하고 시작 위치에 따라 큰 차이를 갖게 될 수 있다.

제안 방법

본 논문에서는 N개의 시작 위치에서 각각 LBP를 전처리로 수행하고, 해당 데이터들을 기반으로 N개의 특징 공간을 생성한다. 각각의 특징 공간에서 입력 데이터와 가장 가까운 이웃을 검색하고, N개의 결과중에서 가장 신뢰 척도가 높은 시작 위치의 결과를 선택하는 방법을 제안한다.
모든 테스트 영상들도 각 시작 위치별로 LBP로 전처리 되었으며, 각각의 특징 공간에서 학습 데이터와의 유사도를 계산하고 신뢰 척도를 측정했다. 표 2는 각 데이터베이스별 얼굴 인식 실험 결과이다.
본 논문에서는 N개의 시작 위치에서 각각 LBP를 전처리로 수행하고, 해당 데이터들을 기반으로 N개의 특징 공간을 생성한다. 각각의 특징 공간에서 입력 데이터와 가장 가까운 이웃을 검색하고, N개의 결과중에서 가장 신뢰 척도가 높은 시작 위치의 결과를 선택하는 방법을 제안한다.
얼굴 인식을 위해 PCA를 학습 모델로 선택하였고, 전처리 된 얼굴 영상들을 d(=h × w)차원의 벡터로 변환하여 학습에 사용했다
제안한 방법은 데이터 셋 구성, 특징 공간 추출, 유사도 산출, 신뢰 척도 계산, 그리고 최종 인덱스 결정의 과정으로 구성된다(그림 2).

대상 데이터

조명 변이가 없는 "08" 인덱스에 해당하는 249장의 영상을 학습 데이터로 사용했다. CMU-PIE 데이터베이스는 다인종의 65명으로부터 21개 조명 조건에서 영상을 수집했다. 마찬가지로, 실험에서는 포즈 변이가 없는 27번 정면 얼굴에 대해 11번 인덱스를 학습 데이터로 활용하고, 1,300장의 이미지를 테스트했다.
실험에서는 조명 변이가 없는 "I08" 인덱스를 학습 데이터로 사용하고, 나머지는 테스트 데이터로 사용했다. MultiPie 데이터베이스는 전체 249명으로부터 각각 20가지의 조명 환경에서 영상을 수집했다. 조명 변이가 없는 "08" 인덱스에 해당하는 249장의 영상을 학습 데이터로 사용했다.
전체 38명으로부터 각각 64개의 조명 조건별로 영상이 수집되었다. 동일하게, 조명 변이에 영향이 없는 1번 인덱스를 학습 데이터로 활용했다. 다른 데이터베이스와 비교하여, 조명 변이가 매우 크기 때문에 얼굴 인식 성능이 낮을 것으로 예상할 수 있다.
마찬가지로, 실험에서는 포즈 변이가 없는 27번 정면 얼굴에 대해 11번 인덱스를 학습 데이터로 활용하고, 1,300장의 이미지를 테스트했다. 마지막으로, YaleB 데이터베이스는 가장 많은 조명 조건에서 영상을 수집했다. 전체 38명으로부터 각각 64개의 조명 조건별로 영상이 수집되었다.
CMU-PIE 데이터베이스는 다인종의 65명으로부터 21개 조명 조건에서 영상을 수집했다. 마찬가지로, 실험에서는 포즈 변이가 없는 27번 정면 얼굴에 대해 11번 인덱스를 학습 데이터로 활용하고, 1,300장의 이미지를 테스트했다. 마지막으로, YaleB 데이터베이스는 가장 많은 조명 조건에서 영상을 수집했다.
먼저, PF07 데이터베이스는 전체 200명을 대상으로 16개 조명 환경에서 동양인의 얼굴 영상을 촬영했다. 실험에서는 조명 변이가 없는 "I08" 인덱스를 학습 데이터로 사용하고, 나머지는 테스트 데이터로 사용했다.
LBP는 조명 변이에 강인하게 동작하는 전처리 방법이다. 본 논문에서는 조명 변이와 관련되어 있는 The POSTECH Face Database (PF07) [22], MultiPie [23], CMU-PIE [24], 그리고 YaleB [25,26] 얼굴 데이터베이스를 실험에 사용했다. 표 1은 사용된 데이터베이스의 특성을 정리한 내용이다.
마지막으로 가장 높은 신뢰 척도를 갖는 시작 위치의 인식 결과를 입력 데이터에 대한 인식 결과로 사용한다. 본 논문에서는, 대표적인 객체 인식 사례인 얼굴 인식을 대상으로 실험을 수행했다. 다양한 얼굴 데이터베이스에 대한 얼굴 인식 실험 결과, 기존 LBP는 시작 위치에 따라, 최대 12.
실험에서는 조명 변이가 없는 "I08" 인덱스를 학습 데이터로 사용하고, 나머지는 테스트 데이터로 사용했다
마지막으로, YaleB 데이터베이스는 가장 많은 조명 조건에서 영상을 수집했다. 전체 38명으로부터 각각 64개의 조명 조건별로 영상이 수집되었다. 동일하게, 조명 변이에 영향이 없는 1번 인덱스를 학습 데이터로 활용했다.
조명 변이가 없는 "08" 인덱스에 해당하는 249장의 영상을 학습 데이터로 사용했다

이론/모형

모든 얼굴 영상은 양안의 실측좌표와 아핀 변환(affine transform)에 의해 120 × 100 크기의 그레이 스케일 영상으로 정렬되었다. 본 논문에서는 정렬된 모든 얼굴 영상을 전처리하기 위한 목적으로 LBP를 사용했다. LBP 설계에서, N는 8로 결정하고 시계 방향으로 비트를 결합하는 방식을 선택했다.

성능/효과

20%의 높은 얼굴 인식 성능을 나타냈다. MultiPie에 대해 얼굴 인식 실험을 한 결과에서도, 기존 방법 대비 약 2.92%의 높은 성능을 보여준다. 반면, CMU-PIE의 경우에는 제안한 방법의 얼굴 인식률이 단일 시작 위치를 사용한 LBP 보다 다소 낮게 나타났지만, 그 차이는 약 0.
본 논문에서는, 대표적인 객체 인식 사례인 얼굴 인식을 대상으로 실험을 수행했다. 다양한 얼굴 데이터베이스에 대한 얼굴 인식 실험 결과, 기존 LBP는 시작 위치에 따라, 최대 12.66%의 성능 차이가 발생한다는 것을 확인했다. 또한, 제안한 방법은 단일 시작 위치를 사용하는 기존 LBP와 비교하여 높은 얼굴 인식 성능을 나타냈다.
그 다음으로 (0,0), (0,1), (1,2), (2,0), (1,0) = (2,2), (2,1), 그리고 (0,2) 순으로 얼굴 인식 성능이 나타낸다. 단일 시작 위치를 사용한 경우에는 데이터베이스에 따라 얼굴 인식 성능의 변동이 발생했으나, 제안한 방법은 모든 데이터베이스에 대해 일정하게 성능이 유지되는 것을 확인했다.
먼저, 가정한 바와 같이 LBP의 시작 위치에 따라 객체 인식률의 성능이 차이가 발생했다. 두 번째로, 기존의 단일 시작 위치에 기반하여 LBP를 수행하는 것보다 신뢰 척도에 기반하여 인식을 하는 제안한 방법이 가장 높은 성능을 보였다. 뿐만 아니라, 데이터베이스 관점에서도 제안한 방법은 기존 LBP 보다 높은 성능을 일정하게 유지했다.
66%의 성능 차이가 발생한다는 것을 확인했다. 또한, 제안한 방법은 단일 시작 위치를 사용하는 기존 LBP와 비교하여 높은 얼굴 인식 성능을 나타냈다. 뿐만 아니라, 다양한 얼굴 데이터베이스에 대해 성능의 변동이 있는 기존 LBP와 대비하여 제안한 방법은 일정한 성능을 유지했다.
두 번째로, 기존의 단일 시작 위치에 기반하여 LBP를 수행하는 것보다 신뢰 척도에 기반하여 인식을 하는 제안한 방법이 가장 높은 성능을 보였다. 뿐만 아니라, 데이터베이스 관점에서도 제안한 방법은 기존 LBP 보다 높은 성능을 일정하게 유지했다.
표 2는 각 데이터베이스별 얼굴 인식 실험 결과이다. 실험 결과에서, 기존 LBP는 시작 위치에 따라 얼굴 인식 성능의 차이가 0.77% ~ 12.66%로 나타났다. 결과적으로 시작 위치는 얼굴 인식 성능에 영향을 미친다.
조명 변이가 가장 큰 YaleB 데이터베이스의 경우에는 보다 확연한 얼굴 인식 결과가 나타난다. 제안한 방법은 76.98%의 얼굴 인식률로 다른 데이터베이스와 비교하여 낮은 인식률을 보이지만, 다양한 시작 위치와 비교한 결과에서 약 3.96% ~ 16.62%의 큰 얼굴 인식률 차이를 나타냈다.
그림 3은 시작 위치 관점에서 4가지 데이터베이스에 대한 얼굴 인식률의 순위를 나타낸다. 제안한 방법이 전반적으로 가장 우수한 성능을 나타냈다. 그 다음으로 (0,0), (0,1), (1,2), (2,0), (1,0) = (2,2), (2,1), 그리고 (0,2) 순으로 얼굴 인식 성능이 나타낸다.
결과적으로 시작 위치는 얼굴 인식 성능에 영향을 미친다. 한편, 제안한 방법은 PF07 데이터베이스에 대해 다양한 시작 위치와 비교하여 약 1.06% ~ 7.20%의 높은 얼굴 인식 성능을 나타냈다. MultiPie에 대해 얼굴 인식 실험을 한 결과에서도, 기존 방법 대비 약 2.

후속연구

향후, 얼굴 영상과 달리 전력 설비와 같이 정렬되지 않은 이미지를 대상으로 제안한 방법의 성능을 검증하고자 한다.

참고문헌 (26)

I. L. Kambi Beli and C. Guo, "Enhancing face identification？using local binary patterns and k-nearest neighbors," Journal？of Imaging, Vol. 3, No. 3, pp. 37, 2017.？

상세보기
N. Zhang, Y. Liu, L. Zou, H. Zhao, W. Dong, H. Zhou, and？M. Huang, "Automatic recognition of oil industry facilities？based on deep learning," In IGARSS 2018-2018 IEEE？International Geoscience and Remote Sensing Symposium,？IEEE., pp. 2519-2522, July, 2018.？
L. Lianqiao, C. Xiai, Z. Huili and W. Ling, "Recognition and？application of infrared thermal image among power facilities？based on yolo," In 2019 Chinese Control And Decision？Conference (CCDC), IEEE, pp. 5939-5943, June, 2019.？
G. Kovacs, "Getting to know someone: Familiarity, person？recognition, and identification in the human brain," Journal of cognitive neuroscience, Vol. 32, No. 12, pp. 2205-2225,？2020.？

상세보기
A. M. Saleh and T. Hamoud, "Analysis and best parameters？selection for person recognition based on gait model using？CNN algorithm and image augmentation," Journal of Big？Data, Vol. 8, No. 1, pp. 1-20, 2021.？
Y. Cao, S. Pranata, M. Yasugi, Z. Niu, and H. Nishimura,？"Stagged multi-scale LBP for pedestrian detection," In 2012？19th IEEE International Conference on Image Processing,？IEEE, pp. 449-452, Sep. 2012.？
Y. Lee, and S. I. Choi, "Training set enlargement using？binary weighted interpolation maps for the single sample per？person problem in face recognition," Applied Sciences, Vol.？10, No. 19, pp. 6659, 2020.？
B. Venkata Kranthi and B. Surekha, "Real-time facial？recognition using deep learning and local binary patterns,"？In Proceedings of International Ethical Hacking Conference？2018, Springer, Singapore, pp. 331-347, 2019.？
V. Aza and I. S. Areni, "Face recognition using local binary？pattern histogram for visually impaired people," In 2019？International Seminar on Application for Technology of？Information and Communication (iSemantic), IEEE. pp.？241-245, September, 2019.？
H. B. Abebe and C. L. Hwang, "RGB-D face recognition？using LBP with suitable feature dimension of depth？image," IET Cyber-Physical Systems: Theory &？Applications, Vol. 4, No. 3, pp. 189-197, 2019.？

상세보기
M. Turkoglu and D. Hanbay, "Leaf-based plant species？recognition based on improved local binary pattern and？extreme learning machine," Physica A: Statistical？Mechanics and its Applications, Vol. 527, pp. 121297, 2019.？

상세보기
A. K. Bachchan, A. Gorai, and P. Gupta, "Automatic？license plate recognition using local binary pattern and？histogram matching," In International Conference on？Intelligent Computing, Springer, Cham. pp. 22-34, August,？2017.？
T. Ojala, M. Pietikainen, and T. Maenpaa, "Multiresolution？gray-scale and rotation invariant texture classification with？local binary patterns," IEEE Transactions on pattern？analysis and machine intelligence, Vol. 24, No. 7, pp.？971-987, 2002.？

상세보기
S. Ke-Chen, Y. A. N. Yun-Hui, C. H. E. N. Wen-Hui, and？X. Zhang, "Research and perspective on local binary？pattern," Acta Automatica Sinica, Vol. 39, No. 6, pp.？730-744, 2013.？

상세보기
M. Heikkila, M. Pietikainen, and C. Schmid, "Description？of interest regions with center-symmetric local binary？patterns," In Computer vision, graphics and image？processing, Springer, Berlin, Heidelberg. pp. 58-69, 2006.？
A. Hafiane, G. Seetharaman and B. Zavidovique, "Median？binary pattern for textures classification," In International？Conference Image Analysis and Recognition, Springer,？Berlin, Heidelberg. pp. 387-398, August, 2007.？
Z. Guo, L. Zhang, D. Zhang, and S. Zhang, "Rotation？invariant texture classification using adaptive LBP with？directional statistical features," In 2010 IEEE international？conference on image processing, IEEE. pp. 285-288,？September, 2010.？
R. Zabih and J. Woodfill, "A non-parametric approach to？visual correspondence," In IEEE Transactions on Pattern？Analysis and Machine Intelligence, March. 1996.？
B. Froba and A. Ernst, "Face detection with the modified？census transform," In Sixth IEEE International Conference？on Automatic Face and Gesture Recognition, 2004.？Proceedings, IEEE. pp. 91-96, May, 2004.？
M. A. Turk and A. P. Pentland, "Face recognition using？eigenfaces," In Proceedings. 1991 IEEE computer society？conference on computer vision and pattern recognition .？IEEE Computer Society. pp. 586-587, January. 1991.？
Belhumeur, P. N., Hespanha, J. P., & Kriegman, D. J. .？"Eigenfaces vs. fisherfaces: Recognition using class specific？linear projection," IEEE Transactions on pattern analysis？and machine intelligence, Vol. 19, No. 7, pp. 711-720, 1997.？

상세보기
H. S. Lee, S. Park, B. N. Kang, J. Shin, J. Y. Lee, H. Je, and？D. Kim, "The POSTECH face database (PF07) and？performance evaluation," In 2008 8th IEEE International？Conference on Automatic Face & Gesture Recognition,？IEEE, pp. 1-6, September, 2008.？
R. Gross, I. Matthews, J. Cohn, T. Kanade, and S. Baker,？The CMU multi-pose, illumination, and expression？(Multi-PIE) face database, Robotics Inst., Carnegie Mellon？Univ., Pittsburgh, PA, USA, Tech. Rep. TR-07-08, 2007.？
T. Sim, S. Baker, and M. Bsat, The CMU pose,？illumination and expression database of human？faces, Carnegie Mellon University Technical Report？CMU-RI-TR-OI-02, 2001.？
A. S. Georghiades, P. N. Belhumeur, and D. J. Kriegman,？"From few to many: Illumination cone models for face？recognition under variable lighting and pose," IEEE？transactions on pattern analysis and machine？intelligence, Vol. 23, No. 6, pp. 643-660, 2001.？

상세보기
K. C. Lee, J. Ho, and D. J. Kriegman, "Acquiring linear？subspaces for face recognition under variable？lighting," IEEE Transactions on pattern analysis and？machine intelligence, Vol. 27, No. 5, pp. 684-698, 2005.？

상세보기

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증