스마트 미러간 화상 통화와 메시징 기능을 가진 CoMirror 시스템의 성능평가 Performance Evaluation of CoMirror System with Video Call and Messaging Function between Smart Mirrors원문보기
스마트 미러는 거울에 디스플레이와 임베디드 컴퓨터를 부착하여 거울 기능과 함께 사용자에게 다양한 정보를 제공해주는 IoT 장치이다. 본 논문은 스마트 미러들이 네트워크로 연결하는 CoMirror 시스템을 제안하고 구현한 이전 연구의 확장으로 CoMirror 시스템의 성능을 평가한 내용을 소개한다. 첫째, 얼굴 인식을 활용하는 로그인 성능을 평가하였다. 성능 평가 결과 로그인을 위해 필요한 얼굴 학습에는 40장의 얼굴 이미지가 가장 적합하고 얼굴 인식에는 한장의 얼굴 이미지가 가장 적합하다는 결론을 얻었다. 둘째, CoMirror 시스템에서 메시지가 전송되는 시간을 평가한 결과, 텍스트 메시지의 경우 평균 0.5초, 오디오의 경우 평균 0.63초 정도이며, 이미지의 경우 평균 2.9초 정도로 측정되었다. 마지막으로 화상 통신 성능을 측정한 결과 화상 통신 셋업 시간은 평균 1.8초, 화상 수신 지연 시간은 평균 1.9초로 측정되었다. 결론적으로 본 논문은 성능평가의 결과를 통해 CoMirror 시스템은 높은 실용성을 가지는 것으로 판단된다.
스마트 미러는 거울에 디스플레이와 임베디드 컴퓨터를 부착하여 거울 기능과 함께 사용자에게 다양한 정보를 제공해주는 IoT 장치이다. 본 논문은 스마트 미러들이 네트워크로 연결하는 CoMirror 시스템을 제안하고 구현한 이전 연구의 확장으로 CoMirror 시스템의 성능을 평가한 내용을 소개한다. 첫째, 얼굴 인식을 활용하는 로그인 성능을 평가하였다. 성능 평가 결과 로그인을 위해 필요한 얼굴 학습에는 40장의 얼굴 이미지가 가장 적합하고 얼굴 인식에는 한장의 얼굴 이미지가 가장 적합하다는 결론을 얻었다. 둘째, CoMirror 시스템에서 메시지가 전송되는 시간을 평가한 결과, 텍스트 메시지의 경우 평균 0.5초, 오디오의 경우 평균 0.63초 정도이며, 이미지의 경우 평균 2.9초 정도로 측정되었다. 마지막으로 화상 통신 성능을 측정한 결과 화상 통신 셋업 시간은 평균 1.8초, 화상 수신 지연 시간은 평균 1.9초로 측정되었다. 결론적으로 본 논문은 성능평가의 결과를 통해 CoMirror 시스템은 높은 실용성을 가지는 것으로 판단된다.
Smart mirror is an IoT device that attaches a display and an embedded computer to the mirror and provides various information to the user along with the mirror function. This paper presents performance evaluation of the CoMirror system as an extension of the previous research in which proposed and i...
Smart mirror is an IoT device that attaches a display and an embedded computer to the mirror and provides various information to the user along with the mirror function. This paper presents performance evaluation of the CoMirror system as an extension of the previous research in which proposed and implemented the CoMirror system that connects Smart Mirrors using a network. First, the login performance utilizing face recognition was evaluated. As result of the performance evaluation, it was concluded that the 40 face images are most suitable for face learning and only one face image is most suitable for face recognition for login. Second, as a result of evaluating the message transmission time, the average time was 0.5 seconds for text, 0.63 seconds for audio, and 2.9 seconds for images. Third, as a result of measuring a video communication performance, the average setup time for video communication was 1.8 seconds and the average video reception time was 1.9 seconds. Finally, according to the performance evaluation results, we conclude that the CoMirror system has high practicality.
Smart mirror is an IoT device that attaches a display and an embedded computer to the mirror and provides various information to the user along with the mirror function. This paper presents performance evaluation of the CoMirror system as an extension of the previous research in which proposed and implemented the CoMirror system that connects Smart Mirrors using a network. First, the login performance utilizing face recognition was evaluated. As result of the performance evaluation, it was concluded that the 40 face images are most suitable for face learning and only one face image is most suitable for face recognition for login. Second, as a result of evaluating the message transmission time, the average time was 0.5 seconds for text, 0.63 seconds for audio, and 2.9 seconds for images. Third, as a result of measuring a video communication performance, the average setup time for video communication was 1.8 seconds and the average video reception time was 1.9 seconds. Finally, according to the performance evaluation results, we conclude that the CoMirror system has high practicality.
본 논문에서는 스마트 미러들을 네트워크로 연결하여 메시지 전송과 화상 통화를 지원하는 CoMirror 시스템의 성능을 평가하였다. CoMirror의 로그인을 위해 얼굴 학습과 얼굴 인식에 필요한 적절한 얼굴 이미지 개수와 걸리는 시간을 측정하였다.
가설 설정
9초로 측정되었다. 각 프레임의 화상 지연 시간은 첫 화상 수신 지연 시간과 동일할 것으로 가정하며, 지터가 발생할 수 있다고 하더라도 그것은 네트워크의 문제이지 본 시스템의 문제가 아니라고 판단한다. 또한 이 정도의 시간이라면, CoMirror 시스템의 화상 통신 기능은 실용적이라고 판단한다.
제안 방법
본 논문에서는 스마트 미러들을 네트워크로 연결하여 메시지 전송과 화상 통화를 지원하는 CoMirror 시스템의 성능을 평가하였다. CoMirror의 로그인을 위해 얼굴 학습과 얼굴 인식에 필요한 적절한 얼굴 이미지 개수와 걸리는 시간을 측정하였다. 측정 결과 얼굴 학습에는 약 40장의 이미지가 적절하고, 얼굴 인식에는 한 장의 사진이면 충분한 것으로 평가되었다.
먼저, 얼굴 학습에 사용된 이미지 개수와 얼굴 인식에 사용된 이미지의 개수에 따라 얼굴 인식 확신율이 어떻게 변하는지 측정하였다. 성능 측정 결과는 10번 실험의 평균값을 이용하였으며 그림 3과 같다.
얼굴 추출 시간은, 이미지에서 얼굴 영역을 추출하고 160x160 픽셀 크기로 만드는데 걸리는 시간으로 정의한다. 얼굴 추출 시간은 얼굴 인식이나 얼굴 학습의 일부분이므로 성능을 평가하고자 한다.
이 실험에서는 4인 이상의 사람들이 함께 사용하는 사무실과 같은 환경인 경우에 대해 얼굴 학습 시간을 측정하였다. 그림 5는 얼굴 학습에 40장의 이미지를 사용할 때, 사람의 수에 따른 얼굴 학습 시간을 측정한 결과이다.
이 실험에서는 원본 사진 이미지의 크기와 얼굴 추출 시간 사이의 관계를 평가하기 위해 3가지 원본 이미지 크기에 대해 얼굴 추출 시간을 측정하였다. 성능 측정은 CoMirror 시스템에서 실측하는 방식으로 이루어졌고, 얼굴 추출에는 OpenCV의 Haar Cascades 패키지를 이용하였고 실험 결과는 40번 실험의 평균값으로 하였다.
대상 데이터
한편, 320x240의 이미지로 사진을 촬영하면 얼굴 부분이 160x160보다 작게 형성될 수 있기 때문에 320x240은 부적절하다. 본 연구에서는 640x480 크기를 추천한다.
셋업 시간과 화상 수신 시간을 측정하기 위해 CoMirror 클라이언트에는 로지텍 HD 웹캠 C920 카메라를 사용하였고 화상 크기는 720P(1280X720)로 설정하였다.
본 실험에서는 이 3가지 유형의 메시지가 전송되는 시간 성능을 평가하였다. 실험에 사용되는 텍스트 메시지와 오디오 메시지는 동일한 텍스트가 사용되었으며, 표 1과 유사한 10개의 텍스트들이 샘플로 사용되었다.
이 실험에서는 샘플 메시지를 이용하여 메시지 전송 시간을 측정하였다. 해당 실험은 사용자 A, B가 각 CoMirror 클라이언트를 사용하여 CoMirror 서버에 로그인한 상태에서 이루어졌다.
샘플 오디오의 녹음 시간은 8~9초 였다. 이미지의 경우 CoMirror 클라이언트에 부착된 로지텍 HD 웹캠 C920에서 촬영한 10개의 샘플들을 사용하였는데, 이미지의 평균 크기는 168KB로 나타났다.
테스트용 CoMirror 서버는 Core-i7 CPU에 16GB 메모리를 가진 컴퓨터를 사용하였으며, 얼굴 학습과 얼굴 인식은 다음과 같이 진행되었다.
데이터처리
이 실험에서는 원본 사진 이미지의 크기와 얼굴 추출 시간 사이의 관계를 평가하기 위해 3가지 원본 이미지 크기에 대해 얼굴 추출 시간을 측정하였다. 성능 측정은 CoMirror 시스템에서 실측하는 방식으로 이루어졌고, 얼굴 추출에는 OpenCV의 Haar Cascades 패키지를 이용하였고 실험 결과는 40번 실험의 평균값으로 하였다. 성능 측정 결과는 그림 6과 같다.
성능 평가 결과는 총 10번 실험의 평균값을 이용하였으며 그림 4와 같다. 얼굴 학습 시간은 사용된 이미지의 개수에 선형적으로 비례한다.
이론/모형
본 논문에서는 로그인의 정확성 평가를 얼굴 인식 확신율(Confidence Rate of Face Recognition)을 측정하여 대신한다. 얼굴 인식 확신율(Confidence Rate of Face Recognition)을, 얼굴 인식 알고리즘이 로그인 사용자의 얼굴이라고 확신하는 확률로 정의한다.
성능/효과
결론적으로 메시지 전송에 걸리는 시간으로 볼 때, CoMirror의 메시지 전송 기능은 실용적인 범위 내에 있다고 판단된다.
9초로 측정되었다. 결론적으로, 성능 평가의 결과가 보여주듯이 CoMirror 시스템은 실용성 면에서 충분한 것으로 판단된다.
또한 얼굴 학습과 인식에는 640x480의 이미지가 적절한 것으로 평가되었다. 두 번째로 CoMirror 시스템의 메시지 통신 성능을 평가할 결과, 텍스트 메시지의 경우 평균 0.5초, 오디오의 경우 평균 0.63초 정도이며, 이미지의 경우 평균 2.9초 정도로 측정되었다. 마지막으로 화상 통신 성능을 측정한 결과 화상 통신 셋업 시간은 평균 1.
둘째, 얼굴 학습에 40장의 이미지를 사용하는 것이 바람직하다. 20장이나 30장의 얼굴 이미지를 사용할 때보다 3%~6%의 얼굴 인식 확신율을 높일 수 있기 때문이다.
측정 결과 얼굴 학습에는 약 40장의 이미지가 적절하고, 얼굴 인식에는 한 장의 사진이면 충분한 것으로 평가되었다. 또한 얼굴 학습과 인식에는 640x480의 이미지가 적절한 것으로 평가되었다. 두 번째로 CoMirror 시스템의 메시지 통신 성능을 평가할 결과, 텍스트 메시지의 경우 평균 0.
9초 정도로 측정되었다. 마지막으로 화상 통신 성능을 측정한 결과 화상 통신 셋업 시간은 평균 1.8초, 화상 수신 지연 시간은 평균 1.9초로 측정되었다. 결론적으로, 성능 평가의 결과가 보여주듯이 CoMirror 시스템은 실용성 면에서 충분한 것으로 판단된다.
본 논문은 얼굴 인식 확신율과 얼굴 학습 시간 측정의 두 실험을 통해, 얼굴 학습에는 40장의 이미지가, 얼굴 인식에는 1장의 이미지가 적절하며 약 90%의 얼굴 인식 확신율을 얻을 수 있다고 결론을 짓는다.
성능 측정 결과, 얼굴 학습에 사용된 이미지의 개수가 많을수록 얼굴 인식 확신율이 선형적으로 증가하는 것으로 나타났다. 하지만, 얼굴 인식에 사용된 사진 이미지의 개수는 얼굴 인식 확신율에 미치는 영향이 미미한 것으로 평가되었다.
성능 측정 결과, 원본 이미지가 작을수록 얼굴 추출 시간은 감소하지만, 640x480과 320x240 사이에 시간 차이가 몇 십 밀리초 수준으로 무의미한 차이를 보인다. 한편, 320x240의 이미지로 사진을 촬영하면 얼굴 부분이 160x160보다 작게 형성될 수 있기 때문에 320x240은 부적절하다.
성능 측정 결과는 그림 9와 같이 셋업 시간은 평균 1.8초, 화상 수신 지연 시간은 평균 1.9초로 측정되었다. 각 프레임의 화상 지연 시간은 첫 화상 수신 지연 시간과 동일할 것으로 가정하며, 지터가 발생할 수 있다고 하더라도 그것은 네트워크의 문제이지 본 시스템의 문제가 아니라고 판단한다.
성능 평가 결과, 학습 시간은 학습자의 수에 선형적으로 비례하는 것으로 나타났으며, 10번째 학습자의 얼굴 학습 시 학습 시간은 33초 정도로 평가되었다. 학습 시간은 서버의 성능을 높이면 충분히 개선될 것이기 때문에, 실용성에 문제가 있다고 판단되지 않는다.
셋째, CoMirror 사용자들끼리 화상 통화가 지원된다. 두 사용자들 사이의 화상 통화 연결은 CoMirror 서버의 중계로 이루어지며, 연결 후에는 CoMirror 서버의 중계없이 두 CoMirror 클라이언트 사이에 실시간으로 화상 통화가 이루어진다.
20장이나 30장의 얼굴 이미지를 사용할 때보다 3%~6%의 얼굴 인식 확신율을 높일 수 있기 때문이다. 얼굴 학습에 더 많은 이미지를 사용할수록 얼굴 인식 확신율은 높아지겠지만 얼굴 인식에 걸리는 시간 부담을 감안할 때 40장이 적절하다는 판단이다.
우리는 이 성능평가를 통해 다음과 같은 결론을 얻었다. 첫째, 얼굴인식에 1장의 얼굴 이미지를 사용하는 것이 가장 합리적이다. 40장의 얼굴 이미지로 학습이 이루어진 경우, 얼굴 인식에 사용되는 이미지 장 수(1장, 2장, 4장, 10장)별 얼굴 인식 확신율은 89.
CoMirror의 로그인을 위해 얼굴 학습과 얼굴 인식에 필요한 적절한 얼굴 이미지 개수와 걸리는 시간을 측정하였다. 측정 결과 얼굴 학습에는 약 40장의 이미지가 적절하고, 얼굴 인식에는 한 장의 사진이면 충분한 것으로 평가되었다. 또한 얼굴 학습과 인식에는 640x480의 이미지가 적절한 것으로 평가되었다.
참고문헌 (10)
https://www.etnews.com/20210812000195
Max Braun. "Smart Mirror",？https://experiments.withgoogle.com/smart-mirror,？March 2016
H. Thapliyal, "Internet of Things-Based Consumer？Electronics: Reviewing Existing Consumer Electronic？Devices, Systems, and Platforms and Exploring New？Research Paradigms", IEEE Consumer Electronics？Magazine, vol. 7, no. 1, pp. 66-67, Jan. 2018. doi: 10.1109/MCE.2017.2755219.
M. M. Yusri et al., "Smart mirror for smart life", 2017 6th ICT International Student Project Conference,？2017, pp. 1-5. doi: 10.1109/ICT-ISPC.2017.8075339.
Kitae Hwang, et al., "Implementation of CoMirror？System with Video Call and Messaging Function？between Smart Mirrors", The Journal of The Institute？of Internet, Broadcasting and Communication, Vol.？22, No. 6, pp.121-127, 2022.？doi:10.7236/JIIBC.2022.22.6.121.
Kitae Hwang, Jae-Moon Lee, Inhwan Jung, "Remote？Control System using Face and Gesture Recognition？based on Deep Learning", The Journal of The Institute？of Internet, Broadcasting and Communication, Vol.？20, No. 6, pp.115-121, 2020.？doi: 10.7236/JIIBC.2020.20.6.115.
Florian Schroff, Dmitry Kalenichenko, James Philbin,？"FaceNet: A Unified Embedding for Face Recognition？and Clustering", Proceedings of the IEEE Conference？on Computer Vision and Pattern Recognition (CVPR),？pp. 815-823, 2015. doi: 10.1109/CVPR.2015.7298682.
AI-Helper
※ AI-Helper는 부적절한 답변을 할 수 있습니다.