[논문]An Accurate Forward Head Posture Detection using Human Pose and Skeletal Data Learning

Jong-Hyun Kim

doi:10.9708/jksci.2023.28.08.087

[국내논문] An Accurate Forward Head Posture Detection using Human Pose and Skeletal Data Learning 원문보기

韓國컴퓨터情報學會論文誌 = Journal of the Korea Society of Computer and Information, v.28 no.8, 2023년, pp.87 - 93

Jong-Hyun Kim (College of Software and Convergence (Dept. of Design Technology), Inha University)

초록
AI-Helper

본 논문에서는 사용자의 골격 자세를 분석하여 네트워크 학습 기반으로 거북목 자세를 정확하고 효율적으로 판별하는 시스템을 제안한다. 거북목 증후군이란 목이 구부정하게 앞으로 나오는 자세를 오래 유지함으로써 목의 자세가 바뀌고 뒷목, 어깨, 허리 등에 통증이 생기는 증상을 말하며, 수술이나 약물치료보다 평소의 자세 습관이 효과적이라고 알려져 있다. 기존의 방법들은 웹캠을 이용한 합성곱 신경망을 이용하였고, 이러한 접근법은 영상의 명도와 조명, 피부 색 등에 영향을 받기 때문에 특정 인물에 대해서만 수행되는 문제가 있다. 본 논문에서는 이 문제를 완화하고 자 영상으로부터 골격을 추출하고, 정면보다는 측면에 해당하는 데이터를 학습하여 이전 기법보다 효율적이고 정확하게 거북목 자세를 찾아낸다. 결과적으로 이전 기법에 비해 다양한 실험 장면에서 정확도가 되었음을 보여준다.

Abstract ▼ AI-Helper

In this paper, we propose a system that accurately and efficiently determines forward head posture based on network learning by analyzing the user's skeletal posture. Forward head posture syndrome is a condition in which the forward head posture is changed by keeping the neck in a bent forward position for a long time, causing pain in the back, shoulders, and lower back, and it is known that daily posture habits are more effective than surgery or drug treatment. Existing methods use convolutional neural networks using webcams, and these approaches are affected by the brightness, lighting, skin color, etc. of the image, so there is a problem that they are only performed for a specific person. To alleviate this problem, this paper extracts the skeleton from the image and learns the data corresponding to the side rather than the frontal view to find the forward head posture more efficiently and accurately than the previous method. The results show that the accuracy is improved in various experimental scenes compared to the previous method.

주제어

표/그림 (15)

그림 Fig. 1. Forward head posture in X-ray.
그림 Fig. 2. System overview.
그림 Fig. 3. OpenPose architecture[19].
그림 Fig. 4. BODY-25 keypoints.
그림 Fig. 5. Skeleton extraction with OpenPose.
그림 Fig. 6. Comparison posture between normal and neck postures.
그림 Fig. 7. Neural network architecture.
그림 Fig. 8. Neural network code.
그림 Fig. 9. Pose estimation inferred using our method (scene1).
그림 Fig. 10. Pose estimation inferred using our method (scene2).
그림 Fig. 11. Pose estimation inferred using previous method[8] (scene 3).
그림 Fig. 12. Comparison pose estimation between previous method[8] and our method.
그림 Fig. 13. Pose estimation inferred using our method (scene 4).
그림 Fig. 14. Pose estimation inferred using our method (scene 5).
그림 Fig. 15. Pose estimation inferred using our method (scene 6).

AI 본문요약
AI-Helper

문제 정의

따라서 본 논문은 Fig. 2와 같이 정상적인 자세와 거북목 자세로부터 각각의 골격을 추출하고 이를 인공신경망을 기반으로 학습함으로써 실시간으로 거북목 자세를 판단하고 경고해주는 프레임워크를 목표로 한다. 본 논문에서 제안하는 방법은 고가의 장비를 필요로 하지 않고, 개인정보나 피부의 색, 인종, 나이 등에 영향을 받지 않기 때문에 일반화가 가능한 접근법이다.
본 논문에서는 골격을 기반으로 데이터를 추출하고, 이 데이터 간의 관계를 학습함으로써 거북목 자세인지 아닌지를 판별하는 시스템을 제안했다. 기존의 RGB영상 데이터를 기반으로 자세를 추정하는 방법은 조명, 피부 색, 성별 등 다양한 환경이나 개인적 특성에 의존하는 결과가 나왔다.
영상을 통해 학습하는 접근법은 이미지 자체의 명도나 인종 등에 영향을 많이 받는다. 이러한 문제를 방지하기 위해 본 논문에서는 영상으로부터 골격을 추출하여 각 포인트 값을 학습하는 방법을 제안한다.

제안 방법

본 논문에서 제안하는 방법은 OpenPose를 기반으로 추출된 골격 데이터를 정제하여 학습데이터를 얻었고, 이 데이터를 이용하여 거북목을 인지할 수 있도록 학습하였다. 그렇기 때문에 골격을 안정적으로 추출할 수 있는 OpenPose의 장점을 그대로 흡수하여 다양한 환경에서 안정적으로 거북목 자세를 추론할 수 있다.
2와 같이 정상적인 자세와 거북목 자세로부터 각각의 골격을 추출하고 이를 인공신경망을 기반으로 학습함으로써 실시간으로 거북목 자세를 판단하고 경고해주는 프레임워크를 목표로 한다. 본 논문에서 제안하는 방법은 고가의 장비를 필요로 하지 않고, 개인정보나 피부의 색, 인종, 나이 등에 영향을 받지 않기 때문에 일반화가 가능한 접근법이다.
본 연구의 결과들을 만들기 위해 실험한 환경은 Intel Core i7-7700K CPU, 32GB RAM, Geforce GTX 1080Ti GPU가 탑재된 컴퓨터를 이용하였다. 본 논문에서는 외부 카메라로부터 실시간으로 들어오는 영상을 기반으로 골격을 추출했고, 이 값을 인공신경망 학습모델에 적용시킨다. 결과 값이 거북목 자세인지, 정상적인 자세인지에 따라 사용자에게 경고 시스템을 출력하는 기능을 추가했다.
카메라로부터 얻은 영상들은 조명이나 피부색이 조금만 변경되어도 특징을 인식하는데 문제가 발생하며 이런 데이터를 통해 학습하면 특징 장면에서만 거북목이 인식된다. 본 논문에서는 주변 환경(조명, 혹은 피부색 등)에 영향을 크게 받지 않는 선에서 학습이 가능하도록 영상이 아닌 뼈대 학습을 통해 거북목을 찾았다. 그리고 학습 데이터인 경우 개인 얼굴이 포함된 경우 초상권이나 저작권 문제가 발생하기 때문에 공개데이터가 아닌 경우 활용하기가 어려우면 관련 공개데이터는 거의 없다.
본 논문에서 사용한 인공신경망 구조는 다음과 같다(Figure 7 참조). 여기서 각 레이어로 이동할 때 사용한 활성화 함수는 Softmax를 이용하였으며, 거북목 자세인지 아닌지 2가지 상태 중 판별하는 확률로 추정한다. 학습률(Learning rate)은 0.
REar이며, 각각 왼쪽 상단을 기준으로 X, Y좌표가 출력된다. 카메라를 추가적으로 설치하게 될 경우 카메라의 위치에 따라 각 포인트 값에 차이가 생기기 때문에 본 논문에서는 코의 좌표를 원점으로 정규화하여 사용한다.

대상 데이터

본 논문에서 사용하는 것은 인체, 손, 얼굴의 골격 중 인체의 골격만을 이용한다. OpenPose에 있는 CNN은 BODY-25, COCO, MPII로 각각 출력 관절이 25개, 18개로 추출되며, 그 중에 본 논문에서는 BODY-25를 사용한다. BODY-25에 해당하는 각 관절 포인트는 다음과 같다 (Fig.
본 논문에서는 5개의 포트에서 코를 원점으로 데이터 값을 변경했기 때문에 코를 제외하고 총 4개의 포인트의 X, Y좌표 값에 앞에서 추가한 4개의 데이터로 총 12개의 데이터 값을 학습 데이터로 만든다. 그리고 총 400개의 학습 데이터를 구성한다. 학습 데이터는 조명 변화, 이어폰, 마스크, 안경 착용 유무에 대한 데이터와 10명의 참가자를 통해 정상자세와 거북목 자세에 대한 데이터를 얻었으며, 골격 위치에 지터(Jitter)를 추가하여 데이터 증강을 통해 학습 데이터를 얻었다.
여기서 신뢰도 맵은 사람의 관절 구조 등을 찾는데 활용되며, 선호도 필드는 추출된 관절 구조가 어떤 객체의 것인지를 알아내는데 사용된다. 본 논문에서 사용하는 것은 인체, 손, 얼굴의 골격 중 인체의 골격만을 이용한다. OpenPose에 있는 CNN은 BODY-25, COCO, MPII로 각각 출력 관절이 25개, 18개로 추출되며, 그 중에 본 논문에서는 BODY-25를 사용한다.
코에서 오른쪽으로 수직선을 그었을 때 두 점 사이를 이은 직선과 수직선 사이의 각도가 정상적인 자세일 때보다 거북목 자세일 때가 더 작다 (Figure 6 참조). 본 논문에서는 5개의 포트에서 코를 원점으로 데이터 값을 변경했기 때문에 코를 제외하고 총 4개의 포인트의 X, Y좌표 값에 앞에서 추가한 4개의 데이터로 총 12개의 데이터 값을 학습 데이터로 만든다. 그리고 총 400개의 학습 데이터를 구성한다.
본 논문에서는 거북목 자세를 정확하게 판별하기 위해 4가지 데이터를 추가한다. 첫 번째 데이터는 귀와 어깨의 X좌표 값의 차이이다.
본 연구의 결과들을 만들기 위해 실험한 환경은 Intel Core i7-7700K CPU, 32GB RAM, Geforce GTX 1080Ti GPU가 탑재된 컴퓨터를 이용하였다. 본 논문에서는 외부 카메라로부터 실시간으로 들어오는 영상을 기반으로 골격을 추출했고, 이 값을 인공신경망 학습모델에 적용시킨다.
그리고 학습 데이터인 경우 개인 얼굴이 포함된 경우 초상권이나 저작권 문제가 발생하기 때문에 공개데이터가 아닌 경우 활용하기가 어려우면 관련 공개데이터는 거의 없다. 이런 경우 학습을 위한 데이터 획득이 어려우며 소규모 인원으로 데이터를 획득할 경우 개인의 특징(피부색, 조명)에 영향을 받기 때문에 본 논문에서는 뼈대 데이터를 이용하여 거북목 학습에 활용하였다. 향후 단순한 자세교정 경고가 아닌, 어떻게 하면 안정적인 자세가 되는지를 가이드 해줄 수 있는 시뮬레이션 방법으로 알고리즘을 확장할 계획이다.
결과 값이 거북목 자세인지, 정상적인 자세인지에 따라 사용자에게 경고 시스템을 출력하는 기능을 추가했다. 인공 신경망을 학습하기 위해 본 논문에서는 안경, 목도리, 마스크, 헤드폰 등을 착용한 상태에서 올바른 자세와 거북목 자세 영상을 녹화했으며, 이 영상으로부터 골격 데이터를 추출하여 학습 데이터로 활용한다.
그리고 총 400개의 학습 데이터를 구성한다. 학습 데이터는 조명 변화, 이어폰, 마스크, 안경 착용 유무에 대한 데이터와 10명의 참가자를 통해 정상자세와 거북목 자세에 대한 데이터를 얻었으며, 골격 위치에 지터(Jitter)를 추가하여 데이터 증강을 통해 학습 데이터를 얻었다.

이론/모형

기존의 거북목 학습 모델은 인공신경망 알고리즘 중 하나인 CNN을 사용하여 올바른 자세와 거북목 자세일 때의 데이터를 학습했다. 영상을 통해 학습하는 접근법은 이미지 자체의 명도나 인종 등에 영향을 많이 받는다.
8 참조). 이 과정에서 최적화 함수는 적응적 모멘트 추정(Adaptive moment estimation) 기법을 사용했으며, 모델의 정확도는 98.7%로 측정되었고, 하나의 이미지를 추론하는데 소요된 시간은 약 0.15초이다.

성능/효과

14는 출력한 사진으로부터 거북목 자세를 추출한 결과이다. 이러한 결과는 이전 기법들에서는 적용이 어렵지만, 본 논문에서 제안하는 방식은 추출된 골격을 기반으로 거북목 자세를 인지하기 때문에 출력된 이미지에서도 결과가 안정적으로 수정됐다. Fig.

후속연구

이런 경우 학습을 위한 데이터 획득이 어려우며 소규모 인원으로 데이터를 획득할 경우 개인의 특징(피부색, 조명)에 영향을 받기 때문에 본 논문에서는 뼈대 데이터를 이용하여 거북목 학습에 활용하였다. 향후 단순한 자세교정 경고가 아닌, 어떻게 하면 안정적인 자세가 되는지를 가이드 해줄 수 있는 시뮬레이션 방법으로 알고리즘을 확장할 계획이다.

참고문헌 (20)

M. S. Kwon, K. W. Nam, and B. K. Seo, "The survey on internet？overdependence," Ministry of Science, ICT, and Future Planning,？National Information Society Agency, Seoul,？2016.
https://spinedoctor.tistory.com/1166？
Kang, Jung-Ho, Rae-Young Park, Su-Jin Lee, Ja-Young Kim,？Seo-Ra Yoon, and Kwang-Ik Jung. "The effect of the forward？head posture on postural balance in long time computer based？worker." Annals of rehabilitation medicine, Vol. 36, No. 1, pp.？98-104, 2012. DOI: 10.5535/arm.2012.36.1.98？

상세보기
Kim, Se-Yoon, Nan-Soo Kim, and Laurentius Jongsoon Kim.？"Effects of cervical sustained natural apophyseal glide on forward head posture and respiratory function." Journal of physical therapy？science, Vol. 27, No. 6, pp. 1851-1854, 2015. DOI: 10.1589/jpts.27.1851？

상세보기
Yoo, I. S. "Modern disease, prevention and exercise for turtle neck？syndrome." Journal of Korean Society of Steel Construction, Vol.？22, No. 4, pp. 80, 2010.？
Swann, J., "Good positioning: the importance of posture". Nursing？And Residential Care, Vol. 11, No. 9, pp.467-469, 2009. DOI:？10.12968/nrec.2009.11.9.43734？

상세보기
Son, Dong-Hyeop, and Yuchul Jung. "Implementation of Turtle？Neck Syndrome Diagnosis using CNN." In Proceedings of the？Korean Society of Computer Information Conference, pp. 7-10,？2021. DOI: 10.5392/JKCA.2020.20.07.047？

원문보기 상세보기
Han, Ji-Ye, and Jin-Ho Park. "Turtle neck syndrome posture？correction service using CNN-based learning model." The Journal？of the Korea Contents Association, Vol. 20, No. 7, pp. 47-55,？2020. DOI: 10.5392/JKCA.2020.20.07.047？

원문보기 상세보기
H. W. Jung, W. S. Shin, D. H. Kim, W. H. Park, Y. Y. Cha,？Y. S. Ko, and H. Y. Go, "The study on correlation between the？forward head posture and spinal alignment,"Journal of Korean？Medicine Rehabilitation, Vol. 23, No. 4, pp. 195-202, 2013.？
H. S. Lee, H. K. Chung, and S. W. Park, "The analysis of severity？of forward head posture with observation and photographic？method," The Korean Society of Physical Medicine, Vol. 10, No.？3, pp. 227-224, 2015. DOI: 10.13066/kspm.2015.10.3.9？

원문보기 상세보기
S. Y. Chee, G. J. Bae, Y. H. Kim, and J. H. Lee, "Neck tilt？angle sensing device and method," U.S. Patent Application, No.？17,？2017.
K. H. Kim, "Design and implementation of pervasive systems？for preventing forward head posture syndrome," M.S. Thesis,？Graduate School of Hongik University, 2013.？
Woo Jun Kim, Woonghee Lee, Hwangnam Kim. "Forward Head？Posture Detection and Warning System using Image Equipment.",？Proceedings of Symposium of the Korean Institute of？communications and Information Sciences, pp. 571-572,？2016.
Kim, T., Chen, S. and Lach, J., May. "Detecting and preventing？forward head posture with wireless inertial body sensor？networks". In International Conference on Body Sensor Networks,？pp. 125-126, 2011. DOI: 10.1109/BSN.2011.41？
HojinLee Ha, Changdong Lee, "Design of Algorithm for Guidance？of Sitting Posture Correction Using Pressure Sensor and Image？Processing Interpolation Technique", Journal of Korean institute？of information technology, Vol.14 No.1, pp. 1598-8619, 2016.？DOI: 10.14801/JKIIT.2016.14.1.37？

상세보기
Kim, Y. S., "Preliminary Study of Real-time Turtle Neck？Syndrome Monitoring System using EMG analysis",？Transactions of the Korean Institute of Electrical Engineers, Vol.？7, pp. 1663-1664, 2013.？
Qi Wang, Marina Toeters, Wei Chen, Annick Timmermans, and？Panos Markopoulos, "Zishi: A Smart Garment for Posture？Monitoring," In Proceedings of the CHI Conference Extended？Abstracts on Human Factors in Computing Systems, Association？for Computing Machinery, New York, NY, USA, pp.3792-3795,？2016. DOI: 10.1145/2851581.2890262？
Rushil Khurana, Elena Marinelli, Tulika Saraf, and Shan Li,？"NeckGraffe: a postural awareness system," In CHI Extended？Abstracts on Human Factors in Computing Systems, Association？for Computing Machinery, pp.227-232, 2014. DOI: 10.1145/2559206.2580936？
Cao, Zhe, Tomas Simon, Shih-En Wei, and Yaser Sheikh.？"OpenPose: Realtime multi-person 2d pose estimation using part？affinity fields." In Proceedings of the IEEE conference on？computer vision and pattern recognition, pp. 7291-7299, 2017.？DOI: 10.1109/TPAMI.2019.2929257？

상세보기
Simon, Tomas, Hanbyul Joo, Iain Matthews, and Yaser Sheikh.？"Hand keypoint detection in single images using multiview？bootstrapping." In Proceedings of the IEEE conference on？Computer Vision and Pattern Recognition, pp. 1145-1153. 2017.？DOI: 10.1109/CVPR.2017.494？

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증