[논문]ChatGPT4o를 활용한 셀프포토 이미지 분석 및 리포팅 시스템

손봉기

doi:10.12673/jant.2024.28.5.745

[국내논문] ChatGPT4o를 활용한 셀프포토 이미지 분석 및 리포팅 시스템
Self-Photo Image Analysis and Reporting System Using ChatGPT4o 원문보기

한국항행학회논문지 = Journal of advanced navigation technology, v.28 no.5, 2024년, pp.745 - 753

초록
AI-Helper

이 논문에서는 포토부스를 통해 촬영된 셀프포토에서 고객 데이터를 추출하고, 데이터별 분석 결과와 마케팅 전략 제안으로 구성되는 운영보고서를 자동 생성하는 시스템을 제안한다. 추출하는 고객 데이터는 행사 운영 결과를 분석하거나 차년도 행사 기획과 홍보 전략 수립에 활용될 수 있는 속성으로 선정하였다. 포토 이미지 분석, 고객 데이터 분석 및 차기 마케팅 전략 제안은 ChatGPT4o를 활용한다. 지역축제에서 촬영한 셀프포토를 제안 시스템에 적용한 결과, 촬영 인원수, 성별, 연령, 관계, 헤어스타일 등의 고객 데이터를 높은 정확도로 분석하였다. 또한, 제안한 시스템이 ChatGPT4o가 추출하고 분석한 고객 데이터와 마케팅 전략을 기반으로 운영보고서를 자동 생성하는 것을 보였다.

Abstract ▼ AI-Helper

In this paper, we propose a system that extracts customer data from self-photos taken through a photo booth and automatically generates an operation report consisting of analysis results for each data and marketing strategy suggestions. The customer data to be extracted was selected based on attributes that could be used to analyze event operation results or to plan next year's event and establish promotional strategies. We utilize ChatGPT4o in image analysis, customer data analysis, and next marketing strategy proposal. As a result of analyzing self-photos taken at a local festival through the proposed system, customer data such as the number of people photographed, gender, age, relationship, and hairstyle were analyzed with high accuracy. In addition, the proposed system was shown to automatically generate operational reports based on customer data and marketing strategies extracted and analyzed by ChatGPT4o.

Keyword

표/그림 (26)

그림 그림 1. MUFI 시스템 구성 Fig. 1. Configuration of MUFI system.
그림 그림 2. MUFI 키오스크 구성요소 Fig. 2. Components of MUFI kiosk.
그림 그림 3. 합성 포토 생성 방법 Fig. 3. Creation of composite photo.
그림 그림 4. 합성포토 생성 시퀀스 다이어그램 Fig. 4. Sequence diagram for creating composite photo.
표 표 1. MUFI 시스템 구현 환경 Table 1. Implementation environment of MUFI system.
그림 그림 5. 포토 이미지 분석 및 보고서 생성 시퀀스 다이어그램 Fig. 5. Sequence diagram for analyzing photo image and creating report.
그림 그림 6. 포토 이미지 분석을 위한 프롬프트 Fig. 6. Prompt for analyzing photo image.
표 표 2. 분석 데이터 종류 및 분류 카테고리 Table 2. Analysis data and classification category.
그림 그림 8. 포토 이미지 분석 데이터 저장 예시 Fig. 8. Example of analysis result.
그림 그림 9. 고객 데이터에 대한 그래프 생성 코드 Fig. 9. Code for creating graph of extracted data.
표 표 3. 포토 이미지 분석 및 그래프 생성을 위한 의사 코드 Table 3. Pseudo code for analyzing photo images and creating graph.
표 표 4. 데이터 분석 정확도 Table 4. Analysis accuracy of data.
그림 그림 7. 추출 고객 데이터 엑셀 파일 저장 코드 Fig. 7. Code for saving extracted data into Excel file.
그림 그림 10. 촬영 인원수 분석 결과 Fig. 10. Result of headcount analysis.
그림 그림 11. 연령 분석 결과 Fig. 11. Result of age analysis.
그림 그림 12. 성별 분석 결과 Fig. 12. Result of gender analysis.
그림 그림 13. 관계 분석 결과 Fig. 13. Result of relationship analysis.
그림 그림 14. 대륙인종 분석 결과 Fig. 14. Result of continent race analysis.
그림 그림 15. 피부색 인종 분석 결과 Fig. 15. Result of skin color race analysis.
그림 그림 16. 헤어 스타일 분석 결과 Fig. 16. Result of hairstyle analysis.
그림 그림 17. 헤어 스타일 인식 방해 요소 Fig. 17. Examples of hairstyle recognition failure.
그림 그림 18. 옷 색깔 분석 결과 Fig. 18. Result of clothe color analysis.
그림 그림 19. 포토부스 운영 보고서 양식 Fig. 19. Template of photo booth operation report.
그림 그림 20. 고객 데이터별 분석 및 차기 마케팅 전략 제안을 위한 프롬프트 Fig. 20. Prompt for analyzing customer data and suggesting marketing strategy.
그림 그림 21. 보고서 자동 생성 코드 Fig. 21. Code for creating operation report.
표 표 5. 보고서 생성을 위한 의사코드 Table 5. Pseudo code for creating report.

AI 본문요약
AI-Helper

문제 정의

이 논문에서는 포토 이미지에서 연령, 성별, 관계, 헤어스타일 등 다양한 고객 데이터를 추출하고 시각화된 통계 그래프를 해석할 수 있도록 ChatGPT4o 모델의 프롬프트를 설계하였다.

제안 방법

이 논문에서는 이동형 포토부스를 통해 촬영된 셀프포토를 분석하여 다양한 고객 데이터를 추출하고, 데이터 종류별 분석 결과와 마케팅 전략 제안으로 구성되는 운영 보고서를 자동으로 생성하는 시스템을 제안한다.
이는 ChatGPT4o 기술의 이미지 생성 및 맥락 추론 능력이 트랜스포머 아키텍쳐, 대규모 데이터 학습, 다중 모달(multimodal) 학습, 진화된 자연어 처리 능력, 상호작용성과 같은 기술적 요소들에 기반을 두고 있기 때문이다[11]. 이 논문에서는 ChatGPT4o 모델이 추출한 고객 데이터의 정확도는 인간 전문가의 판단과 비교하여 측정한다.
MUFI 서버는 크게 캠페인 관리 시스템(Campaign Management System), 합성포토 생성 시스템(Composite Photo Creation System), 포토 이미지 분석 AI(Photo Image Analysis AI), 포토부스 리포팅 시스템(Photo Booth Reporting System)으로 구성되고, 표 1과 같이 Debian 11 운영체제에서 Gin, TRPC(typescript remote procedure call) 프레임워크와 Go, TypeScript, Python언어로 구현하였다.
그림 5는 포토 이미지 분석 및 포토부스 운영보고서 자동 생성을 위한 시퀀스 다이어그램이다. 포토 이미지 분석 AI는 캠페인별, 즉 행사별 원본포토를 대상으로 ChatGPT4o를 이용하여 포토 이미지에서 사람 객체를 인식하여 촬영 인원수, 연령, 성별, 관계, 대륙 및 피부색 인종, 헤어스타일, 옷 색깔 데이터를 추출하여 DB화한다.
제안하는 시스템에서는 셀프포토 분석 정보와 행사 정보를 기반으로 그림 19와 같은 양식(template)의 포토부스 운영 보고서를 자동 생성한다. 운영 개요 및 행사 개요는 주최측이 제공한 데이터를 기반으로 자동 생성하고, 고객 데이터 종류별 운영 결과는 ChatGPT4o가 셀프포토를 분석한 결과를 통계처리하여 생성한다.
이 논문에서는 이동형 포토부스를 통해 촬영된 셀프포토를 분석하여 다양한 고객 데이터를 추출하고, 데이터 종류별 분석과 마케팅 전략 제안으로 구성되는 운영 보고서를 자동으로 생성하는 시스템을 제안하였다. 포토 이미지 분석과 고객 데이터 분석 및 차기 마케팅 전략 제안에는 ChatGPT4o를 활용하였다.
보고서 양식은 운영 개요, 행사 개요와 추출된 고객 데이터별 운영 결과, 분석 결과, 차기 마케팅 전략 제안 영역으로 설계하고, 행사 및 운영 개요 영역은 주최측이 제공한 행사 정보로 자동 생성하였다. 또한, 고객 데이터별 운영 결과는 ChatGPT4o가 추출한 통계 정보와 시각화 그래프로 생성하고, 분석 결과와 마케팅 전략 제안은 ChatGPT4o가 시각화 그래프를 분석하여 자동 생성하였다. 포토부스 운영 보고서는 주최측의 행사 운영 결과 분석과 차년도 행사 기획 또는 타겟팅된 마케팅 전략 수립에 활용될 수 있다.

대상 데이터

이 논문에서 제안하는 이동형 포토부스는 그림 1과 같이 MUFI(MUin FIlm) 키오스크와 MUFI 서버로 구성된다. MUFI 키오스크는 그림 2와 같이 카메라, 인화기, 카드결제기, 키오스크 클라이언트를 탑재한 컴퓨터 본체와 터치스크린을 내장하고 있다.
포토 이미지 분석 AI는 ChatGPT4o를 이용하여 원본 포토에서 고객의 연령, 성별, 촬영 인원수, 관계 등의 데이터를 추출한다. 추출된 데이터는 종류별로 통계처리하고 그래프로 시각화된다.
행사장에 설치된 포토부스의 키오스크 클라이언트는 캠페인 관리 시스템을 통해 할당된 캠페인 정보를 다운로드하여 포토 촬영을 준비한다. 고객은 키오스크 클라이언트가 제공하는 프레임 템플릿 중에서 원하는 프레임을 선택하여 포토를 촬영한다. 키오스크 클라이언트는 원본 포토와 선택한 프레임 및 오버레이 이미지를 기반으로 합성포토를 생성한다.
이 논문에서 분석하는 셀프포토는 충북 소재 C시가 2024년 6월에 개최한 지역축제에 이동형 포토부스 MUFI 시스템 1대를 설치하여 수집하였다. 이 행사는 이틀동안 진행되었으며 약 2만 1천 명의 시민이 방문하였고, 이들 중 1,530명(7.
분석할 셀프포토는 전체 609장 중에서 409장을 무작위로 선별하였다. 409장의 평균 촬영 인원수는 2.
분석할 셀프포토는 전체 609장 중에서 409장을 무작위로 선별하였다. 409장의 평균 촬영 인원수는 2.5명으로 총 1,028명의 고객이 촬영하였으며, ChatGPT4o를 이용해 각각의 포토 이미지를 분석하고 통계처리하였다.
또한, 국제적인 행사에서는 대륙 또는 피부색 인종에 대한 데이터도 유용하게 활용될 수 있다. 이러한 고객 데이터는 행사 운영 결과를 분석하거나 차년도 행사 기획과 홍보 전략 수립에 활용될 수 있기 때문에 셀프포토 분석 데이터로 선정하였다. 특히, 상세하고 정확하지는 않지만 현재 유행하는 헤어스타일과 옷 색깔 데이터는 지역 상권 미용실이나 옷가게의 마케팅 전략 수립에 활용될 수 있을 것으로 판단된다.
셀프포토 분석은 C시의 지역축제에서 촬영된 609장의 포토 이미지 중에서 409장을 무작위로 선별하여 진행하였다. ChatGPT4o 모델을 이용해 409장의 포트 이미지에서 연령, 성별, 관계, 대륙인종, 피부색 인종, 헤어스타일, 옷색깔 데이터를 추출하였다.
셀프포토 분석은 C시의 지역축제에서 촬영된 609장의 포토 이미지 중에서 409장을 무작위로 선별하여 진행하였다. ChatGPT4o 모델을 이용해 409장의 포트 이미지에서 연령, 성별, 관계, 대륙인종, 피부색 인종, 헤어스타일, 옷색깔 데이터를 추출하였다. 촬영 인원수는 인식된 사람 수로 계산하였고, 총 1,028명으로 인식되었다.
ChatGPT4o 모델을 이용해 409장의 포트 이미지에서 연령, 성별, 관계, 대륙인종, 피부색 인종, 헤어스타일, 옷색깔 데이터를 추출하였다. 촬영 인원수는 인식된 사람 수로 계산하였고, 총 1,028명으로 인식되었다. ChatGPT4o의 분석 정확도를 평가하기 위해서 동일한 409장의 포토 이미지에서 각 데이터 항목을 인간 전문가가 육안으로 확인하고 판단하였다.
촬영 인원수는 인식된 사람 수로 계산하였고, 총 1,028명으로 인식되었다. ChatGPT4o의 분석 정확도를 평가하기 위해서 동일한 409장의 포토 이미지에서 각 데이터 항목을 인간 전문가가 육안으로 확인하고 판단하였다.
이 논문에서는 이동형 포토부스를 통해 촬영된 셀프포토를 분석하여 다양한 고객 데이터를 추출하고, 데이터 종류별 분석과 마케팅 전략 제안으로 구성되는 운영 보고서를 자동으로 생성하는 시스템을 제안하였다. 포토 이미지 분석과 고객 데이터 분석 및 차기 마케팅 전략 제안에는 ChatGPT4o를 활용하였다.
본 연구에서는 지자체 지역 축제에서 확보한 셀프포토만을 대상으로 고객 데이터를 추출하고 분석하였다. 향후에는 제안 시스템을 다양한 행사에서 촬영된 셀프포토를 대상으로 적용하여 고객 데이터 분석 정확도를 추가적으로 검증할 필요가 있다.

이론/모형

포토 이미지 분석, 고객 데이터 종류별 분석, 차기 마케팅 전략 제안은 ChatGPT4o(chat generative pre-trained transformer 4 omni)를 활용한다. ChatGPT3.

성능/효과

ChatGPT4o의 셀프포토 분석 정확도는 표 4와 같다. 각 포토 이미지에서 인식된 사람 객체 수로 계산한 촬영 인원수, 성별, 관계의 정확도는 각각 100%, 99.3%, 98.7%였고, 헤어스타일, 연령, 옷 색깔은 상대적으로 낮았다. 대륙 인종과 피부색 인종은 99% 이상의 높은 정확도를 보였으나, 내국인이 대부분인 행사 특성상 정확도가 높게 나타난 것으로 판단된다.
대륙 인종과 피부색 인종은 99% 이상의 높은 정확도를 보였으나, 내국인이 대부분인 행사 특성상 정확도가 높게 나타난 것으로 판단된다. ChatGPT4o는 헤어스타일, 옷색깔에 대해 85.1%, 8.6%의 비율로 인식에 실패하였지만 대부분의 경우 인간 전문가의 육안 판단으로도 인식이 불가능하여 정확도는 높게 측정되었다.
1%로 대부분 2-3명 단위로 포토부스를 방문하는 것으로 나타났고, 혼자 또는 4명 이상의 비율은 상대적으로 낮았다. ChatGPT4o의 사람 객체 인식 정확도는 100%였다.
1,028명의 연령대를 분석한 결과는 10대, 20대, 30대 각각이 29.6%, 26.6%, 22.6%로 젊은 층의 셀프포토 서비스 선호도가 높다는 것을 확인할 수 있었다. ChatGPT4o의 연령 인식과 인간 전문가 판단의 일치율은 약 88.
6%로 젊은 층의 셀프포토 서비스 선호도가 높다는 것을 확인할 수 있었다. ChatGPT4o의 연령 인식과 인간 전문가 판단의 일치율은 약 88.8%를 보였다.
4% 비율로 이미지 상에서 성별을 구분하지 못하였다. 인간 전문가 대비 GPT의 성별 분석 정확도는 약 99.3%로 나타났다.
가족 관계가 높게 나타난 것은 행사가 지역 주민들을 위한 축제의 성격이 강하기 때문으로 판단된다. 인간 전문가 대비 ChatGPT4o의 관계분석정확도는 약 98.7%였다.
8%에 대해 대륙 인종을 인식하지 못하였다. 인간 전문가 대비 ChatGPT의 대륙인종 분석 정확도는 99.2%였다. 그림 15는 피부색 인종을 분석한 결과로 황인종이 94.
6%에 대해서는 피부색 인종을 분류하지 못하였다. 인간전문가 대비 ChatGPT의 피부색 인종 분석 정확도는 약 99.2%였다.
C시의 지역축제에서 촬영한 셀프포토 409장을 제안 시스템을 통해 분석한 결과, 촬영 인원수, 성별, 관계 등의 고객 데이터를 88% 이상의 정확도로 추출하는 것을 확인하였다. 보고서 양식은 운영 개요, 행사 개요와 추출된 고객 데이터별 운영 결과, 분석 결과, 차기 마케팅 전략 제안 영역으로 설계하고, 행사 및 운영 개요 영역은 주최측이 제공한 행사 정보로 자동 생성하였다.

후속연구

본 연구에서는 지자체 지역 축제에서 확보한 셀프포토만을 대상으로 고객 데이터를 추출하고 분석하였다. 향후에는 제안 시스템을 다양한 행사에서 촬영된 셀프포토를 대상으로 적용하여 고객 데이터 분석 정확도를 추가적으로 검증할 필요가 있다. 또한, 소품, 촬영 포즈, 얼굴형 등 포토부스 매출 증대와 지역 상권 활성화에 활용될 수 있는 고객 데이터의 추출 가능성에 대한 추가 연구가 필요하다.
향후에는 제안 시스템을 다양한 행사에서 촬영된 셀프포토를 대상으로 적용하여 고객 데이터 분석 정확도를 추가적으로 검증할 필요가 있다. 또한, 소품, 촬영 포즈, 얼굴형 등 포토부스 매출 증대와 지역 상권 활성화에 활용될 수 있는 고객 데이터의 추출 가능성에 대한 추가 연구가 필요하다.

참고문헌 (13)

H. N. Park, G. Y. Lim, and J. H. Chu, "Photowave, photo？kiosk based on facial recognition AI model," in Proceeding？of HCI Korea 2024, Seoul: Korea, pp. 1289-1291, Jun.？2024, Retrieved from https://www.dbpia.co.kr/pdf/pdfView.do?nodeIdNODE11714852
J. E. Roh and H. Y. Ryoo, "Proposal of photo booth？application for generation Z," in Proceeding of HCI Korea？2023, Gangwon: Korea, pp. 975-978, Feb. 2023, Retrieved？from https://www.dbpia.co.kr/pdf/pdfView.do?nodeIdNODE11229786.
S. H. Jeong, "A study on photo booth design for vitalization？of local brand -focused on Seoul and Gyeonggi local brand",？Master's thesis, Hongik University, Republic of Korea,？2021. Retrieved from http://www.riss.kr/link?idT15774257
H. E. Bang (Korean Consumer Agency), Conventional？survey for self photo studio service, Republic of Korea, 2023, Retrieved from https://www.kca.go.kr/smartconsumer/sub.do?menukey7301&modeview&no1003597927.
N. H. Kwon, H. Y. Choi, S. H. Park, and O. S. Seo, "Age-gender estimation using deep learning and statistics？for a customized marketing and finding visitor patterns," in？Proceeding of Korea Software Congress 2018, Pyeongchang: Korea, pp. 2303-2305, Dec. 2018, Retrieved？from https://www.dbpia.co.kr/pdf/pdfView.do?nodeIdNODE07614290.
Y. K. Kim, G. H. Ryu, E. S. Hwang, B. H. Lee, and J. K.？Yoo, "Open-source robot platform providing offline？personalized advertisements," Journal of Convergence for？Information Technology, Vol. 10, No. 4, pp. 1-10, Jan.？2020. DOI: https://doi.org/10.22156/CS4SMB.2020.10.04.001.

원문보기 상세보기
Y. Liu, T. Han, S. Ma, J. Zhang, Y. Yang, J. Tian, H. He, A.？Li, M. He, Z. Liu, Z. Wu, L. Zhao, D. Zhu, X. Li, H. Qiang,？D. Shen, T. Liu, and B. Ge, " Summary of ChatGPT-related？research and perspective towards the future of large？language models," Meta-Radiology, Vol. 1, No. 1, Sep.？2023. DOI : /10.1016/j.metrad.2023.100017.

상세보기
S. S. Gill, M. Xu, P. Patros, H. Wu, R. Kaur, K. Kaur, S.？Fuller, M. Singh, P. Arora, A. K. Parlikad, V. Stankovski,？A. Abraham, S. K. Ghosh, H. Lutfiyya, S. S. Kanhere, R.？Bahsoon, O. Rana, S. Dustdar, R. Sakellariou, S. Uhlig,？and R. & Buyya, "Transformative effects of ChatGPT on modern education: emerging era of AI chatbots," Internet of？Things and Cyber-Physical Systems, Vol. 4, pp. 19-23, Jun.？2024. DOI : 10.1016/j.iotcps.2023.06.002.

상세보기
O. Onesi-Ozigagun, Y. J. Ololade, N. L. Eyo-Udo and D. O.？Ogundipe, "Revolutionizing education through AI: a comprehensive review of enhancing learning experiences,"？International Journal of Applied Research in Social？Sciences, Vol. 6, No. 4, pp. 589-607, Apr. 2024. DOI:？10.51594/ijarss.v6i4.1011.
J. Y. Oh, and Y. S. Jeong, "Enhancing critical semiotic？competence through customized AI chatbots : a case study？of the liberal arts course utilizing ChatGPT4.0(4o)," The？Journal of General Education, Vol. 28, pp. 141-179, July？2024. DOI: 10.24173/jge.2024. 07.28.5.

상세보기
E. Y. Chang, "Examining GPT-4's capabilities and？enhancement with SocraSynth," in 2023 International？Conference on Computational Science and Computational？Intelligence (CSCI), Las Vegas: NV, pp. 7-14, Dec. 2023.？DOI: 10.1109/CSCI62032.2023.00009.
Human categorization of Johann Friedrich Blumenbach？[Internet]. Available: https://en.wikipedia.org/wiki/Johann_ Friedrich_Blumenbach
H. C. Conklin "Hanunoo color categories," Journal of？Anthropological Research, Vol. 42, No. 3. pp. 339-344,？Dec. 1955. DOI: https://doi.org/10.1086/soutjanth.11.4.3628909.

상세보기

저자의 다른 논문 :

활용도 분석정보

상세보기

다운로드

내보내기

활용도 Top5 논문

해당 논문의 주제분야에서 활용도가 높은 상위 5개 콘텐츠를 보여줍니다.
더보기 버튼을 클릭하시면 더 많은 관련자료를 살펴볼 수 있습니다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증