$\require{mediawiki-texvc}$

연합인증

연합인증 가입 기관의 연구자들은 소속기관의 인증정보(ID와 암호)를 이용해 다른 대학, 연구기관, 서비스 공급자의 다양한 온라인 자원과 연구 데이터를 이용할 수 있습니다.

이는 여행자가 자국에서 발행 받은 여권으로 세계 각국을 자유롭게 여행할 수 있는 것과 같습니다.

연합인증으로 이용이 가능한 서비스는 NTIS, DataON, Edison, Kafe, Webinar 등이 있습니다.

한번의 인증절차만으로 연합인증 가입 서비스에 추가 로그인 없이 이용이 가능합니다.

다만, 연합인증을 위해서는 최초 1회만 인증 절차가 필요합니다. (회원이 아닐 경우 회원 가입이 필요합니다.)

연합인증 절차는 다음과 같습니다.

최초이용시에는
ScienceON에 로그인 → 연합인증 서비스 접속 → 로그인 (본인 확인 또는 회원가입) → 서비스 이용

그 이후에는
ScienceON 로그인 → 연합인증 서비스 접속 → 서비스 이용

연합인증을 활용하시면 KISTI가 제공하는 다양한 서비스를 편리하게 이용하실 수 있습니다.

[국내논문] 액티브 러닝을 활용한 영상기반 건설현장 물체 자동 인식 프레임워크
Automated Vision-based Construction Object Detection Using Active Learning 원문보기

대한토목학회논문집 = Journal of the Korean Society of Civil Engineers, v.39 no.5, 2019년, pp.631 - 636  

김진우 (서울대학교 건설환경종합연구소) ,  지석호 (서울대학교 건설환경공학부) ,  서준오 (홍콩이공대학)

초록
AI-Helper 아이콘AI-Helper

최근 많은 연구자들이 대규모 현장에 투입된 건설자원의 유형과 위치를 자동 파악하는 영상분석기술을 활발히 개발하고 있다. 하지만 기존의 방법들은 인식하고자 하는 건설 물체(작업자, 중장비, 자재 등)를 학습용 이미지 데이터에 표시하는 Labeling 작업을 요구하고 이에 불필요한 시간과 노력이 낭비된다는 한계가 있다. 이러한 한계를 보완하기 위해서 본 연구는 액티브 러닝을 활용한 영상기반 건설현장 물체 자동 인식 프레임 워크를 제안함을 목표로 한다. 개발 프레임워크 검증을 목적으로 건설분야 Benchmark 데이터셋을 이용하여 실제 실험을 진행하였다. 그 결과, 액티브 러닝을 통해 학습한 모델은 다양한 특성을 지닌 건설물체를 성공적으로 인식할 수 있었고, 기존의 학습 DB 구축 방식과 비교할 때 더 적은 데이터 수와 반복학습 횟수로도 높은 성능을 가지는 영상분석모델을 개발할 수 있었다. 결과적으로 기존에 요구되던 학습 DB 구축을 위한 Labeling 작업을 줄일 뿐만 아니라 총 시간과 비용을 최소화할 수 있다.

Abstract AI-Helper 아이콘AI-Helper

Over the last decade, many researchers have investigated a number of vision-based construction object detection algorithms for the purpose of construction site monitoring. However, previous methods require the ground truth labeling, which is a process of manually marking types and locations of targe...

주제어

표/그림 (4)

AI 본문요약
AI-Helper 아이콘 AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

  • 이처럼 많은 연구들이 진행되었지만 기존의 방법들은 데이터 Labeling 및 학습 DB 구축을 위해 굉장히 많은 시간과 비용을 요구하고 이로 인해 건설현장 물체를 자동으로 인식하는 데 한계가 있다. 따라서 본 연구는 학습 데이터 Labeling 작업을 최소화 할 수 있는 액티브 러닝을 활용한 영상기반 건설현장 물체 자동 인식 프레임워크를 제안함을 목표로 한다.
  • 본 단계는 액티브 러닝의 핵심과정으로 Unlabeled 학습 데이터에 대한 모델 예측값의 불확실성을 평가하는 것이 목적이다. 이를 위해 먼저 랜덤 샘플링(Random Sampling)을 통해 전체 Unlabeled 이미지 데이터 중 일부 데이터를 추출한다.
  • 본 단계의 목적은 Labeling된 이미지 데이터를 활용하여 딥러닝 기반 물체 인식 모델을 학습하고 그 성능을 평가하는 것이다. 특히, 본 연구에서는 Ren et al.
  • 본 연구는 학습 DB 구축에 불필요하게 낭비되는 시간과 노력을 최소화하기 위해서 액티브 러닝을 활용한 영상기반 건설현장 물체 자동 인식 프레임워크를 제안하였다. 개발 프레임워크의 성능 평가및 검증을 목적으로 건설분야 Benchmark 데이터셋을 이용하여 실제 실험을 진행하였다.
  • 보다 구체적으로, 인식하고자 하는 건설 물체의 유형과 위치를 학습용 이미지 데이터에 표시하는 Labeling 작업을 일일이 진행해야 하고, 이는 수많은 시간과 노력을 요구한다. 이러한 한계를 보완하기 위해서 본 연구는 학습 데이터 Labeling 작업을 최소화할 수 있는 액티브 러닝(Active Learning)을 활용한 영상기반 건설현장 물체 자동 인식 프레임워크를 제안함을 목표로 한다.
본문요약 정보가 도움이 되었나요?

질의응답

핵심어 질문 논문에서 추출한 답변
액티브 러닝이란 무엇인가? 액티브 러닝은 대표적인 반지도학습(Semi-supervised Learning) 기법 중 하나이며, 수많은 학습 데이터 중 가장 유의미한 데이터를 우선적으로 선별하고 학습하여 분석 모델의 성능을 점진적으로 최대화하는 과정이다(Chung, 2018). 정보이론(Information Theory)에서 자주 사용되는 엔트로피(Entropy)를 Eq.
IoT센서를 부착하는 것이 아닌 영상기반 건설현장 물체 인식 시스템을 이용하게 된 이유는? 대표적으로, Global Positioning Systems,Radio Frequency Identification, Ultra-Wideband 등의 Internetof-Things (IoT) 센서를 건설자원에 직접 부착하고 위치 데이터를 취득하는 시스템이 도입되었다. 하지만 IoT 센서를 현장에 투입된 수많은 건설자원에 모두 부착하는 것이 어렵다는 문제가 있어, 최근에는 Closed Circuit Television (CCTV) 카메라를 현장에 설치하고 수집되는 영상 데이터로부터 건설자원의 위치를 파악하는 영상기반 건설현장 물체 인식 시스템을 적용하고 있다. 영상기반 시스템은 IoT센서를 건설자원에 부착할 필요가 없고 카메라 한 대로 다수의 건설자원을 모니터링할 수 있을 뿐만 아니라, 2016년부터 건설현장 CCTV 설치 및 운용계획 수립이 법제화됨에 따라 영상기반 시스템에 대한 관심이 높아지고 있다(Korea Construction Technology Promotion Act, 2016).
액티브 러닝을 활용한 영상기반 건설현장 물체자동 인식 프레임워크의 장점은? 특히, 기존의 학습 DB 구축 방식으로는 모델의 최대 성능이 74 %였던 반면 액티브 러닝을 진행할 경우 81 %까지 성능을 향상할 수 있었다. 이는 본 연구결과를 통해 훨씬 더 적은 데이터수와 반복학습 횟수로도 높은 성능을 가지는 영상분석 모델을 개발할 수 있음을 의미하며, 결과적으로 기존에 학습 DB 구축에 요구되는 Labeling 작업을 줄일 뿐만 아니라 총 시간과 비용을 절감할 수 있었다. 향후 연구로는, 모델 성능의 수렴 속도 또는 학습시간을 기존 방법과 비교하고 액티브 러닝을 건설현장 물체 인식뿐만 아니라 정지, 이동 등 건설자원의 개별적인 행동과 작업을 파악하는 문제에 적용해볼 수 있다.
질의응답 정보가 도움이 되었나요?

참고문헌 (32)

  1. Azar, E. R. and McCabe, B. (2012a). "Automated visual recognition of dump trucks in construction videos." Journal of Computing in Civil Engineering, Vol. 26, No. 6, pp. 769-781. 

  2. Azar, E. R. and McCabe, B. (2012b). "Part based model and spatial-temporal reasoning to recognize hydraulic excavators in construction images and videos." Automation in Construction, Vol. 24, pp. 194-202. 

  3. Azar, E. R., Dickinson, S. and McCabe, B. (2013). "Server-Customer interaction tracker: computer vision-based system to estimate dirt-loading cycles." Journal of Construction Engineering and Management, Vol. 139, No. 7, pp. 785-794. 

  4. Cai, J., Zhang, Y. and Cai, H. (2019). "Two-step long short-term memory method for identifying construction activities through positional and attentional cues." Automation in Construction, Vol. 106, p. 102886. 

  5. Chi, S. and Caldas, C. H. (2011). "Automated object identification using optical video cameras on construction sites." Computer-Aided Civil and Infrastructure Engineering, Vol. 26, No. 5, pp. 368-380. 

  6. Chi, S. and Caldas, C. H. (2012). "Image-based safety assessment: automated spatial safety risk identification of earthmoving and surface mining activities." Journal of Construction Engineering and Management, Vol. 138, No. 3, pp. 341-351. 

  7. Chi, S., Caldas, C. H. and Kim, D. Y. (2009). "A methodology for object identification and tracking in construction based on spatial modeling and image matching techniques." Computer-Aided Civil and Infrastructure Engineering, Vol. 24, No. 3, pp. 199-211. 

  8. Chung, S. (2018). Bridge damage factor recognition from inspection reports using active recurrent neural network, Master Thesis, Seoul National University. 

  9. Fang, W., Ding, L., Zhong, B., Love, P. E. D. and Luo, H. (2018). "Automated detection of workers and heavy equipment on construction sites: A convolutional neural network approach." Advanced Engineering Informatics, Vol. 37, pp. 139-149. 

  10. Golparvar-Fard, M., Heydarian, A. and Niebles, J. C. (2013). "Vision-based action recognition of earthmoving equipment using spatio-temporal features and support vector machine classifiers." Advanced Engineering Informatics, Vol. 27, No. 4, pp. 652-663. 

  11. Gong, J. and Caldas, C. H. (2010). "Computer vision-based video interpretation model for automated productivity analysis of construction operations." Journal of Computing in Civil Engineering, Vol. 24, No. 3, pp. 252-263. 

  12. Han, S. U., Achar, M., Lee, S. H. and Pena-Mora, F. (2013). "Empirical assessment of a RGB-D sensor on motion capture and action recognition for construction worker monitoring." Visualization in Engineering, Vol. 1, No. 1, pp. 1-13. 

  13. Han, S. U., Lee, S. H. and Pena-mora, F. (2014). "Vision-based detection of unsafe actions of a construction worker: case study of ladder climbing." Journal of Computing in Civil Engineering, Vol. 27, No. 6, pp. 635-644. 

  14. Kim, H. J., Kim, H. K., Hong, Y. W. and Byun, H. R. (2018b). "Detecting construction equipment using a region-based fully convolutional network and transfer learning." Journal of Computing in Civil Engineering, Vol. 32, No. 2, p. 04017082. 

  15. Kim, H. J., Kim, K. N. and Kim, H. K. (2016). "Vision-based object-centric safety assessment using fuzzy inference: monitoring struck-by accidents with moving objects." Journal of Computing in Civil Engineering, Vol. 30, No. 4, p. 04015075. 

  16. Kim, J. W. and Chi, S. H. (2017). "Adaptive detector and tracker on constrution sites using functional integration and online learning." Journal of Computing in Civil Engineering, Vol. 31, No. 5, p. 04017026. 

  17. Kim, J. W. and Chi, S. H. (2019). "Action recognition of earthmoving excavators based on sequential pattern analysis of visual features and operation cycles." Automation in Construction, Vol. 104, pp. 255-264. 

  18. Kim, J. W., Chi, S. H. and Seo, J. W. (2018a). "Interaction analysis for vision-based activity identification of earthmoving excavators and dump trucks." Automation in Construction, Vol. 87, pp. 297-308. 

  19. Kim, J., Ham, Y. J., Chung, Y. H. and Chi, S. H. (2019). "Systematic camera placement framework for operation-level visual monitoring on construction jobsites." Journal of Construction Engineering and Management, Vol. 145, No. 4, p. 04019019. 

  20. Korea Construction Technology Promotion Act (2016). Enforcement decree article 98 and 99, statutes of the Republic of Korea. 

  21. Luo, X., Li, H., Cao, D., Dai, F., Seo, J. and Lee, S. (2018). "Recognizing diverse construction activities in site images via relevance networks of construction-related objects detected by convolutional neural networks." Journal of Computing in Civil Engineering, Vol. 32, No. 3, p. 04018012. 

  22. Memarzadeh, M., Golparvar-Fard, M. and Niebles, J. C. (2013). "Automated 2D detection of construction equipment and workers from site video streams using histograms of oriented gradients and colors." Automation in Construction, Vol. 32, pp. 24-37. 

  23. Park, M. W. and Brilakis, I. (2012). "Construction worker detection in video frames for initializing vision trackers." Automation in Construction, Vol. 28, pp. 15-25. 

  24. Park, M. W. and Brilakis, I. (2016). "Continuous localization of construction workers via integration of detection and tracking." Automation in Construction, Vol. 72, pp. 129-142. 

  25. Park, M. W., Elsafty, N. and Zhu, Z. (2015). "Hardhat-wearing detection for enhancing on-site safety of construction workers." Journal of Construction Engineering and Management, Vol. 141, No. 9, p. 04015024. 

  26. Ren, S., He, K., Girshick, R. and Sun, J. (2017). "Faster R-CNN: towards real-time object detection with region proposal networks." IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 39, No. 6, pp. 1137-1149. 

  27. Settles, B. (2010). Active learning literature survey. Computer Science Technical Report 1648, University of Wisconsin-Madison. 

  28. Soltani, M. M., Zhu, Z. and Hammad, A. (2017). "Skeleton estimation of excavator by detecting its parts." Automation in Construction, Vol. 82, pp. 1-15. 

  29. Son, H. J., Choi, H. C., Seong, H. W. and Kim, C. W. (2019). "Detection of construction workers under varying poses and changing background in image sequences via very deep residual networks." Automation in Construction, Vol. 99, pp. 27-38. 

  30. Yang, J., Vela, P., Teizer, J. and Shi, Z. (2014). "Vision-based tower crane tracking for understanding construction activity." Journal of Computing in Civil Engineering, Vol. 28, No. 1, pp. 103-112. 

  31. Zhu, Z., Ren, X. and Chen, Z. (2016). "Visual tracking of construction jobsite workforce and equipment with particle filtering." Journal of Computing in Civil Engineering, Vol. 30, No. 6, pp. 1-15. 

  32. Zou, J. and Kim, H. (2007). "Using hue, saturation, and value color space for hydraulic excavator idle time analysis." Journal of Computing in Civil Engineering, Vol. 21, No. 4, pp. 238-246. 

저자의 다른 논문 :

LOADING...

관련 콘텐츠

오픈액세스(OA) 유형

GOLD

오픈액세스 학술지에 출판된 논문

유발과제정보 저작권 관리 안내
섹션별 컨텐츠 바로가기

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

AI-Helper 아이콘
AI-Helper
안녕하세요, AI-Helper입니다. 좌측 "선택된 텍스트"에서 텍스트를 선택하여 요약, 번역, 용어설명을 실행하세요.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.

선택된 텍스트

맨위로