[논문]부재 일람표 도면 인식을 활용한 증강현실 배근모델 자동 생성

박우열; 안성훈

doi:10.5345/jkibc.2020.20.3.289

부재 일람표 도면 인식을 활용한 증강현실 배근모델 자동 생성
Automated Bar Placing Model Generation for Augmented Reality Using Recognition of Reinforced Concrete Details 원문보기

한국건축시공학회지 = Journal of the Korea Institute of Building Construction, v.20 no.3, 2020년, pp.289 - 296

박우열 (Department of Architectural Engineering, Andong National University) , 안성훈 (Department of Architectural Engineering, Daegu University)

초록
AI-Helper

본 연구는 철근 배근과 관련된 증강현실을 구현할 수 있도록 2D 도면에서 배근 정보를 자동으로 추출하여 3D 배근 모델을 생성하는 방법론을 제시하였다. 사용자가 쉽게 도면정보를 획득할 수 있도록 휴대용 단말기에 내장된 카메라를 이용하여 도면을 촬영한 후 화상 인식(Image Recogni-tion)과 문자 인식(OCR; Optical Character Recognition) 도구를 활용하여 배근 정보를 추출하는 방법을 제시하였다. 또한, 게임 엔진을 활용하여 도면에서 추출된 정보를 입력받아 자동으로 3D 부재를 모델링하고 이를 실제 이미지와 중첩해서 배근 모델을 검토할 수 있는 증강현실 앱을 구현하였다. 기존에 개발된 프로그래밍 도구를 활용하여 제시한 방법론에 적용할 수 있도록 세부 내용을 기술하였으며, 건설현장에서 전형적인 부재를 대상으로 철근 배근 증강현실 모델을 구현한 결과를 검토하였다. 제시된 증강현실 배근 모델 자동 생성 방법론은 배근 교육이나 시공검토에 활용될 수 있을 것으로 기대된다.

Abstract ▼ AI-Helper

This study suggests a methodology for automatically extracting placing information from 2D reinforced concrete details drawings and generating a 3D reinforcement placing model to develop a mobile augmented reality for bar placing work. To make it easier for users to acquire placing information, it is suggested that users takes pictures of structural drawings using a camera built into a mobile device and extract placing information using vision recognition and the OCR(Optical Character Registration) tool. In addition, an augmented reality app is implemented using the game engine to allow users to automatically generate 3D reinforcement placing model and review the 3D models by superimposing them with real images. Details are described for application to the proposed methodology using the previously developed programming tools, and the results of implementing reinforcement augmented reality models for typical members at construction sites are reviewed. It is expected that the methodology presented as a result of application can be used for learning bar placing work or construction review.

주제어

표/그림 (7)

표 Table 1. Classification of AR
그림 Figure 1. Process of automated bar placing model generation
그림 Figure 2. Smartphone screen shot with OCR
그림 Figure 3. Smartphone screen shot with 3D bar placing models
그림 Figure 4. Longitudinal bar recognition
그림 Figure 5. Smartphone screen shot with bar placing information
그림 Figure 6. AR model on smartphone

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

따라서 본 연구는 철근공사 검토 및 배근 교육에 증강현실 기술을 유연하게 적용할 수 있도록, 휴대용 단말기를 활용한 자동 배근 정보 획득 및 3D 가상 모델 생성, 활용방안을 제시하고자 한다. 휴대용 단말기를 활용하여 구조도면의부재 일람표에서 자동으로 배근 정보를 획득한 후, 3D 가상 모델을 자동으로 생성하고 증강현실로 활용하는 방안을제시하며, 이를 통해 배근 교육뿐 아니라 시공 전 배근 검토 및 공사 관리 효율화에 기여하는 것을 목적으로 한다.
그리고 철근공사를 담당하는 철근가공업체나 배근시공도 작성업체, 철근시공 전문업체에서 2D 도면을 많이 활용하고 있는 실정을 고려하면 실용적인 도입 방안을 제시할 필요가 있다. 따라서 본 연구에서는 철근공사에 주로 활용되고 있는 2D 구조도면에서 배근 정보를 추출하여 활용도를 높이는 방향으로 연구를 진행하였다.
따라서 본 연구는 철근공사 검토 및 배근 교육에 증강현실 기술을 유연하게 적용할 수 있도록, 휴대용 단말기를 활용한 자동 배근 정보 획득 및 3D 가상 모델 생성, 활용방안을 제시하고자 한다. 휴대용 단말기를 활용하여 구조도면의부재 일람표에서 자동으로 배근 정보를 획득한 후, 3D 가상 모델을 자동으로 생성하고 증강현실로 활용하는 방안을제시하며, 이를 통해 배근 교육뿐 아니라 시공 전 배근 검토 및 공사 관리 효율화에 기여하는 것을 목적으로 한다.

제안 방법

넷째, 자동으로 구현된 3D 모델링 부재를 활용하여 증강현실 시스템을 구현하고 그 적용 가능성을 검토한다.
본 연구는 휴대용 단말기에 내장된 카메라로 2D 구조도면의 일부인 부재 리스트를 활용하여 배근 정보를 자동으로 추출한 후, 게임 엔진을 활용하여 3D 배근 모델을 자동으로 생성하고 이를 증강현실로 구현하는 방안을 제시하였다. 단면도에 있는 주근의 위치를 추출하기 위해 화상 정보를 처리하는 과정을 제시하였으며, 문자인식 및 증강현실에 필요한 기능은 전문영역에서 개발된 범용 기술을 적용하였고, 증강현실 기능을 내장한 게임 엔진을 활용하여 3D 배근 모델을 구현하였다. 적용결과 딥러닝 기반 문자 인식을 통해 도면에서 배근 정보를 안정적으로 추출할 수 있었으며, 게임 엔진을 통해 구현된 3D 배근 모델 증강현실은 배근 교육이나 시공 정 배근 검토에 충분히 활용될 수 있음을 확인하였다.
둘째, 기존 연구를 바탕으로 구조도면의 부재 일람표에서 자동으로 배근 정보를 추출할 수 있는 방법론을 제시한다. 단면도의 형태로 제시되는 부재 일람표에서 주근을 검출하는 화상 인식과 문자 인식 방법론을 제시한다.
둘째, 기존 연구를 바탕으로 구조도면의 부재 일람표에서 자동으로 배근 정보를 추출할 수 있는 방법론을 제시한다. 단면도의 형태로 제시되는 부재 일람표에서 주근을 검출하는 화상 인식과 문자 인식 방법론을 제시한다.
따라서 교육분야 뿐 아니라 현장에서의 활용도를 높이기 위해서는 다양한 도면에 적용할 필요가 있으며, 도면 정보에 따라 달라지는 배근 형상을 자동으로 3D 모델링하는 방법이 필요하다. 따라서 본 연구에서는 휴대용 단말기에 내장된 카메라를 이용하여 구조도면을 촬영한 후 화상 인식과 문자 인식 기술을 활용하여 자동으로 배근 정보를 획득하고, 유니티(Unity)게임 엔진을 통해 3D배근 모델을 자동으로 생성하는 방식으로 증강현실을 구현하는 방법론을 제시하였다.
본 연구는 휴대용 단말기에 내장된 카메라로 2D 구조도면의 일부인 부재 리스트를 활용하여 배근 정보를 자동으로 추출한 후, 게임 엔진을 활용하여 3D 배근 모델을 자동으로 생성하고 이를 증강현실로 구현하는 방안을 제시하였다. 단면도에 있는 주근의 위치를 추출하기 위해 화상 정보를 처리하는 과정을 제시하였으며, 문자인식 및 증강현실에 필요한 기능은 전문영역에서 개발된 범용 기술을 적용하였고, 증강현실 기능을 내장한 게임 엔진을 활용하여 3D 배근 모델을 구현하였다.
본 연구에서 문자 인식, 3D 모델링 및 증강현실 앱을 구현하기 위해 이미 개발된 범용 SDK를 우선 활용하였다. 전문분야에서 발전된 화상 인식이나 문자 인식 기술을 개선하기 위해 노력하기보다는 그 성과를 적극적으로 현장에 반영하여 적용 가능성을 탐색하는 것이 바람직하다고 판단하였다
본 연구에서 제시한 증강현실은 2D 구조도면을 촬영한 화상 정보를 활용하여 배근 정보를 자동으로 추출하는 과정으로 시작된다. 따라서 휴대용 단말기로 구조도면을 촬영하는 과정과 부수적으로 배근에 필요한 정보를 입력하기만 한다면 배근 모델을 사전에 검토할 수 있고 실제 배근 위치에서 배근된 부재를 검토하는 데 활용할 수 있다.
내장된 카메라가 캡쳐한 도면을 화면 하단에 표시하며, 이미지 파일에서 추출한 문자 정보를 화면 중간에 문자열로 표현하도록 하였다. 부재 일람표에 있는 정보를 부재 단위로 추출하기 위해 해당 부재만을 촬영하는 방식을 사용하였다. 또한 촬영한 이미지의 해상도에 따라 화상 인식과 문자 인식 정확도가 달라지기 때문에 추출된 결과를 검토하고 수정할 수 있도록 하였다.
획득한 정보에 추가적인 정보를 입력한 후 게임 엔진에서 3D 배근 모델을 자동으로 생성하는 과정으로 진행된다. 이후 사용자가 원하는 위치의 물리적인 현실에 스크린 터치와 같은 간단한 조작으로 자동 생성된 3D 모델을 중첩하여 표현하는 방식으로 증강현실을 구현하도록 하였다.
Figure 3은 기둥 배근 사례를 중심으로 3D 배근 모델을 스마트폰 앱으로 구현한 화면을 캡쳐한 것이다. 화상 인식과 문자 인식 기능으로 획득한 배근 정보를 전달받은 후, 배근 위치에 관련된 입력 정보(경간, 보춤, 콘크리트 강도)를 화면 상단의 입력창을 통해 입력하면, 화면 하단에 자동으로 배근 모델을 생성하도록 구현하였다. 생성된 3D모델 좌측 상단에 배근 정보를 표시함으로써 사용자가 배근 정보를 확인할 수 있다.

이론/모형

도면에 포함된 문자가 번호판이나 서류 등에 포함된 문자와 차이가 없으며, 타산업의 발전된 전문화된 문자인식 기술을 개선하기 위해 노력하기보다는 그 성과를 적극적으로 활용하는 것이 바람직하다고 판단된다. 따라서 본 연구는 기존에 개발된 딥러닝 기술을 이용한 범용 SDK를 활용하여 도면 문자 인식에 적용하였다.
또한, 구조도면의 부재 일람표에서 배근 정보를 추출하기 위한 문자 인식 도구로 Google Firebase ML Kit²)(이하ML Kit)을 활용하였다. ML Kit에서 문자를 인식하는 방식은 그림 영역에서 문자 영역 전체를 블록 객체로 인식한 후 블록에 포함된 줄 단위의 객체를 분리하여 추출하고, 다시세부 문자와 공백을 추출하는 방식을 사용한다.
셋째, 추출한 배근 정보를 활용하여 3D 부재를 자동으로 모델링하는 시스템을 구현한다. 이를 위해 현재 증강현실도구로 많이 활용되고 있는 Unity 게임 엔진을 활용하였다. 건설분야에서 게임 엔진을 활용한 연구를 고찰하고 본연구의 적용 가능성도 검토한다.

성능/효과

철근 작업은 단위 부재의 개수가 많고 조립하는 방식이 매우 복잡하기 때문에 기능을 습득하기가 어렵고 현장에서의 관리 또한 매우 어려운 실정이다. 이처럼 복잡한 철근 배근 교육에 증강현실을 활용한 시각화 기술이 전문기술 습득에 매우 유용할 것으로 판단된다.
단면도에 있는 주근의 위치를 추출하기 위해 화상 정보를 처리하는 과정을 제시하였으며, 문자인식 및 증강현실에 필요한 기능은 전문영역에서 개발된 범용 기술을 적용하였고, 증강현실 기능을 내장한 게임 엔진을 활용하여 3D 배근 모델을 구현하였다. 적용결과 딥러닝 기반 문자 인식을 통해 도면에서 배근 정보를 안정적으로 추출할 수 있었으며, 게임 엔진을 통해 구현된 3D 배근 모델 증강현실은 배근 교육이나 시공 정 배근 검토에 충분히 활용될 수 있음을 확인하였다.

후속연구

건설 현장에서는 아직 2D 도면이 많이 활용되고 있고BIM을 기반으로 증강현실을 구현하기 위해서는 많은 작업과 추가적인 비용이 소요는 현실을 고려하면, 본 연구에서 제안하는 시스템은 전문적인 배근 교육이나 현장에서의 배근 검토에 활용도가 높을 것으로 기대된다. 다만 본 연구에서는 전형적인 부재만을 대상으로 구현하였기 때문에 확장성을 더 높이기 위해서는 다양한 형상의 부재에 대응할 수 있도록 확장할 필요가 있으며, 휴대용 단말기의 크기가 작으면 화면에서 확인할 수 있는 내용이 한정되기 때문에 이를 개선하기 위해 가상현실과 같이 공간을 확장하는 방안을 고려할 필요가 있다.
건설 현장에서는 아직 2D 도면이 많이 활용되고 있고BIM을 기반으로 증강현실을 구현하기 위해서는 많은 작업과 추가적인 비용이 소요는 현실을 고려하면, 본 연구에서 제안하는 시스템은 전문적인 배근 교육이나 현장에서의 배근 검토에 활용도가 높을 것으로 기대된다. 다만 본 연구에서는 전형적인 부재만을 대상으로 구현하였기 때문에 확장성을 더 높이기 위해서는 다양한 형상의 부재에 대응할 수 있도록 확장할 필요가 있으며, 휴대용 단말기의 크기가 작으면 화면에서 확인할 수 있는 내용이 한정되기 때문에 이를 개선하기 위해 가상현실과 같이 공간을 확장하는 방안을 고려할 필요가 있다. 또한, 본 연구에서는 부재의 경간 등과 같은 부수적인 배근 정보를 직접 입력하였으나 향후 평면도에서 부재의 위치 정보를 자동으로 추출하는 방향으로 확장할 필요가 있다.
다만 본 연구에서는 전형적인 부재만을 대상으로 구현하였기 때문에 확장성을 더 높이기 위해서는 다양한 형상의 부재에 대응할 수 있도록 확장할 필요가 있으며, 휴대용 단말기의 크기가 작으면 화면에서 확인할 수 있는 내용이 한정되기 때문에 이를 개선하기 위해 가상현실과 같이 공간을 확장하는 방안을 고려할 필요가 있다. 또한, 본 연구에서는 부재의 경간 등과 같은 부수적인 배근 정보를 직접 입력하였으나 향후 평면도에서 부재의 위치 정보를 자동으로 추출하는 방향으로 확장할 필요가 있다.
이처럼 도면에서 자동으로 배근 정보를 추출하고 3D 모델을 자동으로 생성하여 증강현실로 구현한다면 다양한 배근 형태에 적용할 수 있으므로 전문적인 배근 교육에 활용될 수 있을 뿐 아니라 시공 전 배근 모델을 검토하는 데 활용될 수 있을 것으로 기대된다.
첫째, 도면에서 배근에 필요한 정보를 추출하기 위한 방법론을 고찰한 후 적용 가능성을 검토한다. 부재 일람표에서 철근 배근에 필요한 정보를 추출하기 위해서는 선이나 도형 등 화상 정보를 추출하는 것과 문자를 추출하는 것으로 나눌 수 있다.

참고문헌 (25)

Wang X, Kim MJ, Love PE, Kang SC. Augmented reality in built environment: Classification and implications for future research. Automation in Construction. 2013 Jul;32:1-13. https://doi.org/10.1016/j.autcon.2012.11.021

상세보기
Wang P, Wu P, Wang J, Chi HL, Wang X. A critical review of the use of virtual reality in construction engineering education and training. International Journal of Environmental Research and Public Health. 2018 Jun;15(6):1-18. https://doi.org/10.3390/ijerph15061204
Behzadan AH, Dong S, Kamat VR. Augmented reality visualization: A Review of civil infrastructure system applications. advanced engineering informatics. 2015 Apr;29(2):252-67. https://doi.org/10.1016/j.aei.2015.03.005

상세보기
Sebastjan M, Turk Z, Dolenc M. Measuring the potential of augmented reality in civil engineering. Advances Engineering Software. 2015 Dec;90:1-10. https://doi.org/10.1016/j.advengsoft.2015.06.005

상세보기
Shin DH, Dunston PS. Identification of application area for augmented reality in industrial construction based on technology suitability. Automation in Construction. 2008 Oct;17(7):882-94. https://doi.org/10.1016/j.autcon.2008.02.012

상세보기
Chi HL, Kang SC, Wang X. Research trends and opportunities of augmented reality applications. Automation in Construction. 2013 Aug;33:116-22. https://doi.org/10.1016/j.autcon.2012.12.017

상세보기
Ronkohi S, Waugh L. Review and analysis of augmented reality literature for construction industry. Visualization in Engineering. 2013 Aug;1(1):1-18. https://doi.org/10.1186/2213-7459-1-9

상세보기
Ayer SK, Messner JI, Anumba CJ. Augmented Reality Gaming in Sustainable Design Education. Journal of Architectural Engineering. 2016 Jan;22(1):1-8. https://doi.org/10.1061/(ASCE)AE.1943-5568.0000195
Wang TK, Huang J, Liao Pin-Chao, Piao Y. Does augmented reality effectively foster visual learning process in construction? An eye-tracking study in steel installation. Advances in Civil Engineering. 2018 Jul;2018:1-12. https://doi.org/10.1155/2018/2472167

상세보기
Turkan Y, Radkowski R, Karabulut-Ilgu A, Behzadan AH, Chen An. Mobile augmented reality for teaching structural analysis. Advanced Engineering Informatics. 2017 Oct;34:90-100. https://doi.org/10.1016/j.aei.2017.09.005

상세보기
Park UY. Mobile augmented reality for teaching bar placing. Journal of the Korea Institute of Building Construction. 2018 Oct;18(5):471-7. https://doi.org/10.5345/JKIBC.2018.18.5.471
Behzadan AH, Kamat VR. Enabling discovery-based learning in construction using telepresent augmented reality. Automation in Construction. 2013 Aug;33:3-10. https://doi.org/10.1016/j.autcon.2012.09.003

상세보기
Park UY. Fundamental study on augmented reality -based maintenance of construction structure using ibeacon localization technology Journal of the Regional Association of Architectural Institute of Korea. 2019 Feb;21(1):57-63.
Ryu HG, Choi HB, Jang MH. Method to select tower cranes using augmented reality in smart devices. Journal of the Korea Institute of Building Construction. 2014 Aug;14(5):407-13. https://doi.org/10.5345/JKIBC.2014.14.5.407

원문보기 상세보기
Park UY. Mobile augmented reality for teaching bar placing. Journal of the Korea Institute of Building Construction. 2018 Oct;18(5):471-7. https://doi.org/10.5345/JKIBC.2018.18.5.471
Koch, C, Neges M, Konig M, Abramovici M. Natural markers for augmented reality-based indoor navigation and facility maintenance. Automation in Construction. 2014 Dec;48:18-30. https://doi.org/10.1016/j.autcon.2014.08.009

상세보기
Lee TO. A study on the actual condition survey of apartment rebar work. Journal of the Korea Institute of Building Construction. 2008 Apr;8(2):71-9. https://doi.org/10.5345/JKIC.2008.8.2.071
Cao Y, Wang S, Li Heng. Automatic recognition of tables in construction tender documents. Automation in Construction. 2002 A ug;11(5):573-84. https://doi.org/10.1016/S0926-5805(01)00067-X

상세보기
Kim JS, Chin SY, Yoon SW. A study on the applicability of character recognition technology for construction supply chain management of structural steel components and precast concrete works. Korean Journal of Construction Engineering and Management. 2014 Jul;15(4):20-9. https://doi.org/10.6106/KJCEM.2014.15.4.020
Shin HR, Lee SH, Park JS, Song JK Performance improvement of optical character recognition for parts book using pre-processing of modified VGG model. The Journal of The Korea Institute of Electronic Communication Sciences. 2019 Mar;14(2):433-8. https://doi.org/10.13067/JKIECS.2019.14.2.433
Lee HM, Lee WH. Development of handwriting recognition using deep learning in unity3D. Journal of The Korean Society for Computer Game. 2019 Mar;32(1):51-9.
Song SK, Lee MS, Noh DW, Lee MS. A study on the construction of drawing recognition-management system for the reuse of architectural drawing information. Journal of the Architectural Institute of Korea Planning & Design. 2000 Jul;16(7):31-8.
Jung YS, Park KH. Recognition of dimension sets based on vectorization of interpretation line in mechanical drawings. Journal of KISS(B):Software and Applications. 1997 Sep;24(9):995-1005.
Gang SM, Ryu DH, Choi YC, Choung YJ. Unity3D-based flood simulation visualization web system for efficient disaster management. Journal of the Korean Association of Geographic Information Studies. 2017 Mar;20(1):98-112. https://doi.org/10.11108/kagis.2017.20.1.098
Lim TK, Choi BY, Lee DE. Methodology for near-miss identification between earth work equipment and workers using image analysis. Korean Journal of Construction Engineering and Management. 2019 Jul;20(4):69-76. https://doi.org/10.6106/KJCEM.2019.20.4.069

저자의 다른 논문 :

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증