[논문]대형 언어 모델 기반 신경망을 활용한 강구조물 부재 중량비 예측

박종혁; 유상현; 한수희; 김경준

doi:10.13067/jkiecs.2024.19.1.119

대형 언어 모델 기반 신경망을 활용한 강구조물 부재 중량비 예측
Predicting Steel Structure Product Weight Ratios using Large Language Model-Based Neural Networks 원문보기

한국전자통신학회 논문지 = The Journal of the Korea Institute of Electronic Communication Sciences, v.19 no.1, 2024년, pp.119 - 126

박종혁 (포항공과대학교 IT융합공학과) , 유상현 (포항공과대학교 IT융합공학과) , 한수희 (포항공과대학교 IT융합공학과) , 김경준 (포항공과대학교 IT융합공학과)

초록
AI-Helper

건물 정보 모델(BIM: Building Information Model)은 관련 기업의 개별화된 프로젝트와 학습 데이터양 부족으로 인해 인공지능(AI: Artificial Intelligence) 기반 BIM 애플리케이션 개발이 쉽지 않다. 본 연구에서는 데이터가 제한적인 상황에서 BIM의 강구조물 부재 중량비를 예측하기 위해 사전 학습이 된 대형 언어 모델을 기반으로 신경망을 학습하는 방법을 제시하고 실험하였다. 제안된 모델은 대형 언어 모델을 활용하여 BIM에 내재하는 데이터 부족 문제를 극복할 수 있어 데이터의 양이 부족한 상황에서도 성공적인 학습이 가능하며 대형 언어 모델과 연계된 신경망을 활용하여 자연어와 더불어 숫자 데이터까지 처리할 수 있다. 실험 결과는 제안된 대형 언어 모델 기반 신경망이 기존 소형 언어 모델 기반보다 높은 정확도를 보였다. 이를 통해, 대형 언어 모델이 BIM에 효과적으로 적용될 수 있음이 확인되었으며, 향후 건물 사고 예방 및 건설 비용의 효율적인 관리가 기대된다.

Abstract ▼ AI-Helper

In building information model (BIM), it is difficult to train an artificial intelligence (AI) model due to the lack of sufficient data about individual projects in an architecture firm. In this paper, we present a methodology to correctly train an AI neural network model based on a large language model (LLM) to predict the steel structure product weight ratios in BIM. The proposed method, with the aid of the LLM, can overcome the inherent problem of limited data availability in BIM and handle a combination of natural language and numerical data. The experimental results showed that the proposed method demonstrated significantly higher accuracy than methods based on a smaller language model. The potential for effectively applying large language models in BIM is confirmed, leading to expectations of preventing building accidents and efficiently managing construction costs.

주제어

표/그림 (6)

그림 그림 1. 강구조물 부재 도식도 Fig. 1 Schematic of steel structure product
그림 그림 2. 언어 모델 기반 신경망 모식도 Fig. 2 Schematic of the language model-based neural network model
표 표 1. GPT를 사용하기 위한 쿼리 및 출력 엔지니어링 예제 Table 1. Example of query and output engineering for using GPT library
표 표 2. 강구조물 부재 중량비의 예측값과 실측값의 평균제곱오차 Table 2. Mean square error value between the estimate and real values for steel structure product
표 표 3. 건축물 분류 정확도 Table 3. Accuracy for classifiying the construction sties
표 표 4. 건축물 분류 예시 Table 4. Example of classifiying the construction sties

참고문헌 (15)

S. Kim, J. Kong, S. Lee, and S. Lee, "Recent？advances of artificial intelligence in？manufacturing industrial sectors: A review,"？Int. J. of Precision Eng. and Manuf., vol. 23,？2022, pp. 111-129.
R. Cioffi, M. Travaglioni, and G. Piscitelli, A.？Petrillo, and F. Felice, "Artificial intelligence？and machine learning applications in smart？production: Progress, trends, and directions,"？Sustainability, vol. 12. no. 2, 2020, pp. 492-518.
B. Kim, J. Park, K. Kim, S. Han, and K. Kim,？"An Artificial Inteligent based Learning Model？for BIM Elements Usage," J. of the Korea Institute？of Electronic Communication Sciences, vol. 18, no.？1, 2023, pp. 107-114.
J. Kang, J. Park, S. Han, and K. Kim,？"Development of Machine Learning-based Flood？Depth and Location Prediction Model.", J. of the？Korea Institute of Electronic Communication？Sciences, vol. 18, no. 1, 2023, pp. 91-98.
A. Zabin, V. Gonzalez, Y. Zou, and R. Amor,？"Applications of machine learning to BIM: A？systematic literature review," Adv. Eng.？Informatics, vol. 51, 2022, pp. 101474.
S. Hashemi, O. Ebadati, and H. Kaur, "Cost？estimation and prediction in construction？projects: a systematic review on machine？learning techniques," SN Applied Sciences, vol.？2, no. 10, 2020, pp 1-27.
T. Van and T. Quoc, "Research trends on？machine learning in construction management:？A scientometric analysis," J. Applied Sci. and？Tech. Trends, vol. 2, no. 3, 2021, pp. 96-104.
N. Wang, R. Issa, and C. Anumba, "Transfer？learning-based query classification for？intelligent building information spoken？dialogue," Automation in Construction, vol. 141,？2022, pp. 104403.
F. Elghaish, J. K. Chauhan, S. Matarneh, F. P.？Rahimian, and M. R. Hosseini, "Artificial？intelligence-based voice assistant for BIM data？management," Automation in Construction, vol.？140, 2022, pp. 104320.
T. H. Lin, Y. Huang, and A. Putranto,？"Intelligent question and answer system for？building information modeling and artificial？intelligence of things based on the？bidirectional encoder representations from？transformers model," Automation in？Construction, vol. 142, 2022, pp. 104483.

상세보기
J. Devlin, M. Chang, K. Lee, and K.？Toutanova, "BERT: Pre-training of deep？bidirectional transformers for language？understanding," arXiv preprint？arXiv:1810.04805, Oct. 2018.
T. Brown, B. Mann, N. Ryder, M. Subbiah, J.？D. Kaplan, P. Dhariwal, A. Neelakantan, P.？Shyam, G. Sastry, A. Askell, S. Agarwal, A.？Herbert-Voss, G. Krueger, T. Henighan, R. Child, A. Ramesh, D. Ziegler, J. Wu, C.？Winter, C. Hesse, M. Chen, E. Sigler, M.？Litwin, S. Gray, B. Chess, J. Clark, C. Berner,？S. McCandlish, A. Radford, I. Sutskever, and？D. Amodei, "Language models are few-shot？learners," Adv. Neural Inf. Process. Syst., vol.？33, 2020, pp. 1877-1901.
L. Ouyang, J. Wu, X. Jiang, D. Almeida, C.？Wainwright, P. Mishkin, C. Zhang, S.？Agarwal, K. Slama, A. Ray, J. Schulman, J.？Hilton, F. Kelton, L. Miller, M. Simens, A.？Askell, P. Welinder, P. Christiano, J. Leike,？and R. Lowe, "Training language models to？follow instructions with human feedback,"？Adv. Neural Inf. Process. Syst., vol. 35, 2022,？pp. 27730-27744.
M. Abadi, A. Agarwal, P. Barham, E. Brevdo,？Z. Chen, C. Citro, and X. Zheng,？"Tensorflow: Large-scale machine learning on？heterogeneous distributed systems," arXiv？preprint arXiv:1603.04467, Mar. 2016.
D. P. Kingma and J. Ba, "Adam: A method？for stochastic optimization," arXiv preprint？arXiv:1412.6980, Dec. 2014.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증