[논문]AI를 활용한 비정형 문서정보의 공간정보화

윤상원; 박정우; 남광우

doi:10.11108/kagis.2023.26.3.037

초록
AI-Helper

도시현상의 해석을 위해 공간정보는 필수적이다. 위치정보가 부족한 도시정보를 공간정보로 변환하기 위한 공간정보화 방법론이 꾸준히 개발되어왔다. 정형화된 주소정보나 지명 등을 이용한 Geocoding이나 이미 위치정보가 있는 공간정보와의 공간결합, 참조데이터를 활용한 수작업 형태 등이 대표적이다. 그러나 아직도 행정기관에서 작성되는 수많은 문서정보들은 비정형화된 문서형태로 인해 공간정보화의 수요가 있음에도 그동안 깊이 있게 다루어지지 못하였다. 본 연구는 자연어 처리 모델인 BERT를 활용하여 도시계획과 관련된 공개문서의 공간정보화를 진행한다. 주소가 포함된 문장 요소를 문서로부터 추출하고, 이를 정형화된 데이터로 변환하는 과정을 중점적으로 다룬다. 18년 동안의 도시계획 고시공고문을 학습 데이터로 사용하여 BERT 모델을 학습시켰으며, 모델의 하이퍼파라미터를 직접 조정하여 성능을 향상시켰다. 모델 학습 후의 테스트 결과, 도시계획시설의 유형을 분류하는 모델은 96.6%, 주소 인식 모델은 98.5%, 주소 정제 모델은 93.1%의 정확도를 보였다. 결과 데이터를 GIS 상에 맵핑하였을 때, 특정 지점의 도시계획시설에 관한 변경 이력을 효과적으로 표출할 수 있었다. 본 연구로 도시계획 문서의 공간적 맥락에 대한 깊은 이해를 제공하며, 이를 통해 이해관계자들이 더욱 효과적인 의사결정을 할 수 있게 지원하기를 기대한다.

Abstract ▼ AI-Helper

Spatial information is essential for interpreting urban phenomena. Methodologies for spatializing urban information, especially when it lacks location details, have been consistently developed. Typical methods include Geocoding using structured address information or place names, spatial integration...

Spatial information is essential for interpreting urban phenomena. Methodologies for spatializing urban information, especially when it lacks location details, have been consistently developed. Typical methods include Geocoding using structured address information or place names, spatial integration with existing geospatial data, and manual tasks utilizing reference data. However, a vast number of documents produced by administrative agencies have not been deeply dealt with due to their unstructured nature, even when there's demand for spatialization. This research utilizes the natural language processing model BERT to spatialize public documents related to urban planning. It focuses on extracting sentence elements containing addresses from documents and converting them into structured data. The study used 18 years of urban planning public announcement documents as training data to train the BERT model and enhanced its performance by manually adjusting its hyperparameters. After training, the test results showed accuracy rates of 96.6% for classifying urban planning facilities, 98.5% for address recognition, and 93.1% for address cleaning. When mapping the result data on GIS, it was possible to effectively display the change history related to specific urban planning facilities. This research provides a deep understanding of the spatial context of urban planning documents, and it is hoped that through this, stakeholders can make more effective decisions.

주제어

표/그림 (17)

그림 FIGURE 1. The overall process of this study
그림 FIGURE 2. Urban planning public announcement document sample
표 TABLE 1. Types of urban planning facilities for document classification
표 TABLE 2. Document classification training dataset example
표 TABLE 3. Address recognition training dataset example
표 TABLE 4. Address cleaning training dataset example
표 TABLE 5. Comparison of learning performance by optimizer(Document classification)
표 TABLE 6. Document classification training's Accuracy and loss results(AdamW)
그림 FIGURE 3. Result of document classification training
그림 FIGURE 4. Result of address recognition training
표 TABLE 7. Comparison of learning performance by optimizer(Address recognition)
표 TABLE 8. Address recognition training's Accuracy and loss results(AdamW)
그림 FIGURE 5. Result of address cleaning training
표 TABLE 9. Comparison of learning performance by optimizer(Address cleaning)
표 TABLE 10. Address cleaning training’s Accuracy and loss results(SGD)
그림 FIGURE 6. Document classification and address extraction results
그림 FIGURE 7. Visualizing GIS with Cleaned Data

참고문헌 (10)

Colin, R., Kevin, H. 2017. Spatial Context？from Open and Online Processing (SCOOP):？Geographic, Temporal, and Thematic？Analysis of Online Information Sources.？International Journal of Geo-Information.？6(193):1-15.
Devlin, J., Chang, M.W., Lee, K., Toutanova, K. 2018. BERT: Pre-training of Deep？Bidirectional Transformers for Language？Understanding. arXiv:1810.04805v1？1-14.
Kim, H.D., Kim, J.Y., Hong, S.U., Kim, D.H.？2020. Analysis on Voice Phishing using？Artificial Intelligence Named Entity Recognition？Model for Information Search. The Journal？of Police Science. 20(4):255-283.
Kim, I.H., Kim, S.H. 2022. Automatic？Classification of Academic Articles Using？BERT Model Based on Deep Learning.？Journal of the Korean Society for？Information Management 39(3):293-310.？
Lee, C.J., Ra, D.Y. 2022. Korean Morphological？Analysis Method Based on BERT-Fused？Transformer Model. Journal of Information？Processing Systems. 11(4):169-178.
Lee, S.Y., Park, B.J. 2004. Design and？Implementation of an Address correction？System for Standard Address. Master's？Thesis, Univ. of Kwangwoon, Seoul,？Korea. pp.1-58.
Noh, Y.D., Cho, K.C. 2021. A Text Content？Classification Using LSTM For Objective？Category Classification. Journal of The？Korea Society of Computer and Information？26(5):39-46.
Song, J.Y., Lim, H.C. 2014. A Korean road？name address conversion model using？hierarchical administrative division and？word similarity. Master's Thesis. Korea？University Graduate School of Computer？and Information Technology, Seoul,？Korea. pp.1-52.
Vaswani, A., Shazeer, N., Parmar, N.,？Uszkoreit, J., Jones, L., Gomez, A.N., Kaiser, L., Polosukhin, I. 2017. Attention is all？you need. NIPS'17: Proceedings of the？31st International Conference on Neural？Information Processing Systems: 6000-6010.
You, H.J., Song, Y.S., Kim, M.S., Yun, G.H.,？Cheong, Y.N. 2021. Error Analysis and？Evaluation of Deep-learning Based Korean？Named Entity Recognition. Korean Journal？of Linguistics. 46(3):803-828.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

AI를 활용한 비정형 문서정보의 공간정보화
Spatialization of Unstructured Document Information Using AI 원문보기

초록
AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (17)

표/그림 (17)

참고문헌 (10)

이 논문을 인용한 문헌

저자의 다른 논문 :

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

AI를 활용한 비정형 문서정보의 공간정보화 Spatialization of Unstructured Document Information Using AI 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

Abstract ▼ AI-Helper

주제어

표/그림 (17) 모든 표/그림 보기

표/그림 (17) 슬라이드로 보기

참고문헌 (10)

이 논문을 인용한 문헌

저자의 다른 논문 :

박정우 (9)

관련 콘텐츠

원문 보기

원문 URL 링크

오픈액세스(OA) 유형

연관된 기능

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

AI를 활용한 비정형 문서정보의 공간정보화
Spatialization of Unstructured Document Information Using AI 원문보기

초록
AI-Helper

표/그림 (17)

표/그림 (17)