[논문]공공 데이터 기반 빅데이터 분석 시스템

노현경; 박성연; 황승연; 신동진; 이용수; 김정준; 박경원

doi:10.7236/jiibc.2020.20.5.195

공공 데이터 기반 빅데이터 분석 시스템
Big Data Analytic System based on Public Data 원문보기

The journal of the institute of internet, broadcasting and communication : JIIBC, v.20 no.5, 2020년, pp.195 - 205

노현경 (한국산업기술대학교 컴퓨터공학과) , 박성연 (한국산업기술대학교 컴퓨터공학과) , 황승연 (안양대학교 컴퓨터공학과) , 신동진 (안양대학교 컴퓨터공학과) , 이용수 (여주대학교 소프트웨어융합과) , 김정준 (안양대학교 ICT융합학부 소프트웨어전공) , 박경원 (한국산업기술대학교 컴퓨터공학부)

초록
AI-Helper

최근 4차 산업혁명 시대로 인한 기술 발전이 도래하게 되었으며, 이러한 변화로 인해 데이터가 광범위하게 사용되기 시작했다. 빅데이터는 국가의 행정, 치안, 보안 등 시민의 안위를 위해서도 자주 사용되고 있다. 이러한 치안 유지의 효율성을 높이기 위해서는 CCTV의 설치 현황을 파악하고, 구역별 인구수와 비교하여 CCTV의 설치 비율, 그리고 구역별 범죄율 등을 분석하여 개선할 필요가 있다. 따라서 본 논문에서는 CCTV, 여성 인구, 유흥업소 등과 같이 범죄 발생률과 관련된 데이터를 수집하고, 이를 활용하여 CCTV의 효율적인 관리와 설치를 통해 범죄율을 줄이기 위한 공공 데이터 기반 빅데이터 분석 시스템을 개발한다.

Abstract ▼ AI-Helper

Recently, after the 4th industrial revolution era has arrived, technological advances started to develop and these changes have led to widespread use of data. Big data is often used for the safety of citizens, including the administration, safety and security of the country. In order to enhance the efficiency of maintaining such security, it is necessary to understand the installation status of CCTVs. By comparing the installation rate of CCTVs and crime rate in the area, we should analyze and improve the status of CCTV installation status, and crime rate in each area in order to increase the efficiency of security. Therefore, in this paper, big data analytic system based on public data is developed to collect data related to crime rate such as CCTV, female population, entertainment center, etc. and to reduce crime rate through efficient management and installation of CCTV.

주제어

표/그림 (31)

그림 그림 1. 공공 데이터 기반 빅데이터 분석 시스템 구조도 Fig. 1. Big Data Analytics System Diagrams Based on Public Data
그림 그림 2. 모듈 호출 및 디렉토리 불러오기 Fig. 2. Call Modules and Assigned Directories
그림 그림 3. CCTV 데이터 전처리 코드 Fig. 3. CCTV Data Preprocessing Code
그림 그림 4. CCTV 데이터 전처리 결과 Fig. 4. CCTV Data Preprocessing Output
그림 그림 5. 범죄 데이터 전처리 코드 Fig. 5. Crime Data Preprocessing Code
그림 그림 6. 범죄 데이터 전처리 결과 Fig. 6. Crime Data Preprocessing Output
그림 그림 7. 여성 인구 데이터 전처리 코드 Fig. 7. Female Population Data Preprocessing Code
그림 그림 8. 여성 인구 데이터 전처리 결과 Fig. 8. Female Population Data Preprocessing Output
그림 그림 9. 안전 관련 공공기관 데이터 전처리 코드 Fig. 9. Safety-Related Public Agencies Data Preprocessing Code
그림 그림 10. 안전 관련 공공기관 데이터 전처리 결과 Fig. 10. Safety-Related Public Agencies Data Preprocessing Output
그림 그림 11. 유흥업소 데이터 전처리 코드(1) Fig. 11. Entertainment Business Data Preprocessing Code(1)
그림 그림 12. 유흥업소 데이터 전처리 코드(2) Fig. 12. Entertainment Business Data Preprocessing Code(2)
그림 그림 13. 유흥업소 데이터 전처리 결과 Fig. 13. Entertainment Business Data Preprocessing Output
그림 그림 14. 서울시 지도의 CCTV 개수에 대한 정보 시각화 Fig. 14. Visualization of Information on the Number of CCTVs in the Map of Seoul
그림 그림 15. 서울시 지도의 CCTV 개수에 대한 정보 시각화 결과 Fig. 15. Result of Visualizing Information on the Number of CCTVs in the Map of Seoul
그림 그림 16. 데이터 병합 코드 Fig. 16. Data Merging Code
그림 그림 17. 데이터 병합 결과 Fig. 17. Result of Data Merging Code
그림 그림 18. 상관계수 계산 Fig. 18. Correlation Coefficient Calculation
그림 그림 19. 상관계수 계산 결과 Fig. 19. Result of Correlation Coefficient Calculation
그림 그림 20. 상관계수를 나타낸 히트맵 생성 Fig. 20. Generating Heatmap that Shows Correlation Coefficient
그림 그림 21. 상관계수를 나타낸 히트맵 Fig. 21. Heatmap that Shows Correlation Coefficient
그림 그림 22. 구별 범죄 발생건수 그래프 생성 Fig. 22. Generating a Graph of the Number of Crimes Committed by Seoul District
그림 그림 23. 구별 범죄 발생건수 그래프 Fig. 23. Graph of the Number of Crimes Committed by Seoul District
그림 그림 24. 범죄 발생건수와 CCTV 개수의 상관관계 산점도 & 최적선 생성 Fig. 24. Correlation between the Number of Crimes and the Number of CCTVs & Generating Optimal Lines
그림 그림 25. 범죄 발생건수와 CCTV 개수의 상관관계 산점도 & 최적선 생성 Fig. 25. Correlation and Optimal Lines between the Number of Crimes and the Number of CCTVs
그림 그림 26. 범죄 발생건수와 여성인구의 상관관계 산점도 & 최적선 생성 Fig. 26. Correlation and Optimal Lines between the Number of Crimes and Female Population
그림 그림 27. 범죄 발생건수와 안전관련 공공기관의 상관관계 산점도 & 최적선 생성 Fig. 27. Correlation and Optimal Lines between the Number of Crimes and Safety-Related Public Agencies
그림 그림 28. 범죄 발생건수와 유흥업소 개수의 상관관계 산점도 & 최적선 생성 Fig. 28. Correlation and Optimal Lines between the Number of Crimes and Entertainment Business
그림 그림 29. 소스코드 파일을 html 파일로 변환 Fig. 29. Converting Source Code File to HTML File
그림 그림 30. 파일을 웹 서버로 전송 Fig. 30. Transferring File to Web Server
그림 그림 31. 웹 시각화 구현 결과 Fig. 31. Result of Web Visualization

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

그러나 공공 데이터는 기관마다 사용하는 형식이 상이하여 표준화된 형태의 데이터를 제공하지 않으므로 이용자의 개별적인 처리 과정을 요구한다. 따라서 본 논문에서는 서울시의 구별 CCTV와 인구수 현황과 5대 범죄 검거 현황에 대한 공공 데이터를 활용하여 CCTV의 효율적인 관리와 설치를 통해 범죄율을 줄일 수 있도록 공공 데이터 기반 빅데이터 분석 시스템을 개발하고자 한다^{[4, 5}].
본 논문에서는 공공 데이터를 사용하여 범죄 건수와 그에 영향을 미치는 여러 요소들의 데이터를 처리하는 과정을 거쳐 상관관계를 분석하고 시각화하는 연구를 수행하였다. 본 연구를 통해 다양한 분야의 미래 전략 수립과 민간에게 제공하는 서비스의 질 향상을 기대할 수 있다.

가설 설정

1) os 모듈을 호출하여 운영 체제와 상호 작용한다. 2) 파이썬 코드 파일을 HTML 파일로 전환하기 위한 함수를 정의한다.
1) 히트맵 생성에 필요한 폰트의 경로와 설정 등 폰트와 관련된 것들을 모두 지정한다. 2) 그리고 그래프에서의 숫자 표시 여부, 그래프 색, y축 라벨 등과 같이 히트 맵에 필요한 요소들을 설정한다.

제안 방법

CCTV 데이터 전처리 이후 서울시 범죄 데이터 역시 이전 과정과 마찬가지로 서울시 5대 범죄 데이터 엑셀 파일을 읽어 사용할 컬럼만 추출한다. 본 연구에서 사용 하지 않는 데이터의 ‘합계’ 행을 삭제한 후, 자치구 이름을 기준으로 하여 오름차순으로 정렬한다.
2) 다음 서울시 지도의 JSON 파일을 열어 서울시의 위치와 지도의 스타일을 설정한다. CCTV에 대한 데이터프레임을 호출하여 서울시를 구별로 구분한 뒤에 CCTV의 개수에 해당하는 색을 띄우게 한다. 마지막으로 각 구의 위도와 경도에 따라 위치를 표시하는 팝업을 추가하고, 마우스를 가져다 대면 구의 이름이 보이도록 설정한다.
두 변수 사이의 상관계수를 계산해주는 함수를 통해 범죄 발생건수와 CCTV 개수, 유흥업소 개수, 여성인구, 안전관련 공공기관 개수의 상관계수를 계산한다.
통계 계산을 한 것을 토대로 분석을 한다. 히트맵을 이용하여 요소들의 상관관계를 시각화하고, 막대그래프를 통해 구별 범죄 발생건수를 비교하며, 마지막으로 산점도로 범죄 발생건수와 이에 영향을 미치는 요소들의 상관관계가 정확히 어떤 식으로 연관이 있는지 확인한다.

대상 데이터

본 연구에서 사용되는 데이터는 2017년을 기준으로 하고 있다. 따라서, 2017년 이전에 폐업한 업소 데이터가 포함된다면 정확성이 떨어지게 되므로 2017년 이전에 폐업한 업소 데이터를 모두 제거해야 한다.
다음 서울시 자치구의 여성 인구 데이터 전처리 과정을 수행한다. 서울시의 인구 통계 데이터를 가지고 있는 엑셀 파일을 열어 여성 인구 데이터만 추출한다. 그림 6 과 같은 방법으로 사용하지 않는 행을 제거하고 자치구 이름을 오름차순으로 정렬하면 여성 인구 데이터 전처리 결과는 그림 8과 같다.

이론/모형

본 시스템을 구현하기 위해 파이썬(본 연구에서는 파이썬 버전 3.6.5)을 사용하고, IDE는 Jupyter Notebook을 활용했다.
지도에 대한 정보에 접근하기 위해서는 해당 사이트의 API 키를 받아야 한다. 본 연구에서는 Bing Maps를 사용하였다.

성능/효과

1) 파이썬의 내장모듈이 아닌 라이브러리들은 명령 프롬프트에서 pip 명령, 또는 conda 명령을 이용한 별도의 설치가 필요하다. warnings 모듈에 있는 simplefilter 함수는 앞으로의 릴리스에서 변경될 예정인 특정 기능에 대한 경고(FutureWarning)를 무시하게 한다.
2) glob 함수는 해당 경로에서 ‘서울시’로 시작하는 모든 xls 파일을 가져오는 역할을 한다.
1) os 모듈을 호출하여 운영 체제와 상호 작용한다. 2) 파이썬 코드 파일을 HTML 파일로 전환하기 위한 함수를 정의한다. 3) 함수를 실행시켜 파일을 변환한다.
상관관계 산점도와 최적선을 만든 결과, 최적선은 범죄 발생건수가 늘어날수록 CCTV 개수가 늘어나는 비례 관계를 보였다. 산점도를 통해 각 자치구의 CCTV 개수와 범죄 발생건수 현황을 한눈에 알아볼 수 있었으며, 최적선과 부합하는 자치구는 두 개이고 다른 구들은 범죄 발생건수에 비해 CCTV가 부족하거나 많았다.

후속연구

본 연구를 통해 다양한 분야의 미래 전략 수립과 민간에게 제공하는 서비스의 질 향상을 기대할 수 있다. 또한, CCTV 및 범죄 현황에 대한 공공 빅데이터 분석을 통해 범죄 예방 효과를 극대화할 수 있을 것이다.
본 논문에서는 공공 데이터를 사용하여 범죄 건수와 그에 영향을 미치는 여러 요소들의 데이터를 처리하는 과정을 거쳐 상관관계를 분석하고 시각화하는 연구를 수행하였다. 본 연구를 통해 다양한 분야의 미래 전략 수립과 민간에게 제공하는 서비스의 질 향상을 기대할 수 있다. 또한, CCTV 및 범죄 현황에 대한 공공 빅데이터 분석을 통해 범죄 예방 효과를 극대화할 수 있을 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	빅데이터란 무엇인가?	빅데이터란 대용량의 데이터를 저장, 수집, 분석, 비즈 니스화하는 과정을 말한다. 빅데이터의 핵심적인 개념은 데이터의 규모, 데이터의 다양성, 데이터의 처리 속도이며, 이를 효과적으로 대처하는 것이 매우 중요하다[6, 7].
	CCTV의 효율성을 높이기 위해서는 어떤 기술이 필요한가?	공공을 위협하는 범죄는 언제 어디에서나 발생할 수 있으므로 안전한 사회를 만들기 위해서는 치안 정책을 강화하는 것도 중요하지만, CCTV와 관련된 데이터를 제공함으로써 범죄 분석에 관한 연구의 질을 향상시키는 것 또한 좋은 방법이다. CCTV의 효율성을 높이기 위해서는 CCTV의 설치 현황을 파악하고, 구역별 인구수와 비교하여 CCTV의 설치 비율, 그리고 구역별 범죄율 등을 분석하는 기술이 필요 하다. 그러나 공공 데이터는 기관마다 사용하는 형식이 상이하여 표준화된 형태의 데이터를 제공하지 않으므로 이용자의 개별적인 처리 과정을 요구한다.
	웹 인포그래픽의 장점은 무엇인가?	웹 인포그래픽이란 웹 환경에 기반하여 정보, 자료 또는 지식을 시각적으로 표현하는 것을 의미한다. 일반적인 그림이나 사진보다 훨씬 더 정보를 구체적으로 전달할 수 있다는 이점이 있어 복잡한 정보를 빠르게 전달할 때용이하다. 인포그래픽의 예로 텔레비전 프로그램 편성표, 차트, 다이어그램, 흐름도 등이 있다.

참고문헌 (11)

Seung-Hyeog Moon, "A Study on Securing Global Big Data Competitiveness based on its Environment Analysis", The Journal of the Convergence on Culture Technology, Vol. 5, No. 2, pp. 361-366, May 2019. DOI: https://doi.org/10.17703/JCCT.2019.5.2.361
Sang-Oh Yoon, Ji-Woo Hyeon, "A Study on the Actual Condition Analysis and Improvement of Public Data Opening Policy: A Case Study on the Opening of National Data in the Public Data Portal", Korean Public Management Review, Vol. 33, No. 1, pp. 219-247, Mar 2019.
Sung-Jun Kim, "A Study on Construction of Crime Prevention System using Big Data in Korea", The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 17, No. 5, pp. 217-221, Oct 2017. DOI: https://doi.org/10.7236/JIIBC.2017.17.5.217
Chang-Soo Sung, Joo-Yeon Park, Hoi-Kwang Ka "The Case Study of CCTV Priority Installation Using Big Data Standard Analysis Model", Journal of Digital Convergence, Vol. 15, No. 5, pp. 61-69, May 2017. DOI: https://doi.org/10.14400/JDC.2017.15.5.61
Choong-Sik Chung, "A Study on the Policy Advice of Integrated CCTV Control Center", International Journal of Advanced Culture Technology, Vol. 5, No. 3, pp. 46-55, Sep 2017. DOI: https://doi.org/10.17703/IJACT.2017.5.3.46

원문보기 상세보기
Sang-Rak Kim, Man-Mo Kang, Sang-Moo Park, "The Future of Big Data", Communications of the Korean Institute of Information Scientists and Engineers, Vol. 30, No. 6, pp. 18-24, Jun 2012.
Sung-Nam Hong, Myung-Mook Han, "The Efficient Method of Parallel Genetic Algorithm using MapReduce of Big Data", Journal of Korean Institute of Intelligent Systems, Vol. 23, No. 5, pp. 385-391, Oct 2013. DOI: https://doi.org/10.5391/JKIIS.2013.23.5.385
Kee-Whan Kim, Chang-Ho Lee, Bo-Seung Choi, "Material information of public data in Korea", Journal of the Korean Data And Information Science Society, Vol. 30, No. 5, pp. 1051-1062, Sep 2019.
Jin-Won Choi, Iee-Yeon Kim, "A Study on Infographic for Effective Visual Communication of the Big Data Era -Government Departments and Public Institutions", The Korean Society of Science & Art, Vol. 11, pp. 165-175, Dec 2012.
Hyo-Jeong Kwon, "Elements for Evaluating the Usability of the Web-Based Infographic Design", Journal of Korea Multimedia Society, Vol. 16, No. 7, pp. 879-887, Jul 2013.
Soo-Kyun Uh, Sung-Hoon Cho, Jeong-Joon Kim, Young-Gon Kim, "A Study on Perception for Public Safety of Seoul Citizens using Multiple Regression Analysis", The Journal of The Institute of Internet, Broadcasting and Communication, Vol. 18, No. 1, pp. 195-201, Feb 2018. DOI: https://doi.org/10.7236/JIIBC.2018.18.1.195

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증