[논문]데이터셋 생성을 위한 이미지 URI 및 메타데이터 수집 크롤러

박준홍; 김석진; 정연욱; 이동욱; 정영주; 서동만

데이터셋 생성을 위한 이미지 URI 및 메타데이터 수집 크롤러
For creating a Dataset Image URI and Metadata Collection Web Crawler 원문보기

박준홍 (대구가톨릭대학교 IT 공학부) , 김석진 (대구가톨릭대학교 IT 공학부) , 정연욱 (대구가톨릭대학교 IT 공학부) , 이동욱 (대구가톨릭대학교 IT 공학부) , 정영주 (대구가톨릭대학교 IT 공학부) , 서동만 (대구가톨릭대학교 IT 공학부)

인공지능 학습에 대한 관심이 증가하면서 학습에 필요한 데이터셋 구축에 필요한 많은 양의 데이터가 필요하다. 데이터셋 구축에 필요한 데이터들을 효과적으로 수집하기 위한 키워드 기반 웹크롤러를 제안한다. 구글 검색 API 를 기반으로 웹 크롤러를 설계하였으며 사용자가 입력한 키워드를 바탕으로 이미지의 URI 와 메타데이터를 지속적으로 수집하는 크롤러이다. 수집한 URI 와 메타데이터는 데이터베이스를 통해 관리한다. 향후 다른 검색 API 에서도 동작하고 다중 쓰레드를 활용하여 크롤링하는 속도를 높일 예정이다.

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

본 논문에서는 인공지능 학습을 위한 데이터셋을 자동으로 구축하는 크롤러를 제안한다. 데이터셋을 자동으로 구축하기 위해 제안하는 크롤러는 사용자로부터 입력받은 키워드를 바탕으로 지속적으로 이미지URI를 수집한다.
제안하는 웹 크롤러는 구글 검색 API[5]를 기반으로 사용자로부터 입력받은 키워드를 통해 검색 페이지 내 이미지들을 지속적으로 크롤링하는 것을 목표로 한다. 웹 크롤러의 동작 순서는 그림 1과 같다.

제안 방법

BeautifulSoup 를 사용하여 웹페이지 HTML 코드에서 원본 이미지 URI 수집을 진행하였다. BeautifulSoup는 HTML parser이다.
본 논문에서는 인공지능 학습을 위한 데이터셋을 자동으로 구축하는 크롤러를 제안한다. 데이터셋을 자동으로 구축하기 위해 제안하는 크롤러는 사용자로부터 입력받은 키워드를 바탕으로 지속적으로 이미지URI를 수집한다. 수집한 이미지 URI와 메타데이터는 데이터베이스를 통하여 관리하므로 데이터셋 구축에 필요한 데이터를 키워드를 통한 요청으로 가져올 수 있다.
본 논문에서는 이미지 파일의 URI 와 메타데이터를 수집한 뒤 검색 키워드를 기준으로 데이터베이스에 저장하는 웹 크롤러를 구현하였다. 해당 이미지 크롤러를 사용하여 검색 키워드에 대응하는 이미지들을 수집할 수 있었으며, 시간당 약 1500 개의 이미지 URI를 수집할 수 있었다.
수집한 이미지 URI 의 유효성을 검증하기 위해 Requests 라이브러리 내 get 메소드를 사용하여 해당 URI 의 실제 URI를 확인하였다. 이후 urllib 의 urlopen 함수를 통해 해당 이미지의 실제 URI 를 응답받아 수집, 업로드 날짜와 함께 데이터베이스에 저장하였다[4].
파이썬은 간결한 문법으로 구성되어 있고, 사용자에게 다향한 라이브러리를 제공한다[2]. 웹 크롤러를 개발할 때 Selenium BeautifulSoup, Requests 등의 라이브러리들을 제공하기 때문에 Python 을 사용하여 웹 크롤러 개발을 진행하였다.
이미지의 원본 URI 과 이미지 메타데이터 정보는 HTML 코드 내 json 형태로 명시된 값을 파싱하여 저장한ㄷ. 이후 리스트에 저장된 이미지 URI 의 유효성검사를 진행한다. 이미지의 유효성 검사는 해당 이미지 URI 가 정상적으로 동작하는지 확인하는 과정이다.

대상 데이터

본 논문에서는 이미지 파일의 URI 와 메타데이터를 수집한 뒤 검색 키워드를 기준으로 데이터베이스에 저장하는 웹 크롤러를 구현하였다. 해당 이미지 크롤러를 사용하여 검색 키워드에 대응하는 이미지들을 수집할 수 있었으며, 시간당 약 1500 개의 이미지 URI를 수집할 수 있었다.

후속연구

향후 연구에서는 크롤러가 구글 검색 API 에 기반하여 발생하는 문제점을 해결하기 위해 크롤러를 구글 검색 외 다른 검색엔진에서도 동작할 수 있도록 수정할 계획이다. 또한 사용자가 초기에 입력한 키워드와 유사한 키워드 또는 리스트에 존재하는 다른 키워드를 가져와 크롤링을 재시작하는 기능과 다중 쓰레드를 사용하여 이미지 URI 수집 속도를 높인 크롤러를 구현할 예정이다.
향후 연구에서는 크롤러가 구글 검색 API 에 기반하여 발생하는 문제점을 해결하기 위해 크롤러를 구글 검색 외 다른 검색엔진에서도 동작할 수 있도록 수정할 계획이다. 또한 사용자가 초기에 입력한 키워드와 유사한 키워드 또는 리스트에 존재하는 다른 키워드를 가져와 크롤링을 재시작하는 기능과 다중 쓰레드를 사용하여 이미지 URI 수집 속도를 높인 크롤러를 구현할 예정이다.

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

데이터셋 생성을 위한 이미지 URI 및 메타데이터 수집 크롤러
For creating a Dataset Image URI and Metadata Collection Web Crawler 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

데이터셋 생성을 위한 이미지 URI 및 메타데이터 수집 크롤러 For creating a Dataset Image URI and Metadata Collection Web Crawler 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

후속연구

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

데이터셋 생성을 위한 이미지 URI 및 메타데이터 수집 크롤러
For creating a Dataset Image URI and Metadata Collection Web Crawler 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper