선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 사이트의 구조 정보를 토대로 데이터를 수집할 수 있는 프로그램이 wrapper이다. 본 논문에서는 이러한 wrapper 모델을 기반으로 음식점 검색 사이트에서 음식 메뉴를 수집하였다.
- 이러한 문제점들을 해결하기 위해 본 논문에서는 레스토랑 전문 사이트와 레시피 제공 사이트를 이용해 자동으로 레스토랑 음식메뉴 사전을 구성하는 방법을 제안한다.
제안 방법
- 음식 메뉴는 품사 중에서 명사에 해당되기 때문에 분류한 리뷰 문장을 형태소 분석한다. 그런 다음 명사만 추출하고 음식 메뉴 사전과 비교하여 일치하는 음식메뉴를 추출하여 리뷰 문장의 음식메뉴를 얼마나 정확히 추출하는지를 실험하였다. 그 결과 True Positive는 778, False Positive는 0, False Negative는 351, True Negative는 2,393이었다.
- 본 논문에서는 레스토랑 전문 사이트와 레시피 제공 사이트에서 각 레스토랑의 메뉴 정보와 음식명 등을 웹 크롤러로 수집하였다. 그런 다음 빈도수가 낮은 음식메뉴와 레스토랑 온라인 리뷰에서 쓰이지 않는 음식메뉴를 제거하여 레스토랑 음식 메뉴 사전을 자동으로 구축하였다. 그리고 레스토랑 온라인 리뷰 문서를 이용해 음식메뉴 사전의 엔티티들이 어느 유형의 레스토랑 리뷰에서 발견되는지를 찾아 빈도수를 구하고 분류 정보에 따른 비율을 사전에 추가하였다.
- 그런 다음 빈도수가 낮은 음식메뉴와 레스토랑 온라인 리뷰에서 쓰이지 않는 음식메뉴를 제거하여 레스토랑 음식 메뉴 사전을 자동으로 구축하였다. 그리고 레스토랑 온라인 리뷰 문서를 이용해 음식메뉴 사전의 엔티티들이 어느 유형의 레스토랑 리뷰에서 발견되는지를 찾아 빈도수를 구하고 분류 정보에 따른 비율을 사전에 추가하였다. 이 정보를 이용해 여러 분류 유형에 해당되는 음식메뉴를 구분할 수 있다.
- 그런 다음 빈도수를 측정하여 특정 빈도수 이하의 정보를 제거한다. 그리고 추가적으로 온라인 레스토랑 리뷰와 비교하여 실제로 리뷰어들이 쓰는 어휘인지 분석한 다음 사용 빈도수가 낮은 어휘들은 제거하여 음식메뉴 사전을 자동으로 구축한다.
- 본 논문에서는 레스토랑 전문 사이트와 레시피 제공 사이트에서 각 레스토랑의 메뉴 정보와 음식명 등을 웹 크롤러로 수집하였다. 그런 다음 빈도수가 낮은 음식메뉴와 레스토랑 온라인 리뷰에서 쓰이지 않는 음식메뉴를 제거하여 레스토랑 음식 메뉴 사전을 자동으로 구축하였다.
- 성능 측정을 위해 구축된 음식 메뉴 사전을 이용해 레스토랑 리뷰로부터 음식 메뉴를 추출하였다. 추출 방법은 형태소 분석 방법과 문자열 비교 방법 두 가지를 비교하였는데 실험 결과 형태소 분석 방법의 정확률은 100, 재현율은 68.
- 음식 메뉴는 품사 중에서 명사에 해당되기 때문에 분류한 리뷰 문장을 형태소 분석한다. 그런 다음 명사만 추출하고 음식 메뉴 사전과 비교하여 일치하는 음식메뉴를 추출하여 리뷰 문장의 음식메뉴를 얼마나 정확히 추출하는지를 실험하였다.
- 이 방법으로 온라인 레스토랑 리뷰 문장의 음식메뉴를 얼마나 정확히 추출하는지를 실험하였다. 그 결과 True Positive는 884, False Positive는 35, False Negative는 245, True Negative는 2,358이었다.
- 이렇게 구축된 음식 메뉴 사전에도 확인결과 빠진 메뉴들이 존재했다. 이러한 문제를 해결하기 위해 레시피 제공 사이트를 크롤링해서 메뉴를 추가하였다.
- 그러나 일반적인 분류 체계와 실제 메뉴의 분류 정보가 다른 경우가 있다. 이러한 문제를 해결하기 위해 음식메뉴 사전의 엔티티들이 어느 유형의 레스토랑 리뷰에서 발견되는지를 찾아 빈도수를 구하고 분류 정보에 따른 비율을 사전에 추가하였다.
- 온라인 리뷰의 특성상 띄어쓰기가 제대로 되어 있지 않은 문장이 많기 때문에 추출이 되지 않는 문장들이 있었다. 이러한 문제점을 해결하기 위해 형태소 분석을 하지 않고 문장의 공백을 제거한 다음 Java의 indexOf( )메소드를 이용해 문자열 비교를 해 음식메뉴 사전에 있는 엔티티를 포함하는 문자열을 뽑도록 하였다. 이 방법은 포함 관계인 음식 메뉴가 모두 추출되는 문제가 있다.
- 수집된 음식메뉴는 모두 34,506개였다. 이렇게 수집된 음식메뉴의 빈도수를 측정하고 빈도수 순으로 정렬하였다. 빈도수를 측정한 이유는 여러 레스토랑의 메뉴에서 빈번하게 나타난 음식 메뉴는 좀 더 일반적인 음식 메뉴일 확률이 높기 때문이다.
- 이를 위해 복수의 레스토랑 전문 사이트들과 레시피 제공 사이트에서 래퍼 기반 웹 크롤러를 이용해 메뉴판 정보, 인기메뉴, 추천메뉴 등과 같은 레스토랑 음식메뉴와 관련된 정보를 주기적으로 추출한다. 그런 다음 빈도수를 측정하여 특정 빈도수 이하의 정보를 제거한다.
- 음식메뉴는 한식, 양식, 일식, 주점 등과 같은 분류 유형 정보를 가지고 있다. 자동으로 구축된 음식메뉴 사전의 엔티티들이 어느 유형의 레스토랑 리뷰에서 사용되는지를 빈도수 기반으로 측정하여 음식 유형 분류 정보를 제공한다.
- 실험을 위해 레스토랑 온라인 리뷰를 래퍼 기반 웹 크롤러를 이용해 수집했다. 크롤링 된 리뷰 중 1,000개의 리뷰를 뽑아 다시 문장 단위로 나누었다. 수작업으로 분류를 한 결과 음식 메뉴를 포함한 리뷰 문장이 1,129개였고 음식 메뉴를 포함하지 않은 리뷰 문장은 2,393개였다.
대상 데이터
- 메뉴는 주로 레스토랑 사이트 내의 추천메뉴, 인기메뉴, 메뉴판 등 정보의 위치와 구조 정보를 분석해보면 수집이 가능하다. 본 논문에서는 국내의 5개의 레스토랑 전문 사이트 중에서 메뉴 정보를 제공하는 2개의 사이트를 대상으로 수집하였다.
- 수집된 음식메뉴는 모두 34,506개였다. 이렇게 수집된 음식메뉴의 빈도수를 측정하고 빈도수 순으로 정렬하였다.
- 실험을 위해 레스토랑 온라인 리뷰를 래퍼 기반 웹 크롤러를 이용해 수집했다. 크롤링 된 리뷰 중 1,000개의 리뷰를 뽑아 다시 문장 단위로 나누었다.
성능/효과
- 이 방법으로 온라인 레스토랑 리뷰 문장의 음식메뉴를 얼마나 정확히 추출하는지를 실험하였다. 그 결과 True Positive는 884, False Positive는 35, False Negative는 245, True Negative는 2,358이었다. <표 6>은 리뷰를 음식메뉴 사전과 문자열 비교를 하여 성능을 평가한 결과이다.
- 좀 더 쉽게 두 가지 방법을 비교하기 위해 F-Score를 구하였는데 형태소 분석기를 이용한 방법은 81.6이었고 문자열 비교를 한 방법은 86.4로 상대적으로 나은 성능을 보였다.
- 성능 측정을 위해 구축된 음식 메뉴 사전을 이용해 레스토랑 리뷰로부터 음식 메뉴를 추출하였다. 추출 방법은 형태소 분석 방법과 문자열 비교 방법 두 가지를 비교하였는데 실험 결과 형태소 분석 방법의 정확률은 100, 재현율은 68.9, F-Score는 81.6이었고 문자열 비교 방법의 정확률은 96.2, 재현율은 78.4, F-Score는 86.4로 상대적으로 문자열 비교 방법의 성능이 더 좋았다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.