선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
제안 방법
- 논문의 서론, 관련 연구, 본론, 결론 마다 가중치를 부여한 TF-IDF 알고리즘을 적용하여 벡터값을 찾아 DBSCAN알고리즘으로 단어의 군집을 생성하여 유의어를 찾는다. L-R 구문분석을 통해 L-R Table을 구축하고 유의어에 대한 가중치를 적용해서 문장의 유사도를 측정하는 방법을 제안한다.
- 유의어를 찾기 위해 전처리 과정을 거친 문서를 단락별 가중치를 적용한 TF-IDF 알고리즘과 Doc2Vec로 벡터화 하여 DBSCAN으로 단어 군집화를 진행하였다. L-R구문분석으로 L-R table을 구축하고 R의 명사 가능 점수로 L 명사 점수를 구하여 문장 유사도 판별에 가중치로 적용하였다. 유사도는 유의어 변형 가중치와 단락별 가중치 적용하지 않은 문서 A-B 유의어 변형가중치를 적용한 문서 A-B1, 유의어 변형 가중치와 단락별 가중치를 적용한 A-B2의 유사도를 비교하였다.
- 921의 값이 나왔다. 각 문서에는 유의어변환에 대한 단어 간 거리값과 명사점수 값을 가중치로 부여 하였다. 하지만 가중치를 부여하였다고 문장유사도 값이 단순히 높아지지 않고 2번 비교문장 유사도처럼 높은 문장 유사도 값에서 명사 점수 변동으로 인해 적은 문장 유사도 값이 나오는 것과 271번 비교문장처럼 높은 유사도 값으로 결과 값이 나오는 것을 확인 할 수 있다.
- 각 방법들의 문서 유사도 값과 정확률, 재현율, 조화평균을 통해 정확한 결과가 나왔는지를 평가하였다. 정확률, 재현율, 조화평균을 구하는 식은 다음 식 5와 같다.
- 따라서 본 논문에서는 TF-IDF 관련 논문을 수집하여 Python 기반의 KoNLPy와 NLTK를 사용하여 불용어를 제거한 후 HannanumPosTagger를 통해 품사를 판별하여 데이터로 사용하였다. 논문의 서론, 관련 연구, 본론, 결론 마다 가중치를 부여한 TF-IDF 알고리즘을 적용하여 벡터값을 찾아 DBSCAN알고리즘으로 단어의 군집을 생성하여 유의어를 찾는다. L-R 구문분석을 통해 L-R Table을 구축하고 유의어에 대한 가중치를 적용해서 문장의 유사도를 측정하는 방법을 제안한다.
- 단락별 가중치를 적용하여 추출된 벡터값을 R기반 DBSCAN을 통하여 단어 군집화를 진행한다.
- 단어 군집화를 진행하기 위해서 전처리 과정을 거친 데이터를 Python 기반 Gensim 패키지의 Doc2Vec 모듈을 사용하여 각 문서의 단락별 가중치를 부여하여 단어들을 빈도수가 높은 단어순으로 벡터값을 추출하였다. 다음 Table 1은 문서 A의 단락별 명사 단어 벡터값의 예이다.
- 이러한 경우 해당 논문에서 가장 중요한 단어는 A라는 단어가 아닌 A1이라는 단어가 중요함을 알 수 있다. 따라서 본 논문에서는 서론, 관련연구, 본론, 결론으로 이루어진 형식의 논문 단락에 가중치를 부여하는 방법을 적용한다. 서론은 1.
- 구조 기반 방법은 텍스트 형식의 문서를 XML 형식의 문서로 변형하여 시퀀스 값의 평균 절대 오차차로 유사도 값을 측정하는 방법이고, LSA 기반 방법은 각 문장의 색인어를 벡터로 표현하여 유사도를 측정하는 방법이다. 문서는 유의어 변환을 하지 않은 두 문서와 유의어 변화를 진행한 두문서로 진행하였으며, 유사도가 높은 문장의 수를 측정하였다. LSA 와 N-gram을 함께 사용하여 유사도를 측정한 연구방법과 비교평가를 진행하였고 LSA와 N-gram의 임계값이 각각 0.
- 본 논문에서는 논문 표절 검사 정확성을 향상시키기 위해 단어들을 군집화 하여 유의어를 찾아 대표단어를 선정하고 L-R 구문분석을 통해 가중치를 부여하여 문장의 유사도를 판별하였다. 유의어를 찾기 위해 전처리 과정을 거친 문서를 단락별 가중치를 적용한 TF-IDF 알고리즘과 Doc2Vec로 벡터화 하여 DBSCAN으로 단어 군집화를 진행하였다.
- DBSCAN을 통해 측정한 유의어와 초기 문서 단어의 거리값은 수치가 낮아 유사도를 판별하는데 어려움이 있다. 본 논문에서는 유사도 판별의 정확성을 높이기 위해서 L-R 구문분석을 통하여 L-R Table을 구축하고 명사 점수를 유사도 판별하는 과정에 가중치로 적용하였다. 한국어의 구조 특성상 ‘L + R’ 구조로 ‘명사 + 조사’의 형태로 이루어지는데 조사들로 구성된 R의 명사가능 점수를 이용하여 L의 명사점수를 알 수 있는데 이때의 명사 점수를 가중치로 적용하였다.
- L-R구문분석으로 L-R table을 구축하고 R의 명사 가능 점수로 L 명사 점수를 구하여 문장 유사도 판별에 가중치로 적용하였다. 유사도는 유의어 변형 가중치와 단락별 가중치 적용하지 않은 문서 A-B 유의어 변형가중치를 적용한 문서 A-B1, 유의어 변형 가중치와 단락별 가중치를 적용한 A-B2의 유사도를 비교하였다. 그 결과 유의어 변환 가중치를 적용하였을 때 높은 유사도 점수가 나오나 문장별 유사도를 비교해 보면 유의어 변형을 진행 하였어도 L-R구문분석을 통한 명사점수를 통해 구문 형태가 맞지 않아 낮은 유사도가 나오는 것을 알 수 있었고 단락별 가중치를 적용하였을 때 본론에서 변형된 알고리즘을 의미하는 단어를 사용하였을 경우에는 유사도 값이 낮아지는 것을 알 수 있었다.
- 본 논문에서는 논문 표절 검사 정확성을 향상시키기 위해 단어들을 군집화 하여 유의어를 찾아 대표단어를 선정하고 L-R 구문분석을 통해 가중치를 부여하여 문장의 유사도를 판별하였다. 유의어를 찾기 위해 전처리 과정을 거친 문서를 단락별 가중치를 적용한 TF-IDF 알고리즘과 Doc2Vec로 벡터화 하여 DBSCAN으로 단어 군집화를 진행하였다. L-R구문분석으로 L-R table을 구축하고 R의 명사 가능 점수로 L 명사 점수를 구하여 문장 유사도 판별에 가중치로 적용하였다.
- 벡터값을 구하는 과정에서 단순히 단어의 출현 빈도수로 파악하게 되면 단락에서의 중요 단어가 전체 문서에서 빈도수가 낮아지는 문제점이 있고, 논문의 단락 별 중요도가 다르기 때문에 단락별 가중치를 적용한 TF-IDF 알고리즘을 적용한다. 이후 벡터값으로 R 기반 DBSCAN 알고리즘을 사용하여 단어별 군집화를 생성하고 유의어를 찾아 변환하고 L-R 구문 분석을 통하여 L-R Table을 구축한다. 변환된 유의어와 입력 문서 단어 간 거리값과 L-R Table 명사 점수를 합하여 가중치를 부여하고 문장의 유사도를 측정한다.
대상 데이터
- 한국어의 구조 특성상 ‘L + R’ 구조로 ‘명사 + 조사’의 형태로 이루어지는데 조사들로 구성된 R의 명사가능 점수를 이용하여 L의 명사점수를 알 수 있는데 이때의 명사 점수를 가중치로 적용하였다. R의 명사가능 점수는 세종말뭉치를 이용하여 학습된 명사가능 점수 데이터를 사용하였다. 다음 Table 2는 학습된 R데이터의 예이다.
- 하지만 말을 바꿔쓰는 것에 있어 6어절 이상이 동일한 경우를 표절로 판단하기에는 부족하다고 판단된다. 따라서 본 논문에서는 TF-IDF 관련 논문을 수집하여 Python 기반의 KoNLPy와 NLTK를 사용하여 불용어를 제거한 후 HannanumPosTagger를 통해 품사를 판별하여 데이터로 사용하였다. 논문의 서론, 관련 연구, 본론, 결론 마다 가중치를 부여한 TF-IDF 알고리즘을 적용하여 벡터값을 찾아 DBSCAN알고리즘으로 단어의 군집을 생성하여 유의어를 찾는다.
- 문서 A와 B의 문장 수는 각각 272 문장이다. 단락별 가중치를 적용 하지 않은 문서 A-B의 유사도의 합은 71.
- 실험에 사용된 데이터는 TF-IDF를 주제로 한 100편의 논문을 실험 데이터로 사용하였다. 데이터는 전처리 과정 후, 품사를 판별하고 Python 기반 Doc2Vec을 사용하여 벡터값을 추출한다.
데이터처리
- 문서는 유의어 변환을 하지 않은 두 문서와 유의어 변화를 진행한 두문서로 진행하였으며, 유사도가 높은 문장의 수를 측정하였다. LSA 와 N-gram을 함께 사용하여 유사도를 측정한 연구방법과 비교평가를 진행하였고 LSA와 N-gram의 임계값이 각각 0.7, 0.5의 경우의 유사도 값을 측정한다[13].
- 실험에 사용된 데이터는 TF-IDF를 주제로 한 100편의 논문을 실험 데이터로 사용하였다. 데이터는 전처리 과정 후, 품사를 판별하고 Python 기반 Doc2Vec을 사용하여 벡터값을 추출한다. 벡터값을 구하는 과정에서 단순히 단어의 출현 빈도수로 파악하게 되면 단락에서의 중요 단어가 전체 문서에서 빈도수가 낮아지는 문제점이 있고, 논문의 단락 별 중요도가 다르기 때문에 단락별 가중치를 적용한 TF-IDF 알고리즘을 적용한다.
- 비교 평가는 LSA, LSA + N-gram, 제안 방법들의 결과들로 평가 하였다. LSA(Latent Semantic Analysis) 기반 유사도 측정과 본 논문에서 제안한 방법의 유사도 측정을 비교 분석한 결과이다.
이론/모형
- 다음 Table 3은 유의어 변형을 하지 않은 대표단어가 포함된 문서 A와 대표단어가 포함되지 않은 문서 B의 두 문장의 유사도를 계산한 예이다. 단어들의 벡터 집합을 코사인 유사도 계산법으로 문장 유사도를 계산하였다[12].
- Doc2Vec는 문단 내에 단어를 5개씩 순서대로 읽어드려 다음 단어를 예측하는 과정으로 문단 벡터가 학습하게 된다. 따라서 본 논문에서는 많은 문서를 문단 벡터 정보를 추출하기 위하여 Doc2Vec을 사용하였다. 김도우의 연구에서는 Doc2Vec가 같은 범주에 해당되는 문서에 대한 문서 벡터 표현을 생성하고 Word2Vec로 생성한 단어 벡터 표현들을 CNN에 적용하여 문서 분류 성능향상을 위한 연구를 진행하였다[7].
- 데이터는 전처리 과정 후, 품사를 판별하고 Python 기반 Doc2Vec을 사용하여 벡터값을 추출한다. 벡터값을 구하는 과정에서 단순히 단어의 출현 빈도수로 파악하게 되면 단락에서의 중요 단어가 전체 문서에서 빈도수가 낮아지는 문제점이 있고, 논문의 단락 별 중요도가 다르기 때문에 단락별 가중치를 적용한 TF-IDF 알고리즘을 적용한다. 이후 벡터값으로 R 기반 DBSCAN 알고리즘을 사용하여 단어별 군집화를 생성하고 유의어를 찾아 변환하고 L-R 구문 분석을 통하여 L-R Table을 구축한다.
- 따라서 DBSCAN의 클러스터링은 다양한 형태의 군집이 형성된다[10]. 본 논문에서는 단어들의 유의어마다 다른 거리값을 추출하기 위하여 DBSCAN 알고리즘을 사용하였다.
- 본 논문에서는 표절 검사 정확성의 향상을 위해 논문의 단락별 가중치를 부여한 TF-IDF 알고리즘을 사용하여 벡터값을 구하고 DBSCAN으로 유의어를 찾는다. 변환된 유의어와 초기 데이터 단어의 거리값과 L-R Table 명사 점수를 합하여 가중치 값을 적용 후 문장의 유사도를 측정한다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.