[논문]단어 임베딩과 음성적 유사도를 이용한 트위터 '서치 방지 단어'의 자동 예측

이상아

단어 임베딩과 음성적 유사도를 이용한 트위터 '서치 방지 단어'의 자동 예측
Automatic Prediction of 'Anti-Search Variants' of Twitter based on Word Embeddings and Phonetic Similarity 원문보기

한국어정보학회 2017년도 제29회 한글및한국어정보처리학술대회, 2017 Oct. 13, 2017년, pp.190 - 193

이상아 (서울대학교 언어학과)

초록
AI-Helper

'서치 방지 단어'는 SNS 상에서 사용자들이 작성한 문서의 검색 및 수집을 피하기 위하여 사용하는 변이형을 뜻한다. 하나의 검색 키워드가 있다면 그와 같은 대상을 나타내는 변이형이 여러 형태로 존재할 수 있으며, 이들 변이형에 대한 검색 결과를 함께 수집할 수 있다면 데이터 확보가 중요하게 작용하는 다양한 연구에 큰 도움이 될 것이다. 본 연구에서는 특정 단어가 주어진 키워드로부터 의미 벡터 상의 거리가 가까울수록, 그리고 주어진 키워드와 비슷한 음성적 형태 즉 발음을 가질수록, 해당 키워드의 변이형일 가능성이 높을 것이라고 가정하였다. 이에 따라 단어 임베딩을 이용한 의미 유사도와 최소 편집 거리를 응용한 음성적 유사도를 이용하여 주어진 검색 키워드와 유사한 변이형들을 제안하고자 하였다. 그 결과 구성된 변이형 후보의 목록에는 다양한 형태의 단어들이 포함되었으며, 이들 중 다수가 실제 SNS 상에서 같은 의미로 사용되고 있음이 확인되었다.

AI 본문요약
AI-Helper

* AI 자동 식별 결과로 적합하지 않은 문장이 있을 수 있으니, 이용에 유의하시기 바랍니다.

문제 정의

다음으로는 단어와 단어가 음성적으로 유사한 정도를 척도의 하나로 이용하고자 하였다. 음성적 유사도는 최소 편집 거리 알고리즘에 한국어 자소의 음성적 특성[7]을 일부 적용하여 구현하였다.
본 연구는 단어로부터 발생 가능한 변이형을 예측한다는 점에서는 이전 연구들과 공통적이나, 단어 사이의 편집 거리를 이용해 정의한 음성적 거리와 단어 임베딩에 기반한 의미의 유사성을 함께 고려하고자 하였다.
본 연구에서는 각각 140자 이내로 작성된 9547개의 트윗으로 구성된 시험 데이터에 출현한 명사들을 대상으로, 주어진 키워드와의 의미 유사도와 음성적 유사도에 기반한 유사도 점수를 계산하여 실제로 변이형이 될 만한 단어들을 얻고자 하였다. 이 때 유사도 점수는 의미유사도와 음성적 유사도에 똑같이 0.
본 연구에서는 하나의 키워드를 기준으로 발생 가능한 변이형들을 자동으로 예측하여 얻고자 하였다. 이를 위하여 단어 임베딩을 이용한 단어 간의 의미적 유사도와 최소 편집 거리(Minimum Edit Distance)[1]를 응용하여 얻은 단어 간의 음성적 유사도를 함께 고려하였다.

제안 방법

또한 같은 키워드에 대하여 의미 유사도와 음성적 유사도 각각만을 가지고 단어 사이의 유사도를 계산하고, 이를 두 가지 유사도를 모두 사용한 경우와 비교하였다. 이 때 [표4]의 결과에 따르면 두 가지 유사도를 함께 적용했을 때의 정답률이 가장 높았으므로, 적절한 변이형을 제안하는 데 두 척도가 모두 기여한다는 것을 확인하였다.
또한, 이중모음의 경우에도 발음의 유사성과 서치 방지의 일반적인 전략을 고려하여 대체하기 쉬운 모음의 목록을 구성하였다(‘ㅏ, ㅑ’, ‘ㅐ, ㅒ’ 등).
먼저 문맥에서 얻어지는 단어와 단어 사이 의미의 유사성을 이용하여 변이형을 예측한다. 형태가 다를지라도 같은 것을 뜻하는 단어들의 경우 공기하는 단어들이나 문맥과 관련하여 제공하는 정보가 서로 유사할 가능성이 높기 때문이다.
먼저 최소 편집 거리는 두 문자열이 서로 얼마나 비슷한지를 나타내는 척도 중 하나로, 한 단어의 철자가 다른 단어와 같아지도록 수정하는 과정(철자의 삽입, 삭제, 대체) 각각에 비용을 부여하는 방식이다. 본 연구에서는 먼저 각각의 단어를 자소 단위로 분해하고, 최소 편집 거리 알고리즘을 적용하되 자소들의 특성에 따라 자소의 대체 비용에 각각 다른 값을 부여하는 규칙을 정의하였다. 기본 대체 비용을 1로 설정하고, 아래 [표2] 의 기준들에 해당하는 자음, 모음의 그룹 내에서 발생하는 대체에는 0과 1 사이의 값을 정의하여 이용하였다.
이 때 각각의 후보 단어들과 주어진 기본 키워드 사이의 의미 유사도는 100차원의 단어 임베딩끼리의 코사인 유사도를 이용한다. 시험 데이터에서, 훈련 데이터에는 존재하지 않았던 새로운 어휘가 나타난 경우, 똑같이 100차원의 자질을 가지되 균등 분포를 따르는 임의의 벡터를 생성하여 유사도를 계산할 수 있도록 하였다. 이렇게 계산된 의미 유사도는 0에서 1사이의 값을 갖게 된다.
다음으로는 단어와 단어가 음성적으로 유사한 정도를 척도의 하나로 이용하고자 하였다. 음성적 유사도는 최소 편집 거리 알고리즘에 한국어 자소의 음성적 특성[7]을 일부 적용하여 구현하였다.
한편 스마트폰 가상 키패드 상에서 발생할 수 있는 입력 오류에 의한 유사 단어를 검색하는 문제도 다루어졌다[4]. 이 연구에서는 스마트폰 키패드의 종류에 따라 편집 거리 알고리즘에 사용되는 편집 비용을 수정하는 방식을 택하였다.
본 연구에서는 하나의 키워드를 기준으로 발생 가능한 변이형들을 자동으로 예측하여 얻고자 하였다. 이를 위하여 단어 임베딩을 이용한 단어 간의 의미적 유사도와 최소 편집 거리(Minimum Edit Distance)[1]를 응용하여 얻은 단어 간의 음성적 유사도를 함께 고려하였다. 최종적으로는 의미적 유사도와 음성적 유사도를 가중합하여 주어진 단어와 변이형 후보 사이의 유사도 점수를 계산하고, 이 점수가 높은 순서대로 변이형을 제안한다.
이를 위하여 단어 임베딩을 이용한 단어 간의 의미적 유사도와 최소 편집 거리(Minimum Edit Distance)[1]를 응용하여 얻은 단어 간의 음성적 유사도를 함께 고려하였다. 최종적으로는 의미적 유사도와 음성적 유사도를 가중합하여 주어진 단어와 변이형 후보 사이의 유사도 점수를 계산하고, 이 점수가 높은 순서대로 변이형을 제안한다.
생물정보학 분야의 서열 정렬(sequence alignment) 방식과 편집 거리 방식을 함께 이용하여 오자, 탈자 등의 입력 오류를 허용하는 근사 한글 검색 시스템이 앞서 제안된 바 있다. 해당 연구에서는 같은 조음 위치에서 발음되는 평음, 경음, 격음을 한 가지 평음으로, 이중모음을 단모음으로 표준화하여, 다양한 형태로 변형된 욕설을 필터링하는 시스템을 구축하였다[2]. 또한 다수의 문자열에 대하여 서열 정렬을 수행하는 다중 서열 정렬(multiple sequence alignment) 방식을 채택한 연구도 존재한다[3].

대상 데이터

K-pop 아이돌 그룹명인 ‘엑소’와 그 멤버 이름인 ‘세훈’을 기본 키워드로 부여하고, 시험 데이터에 쓰인 명사들 중 이들 키워드와 가장 유사한 20개의 명사를 추출하였다.
이러한 의미의 유사성을 수치화하고 연산하기 위하여 트위터에서 수집한 훈련 데이터에서 Word2Vec의 C-BOW 모델을 이용하여 단어 임베딩을 구축하였다[5]. 훈련 데이터는 각각 140자 이내로 작성된 10486개의 트윗으로 이루어져 있으며, 단어마다 갖는 벡터는 100차원의 자질로 구성되어 있다.

이론/모형

검색에 주로 사용되는 키워드는 일반명사나 고유명사인 경우가 많으므로, 시험 데이터에서 형태소 분석을 통해 품사가 명사인 요소들만을 필터링하여 유사도 계산의 대상으로 한다. 이 때 형태소 분석에는 KoNLPy 패키지 내 Twitter 모듈을 이용하였다[6]. 이렇게 걸러낸 명사들은 넓은 의미에서 변이형의 후보가 된다.
이러한 의미의 유사성을 수치화하고 연산하기 위하여 트위터에서 수집한 훈련 데이터에서 Word2Vec의 C-BOW 모델을 이용하여 단어 임베딩을 구축하였다[5]. 훈련 데이터는 각각 140자 이내로 작성된 10486개의 트윗으로 이루어져 있으며, 단어마다 갖는 벡터는 100차원의 자질로 구성되어 있다.

성능/효과

또한 같은 키워드에 대하여 의미 유사도와 음성적 유사도 각각만을 가지고 단어 사이의 유사도를 계산하고, 이를 두 가지 유사도를 모두 사용한 경우와 비교하였다. 이 때 [표4]의 결과에 따르면 두 가지 유사도를 함께 적용했을 때의 정답률이 가장 높았으므로, 적절한 변이형을 제안하는 데 두 척도가 모두 기여한다는 것을 확인하였다.
키워드가 ‘엑소’인 경우 제안된 상위 10개의 변이형 중에서는 4개의 명사, 상위 20개의 변이형 중에서는 5개의 명사가 실제로 사용되고 있음을 확인하였다.

후속연구

이러한 분석을 통해, SNS 상에서 사용자들이 특정 주제에 해당하는 키워드를 언급하되 검색 결과에 노출되는 것을 피하기 위하여 어떤 변이형을 쓰는지 예측할 수 있을 것이다.
이러한 흐름에 따라 한 가지 키워드를 가지고 SNS 상에 나타난 대중의 의견을 검색할 때, 형태는 조금 다르지만 같은 대상을 나타내는 변이형들을 언급한 문서들도 함께 검색되도록 한다. 이를 통해 보다 풍부한 검색 결과를 얻고, 이러한 데이터의 확장은 다양한 자연어처리 연구에 도움이 될 것이다.

질의응답

핵심어	질문	논문에서 추출한 답변
	서치 방지 단어를 사용하는 이유는 무엇인가?	예를 들면 [표1]의 트윗에서 ‘헬씽ㅋi’와 ‘스벆’은 각각 ‘헬싱키’와 ‘스벅(스타벅스)’ 대신에 사용된 서치 방지 단어라고 할 수 있다. SNS의 특성상 작성자의 신분이나 위치 등이 드러날 수 있으므로 외부 검색에 의한 접근은 원치 않으나, 해당 단어들을 언급하거나 그에 관한 글을 작성하고자 할 때 서치 방지 단어를 사용하는 것이 일반적이다. 보통은 한 가지 형태로 약속되기보다는 다양하게, 산발적으로 나타난다.
	서치 방지 단어란 무엇인가?	한편 개인이 SNS에서 자유롭게 피력한 의견들이 수집을 위한 검색에 노출될 것을 우려하여, 이에 반하는 전략들도 나타나기 시작하였다. 그중 하나는 ‘서치 방지 단어’의 사용인데, ‘서치 방지 단어’란 SNS 상에서 검색을 피하기 위해 사용되는, 특정 단어의 변이형들을 말한다.
	검색 방지의 시각적 형태에 주목한 경우에는 무엇이 포함되는가?	이러한 검색 방지의 유형은 크게 단어의 시각적 형태에 따른 것, 청각적 형태에 따른 것의 두 가지로 나누어 볼 수 있다. 먼저 시각적 형태에 주목한 경우에는 한글 자모를 조합한 모양이 비슷한 것들끼리 대치하는 소위 ‘야민정음’1)과, 영문자나 숫자, 특수기호 등을 섞어 한글처럼 보이게 하는 경우2) 등이 포함된다. 청각적 형태에 따른 변이형은 소리내어 읽었을 때 유사한 발음으로 실현되는 것3)이며, 본 연구는 이 경우에 중점을 두어 진행되었다.

표제어: PCR

동의어: Packet Collision Rate

용어 설명 출처 목록 (6)

용어 설명: PCR은 세균 특이성이 있는 primer를 이용하여 적은 수의 세균이 있을지라도 쉽게 검출할 수 있는 유용한 방법이며, 이를 이용하여 구강 내 치면세균막이나 타액에서 직접 세균을 검출할 수 있게 되었다[8].

내보내기 구분	파일저장 인쇄 메일전송
구성항목	기본정보 상세정보 관리번호, 논문명, 저널/프로시딩명, 저자 , 발행년, 권, 호, 시작페이지, 끝페이지, 발행기관 관리번호, 논문명, 대등논문명, 저자 , 저널/프로시딩명, 발행기관, 발행년, 발행언어, 권, 호, 시작페이지, 끝페이지, ISBN, ISSN, 주제분야, 키워드, 초록(한글), 초록(영문), 저자(소속기관)
저장형식	Text(ASCII format) Excel format RefWorks Direct Export RIS format (for Reference Manager, ProCite, EndNote), Scholar's Aids, Mendeley
메일정보	받는사람 (필수) @ 보내는사람 (선택) @ 제목 내용 KISTI 검색결과 이메일 서비스
안내	총 건의 자료가 검색되었습니다. 다운받으실 자료의 인덱스를 입력하세요. (1-10,000) 검색결과의 순서대로 최대 10,000건 까지 다운로드가 가능합니다. 데이타가 많을 경우 속도가 느려질 수 있습니다.(최대 2~3분 소요) 다운로드 파일은 UTF-8 형태로 저장됩니다. 파일의 내용이 제대로 보이지 않을실 때는 웹브라우저 상단의 보기 -> 인코딩 -> 자동선택 여부를 확인하십시오. ~ Text(ASCII format) Excel format

연합인증

단어 임베딩과 음성적 유사도를 이용한 트위터 '서치 방지 단어'의 자동 예측
Automatic Prediction of 'Anti-Search Variants' of Twitter based on Word Embeddings and Phonetic Similarity 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

연합인증

단어 임베딩과 음성적 유사도를 이용한 트위터 '서치 방지 단어'의 자동 예측 Automatic Prediction of 'Anti-Search Variants' of Twitter based on Word Embeddings and Phonetic Similarity 원문보기

초록 용어보기논문에서 용어와 풀이말을 자동 추출한 결과로, 시범 서비스 중입니다. AI-Helper

AI 본문요약 엑셀 다운로드 AI-Helper

문제 정의

제안 방법

대상 데이터

이론/모형

성능/효과

후속연구

질의응답

이 논문을 인용한 문헌

관련 콘텐츠

원문 보기

이 논문과 함께 이용한 콘텐츠

AI-Helper ※ AI-Helper는 오픈소스 모델을 사용합니다.

선택된 텍스트

단어 임베딩과 음성적 유사도를 이용한 트위터 '서치 방지 단어'의 자동 예측
Automatic Prediction of 'Anti-Search Variants' of Twitter based on Word Embeddings and Phonetic Similarity 원문보기

초록
AI-Helper

AI 본문요약
AI-Helper