선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 각 색인어 추출 방식은 각기 나름대로의 장단점을 가지고 있으며 코드 분류를 위하여 입력되는 자연어의 특성상 어느 방법이 적합한지를 미리 결정하는 것은 매우 어려운 일이다. 따라서 본 논문은 4가지의 색인어 추출 방 식을 모두 구현하여 각 방법을 이용하였을 때의 성능을 평가하여 산업/직업 코드 자동 분류 작업을 위하여 가장 좋은 색인어 추출 방식을 찾아내고 이를 최종적으로 이용하고자 한다.
- 본 논문은 인구통계조사를 통하여 수집된 산업/직업 분류에 관한 자연어로 기술된 내용을 입력받아 해당 표 준 코드로 분류하는 산업/직업 코드 자동 분류 시스템을 제안하였다. 제안된 시스템은 코드 분류에 관한 전문가가 이전에 수작업으로 분류한 데이터를 활용할 수 있도록 메모리 기반 학습의 일종인 kNN 학습 기법을 이용하여 학습 및 자동 분류하도록 하였다.
- 또한 한국어로 표준 산업/직업 코드 분류는 한국어가 갖는 특성으로 인하여 외국에서 개발된 시스템을 직접 활용하기에는 무리가 따르며, 자체적인 개 발이 필요한 실정이다. 이에 본 논문은 수작업으로 구축한 규칙 베이스와 예제기반의 자동 학습을 통합한 한국어 산업/직업 표준 코드 자동 할당 시스템을 제안한다.
제안 방법
- 시스템의 자동 분류의 성능을 평가하기 위한 평가 척도로는 N-best 정확도를 이용하였다. N-best 정확도란 실험에 사용된 전체 레코드의 수에 대해, 시스템이 출력한 상위 N개의 레코드 중에 정답이 포함된 레코드의 비율로 계산하였다.
- 제안된 시스템은 코드 분류에 관한 전문가가 이전에 수작업으로 분류한 데이터를 활용할 수 있도록 메모리 기반 학습의 일종인 kNN 학습 기법을 이용하여 학습 및 자동 분류하도록 하였다. 또한 통계 조사로부터 수집된 산업/직업에 관한 입력 자료의 특성을 반영할 수 있고 높은 성능을 보일 수 있는 색인어 추출 방법을 찾기 위하여 한국어에서 색인어를 추출할 때 사용하는 일반적인 방법인 형태소 분석을 이용한 방법, 명사 추출기를 이용하는 방법, 그리고 바이그램을 이용하는 방법을 모두 구현하고 비교 평가하였다.
- 형태소 분석을 이용한 색인어 추출 방식은 미등록어 처리와 복합 명사 인식을 할 수 있다는 장점을 가지고 있지만 품사 태깅의 오류로 인한 잘못된 색인어 추출과 많은 양의 계산 시간을 요구하는 단점이 있다. 명사추출기를 이용한 색인언 추출 방식은 명사가 사용되는 환경과 조사와 같이 명사와 함께 출현할 수 있는 문자열 정보를 이용하여 색인어를 추출하는 방식으로 대용량의 자료에서 고속으로 색인어를 추출할 수 있다는 장점을 가지며 본 논문은 [8] 의 명사 추출기를 이용하여 색인어 추출 실험을 하였다. 바이그램을 이용한 색인어 추출 방식은 언어적인 처리에 의해 명사를 추출하는 것이 아니라 인접한 두 음절을 이용하여 색인어를 추출하는 방식으로 입력 내용의 첫음절부터 마지막 음절까지 연속된 두 음절을 색인어로 추출한다.
- 본 논문이 제안하는 시스템은 조사원들로부터 획득된 '근무 사업체명', '사업체의 주된 업무', '직책', 그리고 '직무^ 대한 내용을 자연어로 입력받아 입력된 내용에 해당되는 직업/산업 표준 코드를 생성하며, [그림 1]은 제 안 하는 시스템의 전체 시스템 구성을 도식화한 것이다. [그림 1]에서 보인 바와 같이 제안하는 시스템은 크게 학습 모듈과 자동 코드 생성 모듈로 구성된다.
- 본 시스템은 자동 코드 할당 이외에도 사용자가 정의한 규칙에 맞는 데이터의 경우에는 수동 규칙에 따라 코드를 할당할 수 있는 매커니즘을 제공한다. 수동 규칙은 산업/직업 코드 분류를 수행하는 통계청의 전문가들에 의해서 수작업으로 구축된 규칙으로서 '조건-행위, 의 형식으로 구축되어 있다.
- 코드 자동 할당 과정은 입력 레코드와 유사한 코드를 검색하고 검색된 코드와 입력 레코드와의 유사도를 이용하여 최종적인 출력 코드를 계산하는 방식으로 이루어진다. 제안된 시스템에서 사용하는 검색 모델은 2-포아송 모델로 TREC-8의 Okapi 시스템[기이 사용하였던 BM25 방법에 의하여 코드 j의 단어 i의 가중치 wij를 (식 2)과 같이 계산하며 (식 3)를 이용하여 입력 레코드 q와 코드 j와의 유사도를 계산한다.
- 본 논문은 인구통계조사를 통하여 수집된 산업/직업 분류에 관한 자연어로 기술된 내용을 입력받아 해당 표 준 코드로 분류하는 산업/직업 코드 자동 분류 시스템을 제안하였다. 제안된 시스템은 코드 분류에 관한 전문가가 이전에 수작업으로 분류한 데이터를 활용할 수 있도록 메모리 기반 학습의 일종인 kNN 학습 기법을 이용하여 학습 및 자동 분류하도록 하였다. 또한 통계 조사로부터 수집된 산업/직업에 관한 입력 자료의 특성을 반영할 수 있고 높은 성능을 보일 수 있는 색인어 추출 방법을 찾기 위하여 한국어에서 색인어를 추출할 때 사용하는 일반적인 방법인 형태소 분석을 이용한 방법, 명사 추출기를 이용하는 방법, 그리고 바이그램을 이용하는 방법을 모두 구현하고 비교 평가하였다.
- 수동 규칙은 산업/직업 코드 분류를 수행하는 통계청의 전문가들에 의해서 수작업으로 구축된 규칙으로서 '조건-행위, 의 형식으로 구축되어 있다. 제안하는 시스템은 코드 분류의 정확도를 높이기 위하여 입력 레코드를 수동 규칙에 적용을 하여 수동 규칙에 적용되면 규칙에 의해서 코드를 할 당하며 규칙이 적용되지 않는 레코드의 경우 자동 코드 할당 모듈에 의해서 분류 코드를 할당하도록 한다. 현재 구축되어 있는 수동 규칙은 총 2, 655개로 [표 1] 은 수동 규칙에 대한 설명을 도표로 나타낸 것이다.
- 인구 주택 총조사는 조사원들이 조사 대상을 방문하여 그들에게 직접 문의하는 방법으로 이루어진다. 조사 항목은 크게 거주 지역, 출생 지역, 성씨, 나이, 표준산업분류 코드, 표준 직업분류 코드 등 정형화된 데이터와 각 개인이 근무하고 있는 사 업체명, 사업체의 주된 사업 내용, 자신의 직책, 그리고 직무 등을 나타내는 자연어(natural language)로 기술된 비정형화된 데이터로 구분된다. 정형화된 데이터 중 표준 산업분류 코드와 표준 직업분류 코드는 국가의 경제, 산업, 예산 등의 국가 기본 정책을 수립하는데 있어서 기반이 되는 중요한 지식이다.
대상 데이터
- 결국 입력 당시의 띄어쓰기 상태와 그 상태를 고려할 것인 지의 여부에 따라 각각 장단점이 있다. 본 연구에서는 띄어쓰기가 전혀 되어 있지 않은 경우를 대상으로 하고 있다.
- 본 논문은 직업 코드 분류에서는 4수준 코드로의 분류를 실험하였고, 산업 코드 분류에서는 5수준의 코드 분류 실험을 하였는더], 이는 일반적으로 통계 조사 시 직업 코드 분류는 4수준의 결과를 산업 코드 분류에서는 5수준의 결과를 많이 사용하기 때문이었다. 즉 직업 코드는 447개의 코드가 분류 대상이었으며 산업 분류 코드는 1, 404개의 코드가 분류 대상이었다. 자동 코드 분류 시스템의 학습 데이터와 실험 데이터는 [표 3]과 같이 구성하였다.
이론/모형
- 띄어쓰기 모델에서 사용하는 확률값은 대규모의 원시 코퍼스에 나타난 빈도로부터 최우추정 (Maximum likelihood estimation)0!] 의해 계산하며 입력 문장에 대해 최적의 띄어쓰기 태그 열은 동적 알고리즘인 Viterbi 알고리즘을 이용하여 계산한다.
- 본 논문은 코드 자동 분류기의 학습을 위하여 kNN 방식의 학습 방법을 사용하였는데, 이 방법 사용하는 이유는 다음과 같다. 첫째, 코드 자동 분류 작업을 위한 입력 레코드의 길이는 30어절에서 50어절 크기로 매우 짧아 레코드의 검색이 매우 용이하다.
- 시스템의 자동 분류의 성능을 평가하기 위한 평가 척도로는 N-best 정확도를 이용하였다. N-best 정확도란 실험에 사용된 전체 레코드의 수에 대해, 시스템이 출력한 상위 N개의 레코드 중에 정답이 포함된 레코드의 비율로 계산하였다.
- 자동 띄어쓰기의 방법은 접근 방법에 따라 크게 규칙 기반 방식과 통계 기반 방식으로 나눌 수 있으며 본 논문은 말뭉치로부터 인접한 두 음절 간의 띄어 쓸 또는 붙여 쓸 확률을 학습하여 이를 이용하여 띄어쓰기 오류를 교정하는 [5] 에서 제안된 통계기반 방식을 사용한다. 이 방식은 대량의 원시 말뭉치로부터 자동으로 음절 정보를 획득할 수 있으므로 어휘 지식이나 규칙을 작성하거나 유지, 보수에 드는 비용이 필요하지 않고, 형태소 분석기를 사용할 때와는 달리 문장에 존재하는 미등록어에 대해서도 견고한 분석이 가능하다.
- 형태소분석을 이용한 색인어 추출 방식은 형태소 분석을 통하여 얻어진 가능한 모든 형태소-품사 결합 열에 대해서 수행된 품사 태깅 결과 중 명사로 태깅되어 있는 결과를 색인어로 사용하는 방법으로 본 논문은 [9] 에서 제안된 형태소 분석기와 품사 태깅 시스템을 사용하였다. 형태소 분석을 이용한 색인어 추출 방식은 미등록어 처리와 복합 명사 인식을 할 수 있다는 장점을 가지고 있지만 품사 태깅의 오류로 인한 잘못된 색인어 추출과 많은 양의 계산 시간을 요구하는 단점이 있다.
성능/효과
- 제안된 시스템을 40만 개의 학습 데이터를 이용하여 실험한 결과 바이그램을 이용한 색인어 추출 기법을 사용하였을 때 가장 높은 성능을 보였다. 10-best 성능 평가 결과 직업분류 데이터에 대해서 76.69%, 산업분류 데이터에 대해서는 99.68%의 정확도를 보였다.
- 본 논문은 직업 코드 분류에서는 4수준 코드로의 분류를 실험하였고, 산업 코드 분류에서는 5수준의 코드 분류 실험을 하였는더], 이는 일반적으로 통계 조사 시 직업 코드 분류는 4수준의 결과를 산업 코드 분류에서는 5수준의 결과를 많이 사용하기 때문이었다. 즉 직업 코드는 447개의 코드가 분류 대상이었으며 산업 분류 코드는 1, 404개의 코드가 분류 대상이었다.
- 가장 단순한 바이그램 색인 방법의 성능이 가장 우수했다는 것은 띄어쓰기 문제와 미등록어 처리에 가장 견고했음을 의미하는 것으로 추측된다. 색인 방법에 상관없이 직업 코드 분류 결과가 산업 코드 분류 결과보다 낮은 정확도를 보였는데, 이러한 실험 결과는 직업 코드 분류가 산업 코드 분류보다 난이도가 높다는 것을 의미한다.
- 현재 구축되어 있는 수동 규칙은 총 2, 655개로 [표 1] 은 수동 규칙에 대한 설명을 도표로 나타낸 것이다. 수동 규칙을 6, 000개의 실험 레코드에 적용한 결과 약 98.9%의 정확도를 얻을 수 있었으며, 이때 정확도는 규칙이 적용된 레코드 수에 대한 정확한 코드가 할당된 레코드의 수의 비율을 의미한다.
- 실험 결과에 따르면, 색인어 추출 방식 중에서는 바이 그램 색인 방법이 가장 높은 성능을 보였으며 그다음은 명사 추출, 형태소 분석을 이용한 방법이었다. 가장 단순한 바이그램 색인 방법의 성능이 가장 우수했다는 것은 띄어쓰기 문제와 미등록어 처리에 가장 견고했음을 의미하는 것으로 추측된다.
- 조사원들이 조사한 자료를 입력하는 과정에서 발생되는 자동 띄어쓰기 문제를 극복하기 위하여 시도된 자동 띄어쓰기의 적용은 성능 향상에 약간의 영향을 미친 것으로 확인되었으나 바이그램 색인어 추출 방식을 사용하는 경우보다 높지 않은 성능을 보였다. 이는 띄어쓰기 오류나 철자 오류를 포함할 수 있는 데이터를 처리하고자 할 때 띄어쓰기 오류 교정기를 적용하는 것보다 바이 그 램 색인어 추출 방식을 사용하는 것이 비용이나 성능 면에서 우수한 결과를 보일 수 있음을 시사하는 것이다.
- 제안된 시스템을 40만 개의 학습 데이터를 이용하여 실험한 결과 바이그램을 이용한 색인어 추출 기법을 사용하였을 때 가장 높은 성능을 보였다. 10-best 성능 평가 결과 직업분류 데이터에 대해서 76.
- 제안한 시스템은 코드 분류를 위하여 수작업을 전혀 사용할 필요가 없는 완전 자동화 시스템으로 사용하기 위해서는 아직 성능이 떨어지는 상황이지만 10-best의 결과 중 올바른 코드를 할당하도록 함으로써 코드 분류를 하는 전문가의 작업을 경감시킬 수 있는 반자동 도구나 수작업자의 코드 분류 결과를 검증할 수 있는 도구로서 는 충분히 활용될 수 있다고 판단된다. 향후에는 코드 분류에 대한 전문가의 도메인 지식과 수동 규칙의 활용, 그리고 신뢰도 개선기를 통한 지속적인 성능 향상에 대한 연구를 계속하여 진행할 계획이다.
- 조사원들이 조사한 자료를 입력하는 과정에서 발생되는 자동 띄어쓰기 문제를 극복하기 위하여 시도된 자동 띄어쓰기의 적용은 성능 향상에 약간의 영향을 미친 것으로 확인되었으나 바이그램 색인어 추출 방식을 사용하는 경우보다 높지 않은 성능을 보였다. 이는 띄어쓰기 오류나 철자 오류를 포함할 수 있는 데이터를 처리하고자 할 때 띄어쓰기 오류 교정기를 적용하는 것보다 바이 그 램 색인어 추출 방식을 사용하는 것이 비용이나 성능 면에서 우수한 결과를 보일 수 있음을 시사하는 것이다.
- 본 논문은 코드 자동 분류기의 학습을 위하여 kNN 방식의 학습 방법을 사용하였는데, 이 방법 사용하는 이유는 다음과 같다. 첫째, 코드 자동 분류 작업을 위한 입력 레코드의 길이는 30어절에서 50어절 크기로 매우 짧아 레코드의 검색이 매우 용이하다. 둘째, 이전의 통계 조사 때 수작업으로 분류된 대량의 예제 데이터를 활용할 수 있다.
후속연구
- 제안한 시스템은 코드 분류를 위하여 수작업을 전혀 사용할 필요가 없는 완전 자동화 시스템으로 사용하기 위해서는 아직 성능이 떨어지는 상황이지만 10-best의 결과 중 올바른 코드를 할당하도록 함으로써 코드 분류를 하는 전문가의 작업을 경감시킬 수 있는 반자동 도구나 수작업자의 코드 분류 결과를 검증할 수 있는 도구로서 는 충분히 활용될 수 있다고 판단된다. 향후에는 코드 분류에 대한 전문가의 도메인 지식과 수동 규칙의 활용, 그리고 신뢰도 개선기를 통한 지속적인 성능 향상에 대한 연구를 계속하여 진행할 계획이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.