선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 이와 같은 고정된 학습률은 세대가 길어질수록 고정되어 loss 그래프에 대해 최적의 위치를 찾기 어려워지기 때문인데 이를 해결하기 위해 너무 작은 학습률을 사용하게 되면 네트워크 오류 값이 지역 최소 오류 값(local optimization)에 수렴하여 모델의 전체 최소 오류 값(global optimization)을 찾을 수 없게 된다. 따라서 최적의 학습률을 찾기 위해 다양한 테스트를 해보았다. 테스트를 위해 학습률을 2개 고정된 값과 3가지 천천히 감소하는 방법을 사용하였다.
- 이에, GoogLenet[7][8], Resnet[9] 등의 깊은 네트워크가 개발되어 이미지 인식에 우수한 성능을 보였다. 본 논문에서는 GoogLenet을 한글 필기체 인식에 맞도록 개선하였다.
- 0)을 사용하여 연구를 진행하였다. 본 논문에서는 논문[1][2]의 elastic distortion, hybrid learning을 제외한 순수 네트워크만의 성능만을 비교하였으며 [1][2]에서 사용된 네트워크를 Hybrid_model이라 표기한다. 네트워크의 성능은 평균 오차률(Cross Entropy loss), 그리고 모델을 통해 나온 가정 값과 실제 정답과의 정확도(accuracy)을 사용해 비교한다.
제안 방법
- 34% 정확도를 얻었다. [6]에서는 inception 모듈[7][8]을 사용하였으나 전체적 구조가 충분히 깊지 않았고 inception 모듈을 네트워크 전반에 위치시켰으나 본 논문에서는 convolution과 max_pool을 전반에 위치시켜 1차 특징을 뽑아낸 뒤 inception 모듈을 적용하였다. 그 리고 [6]은 마지막에 2계층의 fully-connected 레이어를 두었으나 이는 너무 많은 파라미터를 사용해야 한다.
- 본 논문에서는 논문[1][2]의 elastic distortion, hybrid learning을 제외한 순수 네트워크만의 성능만을 비교하였으며 [1][2]에서 사용된 네트워크를 Hybrid_model이라 표기한다. 네트워크의 성능은 평균 오차률(Cross Entropy loss), 그리고 모델을 통해 나온 가정 값과 실제 정답과의 정확도(accuracy)을 사용해 비교한다. [그림 4(a)]는 본 논문의 개발된 네트워크와 Hybrid_ model의 오차율(loss) 그리고 [그림 4(b)]는 정확도를 비교한 그래프이고 본 논문에서 개발된 네트워크를 사용 시 기존 논문[1][2]에서의 96.
- 그 리고 [6]은 마지막에 2계층의 fully-connected 레이어를 두었으나 이는 너무 많은 파라미터를 사용해야 한다. 따라서 본 논문에서는 마지막 분류를 위한 하나의 fully-connected 레이어만 사용하며 대신 inception 레이어의 개수를 늘렸다. [6]에서는 낮은 레이어와 이미지에 바로 inception 모듈을 적용시켰고 SERI95a 데이터 베이스에서 [1][2]보다 낮은 94.
- 와 같다. 마지막 방법은 처음 30세대 동안은 0.001, 30~60세대 동안은 0.0005, 그리고 나머지 세대는 0.0001 로 하는 방법(앞으로 이를 cliff drop 방법이라 부른다) 을 사용하여 총 5가지 방법에 대하여 학습을 하였고 결과는 [표 4]와 같다.
- 본 논문에서 다양한 학습률을 사용해서 학습을 하였다. Adam optimizer[13]를 사용 시 일반적으로 학습률을 0.
- 본 연구에서는 파라미터의 수를 줄이기 위하여 네트워크 5×5필터를 두 개의 3×3 필터로 변형한 factorization inception[8] 모듈을 사용하여 파라미터를 30%를 줄였다.
- 우리는 기존 논문에서 사용되었던 데이터 확장 기법 (data augmentation)이나 multitasking을 사용하지 않는 깊은 네트워크의 구축과 다양한 학습률을 변화시키며 실험하였고 인접 데이터들의 연관 정보를 모으는 개선된 inception 모듈을 사용하여 정확도를 향상시킨 한글 필기체 인식 네트워크를 개발하였다. 파라미터 수를 줄이기 위하여 기존 5×5 필터를 두 개의 3×3필터로 표현한 factorization을 사용하였다.
- 본 연구에서는 파라미터의 수를 줄이기 위하여 네트워크 5×5필터를 두 개의 3×3 필터로 변형한 factorization inception[8] 모듈을 사용하여 파라미터를 30%를 줄였다. 이 모듈에서 입력되는 채널의 개수와 출력되는 채널의 개수를 바꾸어 가며 채널의 크기를 변형하고 pooling을 통하여 이미지의 그리드 사이즈를 바꾸어 주며 최적의 값을 찾았다. 본 논문에서 개발한 한글 필기체 인식을 위한 깊은 신경망 모델의 자세한 내용은 [표 3]와 같다.
- 이전 한글 필기체 인식 관련 논문[1][2]에서는 한글 필기체 인식을 위해 LeCun Yann의 CNN(Convolutional Neural Network) 모델인 lenet[5]을 데이터에 맞게 변형된 모델을 사용하였다. [1]에서는 이미지의 개수를 증가시키기 위한 Elastic distortion[1]을 사용한다.
- 따라서 최적의 학습률을 찾기 위해 다양한 테스트를 해보았다. 테스트를 위해 학습률을 2개 고정된 값과 3가지 천천히 감소하는 방법을 사용하였다. 학습률은 Adam optimizer에서 주로 사용되는 0.
- 우리는 기존 논문에서 사용되었던 데이터 확장 기법 (data augmentation)이나 multitasking을 사용하지 않는 깊은 네트워크의 구축과 다양한 학습률을 변화시키며 실험하였고 인접 데이터들의 연관 정보를 모으는 개선된 inception 모듈을 사용하여 정확도를 향상시킨 한글 필기체 인식 네트워크를 개발하였다. 파라미터 수를 줄이기 위하여 기존 5×5 필터를 두 개의 3×3필터로 표현한 factorization을 사용하였다. 그리고 1×1 convolution을 각 convolution 앞에 위치시킴으로 학습의 안전성과 깊은 네트워크 구축이 가능하였다.
- 학습은 총 100 세대동안 진행 되었으며 배치사이즈로는 128로 설정하여 약 183,500 번의 학습을 진행하였다. 학습 데이터와 시험 데이터의 비율은 이전 논문과의 비교를 위해 동일하게 9:1로 나누어 진행하였다. 네트워크가 무거워짐에 따라 미분 값 소멸 문제와 학습 속도 저하의 문제가 있었고 이는 batch normalization[14]을 사용함으로 약간 의 성능 향상이 있었다.
- 테스트를 위해 학습률을 2개 고정된 값과 3가지 천천히 감소하는 방법을 사용하였다. 학습률은 Adam optimizer에서 주로 사용되는 0.001과 0.0001두개의 고정 값에 대해 아래의 세 가지 방법으로 감소시켜 나가며 트레이닝을 한다.
대상 데이터
- 그리고 1×1 convolution을 각 convolution 앞에 위치시킴으로 학습의 안전성과 깊은 네트워크 구축이 가능하였다. 각 convolution 레이어 사이의 미분 값 소멸(vanishing gradient problem) 현상을 줄이고 빠른 학습을 위해 batch normalization 및 dropout[15]을 적용하여 모델 구성을 하였고 학습 시 기존 논문[1][2]에 사용된 모델과 비교를 위해 한글 필기체 PE92 데이터베이스를 사용하였다. 새로운 모델의 도입을 통해 기존 논문[1][2]보다 높은 98.
- 첫 번째는 ETL-1 Katakana 데이터 셋이고 클래스는 51개, 데이터의 수는 71,961개이다. 두 번째는 ETL-8 Hiragana로 클래스 75개, 데이터의 수는 12,000개 이다. 마지막으로 한자를 일본어에 맞도록 변형은 Kanji의 경우 클래스는 878개, 데이터 수는 14만개이다.
- 본 논문에서는 이전 논문 [1][2]에서 사용된 PE92 한글 필기체 데이터베이스를 사용하여 실험을 진행하였다. 해당 데이터베이스는 2350개의 클래스로 이루어져 있으며 각 클래스 당 100개의 데이터를 가지며 총 235,000개의 데이터를 가지고 있다.
- [표 1]은 두 데이터베이스에서 첫 번째 이미지부터 순서대로 뽑아낸 샘플이며, PE92의 클래스의 수가 SERI95a보다 많아 더 다양한 문자들이 포함되어 있다. 본 논문에서는 좀 더 다양한 문자를 인식할 수 있는 PE92 데이터베이스를 사용한다.
- 중국어 필기체 연구의 경우에는 상당히 큰 데이터 베이스를 사용한다. 사용된 데이터베이스는 CASIAOL HWDB1.1이며 클래스는 약 3,800개로 데이터는 110만개를 보유하고 있다. 중국어 데이터베이스의 클래스는 3800개로 매우 많지만 클래스별 데이터도 충분히 많아서 간단한 네트워크를 도입하였음에도 97.
- 일본 필기체의 데이터 셋은 ETL-1,8 (Electrotechnical Laboratory Character Database)를 사용하는데 이 데이터 셋은 크게 3가지로 나뉜다. 첫 번째는 ETL-1 Katakana 데이터 셋이고 클래스는 51개, 데이터의 수는 71,961개이다. 두 번째는 ETL-8 Hiragana로 클래스 75개, 데이터의 수는 12,000개 이다.
- 해당 데이터베이스는 2350개의 클래스로 이루어져 있으며 각 클래스 당 100개의 데이터를 가지며 총 235,000개의 데이터를 가지고 있다. 학습은 총 100 세대동안 진행 되었으며 배치사이즈로는 128로 설정하여 약 183,500 번의 학습을 진행하였다. 학습 데이터와 시험 데이터의 비율은 이전 논문과의 비교를 위해 동일하게 9:1로 나누어 진행하였다.
- 한글 필기체 데이터베이스는 PE92와 SERI95a 그리고 전자정보연구센터에서 보유한 213만개의 필기체 데이터가 있다. PE92는 자주 사용되는 2350개의 클래스와 각 클래스 당 100개의 데이터를 가지고 있다.
- 본 논문에서는 이전 논문 [1][2]에서 사용된 PE92 한글 필기체 데이터베이스를 사용하여 실험을 진행하였다. 해당 데이터베이스는 2350개의 클래스로 이루어져 있으며 각 클래스 당 100개의 데이터를 가지며 총 235,000개의 데이터를 가지고 있다. 학습은 총 100 세대동안 진행 되었으며 배치사이즈로는 128로 설정하여 약 183,500 번의 학습을 진행하였다.
이론/모형
- 영어의 경우 알파벳을 기반으로 하여 256개의 코드로 표현이 가능하지만 한국어의 경우에는 그 수가 많아 ASCII 코드로는 처리가 불가능하다. 그래서 새로운 인코딩 방식이 필요하였는데 이전에는 많이 사용되는 2350개의 글자만을 모아 EUC-KR 인코딩 방식을 사용하였다. 그러나 최근에는 CP949나 유니코드인 UTF-8 인코딩 방식을 사용하며 이는 11,172개의 글자를 모두 지원한다.
- 따라서 모든 이미지 데이터를 평균 사이즈인 60×60으로 고정시키기 위하여 선형보간법을 통해 이미지 전처리를 한다.
- 이는 이미지의 각 픽셀 값을 +1 또는 –1 랜덤으로 이동시켜 이미지량을 늘리는 방법이다. 이러한 데이터 늘리기 작업을 통해 PE92 데이터 셋에서 92.92%의 정 확도를 얻었으며, [2]의 논문에서는 유사 클래스간의 구별을 하는 Multitasking 방법인 Hybrid learning[2]을 적용하였다. Hybrid learning은 필기체 데이터를 분류하는 테스크와 10개의 유사클래스 간의 차이를 계산하는 테스크를 더한 값을 오차 함수로 사용한다.
성능/효과
- 각 convolution 레이어 사이의 미분 값 소멸(vanishing gradient problem) 현상을 줄이고 빠른 학습을 위해 batch normalization 및 dropout[15]을 적용하여 모델 구성을 하였고 학습 시 기존 논문[1][2]에 사용된 모델과 비교를 위해 한글 필기체 PE92 데이터베이스를 사용하였다. 새로운 모델의 도입을 통해 기존 논문[1][2]보다 높은 98.64%의 정확도를 얻을 수 있었다. 실생활에서도 좀 더 잘 동작하는 네트워크를 만들기 위해서는 먼저 더 많고 다양한 한글 데이터베이스가 구축되어야 할 것이고 그 글자들을 인식할 수 있도록 CNN에 대한 다양한 연구 또한 계속 되어야 할 것이다.
- 64%를 얻을 수 있었다. 이를 통해 깊은 네트워크의 사용함으로 한글 필기체 분류에 있어서 더 높은 정확도를 얻는 것이 가능함을 보여 주었다.
- 마지막으로 한자를 일본어에 맞도록 변형은 Kanji의 경우 클래스는 878개, 데이터 수는 14만개이다. 일본어 데이터 베이스는 클래스 개수가 적으며 클래스간의 유사성이 매우 적어서 99.53%의 정확도를 보여주었다.
- 1이며 클래스는 약 3,800개로 데이터는 110만개를 보유하고 있다. 중국어 데이터베이스의 클래스는 3800개로 매우 많지만 클래스별 데이터도 충분히 많아서 간단한 네트워크를 도입하였음에도 97.20%의 정확도를 얻었다. 일본 필기체의 데이터 셋은 ETL-1,8 (Electrotechnical Laboratory Character Database)를 사용하는데 이 데이터 셋은 크게 3가지로 나뉜다.
- 최근 이미지 인식 분야에서 깊은 CNN의 사용으로 좋은 결과들이 나오고 있는데 본 논문에서는 한글 필기체 인식을 위해 inception 모듈[7][8]을 사용한 좀 더 깊은 CNN을 구성하여 98.64%의 정확도를 얻었다. 2장에서는 한글의 구조, 3장에서는 본 연구의 한글 필기체 인식 모델의 구성과 사용된 기술들, 4장에서는 학습률의 변화 방식에 따른 정확도, 5장에서는 실험결과, 6장에서는 결론을 기술한다.
- 그러나 이전 모델이 세대 당 4분이 걸렸던 것에 비하면 약 4배정도인 15분이 소요되었다. 학습률은 4장에서와 같이 실험을 해본 결과 학습률을 일정 세대마다 급격하게 떨어뜨리는 방법이 가장 효과가 좋았으며 학습률을 고정하는 방식에 비해 0.001보다 0.21% 향상되었고 0.0001보다는 0.56% 향상된 결과를 보여주었다. 하드웨어는 그래픽 카드로 GTX 1080ti, CPU로는 intel i7-7700를 사용하였으며 소프트웨어로는 python3.
후속연구
- 64%의 정확도를 얻을 수 있었다. 실생활에서도 좀 더 잘 동작하는 네트워크를 만들기 위해서는 먼저 더 많고 다양한 한글 데이터베이스가 구축되어야 할 것이고 그 글자들을 인식할 수 있도록 CNN에 대한 다양한 연구 또한 계속 되어야 할 것이다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.