선택한 단어 수는 입니다.
최소 단어 이상 선택하여야 합니다.
최소 단어 이상 선택하여야 합니다.
선택한 단어 수는 30입니다.
최대 10 단어까지만 선택 가능합니다.
최대 10 단어까지만 선택 가능합니다.
문제 정의
- 60% @FAR 1%, Labeled Face in the Wild)을 보이고 있다. 그래서 본 고에서는 영상 인식의 대표적인 두 가지 분야인 객체 및 얼굴 인식에 관련된 딥러닝 기술을 소개하고, 도래하는 IoT(Intenet of Things)시 대 의 딥 러닝을 주제로 끝을 맺는다.
- 이 외에도 딥러닝을 이용하여 얼굴 검출, 랜드마크 검출, 얼굴 속성(성별, 나이 인종, 표정等)인식에 대한 연구가 활발히 진행 중이다. 본 고에서는 LFW 평가와 랜드마크 검출을 중심으로 최근 연구 동향을 소개한다.
- 98%까지 떨어져 인간의 인지 오차율에 매우 근접한 수준에 이르게 되었다. 이들 기술 중에 구글의 GoogLeNet 팀과 옥스퍼드 대학의 VGG 팀의 기술을 소개하고자 한다.
제안 방법
- ''血pnik에 의해 제안된 이후 오랜 침체기에 빠져 있던 인공 뉴럴네트워크 연구는, 제프리 힌튼 이 2006년 에 DBN(Deep Belief Network) 구조를 제안 하면서 SVM의 성능을 뛰어넘고 딥 러닝이라는 새로운 장을 다시 열었다[4]. DBNe 기존의 Boltzmann Machine을 변형하여 층(layer)과 층 사이에만 연결이 존재하는 RBM(Restricted Boltzmann Machine)을 사용하여서 학습을 좀 더 용이하게 하였다. 특히 기존에는 목표정답을 계속 알려줘야 했지만, 추론 (Inference)과 생성과정(Generative process)을 반복 수행해서 둘 간의 차이를 최소화 하는 CD-1 (Contrastive Divergence) 방식을 사용해서 목표 정답 없이 데이터 패턴의 학습이 가능한 무감독 학습(Unsupervised Learning)을 가능하게 하였다.
- 높이는 방식을 제안하였다. 네트워크 구조는 그림 17(위)에서 보이는 것과 같이 DCSN을 이용하여 영상으로부터 공통 특징(shared feature)을 추출한 후, 랜드마크 위치에 대한 Loss와 Sub-Task(Ex. 포즈, 표정 등)에 대한 Loss를 함께 고려하도록 설계하였다. 그림 17(아래)에 보이는 것과 같이 표정, 포즈 등 유사한 속성을 갖는 영상으로부터 추출된 특징은 유사한 형태를 보이고 있음 알 수 있다.
- DeepIDl으로 명명된 이 알고리즘은 개별 인식기는 총 5개의 Convolution Layer로 구성되어 있고(그림 13), 입력 영상이 정규화된 얼굴 영상이어서 4번째 Convolution Layer에서는 Locally Shared Convolutional Layer를 이용하고, 해상도가 31x39로 낮아서 얼굴에 관한 정보를 더 얻기 위해서 5번째 Fully Connection Layer의 입력으로 Layer 3과 Layer 4를 동시에 이용하고 있다. 또한 얼굴의 지역적인 정보를 더 잘 활용하기 위해 복수개의 Local Patch에 대한 개별인식기를 학습한다. 딥러닝 학습을 위해서는 별도로 웹에서 모아진 10, 177명의 연예인 사진을 이용하였고, 이렇게 학습된 얼굴 Patch 인식기 100개를 정합했을 때, DeepFace보다 좋은 97.
- 또한 새로운 활성화 함수는 계층이 많아 질수록 발생하는 학습정보의 전달 손실을 최소화 하여 DCNN의 정보 보유성능(Model Capacity)을 최대화 할 수 있었다. 이 밖에도 과적합(Over-fitting)을 방지하는 기법인 Drop-out 기술도 함께 소개하였다. 학습 데이터 관점에서 DCNN 의 정보 보유 성능이 커지면 발생할 수 있는 모델 의과 적합 문제(Over-fitting)는 ILSVRC이 제공하는 천만 장 이상의 이미지로 해결 가능하였다.
- 그림 12에서 보여지듯이 DeepFace로 명명된 이 알고리즘은 3D 얼굴 모델을 이용하여 2D 얼굴 영상이 입력으로 들어오면 각 얼굴의 중요 랜드마크를 찾아서 3D 얼굴 모델에 매핑 한 후 매핑 된 3D 얼굴 영상을 이용하여 정면 얼굴로 보정해 준다. 이후 152x152의 컬러 영상으로 얼굴을 정규화 한 후에 얼굴의 분별도를 높여주는 총 7개의 Convolution Layer를 학습하게 된다. 본 논문에서는 최고 성능이 97.
- Local SAN의 입력은 전 단계 SAN에서 추정된 랜드마크 위치에서 계산된 shape-indexed local feature (예: SIFT 등)를 연결한 벡터이며, 랜드마크 Ground Truth 위치와의 차이(ASi)를 출력할 수 있는 Regressor를 학습한다. 이후 Local SAN에서는 ASi를 반영한 랜드마크 위치로부터 shape-indexed feature를 다시 계산하며, 그림 16에서 보여주는 것과 같이 N이 증가할수록 해상도를 크게 하여 shape-indexed feature를 계산함으로써 랜드마크 검출 정확성을 높일 수 있도록 설계되었다. 이 연구는 Cascade 방식으로 첫 번째 네트워크에서 초기 랜드마크 위치를 추정한 후, 이후 네트워크를 통하여 더 정확한 위치로 교정한다는 점에서 앞에서소개한[18]와 유사하다.
- DBNe 기존의 Boltzmann Machine을 변형하여 층(layer)과 층 사이에만 연결이 존재하는 RBM(Restricted Boltzmann Machine)을 사용하여서 학습을 좀 더 용이하게 하였다. 특히 기존에는 목표정답을 계속 알려줘야 했지만, 추론 (Inference)과 생성과정(Generative process)을 반복 수행해서 둘 간의 차이를 최소화 하는 CD-1 (Contrastive Divergence) 방식을 사용해서 목표 정답 없이 데이터 패턴의 학습이 가능한 무감독 학습(Unsupervised Learning)을 가능하게 하였다. 또한 점진적으로 매 층을 학습(Greedy Layer-wise Learning)해 나가는 방법은 층이 깊어 질수록 발생하는 학습 정보의 전달 손실 (Vanishing Error Gradient)을 최소화 하여 기존 다층 퍼셉트론의 한계였던 3층 이상의 네트워크를 학습할 수 있었다.
- 7%로 떨어뜨렸다. 특히 최적화된 GPU 기반의 알고리즘 구현 및 새로운 뉴런 활성화 함수(Activation Function) 인 ReLU (Rectified Linear Unit)를 제안하여 기존 뉴럴네트워크의 문제 중 하나인 느린 학습 속도를 해결하였다. 또한 새로운 활성화 함수는 계층이 많아 질수록 발생하는 학습정보의 전달 손실을 최소화 하여 DCNN의 정보 보유성능(Model Capacity)을 최대화 할 수 있었다.
대상 데이터
- 대표적으로 구글에서는 2015년 CVPR에서 FaceNet[15]을 발표하였다. 2억6천만장의 영상을 학습에 사용하였고, 기존에 알려진 GoogLenet의 인셉션 모델을 활용하거나 총 22개의(14개의 Convolutional Layer로 구성된) Layer로 구성된 복잡한 모델을 이용하였다. 특히 그림 14와 같이 같은 사람 얼굴(Anchor-Positive)에 대한 특징 거리를 가깝게 하고, 다른 사람의 얼굴(Anchor- Negative) 에 대한 특징 거 리는 멀게 하는 Triplet Loss 를 이용하여 LFW에서 99.
- 35%를 달성하기 위해서 3D Alignment외 2D Alignment, 다른 입력 영상인 Gradient 영상 등을 정합하였다. 학습에는 FaceBook에 개인들이 올린 4, 030명의 4.4백만장의 얼굴 영상들이 사용되었다.
성능/효과
- 그림 17(아래)에 보이는 것과 같이 표정, 포즈 등 유사한 속성을 갖는 영상으로부터 추출된 특징은 유사한 형태를 보이고 있음 알 수 있다. Sub-Task로서 성별, 안경 착용 유무, 웃음 여부, 포즈 정보를 함께 사용하여 랜드마크를 검출한 결과 기존 방식 (Cascaded CNN[18], SDM[17] 등) 대비 우수한 성능을 보였다. Cascade CNN 방식[18] 은총 23개의 GNN을 사용하지만 제안 연구에서는 한 개의 CNN을 이용하며, 랜드마크 검출 시간은 약 17ms로 약 7배 빠르다.
- 또한 얼굴의 지역적인 정보를 더 잘 활용하기 위해 복수개의 Local Patch에 대한 개별인식기를 학습한다. 딥러닝 학습을 위해서는 별도로 웹에서 모아진 10, 177명의 연예인 사진을 이용하였고, 이렇게 학습된 얼굴 Patch 인식기 100개를 정합했을 때, DeepFace보다 좋은 97.45%를 LFW 평가에서 얻을 수 있었다.
- 특히 최적화된 GPU 기반의 알고리즘 구현 및 새로운 뉴런 활성화 함수(Activation Function) 인 ReLU (Rectified Linear Unit)를 제안하여 기존 뉴럴네트워크의 문제 중 하나인 느린 학습 속도를 해결하였다. 또한 새로운 활성화 함수는 계층이 많아 질수록 발생하는 학습정보의 전달 손실을 최소화 하여 DCNN의 정보 보유성능(Model Capacity)을 최대화 할 수 있었다. 이 밖에도 과적합(Over-fitting)을 방지하는 기법인 Drop-out 기술도 함께 소개하였다.
- 이후 152x152의 컬러 영상으로 얼굴을 정규화 한 후에 얼굴의 분별도를 높여주는 총 7개의 Convolution Layer를 학습하게 된다. 본 논문에서는 최고 성능이 97.35%를 달성하기 위해서 3D Alignment외 2D Alignment, 다른 입력 영상인 Gradient 영상 등을 정합하였다. 학습에는 FaceBook에 개인들이 올린 4, 030명의 4.
- 50%를 달성하고 있다(그림 15). 이 논문에서는 별도의 영상 인식 테크닉을 활용하지 않아도 얼굴 인식 DB(20, 000명에 5백만 장)를많이 모으기만 해도 일반적인 환경의 얼굴인식에는 문제가 없다는 점을 실험으로 증명하였다.
- Verification Loss를 사용했다. 이를 통해서 이전 보다 작은 수의 얼굴 Patch 인식기를 사용해 LFW에서 99.15%를 달성했다.
- 2억6천만장의 영상을 학습에 사용하였고, 기존에 알려진 GoogLenet의 인셉션 모델을 활용하거나 총 22개의(14개의 Convolutional Layer로 구성된) Layer로 구성된 복잡한 모델을 이용하였다. 특히 그림 14와 같이 같은 사람 얼굴(Anchor-Positive)에 대한 특징 거리를 가깝게 하고, 다른 사람의 얼굴(Anchor- Negative) 에 대한 특징 거 리는 멀게 하는 Triplet Loss 를 이용하여 LFW에서 99.63%를 달성 하였다.
- 딥러닝은 다층 구조에 의한 여러 번의 비선형 변환으로 Manifbld를 풀어(unfbld)서 데이터 간의 분류가 쉽게 되어 인식 성능의 향상에 크게 기여하는 특징이 있다. 특히 딥러닝을 이용한 객체 인식은 ‘12 년 이후 최고 성능(5.98% @1K 객체종류, ImageNet Large Scale Visual Recognition Competition)을 보이고있으며, 얼굴인식은 ‘14년 이후 최고 성능(99.60% @FAR 1%, Labeled Face in the Wild)을 보이고 있다. 그래서 본 고에서는 영상 인식의 대표적인 두 가지 분야인 객체 및 얼굴 인식에 관련된 딥러닝 기술을 소개하고, 도래하는 IoT(Intenet of Things)시 대 의 딥 러닝을 주제로 끝을 맺는다.
- 이 밖에도 과적합(Over-fitting)을 방지하는 기법인 Drop-out 기술도 함께 소개하였다. 학습 데이터 관점에서 DCNN 의 정보 보유 성능이 커지면 발생할 수 있는 모델 의과 적합 문제(Over-fitting)는 ILSVRC이 제공하는 천만 장 이상의 이미지로 해결 가능하였다. 이러한 대량 Ground-truth 이미지의 제공은 감독 학습(Supervised Learning) 기반의 DCNN이 객체 인식의 대표 기술이 될 수 있는 원동력이 되었다.
후속연구
- 셋째는 산업에서 시설물을 모니터링하고 작업 효율과 안전을 향상하는데 활용이 가능하다. 생산, 가공, 유통 등의 현장에서 얻는 많은 데이터를 분석해서 안전하고 효율적인 생산 방식과 유통 방식을 제공할 수가 있다.
※ AI-Helper는 부적절한 답변을 할 수 있습니다.