초록 ▼

□ 연구개요
고차원 자료에 기반한 통계적 기계학습을 위해 기존에 사용하던 범위를 벗어나는 최신 최적화 이론을 도입하는 경우가 빈번해지고, 학계의 관심도 높아가고 있다. 이는 분석 대상 변수의 개수가 급격히 늘어남 에 따라 계산효율적인 방법론이 중요해지고, 차원의 저주에 의해 모형에 복잡한 제약 조건을 설정해야 할 필요가 급증하고 있기 때문이다. 본 연구는 기계학습과 다변량통계학의 중요 구성 요소인 그래피컬 모형 추정과 정준상관분석의 확장을 중심으로, 추정방법론에 최적화이론의 최근 동향을 접목해 기존 절차를 확장하고, 절차의 계

□ 연구개요
고차원 자료에 기반한 통계적 기계학습을 위해 기존에 사용하던 범위를 벗어나는 최신 최적화 이론을 도입하는 경우가 빈번해지고, 학계의 관심도 높아가고 있다. 이는 분석 대상 변수의 개수가 급격히 늘어남 에 따라 계산효율적인 방법론이 중요해지고, 차원의 저주에 의해 모형에 복잡한 제약 조건을 설정해야 할 필요가 급증하고 있기 때문이다. 본 연구는 기계학습과 다변량통계학의 중요 구성 요소인 그래피컬 모형 추정과 정준상관분석의 확장을 중심으로, 추정방법론에 최적화이론의 최근 동향을 접목해 기존 절차를 확장하고, 절차의 계산복잡도를 낮춰 거대자료(빅데이터) 문제에 대응하는 것을 목표로 삼는다. 본 연구에서 다루는 최적화이론의 결과는 대부분의 기계학습 알고리즘에 적용 가능 하고, 그래피컬 모형 추정은 생물정보학의 다중체 자료 분석, 정준상관분석의 확장은 2017년 노벨화학상을 수상한 저온전자현미경(cryo-EM)의 3차원 영상 재구 방법에 직접 적용된다.

□ 연구 목표대비 연구결과
연구 목표에 따라 다음의 3가지 대주제에 대하여 도합 8가지의 세부과제를 다뤘다. (1) 구조적 희소성(structured sparsity)과 스펙트럼 제약을 동시에 갖는 고차원 그래피컬 모형 추정; (2) 구조적 희소성 제약을 갖는 추정 방법론과 관련한 저복잡도 비평활 최적화 이론; (3) 정준상관분석의 다표본 다차원으로의 일반화 및 볼록근사 이론. 제 1 주제의 2가지 세부과제는 다음과 같다: (1-1) 스펙트럼 제약을 갖는 고차원 공분산 행렬 및 그 역행렬의 추정 – 그래피컬모형의(역)공분산행렬에 대한 스펙트럼 제약집합의 중요한 성질에 대해 연구하고, 이를 바탕으로 여러 종류의 손실함수에 대해 모형의 추정방법론을 개발. (1-2) 구조적 희소성제약과 스펙트럼 제약을 동시에 갖는 고차원공분산행렬 및 그 역행렬의 추정-제약조건의 상이성으로 인해 그 자연스러움과 유용성에도 불구하고 매우 어려운 문제 인 희소성과 스펙트럼의 안정성을 모두 갖춘 (역)공분산행렬 추정 절차를 통일적인 프레임워크에서 연구. 제 2 주제의 3가지 세부과제는 다음과 같다: (2-1) 손실함수와 벌점함수 및 그 도함수가 정확히 알려진 경우의 일반적,효율적 최적화이론 – 제 1주제에서 나타나는 고차원 비평활 최적화문제를 일반화하고, 이에 대해 계산효율적인 최적화 이론을 연구. 해 최적화 문제를 단조포함의 관점에서 이해하고, 변수가 매우 많은 경우에도 잘 동작하는 저복잡도의 일반적인 알고리즘 도출. (2-2) 손실함수 또는 벌점함수, 도함수를 정확히 모르는 경우의 일반적, 효율적 최적화이론 - 세부과제 2-1은 손실함수와 벌점함수 및 그 도함수를 정확히 알 수 있음을 가정하고 있으나 실제 추정 문제에서는 이 가정이 만족되지 않는 경우도 많으므로, 이 경우에 대해 연구. (2-3) 구조적 벌점함수를 포함하는 거대 추정 문제의 분산 컴퓨팅 기법 - 세부과제 (2-1)과 (2-2)에서 도출 된 알고리즘을 거대 추정 문제에 적용할 때, 딥러닝용 소프트웨어를 활용, 실용적인 분산 컴퓨팅 환경에서 손쉽게 구현하는 것을 목표로 함. 제 3 주제의 3가지 세부과제는 다음과 같다: (3-1) 정준상관분석의 일반화 및 SDP 볼록근사 - 정준상관분석 (CCA) 문제를 다차원으로 일반화하고, 그 풀이법으로 반양정치계획법(SDP)에 의한 볼록근사를 사용 할 것을 제안한다. (3-2) 직교 대각합 최대화- 일반화 CCA 문제의 확장, 고유치 볼록근사 및 쌍대성 – 일반화 CCA 문제를 더욱 일반화한 직교대각합 최대화 문제를 제안하고, 이에 최적화의 쌍대성 이론을 적용해고유치 최소화 문제로 기술되는 볼록근사를 제안, 세부과제 3-1에서 제안한 SDP 볼록근사와의 관계를 연구. (3-3) 직교 대각합 최대화 문제의 지역 추정량을 위한 MM 알고리즘 및 전역최적성 확인법 - SDP 볼록근사의 계산상의 어려움을 해결하기 위해 통계계산에서 널리 사용되는 MM 알고리즘을 적용하고, 얻어진 해가 전역 추정량이 되는지를 검증하는 절차를 개발.

□ 연구개발성과의 활용 계획 및 기대효과(연구개발결과의 중요성)
고차원 그래피컬 모형 추정은 2000년대의 고차원 회귀분석에 이어 2010년대에 기계학습과 통계학의 주된 연구 분야 중 하나이다. 기하학적 상이성으로 인해 별도로 연구되던 스펙트럼 제약과 희소성 제약의 통합이 가능하다는 것을 보이는 것 자체로 학계에 큰 공헌이 될 수 있다. 정준상관분석의 확장 및 일반화는 매우 다루기 어려운 슈티펠 다양체 제약에 대해 볼록근사와 쌍대성 (duality) 이론으로 접근하는 선도적인 시도로서 비볼록 제약을 갖는 많은 어려운 추정문제에 대한 새로운 해결책을 제시하는 연구이다. 저복잡도의 최적화이론은 제 1 주제와 제 3주제의 실현을 가능하게 하는 연구로서 특히 분산계산이 가능한 알고리즘의 최적 수렴속도에 대한 연구는 두 분야의 접점에서 양쪽 분야 모두에 중요한 공헌이 될 것이다. 본 연구에서 다루는 알고리즘은 대다수의 기계학습 문제에 적용 가능하고 또한 분산 컴퓨팅 환경에서 구현 가능하므로, 이를 수 십만-수백만 차원의 문제에 대해 실증하는 것은 다중체 기반 바이오기술, 저온전자현미경 영상기술 등 관련 산업 기술 발전에 직접적인 효과를 가져올 수 있다.

(출처 : 연구결과 요약문 2p)

목차 Contents

• 표지 ... 1
• 연구결과 요약문 ... 2
• 목차 ... 3
• 1. 연구개발과제의 개요 ... 4
• 2. 연구개발과제의 수행 과정 및 수행 내용 ... 5
• 3. 연구개발과제의 수행 결과 및 목표 달성 수준 ... 16
• 1) 정성적 연구개발성과(연구개발결과) ... 17
• 2) 세부 정량적 연구개발성과 ... 17
• 3) 목표 달성 수준 ... 17
• 4. 연구개발성과의 관련 분야에 대한 기여 정도(연구개발결과의 중요성) ... 18
• 5. 연구개발성과의 관리 및 활용 계획 ... 18
• 5-1) 예상되는 연구개발성과의 활용분야 및 활용방안 ... 18
• 5-2) 타 연구에의 응용 ... 19
• 5-3) 추가 연구의 필요성 ... 19
• 6. 자체점검표 ... 20
• 7. 참고문헌 ... 20
• 끝페이지 ... 39