토머스 멀론(Thomas Malone) 박사는 미국 MIT 슬로언 경영대학원 교수이면서 집합지능연구소장직 등 주요 직책들을 함께 맡고 있다. 멀론 교수가 가르치고 있는 과목은 IT다. 그리고 그의 시선은 온통 미래에 가 있다.
사람과 컴퓨터를 어떤 방식으로 집단화해 좋은 방향으로 활용할 수 있을지 그 방안을 모색하는 연구다.
사실 최근 인터넷 등을 통해 쏟아져 나오는 데이터 양은 엄청날 정도다. 세계 최대 규모의 가전제품전시회인 ’2012 인터네셔날 CES’에 따르면 세계 인터넷 사용자 수는 약 20억 명, 2013년에는 22억 명에 이를 전망이다. 이는 전 세계 인구의 43%에 달하는 수치다.
IT 분야 시장조사 기관인 IDC 2012년 자료에 따르면 2011년 기준 월 300억 개의 새로운 콘텐츠가 페이스북에서 공유되고 있으며, 전 세계에서 공유되고 있는 정보량은 미국 의회도서관 데이터의 약 4천 배에 달하는 연 1.8ZB(제타 바이트, 1조 기가바이트)에 달하고 있다.


미국에서 시작된 정보통신 글로벌 혁명


문제는 이렇게 많은 양의 정보들을 기존의 방법으로는 다 수용하기 힘들다는 것이다. 그러나 새로 개발된 정보처리기술들을 효율적으로 설계해 적절한 방법으로 운용할 경우에는 그 효용성도 매우 커지게 되는데, 이른바 빅 데이터(Big Data) 이론이다.
이 빅 데이터 이론에 가장 민감한 반응을 보인 것은 선진국 중심의 각국 정부들이다. 그 중에서도 미국은 빅 데이터의 종주국이라고 할 수 있다.
2005년부터는 정부가 5천억 원, 민간이 5조3천억 원을 투자해 미래 네트워크와 인터넷 개발을 위한 테스트베드를 구축했으며, 인터넷 중심의 민·관·연 협동 연구를 진행중이다. 2010년 과학기술자문위원회는 연방정부의 빅데이터 전략수립을 강조한 후 2012년 2억 달러의 투자계획을 발표했다.


거대한 정보의 숲과 나무들…빅데이터


미국 정부가 내건 슬로건은 ‘Global Environment for Network Innovations’. 정보 네트워크 혁신을 위해 지구 전체의 네트워크 환경 변화를 도모하자는 것이다.
미국 정부가 이처럼 빅데이터 전략에 관심을 기울이고 있는 특별한 이유가 있다. MS 연구진으로 활동하고 있는 한국인 과학자 김진영 박사는 최근 한국데이터베이스진흥원 DBGuide에 기고한 글에서 “빅데이터와 관련된 대부분의 기술적 혁신이 미국이라는 사회·경제적 토양에서 탄생했다”고 밝혔다.
구글, 야후, MS, 아마존, 페이스북, 링크드인, 트위터 등과 같은 주요 온라인 기업들의 공통점은 현재 기술로는 감당하기 힘들 정도의 대용량 데이터 처리를 주 업무로 하고 있다는 것.
구글, 빙(Microsoft Bing)이 검색하고 있는 웹 문서의 양, 페이스북과 트위터가 보유한 사용자 수를 생각해 보면 이들이 처리하고 있는 데이터 규모가 어느 정도인지 상상이 가능하다.
그동안 최고(state-of-the-art)의 기술 역량을 자랑해온 기업들이 정부, 연구기관 등과 힘을 합쳐 세계에서 가장 큰 빅데이터의 그림을 그리고 있다. 정보로 이뤄진 거대한 숲을 만든 후 이 숲속에서 나오는 다양한 활용 방안을 모색해보자는 것이다.
이 같은 미국의 적극적인 움직임은 한국을 비롯 EU, 영국, 일본 등 주요 국가들이 빅데이터 구축에 착수하는 계기가 됐다. EU는 ‘The Network of the Future Project’, 일본은 ‘신세대 네트워크’, 한국은 ‘미래 네트워크 2020′, ‘Giga Korea’ 등의 슬로건을 내걸고 빅데이터란 새로운 가치를 창출하기 위한 작업을 시작했다. (계속)