애플이 캘리포니아 멘로 파크에 위치한 AI 회사 Lattice를 $200M (약 2000억원)에 인수했다. 이 회사가 하는 일은 “UNLOCK THE VALUE OF DARK DATA (다크 데이터의 가치를 찾아내는 것)”이고, 여기서 말하는 ‘다크 데이터’는 ‘unstructured data such as text and images (텍스트나 그림과 같은 구조화되지 않은 데이터)’ 이며, Lattice는 바로 이러한 데이터를 기계를 통해 사용할 수 있는 데이터로 바꿔준다고 되어 있다. 테크크런치에 따르면 인수 당시 직원 수는 20명정도 되었다고 하고, 홈페이지에 보면 그 흔한 제품 스크린샷도 없고, 고객사 리스트도 없는데, 이런 회사가 어떻게 해서 2천억원이나 되는 가치를 인정받았는지 얼핏 납득하기 힘들지만, 회사의 CTO가 마이크 카파렐라(Mike Cafarella)라는 것을 생각하면 이해될 법도 하다. 이 사람은 하둡(Hadoop)을 만든(co-founder), 미시건 대학의 교수이기도 하기 때문이다. 교수 일을 하면서도 빅데이터의 가장 중요한 기술 중 하나인 하둡을 만들고, 또 더 나아가 회사의 CTO 역할을 하고, 그 회사를 2천억원에 매각하는 일까지 해냈다니, 도대체 일을 얼마나 열심히 하는 사람일까, 과연 인간이 맞을까 하는 생각마저 든다.
더 나아가, Lattice는 처음부터 기술을 개발한 회사가 아니라, 이미 스탠포드 대학의 연구 과제였던 딥다이브(DeepDive)라는 기술을 상용화한 회사이다. 따라서, 2천여억원을 주고 애플이 얻은 자산은 단순히 20명 직원의 회사 하나가 아니라, 하둡의 공동 창업자, 그리고 스탠포드에서 수년간 진행된 프로젝트를 독점화하는 권리인 것이다. 아래는 딥다이브 홈페이지에 나와 있는 기술 설명.
DeepDive is a system to extract value from dark data. Like dark matter, dark data is the great mass of data buried in text, tables, figures, and images, which lacks structure and so is essentially unprocessable by existing software. DeepDive helps bring dark data to light by creating structured data (SQL tables) from unstructured information (text documents) and integrating such data with an existing structured database. DeepDive is used to extract sophisticated relationships between entities and make inferences about facts involving those entities. DeepDive helps one process a wide variety of dark data and put the results into a database. With the data in a database, one can use a variety of standard tools that consume structured data; e.g., visualization tools like Tablaeu or analytics tools like Excel.
딥다이브는 ‘다크 데이터(Dark Data)’에서 값을 뽑아내는 시스템이다. 이러한 다크 데이터는 우리 주변에서 무척 큰 양을 차지하는 정보이지만, 소프트웨어를 통해 체계적으로 분석하기는 쉽지 않다. 딥다이브(DeepDive)는 이러한 구조화되지 않은 정보에서 뽑아낸 데이터를 구조화된 데이터베이스(SQL 테이블)에 저장한다. (중략) 이렇게 데이터가 데이터베이스에 담기면, 타블로(Tableau)나 엑셀과 같은 표준적인 툴을 이용해서 시각화하고 조작할 수 있게 된다.
아래는 딥다이브 기술을 통해 만든 제품 중 하나인 위스키피디아(Wiscipedia) 설명. 소위, ‘컴퓨터가 만들어낸 위키피디아 페이지’이다.
이런 기술은 사실 ‘빅데이터’가 유행어가 된 3년 전부터 수많은 회사들이 도전하고 만들어왔기 때문에 유일한 것도 아니고 엄청나게 혁신적인 것도 아닌데, 애플이 $200M이나 되는 가격을 메겨 산 것을 보니 시장이 많이 무르익었다는 증거가 아닐까 싶다.
참고 기사: TechCrunch, “Apple acquires AI company Lattice Data, a specialist in unstructured ‘dark data’, for $200M“
