빅데이터는 지난 2년간 테크 분야의 주요 화두였다. 이미 수 많은 기업들이 활용하고 있는 빅데이터 분석의 2017년 트렌드를 전망해 보았다.
1. 사이버 보안 강화
빅데이터를 통한 사이버 보안은 2017년 새롭게 조명받고 있다. 빅데이터 분석을 활용하면 정확하게 사이버 공격과 보안 취약점 등을 예측할 수 있다. 사이버 보안 강화를 위해 사용자 로그 데이터를 분석하는 기술이 많은 수요를 가진 새로운 트렌드로 자리매김 할 것이다.
2. 아파치 스파크 (Apache Spark)
아파치 스파크는 실시간에 가깝게 빅데이터를 스트리밍으로 분석할 수 있는 오픈소스 프로젝트이다. 많은 기업들이 이미 아파치 스파크를 활용하고 있다. 전문가들은 스파크가 현존 최대의 빅데이터 프로젝트라고 부르고 있으며, 앞으로 빅데이터 처리에 가장 중요한 툴로 자리매김할 것으로 예상하고 있다.
3. 딥 러닝 (Deep Learning)
2017년 빅데이터의 발전과 함께 딥 러닝 또한 더 대중화 될 것이다. 딥러닝은 지금까지 프로그래머들이 알고리즘으로 풀어낼 수 없던 문제들, 예를 들어 기계 번역이라든가 알파고의 바둑 등의 어려운 문제를 해결할 수 있게 해 준다. 그리고 데이터가 더 많이 쌓일수록 진화하는 시스템을 만들 수 있다.
4. 클라우드에 기반한 빅데이터 처리
각 회사가 서버를 갖추고 서비스를 하던 시대는 이미 지났다. 물리적 서버를 유지보수하고 관리하는 데 드는 비용을 줄이기 위해 이미 수 많은 회사가 아마존 웹서비스, 구글 클라우드 플랫폼, 마이크로소프트 애저(Azure) 등을 활용하여 빅데이터를 저장하고 처리하고 있다. 또한 모든 주요 빅데이터 툴이 이러한 클라우드 기반 빅데이터 처리를 지원하고 있다.
5. 빅데이터 분석을 통한 미래 예측
현재 가장 넓게 빅데이터가 활용되는 분야는 사용자의 패턴을 찾아 더 나은 서비스를 제공하는 것이다. 이러한 방식으로 기업들과 전문가들은 사용자 패턴의 변화 경향을 찾아 미래의 변화까지도 예상할 수 있다. 금융권에서는 이미 금융 사기를 예측하는 데 빅데이터 분석을 활용하고 있다.
[insight]빅데이터 처리는 이제 더 이상 새로운 것도, 일부 기업들의 전유물도 아니다. 이전에는 빅데이터 엔지니어가 따로 있었지만, 이제는 거의 모든 소프트웨어 엔지니어가 빅데이터를 다룰 수 있다. 간단히 SQL만 알아도, 파이썬만 알아도 클라우드 인프라를 활용해 빅데이터를 저장하고 활용할 수 있는 시대가 온 것이다.
데이터에 기반한 개발(Data-driven Development), 즉 사용자의 로그를 분석하여 프로덕트의 방향을 잡아 나가는 방법은 이미 많은 기업들이 활용하고 있다. 그러나 데이터가 아무리 많아도 결국 중요한 것은 그 데이터를 분석하는 사람의 인사이트이다. 새로운 기능을 추가하였을 때 클릭이 줄어들었다면 그 기능을 사람들이 싫어한다고 결론을 내릴 수는 없다. 새로운 기능에 대해 사람들이 모르고 있을 수도 있고, 기능을 사용하는 버튼의 모양이 마음에 안 들 수도 있으며, 시대를 앞선 기능이어서 몇 개월 후에야 사람들이 좋아할 기능일 수도 있다. 이러한 결정을 내리기 위해서는 데이터 자체를 처리하는 사람보다는 사용자를 이해하고 프로덕트를 이해하는 인문 사회학적 소양을 갖춘 데이터 전문가 또는 프로덕트 전문가가 필요하다.
빅데이터 처리가 여러 오픈소스 프로젝트 등에 의해 쉬워질 수록, 앞으로 빅데이터 처리 기술 보다는 데이터를 활용하고 해석하는 능력이 더 중요해 질 것이다.[/insight]
[reference]원문: The Merkle / 이미지 출처: DataFloq[/reference]
