Hadoop은 앞으로 어떻게 될까?

 빅데이터가 날이 갈수록 이슈인 지금 (이직하고 보니 데이터 분석을 안한 연구원들이 없더라) 하둡의 행방이 궁금해졌다.  IT는 자고 일어나면 흥망성쇠가 달라져 있을정도로 흐름이 빠르기 떄문이다. 내가 졸업작품을 할 때만 해도 3D 프린터가 유행할거라며 많은 사람들이 직접 프린터도 만들고 코오딩도 하고 그랬는데 요즘 3D 프린터를 하는 곳을 찾기 힘들어진 것처럼 말이다.

 하둡은 무슨 장점을 가지고 있을까? 직접 구축도 해보고 많은 에코시스템도 경험해보았지만 가장 큰 장점은 분산 컴퓨팅일 것이다. 자체적으로 백업이 되고 동시 작업성이 빠르다. 오픈 소스이기 때문에 가격도 저렴하고 효율적이다. 단점은 명확하다. 안전하지 않고 작은 데이터셋에 관해서는 성능이 크게 차이가 없다. 오히려 더 떨어질 때도 있다. 게다가 상당히 어렵다. 툴없이 수동 설치해봤다면 알 것이다. 설치하다보면 어디선가 꼭! 문제가 생긴다.

 그래서 지금 뜨는 것이 도커기술인 것 같다. 도커를 이용해 컨테이너를 클러스터링하고 빠르게 처리해준다. 설치도 편리하고 DevOps 환경에도 적합하다. 실제로 구글 트렌드를 살펴보면 하둡의 영향력은 지속적으로 감소하고 오케스트레이션 기술인 쿠버네티스는 지속적으로 증가하고 있다.