카테고리 없음2014. 11. 8. 07:14


이제는 빅데이터 관련 솔루션이 아니라, 빅데이터를 쉽게 할 수 있도록 하는 솔루션이 나왔다.


http://databricks.com


일반적인 경우에 빅데이터 구축은 순서가 있다.

1. 하둡 클러스터 만들기

2. 데이터 파이프라인 설계

3. 데이터 보여주기


databricks 이걸 대신 해준다는 서비스이다. Spark가 엄청 빠르기 때문에 가능해진거 같기도 한데.

앞에 워크 시트를 두고(IPython랑 비슷하다), 중간에서 Spark가 처리하고 끝에 대쉬보드는 원하는 대로 만들 수 있는 UI를 제공하겠다는 생각이다.


스타트업에서는 진짜 왠만하면 돈 몇 만원주고 막을수 있는건 막는게 좋은것 같다. 이제와서 생각해보면 진짜 후회되는 일들이 있다.


Posted by Arnold Arnny

댓글을 달아 주세요