카테고리 없음2014. 11. 8. 07:14


이제는 빅데이터 관련 솔루션이 아니라, 빅데이터를 쉽게 할 수 있도록 하는 솔루션이 나왔다.


http://databricks.com


일반적인 경우에 빅데이터 구축은 순서가 있다.

1. 하둡 클러스터 만들기

2. 데이터 파이프라인 설계

3. 데이터 보여주기


databricks 이걸 대신 해준다는 서비스이다. Spark가 엄청 빠르기 때문에 가능해진거 같기도 한데.

앞에 워크 시트를 두고(IPython랑 비슷하다), 중간에서 Spark가 처리하고 끝에 대쉬보드는 원하는 대로 만들 수 있는 UI를 제공하겠다는 생각이다.


스타트업에서는 진짜 왠만하면 돈 몇 만원주고 막을수 있는건 막는게 좋은것 같다. 이제와서 생각해보면 진짜 후회되는 일들이 있다.


Posted by Arnold Arnny

댓글을 달아 주세요

카테고리 없음2014. 11. 8. 07:03

웹 서밋 2일차.

역시나 어제보다 영어는 더 잘들리고 있고, 상태는 더 좋다. 서서히 익숙해 지고 있다.


여기서 우리는 보안에 대한 얘기를 해볼까 한다. 스피커는 David Coallier 였고, http://barricade.io 라는 보안 관련 서비스를 준비하고 있다. 그리고 아주 강력한 서비스를 또하나 소개 했는데 https://detectify.com 이다.


이 강연에서 다루는 내용은 간략하게 아래와 같다.


 대부분의 서버가 생긴다음에 7분안에 공격 목표가 된다.


 해커들은 그냥 재미로 공격한다. 진짜 악의적인 해커도 있다. 


 예를 들어서 6년간 운영했던 서비스를 7분만에 해커가 모두 삭제했다. 돈을 요구 했지만, 개발자 들은 자신있다고 해볼테면 해보라고 했지만 삭제 한 다음에 복구하지 못하고 비지니스를 접었다. 6년보다 7분이 더 큰 가치를 지닌 것이다.


 그럼 어떻게 해야 할까?


실시간으로 패킷을 감시하고 로깅 한다. 

https://www.snort.org

http://suricata-ids.org


그리고 분석도 한다.

http://www.ossec.net


어떻게 뚫리는지 테스트도 한다.

http://www.metasploit.com

https://github.com/robertdavidgraham/masscan


OWASP도 열심히 들어가본다.

https://www.owasp.org/index.php/Main_Page


최근에는 MLSec (http://www.covert.io)이라는 개념도 나왔는데, 머신러닝을 이용한 침입 감지이다. 


내 생각에는 차라리 몇 가지 보안서비스를 사용하는게 좋지 않을까 한다. 그리고, AWS 같은걸 쓰면 자동으로 어느정도 보호 해준다. 뭐 포트를 닫거나해야 문제가 해결되니까 그건 안되지만, 탐지 정도는 해준다.







Posted by Arnold Arnny

댓글을 달아 주세요