빅데이터의 개념잡기 - 블로터 기사 요약

2011년에 이어 2012년에도 빅데이터에 대한 분석이 끊임없이 요구되고 각광받을 것이란 예상을 하고 있다.
빅데이터는 소셜네트워크와 휴대용 전자단말기로 인해 만들어지는 실시간 트래픽, 클라우드라는 거대한 저장소가 탄생함에 따라 더욱 활용이 높아질 것이다.
블로터에서 빅데이터에 대한 포럼 기사(빅데이터 분석, 첫 술에 배부르랴)를 보고 몇가지 알아둘 점을 정리하였다.
이 포럼에는 *클라우다인 김병곤 대표와 *넥스알 조준호 플랫폼 팀장이 참석하였다.

* 클라우다인 : 오픈소스 기반 빅데이터 플렛폼 개발
* 넥스알 : 빅데이터 분석을 효과적으로 할 수 있는 "하둡"기반의 클라우드 분산, 처리 기술을 연구한 업체이며 얼마전에 KT에 인수됨 (관련)

이하 요약문

1. 빅데이터란?

 A. 데이터 크기
 B. 데이터가 유입되는 속도
 C. 유입되는 데이터의 형태로 살핀다.

 

"정보의 양이 얼마나 큰지, 저장돼 있는 정보의 양이 어느 정도인지를 알려주는 ‘크기’, 실시간으로 들어오느냐 스트림을 통해 들어오느냐를 알려주는 ‘속도’, 정형화된 데이터인지 비정형화된 데이터인지 또는 이 모든 게 합쳐진 데이터인지 등을 알려주는 ‘형태’를 통해 빅데이터를 정의한다."

2. 빅데이터 분석은 이렇게 한번 나온 데이터를 다시 여러 상관분석을 통해 데이터 간 연결고리를 찾아내는데 집중해야한다.

3. 하둡, 맵리듀싱 기술을 언급하면서 성급하게 빅데이터를 기업들이 분석하려고 하는데 이는 오산이다. 기본적으로 데이터에 대한 가치를 정한 다음 분석하는게 순리다. 분석하고 가치를 찾는 게 아니다.

4. 데이터를 분석하는게 상당히 고되다. 데이터 분석이 끝이 아니기 때문이다. 빅데이터 분석이 끝나고 나서 검증 작업이 필요하다. 전수검사를 한다. 이 검사에 6개월이 넘는 시간이 들어간다.


- 배운점 

1. 우선 빅데이터의 판단근거는 1. 데이터의 크기 / 2. 데이터의 유입속도 / 3.유입되는 데이터의 형태 이다.
2. 분석 이전에 철저한 기획과정이 존재해야 된다. 데이터 분석만 했다간 시간과 돈만 낭비할 뿐 그 어떤 인사이트를 얻을 수 없다.
3. 빅데이터 분석을 시간에 맞춰 몰아치기 보단 시간을 두고 다른 가치와 검증하여야  더 빛나는 가치를 얻을 수 있다.