[좋은데이터를 부탁해(2)] 빅데이터 조심하세요

 

빅데이터 분석은 분명 이 사회에 필요한 것이다. 사회의 안정과 발전을 위해 큰 기여를 할 것이 분명하다. 어디서 어디까지가 빅데이터인지 필자도 솔직히 잘 모르겠으나 온라인 정보 분석 또한 빅데이터라 할 수 있다면 이 분야에 대하여는 몇 가지 조심히 살펴봐야 할 것들이 있다. 

 

 

 

빅데이터를 조심하세요 

 

 

빅데이터란 벽은 정크 데이터들의 안전지대

수억개의 표본 데이터로 분석된 빅데이터는 많은 데이터 만큼 정크 데이터의 양이 함께 증가할 가능성이 높다. 이로인하여 정확도가 낮아진다는 것은 당연한 것이다. 그러나 이러한 정크 데이터들은 불필요 함에도 불구하고 쓰레기통으로 버려지지 않고 빅데이터라는 든든한 브랜드 방패 아래 안전하게 지내고 있다. 빅데이터란 멋있는 포장지로 둘러 쌓인 효과이다.

 

 

빅데이터 소비자들은  불필요한 것을 쓰레기통에 버릴 권리가 없다

올리버 헉슬리는 <멋진 신세계>를 통해 지나친 정보의 자유와 과잉이 사람들로 하여금 정말 중요한 진실을 잊게 하는 디스토피아를 만들 것이라 주장했다. 말하자면  ‘얼마나 많이 찾을 수 있는지’ 보다는, ‘얼마나 많이 불필요한 정보를 배제할 수 있는지’의 문제가 후기 정보시대의 주요한 게임 룰이라는 것이다.

그러나 현재 빅데이터 분석 결과에 있어 잘못된 DATA가 발견됨에도, 누구도 이를 쓰레기통으로 버릴 방법이 없다. 매번 분석한 데이터가 몇 억 개의 글이라 하니 하나하나 꺼내어 찾아 낸다는 것이 엄두가 안 날 만도 하다.

 

 

 

 

 

 

 

빅데이터 식당은 햄버거를 설렁탕에 말아도 맛있다고 한다

SNS, 블로그,  뉴스 댓글, 동영상 등은 각각의 독립된 변인(變因,variable)으로써 각기 다른 기준을 통해 분석되어야 정확한 값을 예측해낼 수 있다. 그러나 빅데이터는 이를 모두 섞어서 분석하여 하나의 결론을 만든다. 햄버거를 설렁탕에 말아서 내놓은 음식과 비슷한 것이다.

 

너무 큰 빅데이터 그래서 무거운 빅데이터

수천 수억원의 조사비용을 들여 내 놓은 거대한 트랜드 분석은 앞서 말한 것 처럼  사회의 안정과 발전을 위해 큰 기여를 할 수 있을 것이다.  그러나 빅데이터는 빠르게 등장하고 빠르게 사라지는 디지털 정보를 다루기엔 그 신속성이 떨어진다. 분석을 위한 셋팅에서 결과 도출까지 시간을 허비하는 동안에도 사용자들의 욕구와 생각은 다이나믹하게 변화하고 있기 때문이다. 큰 트랜드 분석도 좋지만 당장 우리 실무에 필요한 분석 결과를 필요로 하는 이들에게는 빠르고 작은 나만의 데이터가 필요한데 말이다.  

 

 

작지만 정확한 데이터들이 모였들때 진정한 빅데이터가 구축

큰 트랜드 분석도 좋지만 당장 우리 실무에 필요한 분석 결과를 필요로 하는 이들에게는 빠르고 작은 나만의 데이터가 필요한 것이 사실이다. 책상앞에 앉아 있는 개인은 당장 처리해야할 숙제들이 있다. 이 숙제들을 처리하는 데 필요한 작지만 빠르고 정확한 데이터가 항상 필요로 되고 있다. 하나의 기업 또는 조직에서 이러한 정확한 나만의 데이터들이 체계적으로 저장되었을때 이 것이 그들에게 있어서는 진정한 빅데이터라 할 수 있을 것이다.

 

 

 

 

 

 

굿데이터코퍼레이션 원순우대표