예전에는 데이터를 자체 서버 룸에 보관해 두는 경우가 많았지만, 최근에는 보안이나 비식별화 등의 이슈로 전문 클라우드 업체에 맡기는 경우가 많다. 이렇게 일상적인 기업활동에서 수집하고 모아두기는 하지만, 정작 활용을 하기에는 버거운 데이터를 ‘다크 데이터(Dark data)’라 부른다.
 빅데이터는 4차 산업시대의 ‘석유’로 불린다.
  실제로 많은 기업에서 다양한 종류의 데이터 분석을 진행한다.
  소셜 데이터 트렌드 분석을 통해 상품 매출을 예상하거나, 제조 장비의 로그 데이터를 추적해 제품 생산 계획을 짜기도 한다.
  공장의 무인화 시스템을 가능하게 하는 것도 다량의 데이터 세트다.
     하지만 기업 입장에서 많은 양의 데이터를 무작정 모으는 것은 다소 무리가 따를 수 있다.
  예전에는 데이터를 자체 서버 룸에 보관해 두는 경우가 많았지만, 최근에는 보안이나 비식별화 등의 이슈로 전문 클라우드 업체에 맡기는 경우가 많다.
  그러나 연간 비용이 만만치 않다.
  보관 후 활용을 하는 것은 또 다른 이슈이다.
  대부분 상당한 양의 노동력을 투여해 데이터 정제 작업을 진행해야 한다.
  그마저도 분석이 꼭 잘 되리라는 확신도 없다.
     이렇게 일상적인 기업활동에서 수집하고 모아두기는 하지만, 정작 활용을 하기에는 버거운 데이터를 ‘다크 데이터(Dark data)’라 부른다.
  2012년 가트너(Gartner)의 더글라스래이니 부사장이 포브스에 기고한 글에서 제시한 용어로, 최근 들어 다시 주목받기 시작한 개념이다.
  인공지능이 ‘램프 요정 지니’처럼 모든 문제를 해결하진 않는다는 의식이 서서히 공유되면서, 일부에서는 이 다크 데이터 또한 ‘계륵’ 같은 존재로 여기기 때문이다.
  비용상 효율이 떨어진다는 이유에서다.
   이런 가운데 다크 데이터의 가능성을 재발견하는 사례는 계속해서 나오고 있다.
  예를 들어 동물성 플랑크톤에 대한 1970~1980년대 데이터의 경우, 구조도 엉망이고 데이터 손실도 커 사실상 활용하기에는 적합지 않은 소재로 여겨졌다.
  하지만 2015년 미국 우즈홀 해양학연구소 연구원들은 이 다크 데이터로부터 플랑크톤의 개체 수와 기후 변화 간 연관성을 발견해냈다.
  오래된 데이터는 복원이 워낙 어렵다 보니 건드릴 엄두가 나지 않는다.
  하지만 체계적으로 계획을 세워 접근하면 중요한 의미를 찾아낼 수 있다는 걸 보여준 대표적인 사례다.
  딥러닝의 발달로 예상치 못하게 쓰임새가 재발견되는 데이터도 나타나고 있다.
    다크 데이터의 핵심, ‘구조화’를 해결하는 업체들지난해 나온 한 클라우드 컴퓨팅 분석 보고서에 따르면, 기업들이 생각하는 IT 활동의 가장 힘든 부분으로 데이터에 대한 ‘너무 많은 수작업’이 꼽혔다고 한다(Flexera research).
 