데이터 분석의 큰 장애물로 꼽히는 데이터 정제작업에 대해서 기업의 부담을 낮추는 툴이 개발되는데 센서가 찍어내는 로그 데이터일지라도 손이 꽤 가며 각종 데이터가 다르게 표기된다.
 실제로 저자가 들여다본 데이터들을 보면, 센서가 찍어내는 로그 데이터라 할지라도 생각보다 손이 꽤 간다.
  공공데이터는 물론, 각종 경제 데이터나 금융 데이터마저도 매년 조금씩 다르게 표기되곤 한다.
  이렇게 데이터 분석의 가장 큰 장애물로 꼽히는 ‘데이터 정제작업’에 대해서도, 기업의 부담을 낮추는 툴이 꾸준히 개발되고 있다.
  애플의 경우 2017년, 다크 데이터를 구조화해 쓸모 있게 만드는 프로그램을 개발한 업체, 래티스 데이터(Lattice Data)를 인수한 바 있다.
    일부에서는 이것만으로도 부족하다는 이야기가 나온다.
  이미 특정 레이블로 분류가 되어있다 하더라도, 몇 년 뒤면 또 새로운 방식으로 데이터가 레이블링 되어야 한다는 것이다.
  개인적으로 최근의 기술개발 추세를 볼 때, 문제점이 나타나면 이를 해결하는 툴이 수년 내로 상용화되곤 했다.
  강력한 기술을 탑재한 스타트업들의 인수작업을 토대로, 대형 클라우드 서버 업체들은 데이터를 보관하고 분석하는 일원화 시스템을 구축해 갈 것이다.
  마이크로소프트(MS)와 같이 강력한 오피스 기능을 탑재한 클라우드 서버의 경우, 사용자가 직접 자연스럽게 작성한 문서부터 구조화된 데이터로 변환해 수집하는 식의, 사용자의 부담을 낮추는 클라우드 서비스를 지향할 가능성이 높다.
  비싸다, 그래서 철저한 계획이 필요하다    하지만 소규모 업체들의 경우, 무작정 데이터 분석용 클라우드 서비스를 도입하는 것은 현실적으로 쉽지 않을 것이다.
  더 체계적으로 데이터 계획을 정립할 필요가 있다.
  자사에서 보유한 데이터의 샘플을 가져다가, 이것이 치우침 없이 활용 가치가 있는 데이터인지를 선제적으로 확인할 필요가 있다.
  만일 사내에 데이터 사이언티스트가 있다면, 구글의 피플+AI 리서치팀에서 제공하는 왓-이프 툴(What-If Tool) 같은 데모를 활용해 데이터의 편향성을 미리 확인해볼 수도 있다.
  정제되지 않은 데이터 가운데 랜덤으로 샘플을 뽑아 손을 본 뒤 그 가능성을 가늠해보는 것이다.
     산업 구조상, 강력한 데이터 분석기능을 갖춘 클라우드 서비스에 대한 의존도는 갈수록 높아질 것이다.
  그래서 애초부터 데이터가 짐이 되지 않게 하기 위한 체계적인 원칙이 필요하다.
  그 원칙을 정립할 팀을 구성해 컨트롤타워로 작동케 해야 한다.
  데이터 활용도를 폭넓게 살필 줄 아는 데이터 사이언티스트, 근래의 딥러닝 기술 흐름을 잘 아는 개발자, 그리고 해당 분야의 인사이트가 충만한 전문가가 모여 어떤 목표를 가지고, 어느 데이터를 모아, 무엇을 분석할 것인지 틀을 잡아야 한다.
 