휴대폰과 인터넷의 등장으로 비정형 데이터가 늘어나면서 빅 데이터 개념이 등장했다. 더그 레이니는 빅 데이터에 대해 대용량, 다양한 형태, 빠른 증가 속도를 그 특징으로 꼽았다.
1970년 초 데이터를 보관하기 위해서 컴퓨터에 파일로 저장을 하거나 데이터베이스에 저장하였으며, 데이터의 형태도 형식이 미리 정해져 있는 정형 데이터가 대부분 이었다. 하지만, 1990년 이후 휴대폰과 인터넷이 등장하면서, 기존의 데이터 형태와는 다른 비정형 데이터가 폭발적으로 늘어났으며, 이로 인해 빅 데이터라는 개념이 등장하였다. 가트너 그룹의 더그 레이니에 의하면, 빅 데이터는 세 가지 특징을 가진 데이터로 정의할 수 있다. 첫째 기존의 크기와는 비교할 수 없는 대용량 크기를 가진 데이터이다. 두 번째, 데이터의 형태가 아주 다양하다. 셋째, 데이터의 증가 속도가 매우 빠르다.