빅 데이터 분석을 위한 사전 처리 과정에서는 주로 컴퓨터로 읽어 오거나 읽어온 데이터를 저장하는 작업을 수행하게 되는데, 이 때 하둡의 맵/리듀스 소프트웨어를 가장 많이 사용한다.
저장된 빅 데이터는 분석을 위한 사전 처리 과정이 필요하다. 이 과정에서 주로 하는 일은 분석을 위해, 빅 데이터를 컴퓨터로 읽어 오거나 읽어온 데이터를 저장하는 작업을 수행하게 된다. 빅 데이터 처리를 위해, 가장 많이 사용하는 소프트웨어는 아파치에서 개발한 하둡의 맵/리듀스(MapReduce) 소프트웨어이다. 이 프로그램은 분산 저장된 빅 데이터를 효율적으로 읽어오고 서버에 데이터를 쓰는 소프트웨어 이다. 여기서 ‘맵’은 빅 데이터를 분산 처리하기 위해 작은 단위로 나누어 주는 기능(프로그램 함수)을 의미 하며, ‘리듀스’는 데이터 처리가 끝난 후 결과를 하나의 파일로 통합해주는 기능(프로그램 함수)을 의미한다. 맵/리듀스를 이용한 빅 데이터 처리 단계는 아래와 같다.