웹크롤링은 웹크롤러, 스파이더, 로봇, 웹수집기 등 이름이 다양하다. 크롤링이란 웹페이지를 자동 스크랩해 빅데이터를 구축하는 기술이다. 데이터크롤링의 방식은 다양하며 URL들을  추출한 후 수많은 정보 등을 수집하는 방식을 말한다.
(웹크롤링,  Web  Crawling) 웹크롤러, 스파이더(Spider), 로봇, 웹수집기 등 이름이 다양함. 크롤링이란 웹페이지를 자동으로 스크랩해서 빅데이터를 구축할 수 있게 해주는 기술임. 하둡 빅데이터 솔루션에서 오픈 소스로 너치(Nutch)라는  솔루션을  제공하고  있으나  원하는  데이터를  포커스 (Focus)해서 수집해야 하는 크롤러의 특성상 많이 활용되지는 않으며 대체적으로 직접 개발함.  데이터 크롤링의 방식은 다양하며 일반적 으로는  사용자가  웹페이지의  각  링크를  일일이  따라가  정보를  얻는 작업을  대신하여  자동적으로  웹서버를  순회하며  웹페이지의  내용을 분석하고,  그  안에  포함되어  있는  URL들을  추출한  후  그  URL들로 하나씩  이동하면서  수많은  텍스트·수치·그림·멀티미디어  정보  등을 수집하는 방식을 활용