프로그램별 VietSpider

웹 크롤러는 페이지를 다운로드하고 페이지에서 페이지로 링크를 따라 웹을 자동으로 통과하는 프로그램입니다. 웹 크롤러의 일반적인 목적은 링크를 통해 액세스 할 수있는 모든 웹 페이지를 다운로드하는 것입니다.이 프로세스를 웹 크롤링 또는 거미라고 합니다. 많은 사이트, 특히 검색 엔진에서 최신 데이터를 제공하는 수단으로 거미를 사용합니다. 웹 크롤러는 주로 다운로드한 페이지를 색인하여 빠른 검색을