웹 크롤러는 페이지를 다운로드하고 페이지에서 페이지로 링크를 따라 웹을 자동으로 통과하는 프로그램입니다. 웹 크롤러의 일반적인 목적은 링크를 통해 액세스 할 수있는 모든 웹 페이지를 다운로드하는 것입니다. 이 프로세스를 웹 크롤링 또는 거미라고 합니다. 많은 사이트, 특히 검색 엔진에서 최신 데이터를 제공하는 수단으로 거미를 사용합니다. 웹 크롤러는 주로 다운로드한 페이지를 색인하여 빠른 검색을 제공하는 검색 엔진에 의해 나중에 처리하기 위해 방문한 모든 페이지의 복사본을 만드는 데 사용됩니다. 크롤러는 링크 확인 또는 HTML 코드 유효성 검사와 같은 웹 사이트의 유지 관리 작업을 자동화하는 데 사용할 수도 있습니다. 또한 크롤러를 사용하여 웹 페이지에서 특정 유형의 정보를 수집하는 데 사용할 수 있습니다(일반적으로 스팸의 경우). 웹 크롤러는 한 유형의 봇 또는 소프트웨어 에이전트입니다. 일반적으로 씨앗이라고 불리는 URL 목록으로 시작합니다. 크롤러가 이러한 URL을 방문할 때 페이지의 모든 하이퍼링크를 식별하고 크롤링 프론티어라고 하는 URL 목록에 추가합니다. 국경지대의 URL은 일련의 정책에 따라 재귀적으로 방문됩니다.
버전 기록
- 버전 3.19 에 게시 2012-01-15
첫 공개 공개
프로그램 세부 정보
- 범주: 시스템 유틸리티 > 자동화 도구
- 게시자: VietSpider
- 라이센스: 무료
- 가격: N/A
- 버전: 3.19
- 플랫폼: windows