網絡爬蟲是壹個自動提取網頁的程序。它從萬維網上為搜索引擎下載網頁，是搜索引擎的重要組成部分。傳統的爬蟲從壹個或幾個初始網頁的URL開始，獲取初始網頁上的URL。在爬取網頁的過程中，它不斷地從當前頁面中提取新的URL並放入隊列中，直到滿足系統的某些停止條件。
按照壹定的搜索策略，從隊列中選擇下壹個待爬取頁面的URL，重復上述過程，直到達到系統的某個條件。此外，爬蟲爬取的所有網頁都會被系統存儲起來，進行壹定程度的分析和過濾，並建立索引，供後期查詢和檢索。
擴展數據:
網絡爬蟲的相關要求規定:
1，Python標準庫提供了系統管理、網絡通信、文本處理、數據庫接口、圖形系統、XML處理等附加功能。
2.根據網頁內容目錄級別的深度對頁面進行爬取，淺目錄級別的頁面優先爬取。當同級別的頁面爬完之後，爬蟲會深入到下壹級繼續爬。？
3.文本處理，包括文本格式化、正則表達式匹配、文本差異計算和合並、Unicode支持、二進制數據處理等功能。
百度百科-網絡爬蟲