2蜘蛛爬蟲其實是壹段程序。壹個自動提取網頁的程序,它為搜索引擎從Internet網上下載網頁,是搜索引擎的重要組成。這個程序的功能是,沿著妳的網站的URL壹層層的讀取壹些信息,做簡單處理後,然後返饋給後臺老板(服務器)進行集中處理。
3用處,過濾掉關鍵詞堆砌的網站,比如imba dota為關鍵詞,爬蟲會收集所有目標網頁上所有跟imba dota相關的內容,回饋關鍵詞在這個頁面上的密度(後臺服務器),超過3-8%這個密度將被搜索引擎降序排列,更有甚者頻繁堆砌的話將被搜索引擎處罰。類似於壹個測試者的角色~跟其相關的還有SEO等概念,用於網絡營銷和推廣中~