？1，Scrapy:Scrapy是壹個為抓取網站數據和抽取結構化數據而編寫的應用框架。它可用於壹系列程序，包括數據挖掘、信息處理或存儲歷史數據。它是壹個強大的爬蟲框架，可以滿足簡單的頁面抓取，比如妳可以清楚的知道url模式的情況。有了這個框架，妳可以很容易地向下爬數據，如亞馬遜商品信息。但是對於稍微復雜壹點的頁面，比如微博的頁面信息，這個框架就滿足不了需求。其特點是:內置支持HTML和XML源數據的選擇和提取；提供了spider之間共享的壹系列可重用的過濾器(即項目加載器)，為抓取數據的智能處理提供了內置支持。
2.Crawley:高速抓取相應網站的內容，支持關系型和非關系型數據庫，數據可以導出為JSON、XML等。
3.Portia:它是壹個開源的可視化爬蟲工具，允許用戶在沒有任何編程知識的情況下爬網站！只需對您感興趣的頁面進行註釋，Portia就會創建壹個蜘蛛從相似的頁面中提取數據。簡單來說，就是基於scrapy內核；可視化抓取內容，無需任何開發專業知識；動態匹配同壹模板的內容。
4.報紙:可以用來摘錄新聞、文章和內容分析。使用多線程，支持10多種語言等。受requests庫的簡單和強大的啟發，作者使用Python開發了壹個可用於提取文章內容的程序。它支持超過10種語言，所有這些語言都用unicode編碼。
5.python-Goose:Java編寫的文章抽取工具。Python-goose框架可以提取的信息包括:文章的主要內容、文章的主要圖片、文章中嵌入的任何Youtube/Vimeo視頻、meta描述和meta標簽。
6、美湯:有名，綜合了壹些常見爬蟲的需求。它是壹個Python庫，可以從HTML或XML文件中提取數據。它可以通過妳喜歡的轉換器實現通常的文檔導航、搜索和修改方式。漂亮的湯會節省妳幾個小時甚至幾天的工作時間。美湯的缺點是無法加載JS。
7.mechanize:它的優點是可以加載JS。當然也有不足之處，比如證件嚴重缺失。但通過官方舉例和人肉嘗試的方法，還是勉強能用。
8.selenium:這是壹個調用瀏覽器的驅動。通過這個庫，可以直接調用瀏覽器完成壹些操作，比如輸入驗證碼。Selenium是壹款自動化測試工具，支持各種瀏覽器，包括Chrome、Safari、Firefox等主流界面瀏覽器。如果在這些瀏覽器中安裝壹個Selenium的插件，就可以輕松實現Web界面的測試。Selenium支持瀏覽器驅動。Selenium支持多種語言的開發，如Java、C、Ruby等。，PhantomJS用於渲染和解析JS，Selenium用於驅動和Python接口，Python進行後期處理。
9.cola:它是壹個分布式爬蟲框架。對於用戶來說，只需要寫幾個具體的函數，不需要關註分布式操作的細節。任務自動分配給多臺機器，整個過程對用戶透明。項目整體設計有點爛，模塊間耦合度高。
10，PySpider:中國人用強大的WebUI編寫的強大的網絡爬蟲系統。用Python語言編寫，分布式架構，支持各種數據庫後端，強大的WebUI支持腳本編輯器，任務監視器，項目管理器，結果查看器。Python腳本控件，可以用任何喜歡的html解析包。
以上是共享Python爬蟲常用的十大主流框架。這些框架的優缺點是不同的。在使用它們的時候，可以根據具體的場景選擇合適的框架。