Python爬蟲可以做很多事情，比如搜索引擎、數據收集、廣告過濾等。Python爬蟲還可以用於數據分析，在數據抓取方面可以發揮巨大的作用！(推薦學習:Python視頻教程)
Python爬蟲架構組成
1.url管理器:管理待爬取的url集合和已爬取的url集合，並將待爬取的URL發送給網頁下載器；
2.網頁下載器:抓取url對應的網頁，存儲為字符串，發送給網頁解析器；
3.網頁解析器:解析出有價值的數據，存儲起來，補充url給URL管理器。
Python爬蟲如何工作
Python crawler通過URL manager判斷是否有要爬取的URL，如果有要爬取的URL，通過scheduler發送給downloader，下載URL內容，通過scheduler發送給parser，解析URL內容，通過scheduler將值數據和新的URL列表發送給application，輸出值信息。
Python crawler的常見框架有:
Grab:網絡爬蟲框架(基於pycurl/multi cur)；
Scrapy:網絡爬蟲框架(基於twisted)，不支持Python 3；
Pyspider:強大的爬行動物系統；
Cola:壹個分布式爬蟲框架:
Portia:基於Scrapy的可視化爬蟲；
Restkit:Python的HTTP資源包。它允許您輕松地訪問HTTP資源並圍繞它構建對象；
Demiurge:壹個基於PyQuery的爬蟲微框架。
Python爬蟲應用廣泛，在網絡爬蟲領域處於主導地位。Scrapy、Request、BeautifuSoap、urlib等框架的應用可以實現自由爬行的功能。Python爬蟲只要妳抓住數據的想法就能實現！
更多Python相關技術文章，請訪問Python教程部分學習！