比如從事文字編輯，需要大量稿件，但效率很低。壹個最大的原因是妳花了很多時間收集信息。如果繼續之前的手動瀏覽，要麽熬夜加班，要麽請別人幫忙，但顯然兩者都不方便。在這種情況下，網絡爬蟲就顯得非常重要。
隨著大數據時代的到來，網絡爬蟲在互聯網中的地位會越來越重要。互聯網中的數據是海量的，如何在互聯網上自動高效地獲取我們感興趣的信息並為我們所用是壹個重要的問題，而爬蟲技術就是為了解決這些問題而誕生的。
我們感興趣的信息分為不同的類型:如果我們只是壹個搜索引擎，那麽我們感興趣的信息就是互聯網上盡可能多的優質頁面；如果我們想要獲取某個垂直領域的數據，或者有明確的檢索需求，那麽感興趣的信息就是根據我們的檢索和需求定位的信息。這時候就需要過濾掉壹些無用的信息。前者稱為通用網絡爬蟲，後者稱為聚焦網絡爬蟲。