python爬蟲即網絡爬蟲，網絡爬蟲是壹種程序，主要用於搜索引擎，它將壹個網站的所有內容與鏈接進行閱讀，並建立相關的全文索引到數據庫中，然後跳到另壹個網站。
搜索引擎（SearchEngine）是指根據壹定的策略、運用特定的計算機程序從互聯網上搜集信息，在對信息進行組織和處理後，為用戶提供檢索服務，將用戶檢索相關的信息展示給用戶的系統。搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門戶搜索引擎與免費鏈接列表等。