爬蟲python入門，爬蟲python能做什么-總算發現python爬蟲能夠干什么

網絡爬蟲另外一些不常使用的名字還有螞蟻，自動索引，模擬程序或者蠕蟲。下面是小編為您整理的關于python爬蟲能夠干什么，希望對你有所幫助。

爬蟲python入門。python爬蟲能夠干什么

1.python爬蟲可從網站某一個頁面(通常是首頁)開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然后通過這些鏈接地址尋找下一個網頁，這樣一直循環下去，直到把這個網站所有的網頁都抓取完為止。如果把整個互聯網當成一個網站，那么網絡蜘蛛就可以用這個原理把互聯網上所有的網頁都抓取下來。

2.網絡爬蟲(又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者)，是一種按照一定的規則，自動的抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻，自動索引，模擬程序或者蠕蟲。

Python爬蟲有什么用、爬蟲的基本流程：

用戶獲取網絡數據的方式：

方式1：瀏覽器提交請求--->下載網頁代碼--->解析成頁面

python爬蟲教程，方式2：模擬瀏覽器發送請求(獲取網頁代碼)->提取有用的數據->存放于數據庫或文件中

爬蟲要做的就是方式2;

1、發起請求

爬蟲。使用http庫向目標站點發起請求，即發送一個Request

Request包含：請求頭、請求體等

Request模塊缺陷：不能執行JS 和CSS 代碼

python爬蟲可以做什么？2、獲取響應內容

如果服務器能正常響應，則會得到一個Response

Response包含：html，json，圖片，視頻等

python爬蟲能干什么，3、解析內容

解析html數據：正則表達式(RE模塊)，第三方解析庫如Beautifulsoup，pyquery等

解析json數據：json模塊

解析二進制數據:以wb的方式寫入文件

4、保存數據

數據庫(MySQL，Mongdb、Redis)

文件

三、http協議 請求與響應

Request：用戶將自己的信息通過瀏覽器(socket client)發送給服務器(socket server)

Response：服務器接收請求，分析用戶發來的請求信息，然后返回數據(返回的數據中可能包含其他鏈接，如：圖片，js，css等)

ps：瀏覽器在接收Response后，會解析其內容來顯示給用戶，而爬蟲程序在模擬瀏覽器發送請求然后接收Response后，是要提取其中的有用數據。

四、 request

1、請求方式：

常見的請求方式：GET / POST

2、請求的URL

url全球統一資源定位符，用來定義互聯網上一個唯一的資源 例如：一張圖片、一個文件、一段視頻都可以用url唯一確定

url編碼

https://www.baidu.com/s?wd=圖片

圖片會被編碼(看示例代碼)

網頁的加載過程是：

加載一個網頁，通常都是先加載document文檔，

在解析document文檔的時候，遇到鏈接，則針對超鏈接發起下載圖片的請求

3、請求頭

User-agent：請求頭中如果沒有user-agent客戶端配置，服務端可能將你當做一個非法用戶host;

cookies：cookie用來保存登錄信息

Python爬蟲常用的幾種數據提取方式

python爬蟲的幾種數據提取方式：正則 ，bs4，pyquery，xpath，cssselector。

知識點：

findall 返回的結果是列表套元組的形式

而search一般要加group(), groups(),

re.S 可以將正則的搜索域不再是一行，而是整個HTML字符串

.*? 非貪婪匹配 .*貪婪匹配

二， Beautifulsoup

obj = BeautifulSoup(html, "lxml")

BeautifulSoup將復雜HTML文檔轉換成一個復雜的樹形結構,每個節點都是Python對象

知識點：

獲得標簽的某個屬性： .get()

獲得標簽內部的文字： .string . strings .stripped_strings .get_text()

.string: 如果一個標簽里面沒有標簽了，那么 .string 就會返回標簽里面的內容。如果標簽里面只有唯一的一個標簽了，那么 .string 也會返回最里面的內容

.strings: 獲取多個內容，返回結果是生成器，需要遍歷獲取

.stripped_strings輸出的字符串中可能包含了很多空格或空行,使用 .stripped_strings可以去除多余空白內容

通過css篩選元素： .select()

.select()：返回的是list

遍歷文檔樹：

獲取tag的子節點： .contents 返回的是list .children返回的是listiterator object

PyQuery

爬蟲是什么?

如果我們把互聯網比作一張大的蜘蛛網，數據便是存放于蜘蛛網的各個節點，而爬蟲就是一只小蜘蛛，

沿著網絡抓取自己的獵物(數據)爬蟲指的是：向網站發起請求，獲取資源后分析并提取有用數據的程序;

從技術層面來說就是 通過程序模擬瀏覽器請求站點的行為，把站點返回的HTML代碼/JSON數據/二進制數據(圖片、視頻) 爬到本地，進而提取自己需要的數據，存放起來使用。