python json，python requests網頁爬取初探

python開發過程中，有時候需要網頁的數據，這時用到網頁爬蟲模塊，減少重復性工作，python提供了requests 模塊，urllib2模塊，beautifulsoup bs4模塊。

軟件開發中能夠用腳本代替的工作盡量用腳本代替，我們專注于業務本身就好。

今天試了一下request模塊，Demo功能是下載網頁財經的年報，代碼如下：

import requests
import urllibnb_url='http://file.finance.sina.com.cn/211.154.219.97:9494/MRGG/CNSESH_STOCK/2020/2020-3/2020-03-23/5955888.PDF' ##這個鏈接需要在網站爬取，我直接找copy過來的down_res=requests.get(nb_url)
with open(r'E:\test.PDF',"wb") as code:code.write(down_res.content)

python json、挺方便的，以后要什么數據，爬到鏈接就可以下載到本地了