python爬取天氣數據，手把手教你使用Python+scrapy爬取山東各城市天氣預報-小白筆記-匯編語言學習筆記

python爬取天氣數據，手把手教你使用Python+scrapy爬取山東各城市天氣預報

2023-10-04 阅读 31 评论 0

摘要：1、在命令提示符環境使用pip install scrapy命令安裝Python擴展庫scrapy，詳見Python使用Scrapy爬蟲框架爬取天涯社區小說“大宗師”全文2、使用下圖中的命令創建爬蟲項目3、進入爬蟲項目文件夾，執行下面的命令創建爬蟲python爬取天氣數據，現在，爬蟲項目

1、在命令提示符環境使用pip install scrapy命令安裝Python擴展庫scrapy，詳見Python使用Scrapy爬蟲框架爬取天涯社區小說“大宗師”全文

2、使用下圖中的命令創建爬蟲項目

3、進入爬蟲項目文件夾，執行下面的命令創建爬蟲

python爬取天氣數據，

現在，爬蟲項目的文件夾結構如下圖所示

4、使用瀏覽器打開網址http://www.weather.com.cn/shandong/index.shtml，然后下拉，找到“城市預報列表”

基于Python的天氣預測系統研究，5、在頁面上單擊鼠標右鍵，選擇“查看網頁源代碼”，然后找到與“城市預報列表”對應的位置

6、選擇并打開山東省內任意城市的天氣預報頁面，此處以煙臺為例

7、在頁面上單擊鼠標右鍵，選擇“查看網頁源代碼”，找到與上圖中天氣預報相對應的位置

python氣象繪圖，

8、修改items.py文件，定義要爬取的內容，紅色方框內是自己寫的代碼

9、修改爬蟲文件everyCityinSD.py，定義如何爬取內容，其中用到的規則參考前面對頁面的分析

python爬蟲scrapy框架。10、修改pipelines.py文件，把爬取到的數據寫入文件weather.txt，紅色方框內是自己寫的代碼

11、修改settings.py文件，分派任務，指定處理數據的程序，紅色方框內是自己寫的代碼

12、切換到命令提示符環境，執行下面的命令運行爬蟲程序

爬取天氣數據并可視化，

稍等幾秒鐘，生成包含各城市天氣預報數據的文件weather.txt

其中內容為

天氣預報記錄表格制作、----------喜大普奔----------

1、董付國老師Python系列教材，亞馬遜、京東、當當、天貓均有銷售：

1）《Python程序設計（第2版）》（2018年5月第6次印刷）

出版社官方鏈接（亞馬遜、京東、當當均有銷售）：https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.18.24a52226hIi8Bj&id=534581929248&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6

2）《Python可以這樣學》（2018年2月第5次印刷）（本書已發行繁體版）

python五角星編程代碼并填充，出版社官方鏈接（亞馬遜、京東、當當均有銷售）：https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.16.24a52226hIi8Bj&id=544817105410&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6

3）《Python程序設計開發寶典》（2018年2月第3次印刷）

出版社官方鏈接（亞馬遜、京東、當當均有銷售）：https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.52.24a52226hIi8Bj&id=556093887133&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6

4）《中學生可以這樣學Python》2018年5月第2次印刷）

出版社官方鏈接（亞馬遜、京東、當當均有銷售）：https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.20.24a52226hIi8Bj&id=560808221053&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6

python文本統計分析三國演義人物，5）《Python程序設計基礎（第2版）》（2018年5月第2次印刷）

出版社官方鏈接（亞馬遜、京東、當當均有銷售）：https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.24.24a52226hIi8Bj&id=565581275846&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6

6）《玩轉Python輕松過二級》（2018年5月隆重上架）

出版社官方鏈接（亞馬遜、京東、當當均有銷售）：https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.84.24a52226hIi8Bj&id=569250004069&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6

董付國老師6本Python系列圖書閱讀指南

爬取天氣數據的意義、董付國老師6本Python系列教材被北大、復旦等近百所高校選作教材

熱烈慶祝《Python可以這樣學》在臺灣發行繁體版

2、董老師120課免費視頻地址： https://pan.baidu.com/s/1jJeAs8Q 密碼: px59

----------相關閱讀----------

教學課件

scrapy爬蟲爬取表格？1900頁Python系列PPT分享一：基礎知識（106頁）

1900頁Python系列PPT分享二：Python序列（列表、元組、字典、集合）（154頁）

1900頁Python系列PPT分享三：選擇與循環結構語法及案例（96頁）

1900頁Python系列PPT分享四：字符串與正則表達式（109頁）

1900頁Python系列PPT分享五：函數設計與應用（134頁）

python為什么叫爬蟲，1900頁Python系列PPT分享六：面向對象程序設計（86頁）