爬虫的基本原理：https://www.cnblogs.com/zhaof/p/6898138.html 这个文章写的非常好，把爬虫 的基本思路解释的很清楚的。 一、介绍工具（用什么爬） python为什么叫爬虫？1、Python IDLE就是用了创建、运行、测试和调试python的工具。 集成开发环境

base_url = 'http://www.baidu.com/'# 构造header ua_list = ['User-Agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 ','User-Agent:Mozilla/5.0 (compatible; MSIE 9.0;

def search(key):base_url = 'http://www.baidu.com/s?'qs = {'wd': key,} #设置关键字qs = urllib.urlencode(qs) # urlencode()可将字典编码fullurl = base_url + qsrequest = urllib2.Request(fullurl) # 构造的request对象࿰