python爬虫----handler和opener

 2023-09-11 阅读 32 评论 0

摘要:opener是 urllib2.OpenerDirector 的实例,我们之前一直都在使用的urlopen,它是一个特殊的opener(也就是模块帮我们构建好的)但是基本的urlopen不支持代理,cookie等其他HTTP/HTTPS高级功能,所以要支持这些功能: 使用相关的H
  • opener是 urllib2.OpenerDirector 的实例,我们之前一直都在使用的urlopen,它是一个特殊的opener(也就是模块帮我们构建好的)
  • 但是基本的urlopen不支持代理,cookie等其他HTTP/HTTPS高级功能,所以要支持这些功能:
      • 使用相关的Handler处理器来创建特定功能的处理器对象
      • 然后通过urllib2.build_opener()方法使用这些处理器对象,创建自定义opener()对象
      • 使用自定义的opener对象,调用open()发送请求
  • 如果程序中的所有请求都使用自定义的opener,可以使用urllib2.install_opener将自定义的opener设为全局opener,表示之后凡是调用urlopen,都将使用这个opener。

转载于:https://www.cnblogs.com/yellowhat/p/10353284.html

版权声明:本站所有资料均为网友推荐收集整理而来,仅供学习和研究交流使用。

原文链接:https://hbdhgg.com/5/44046.html

发表评论:

本站为非赢利网站,部分文章来源或改编自互联网及其他公众平台,主要目的在于分享信息,版权归原作者所有,内容仅供读者参考,如有侵权请联系我们删除!

Copyright © 2022 匯編語言學習筆記 Inc. 保留所有权利。

底部版权信息