用python+selenium实现UI自动化测试，要有一些HTML和xpth的基础，当然python基础一定是必须要会的。笔者建议花点时间了解下相关基础知识，不至于后面发懵。 一、什么是selenium？ selenium是个强大的工具集。支持快速开发测试自动化，支持

这里是通过爬取伯乐在线的全部文章为例子，让自己先对scrapy进行一个整理的理解 python爬虫基础教程，该例子中的详细代码会放到我的github地址：https://github.com/pythonsite/spider/tree/master/jobboleSpider 注：这个文章并不会对详细的用法进行讲解

广告关闭 腾讯云11.11云上盛惠 ，精选热门产品助力上云，云服务器首年88元起，买的越多返的越多，最高返5000元！ 而我的想法是，掌握一个类似于框架的高级工具是有用的，但是基础的东西可以让你永远不被淘汰。 不要被工具限制了自

Scrapy框架 Scrapy使用了Twisted作为框架，Twisted有些特殊的地方是它是事件驱动的，并且比较适合异步的代码。对于会阻塞线程的操作包含访问文件、数据库或者Web、产生新的进程并需要处理新进程的输出(如运行shell命令)、执行系统层次操作的代码(如等待系统队列)