Python爬虫-- Scrapy框架

2023-09-05 阅读 396 评论 0

摘要：Scrapy框架 Scrapy使用了Twisted作为框架，Twisted有些特殊的地方是它是事件驱动的，并且比较适合异步的代码。对于会阻塞线程的操作包含访问文件、数据库或者Web、产生新的进程并需要处理新进程的输出(如运行shell命令)、执行系统层次操作的代码(如等待系统队列)

Scrapy框架

Scrapy使用了Twisted作为框架，Twisted有些特殊的地方是它是事件驱动的，并且比较适合异步的代码。对于会阻塞线程的操作包含访问文件、数据库或者Web、产生新的进程并需要处理新进程的输出(如运行shell命令)、执行系统层次操作的代码(如等待系统队列),Twisted提供了允许执行上面的操作但不会阻塞代码执行的方法。

点击Scrapy框架，快速上手Python Scrapy框架的操作使用

转载于:https://www.cnblogs.com/Keep-Ambition/p/8463350.html

原文链接：https://hbdhgg.com/1/539.html

上一篇：Apache Kudu 加速对频繁更新数据的分析

下一篇：Django开发微信公众平台