Scrapy爬虫框架和Twisted引擎

本课程讲解的是Python的爬虫框架Scrapy，从创建Scrapy项目开始，讲解狂阿基的管道、中间件、信号、数据流等多个部分，另外有自制user-agent中间件帮助理解中间件概念。此外，讲解了Scrapy如何发送POST请求，并且有Scrapy框架的异步引擎Twisted的讲解，教授Twisted核心爬虫、Twisted邮件提醒等。最后，还有Scrapy框架的模板加载和名言网站的爬取实战以及日志设置。相信会让学员掌握Scrapy这一爬虫框架，并且应用到实战中去。