成功爬取新片场中各个数据 破解反爬技术： 用户频率的限制,异步加载

本课程是一个理论和实践相结合的课程。通过案例可以很好的巩固知识点，以及积累一定的项目经验。

本课程包括的内容如下：

1. 创建scrapy框架以及开始爬取作品的缩略图

2. 解决第一个反爬技术：如何获取作品缩略图

3. 分析新片场项目运行机制找到获取图片js代码

4. 获取每一个作品的详情界面的数据及解析数据

5. 获取视频：分析数据通信后端返回数据

6. 获取每一个作品数据：视频文件，名称，评论

7. 获取每一个作品数据以及进行解析数据

8. 封装方法解析视频数据

9. 通过分析项目的运行，找到评论数据

10. 获取评论数据中的表情以及正确写入数据库

11. 创建各个种类数据的Item:作品,作者

12. 获取作品创作者个人中心的数据

13. 创建一个pipline管道来获取多个Item数据

14. 破解项目中带有的反爬技术