爬虫开发详解

学习技能：

1. 熟悉http协议，学习爬虫常用开发工具

2. 熟练学习Python常用爬虫模块，数据提取与存储方式，根据不同项目选择合适模块。

3. 爬虫系统的设计与性能优化，有一定的分布式爬虫经验；

4. 学习爬取过程中数据加解密问题处理

解决问题：

1. 分析项目需求，理解数据需求，根据项目需求制定爬取策略与实现，完成数据提取，清洗，入库，维护。

2. 高并发爬虫设计

3. 具有一定破解加密与反扒机制处理。

本课程不提供学习资料。