数据分析-爬虫开发详解

2-1

urllib模块与第一次页面抓取认识Urllib模块，使用urllib发起第一次爬取

2-2

URL构建与自定义请求头信息1：360与github进行不同关键字搜索2：定制请求头信息

2-3

开始第一个项目需求，请求行为分析，关键点实现

2-4

项目关键点实现项目中关键点分析与实现

2-5

代码设计与类设计代码设计思路，使用面向对象实现功能

2-6

代码实现与调试代码具体编写，验证细节分析，代码调试。

「仅限付费用户」点击下载“doubanposter.zip”

2-7

BeautifulSoup详解_1正则表达式在解析页面有一定局限性，在这里我们引入BeautifulSoup;

2-8

BeautifulSoup详解_2本接主要介绍BeautifulSoup相关方法，自己尝试使用该模块获取页面中元素

2-9

第四模块作业1_爬虫基本练习

2-10

项目练习项目分析，请求行为与知识点分析。

2-11

项目实现思路及爬虫类定义

2-12

关键数据提取与数据整理提取数据分析，使用合适方法与逻辑提取数据

2-13

数据与异常处理调试遇到问题分析与解决思路数据清洗与补齐方式请求异常处理

2-14

数据存储及问题实现txt文本存储

「仅限付费用户」点击下载“doubandetails.zip”

2-15

代码模块化设计当前实现方式问题及解决思路

2-16

文本存储类实现与验证定义文本存储类定义对外接口接口之间调用验证

2-17

csv文件存储类实现与验证csv模块快速上手csv存储类设计实现存储类对外接口修改灵活存储方式实现思路