数据分析之Python3爬虫视频课程

1-1

编写第一个只网络爬虫1.使用requests模拟浏览器访问网址2.使用美丽汤BeautifulSoup解析网页3.提取出新闻的标题

「仅限付费用户」点击下载“笔记地址.zip”

1-2

网络爬虫简介1.什么是网络爬虫？2.网络爬虫的原理是什么？3.用python实现网络爬虫环境准备

1-3

美丽汤网页解析利器1.使用BeautifulSoup提供的选择器，选取出我们需要的内容2.dir对象照妖镜

1-4

玩转网页解析美丽汤基本操作1.BS的ID选择器2.BS的类选择器3.BS的标签选择器4.标签里面的属性提取

1-5

小试身手抓取新闻列表通过requets和BeautifulSoup的配合，取出新闻的标题和对应的链接

1-6

抓取新闻正文内容在获取的新闻列表中的新闻链接的基础上，继续利用这些链接抓取出新闻的正文内容

1-7

获取新闻标题，责任编辑、来源和时间过去新闻更加多维度的信息，包括责任编辑、新闻来源、发布时间等信息

1-8

抓取文章评论数抓取文章品论数和抓取其他信息不一样，其他信息都是静态的，而评论是动态的。而且页面中也是使用JavaScript通过异步的方式获取。因此我们不能像普通的内容爬取一样爬取评论数据。

1-9

建立通用的评论数爬取函数要把程序做活，还得看数据的规律，由url的规律将请求评论的程序包装到函数中，做到通用

1-10

整合所有步骤批量抓取信息循环抓取新闻列表所有信息，将信息放入list中。

1-11

将结果持久化到外部文件为了让我们辛辛苦苦的工作的结果保存下来，我们需要借助pandas这个库，为我们进行数据处理。将结果持久化到文件或数据库中，供以后使用。