关注公众号 领VIP会员
下次再说
专业系统化的Excel VBA网抓视频课程【你学得会】

首发

下载课程

下载学院APP

缓存视频离线看

微信公众号
收藏(172)

专业系统化的Excel VBA网抓视频课程【你学得会】

课程目标: 学会使用Excel VBA进行网络抓取,善于利用网络的资源,抓取有用信息,提高工作效...

4.9分 共43课时 共9小时17分钟 更新时间: 30天前

2424小时内答疑

课时永久观看

退15分钟内无条件退款

  1. 仅限付费视频课程适用
  2. 购买后15分钟内可以找到客服进行沟通退款
  3. 下载资料后不再享有退款特权
  4. 客服(Tel:400-101-1651)
  5. 最终解释权归51CTO学院所有

专属资料下载

课程介绍

课程大纲

学习资料

学员评价

课程目标
学会使用Excel VBA进行网络抓取,善于利用网络的资源,抓取有用信息,提高工作效率;同时利用有效的信息,知己知皮,提升效益。
适用人群
所有对Excel有兴趣和想了解VBA网抓的学员
课程简介
  • 初识网页抓取

    这节课开始讲解vba网抓的内容,首先了解整个课程大纲:什么是网抓(网页抓取)、需要什么知识(html,http,编程,josn,正则)、网抓的流程(网址,请求,响应请求,分析处理数据)、网抓的方法(系统组件,web控件,querytable,公式)、课程的结构(以实例带动,逐步深入)、版本...

  • 简单的网抓实例(1)

    这节课讲网抓的实例应用。先对网抓有个感性的认识,主要是根据手机号来获取归属地,然后写成自定义函数。详细分析这个函数的具体代码的含义。

  • 简单的网抓实例(2)

    接着上节课讲解剩下的代码。解释一下网抓的原理(发送请求到相关接口,返回得到的结果,最后就是处理字符串),同时要注意一下,网抓是有时效性的。

  • XmlHttp属性和方法

    详细讲解XmlHttp的内容,XMLHttp是早期用于远程数据库管理的,主要是传送xml格式数据的超文本传输协议。绑定方式可以分为直接引用和后期绑定,最后介绍几个属性和方法:responseBody,responseText,readyState属性;open,send,setRequestHeader,getResponseHeader方法

  • 百度搜索结果(1)

    这节课结合一下上节课讲的xmlhtml的属性和方法来讲一个应用:百度搜索的结果。通过书写百度网址,可以得到对应的结果,这类请求属于GET方式http://具体网址?参数名1=值1?&参数名2=值2.还有一种POST方式,参数写在发送请求中, 可以提交更多的数据。

  • 百度搜索结果(2)

    上节课讲了百度搜索获得结果的数目,这节课继续讲得到结果的列表。

  • 百度搜索结果(3)

    接着上节课内容,我们获取标题和链接。最后分析网抓得到的数据,处理网抓得到的数据

  • html基础知识

    这节课讲一下关于html的内容,html是用于描述网页的一种语言,全名是超文本标记语言,它不是编程语言,没有编程逻辑结构,由浏览器来解析,有一整套标记标签来描述网页。标签有尖括号包围关键词,大部分是成对出现的,也有单独出现的。标签还能相互嵌套

  • 常见的html标签(1)

    这节课讲常用的标签,包括标题标签,文本标签,超链接标签,图片标签,表格标签,列表标签。先讲前面3个,h1,h2等标题大小标签,p分段标签,a链接标签,

  • 常见的html标签(2)

    这节课继续讲标签,图片标签img ,img标签没有结束标签。表格标签相关的有表格table,行tr,单元格td,标题th。其中还有一些属性,比如边框大小border,边距cellpadding。还有列表标签:无序列表:ol 和有序列表 ul

  • 获取外网IP引发的事情(1)

    前面插着讲了关于html相关内容,这节课继续讲一个例子,此实例会引发一些事情。首先我们需要先了解一下网址来源,IP地址分为外网和内网。内网可以用cmd命令ipconfig获取,外网可以访问其他网址提供的信息。

  • 获取外网IP引发的事情(2)

    上节课我们讲了获取外网地址会引发转码的问题。这里我们讲一下处理方法,用responseBody结合strconv转码和用ADODB.stream转码。普通的字符串函数处理,易用,不灵活,效率不高;使用正则表达式处理,难用,灵活,效率高。

  • vba正则表达式(1)

    vba正则表达式是难点,但是用起来会非常方便。首先看一下如何创建正则表达式。正则表达式是一种高效率、强大的字符串处理对象,设定一串匹配文字,去查找对应的结果。可直接引用和后期绑定。在看看几个基本属性和方法:Global,IgnoreCase,Multiline,Pattern,execute,replace,test

  • vba正则表达式(2)

    vba正则表达式最重要的就是表达式。这里我们引出元字符的概念,是正则表达式的语言。如点号(.)匹配除换行符之外的任意字符;\\d匹配数字;\\D匹配非数字;\\w匹配数字、大小写字母和下划线等

  • vba正则表达式(3)

    上节课讲过了元字符,这节课讲限定符。用来控制匹配的数量和位置。用得比较多的有5个:^匹配开头;$匹配结尾;*匹配前面字符至少0次,相当于{0,};+匹配前面字符至少1次,相当于{1,};?匹配前面字符至多1次,相当于{0,1}。

  • vba正则表达式(4)

    前面讲了元字符和限定符,但是也不能完全满足各种情况,这里讲一下多选结构:提供多种选择的方案。比如(x|y|abc)匹配|之间其中任意一组;[abc123]匹配[]之间任意一个字符;[a-z]匹配全部小写字母。

  • vba正则表达式(5)

    前面讲了一些概念,有涉及到斜杠“\\” 这些正则表达式的特殊字符。那么如果想匹配\\.[]等这些字符呢?这时我们需要在前面再加斜杠“\\”转义。如"\\\\" 其意义为单个斜杠"\\"

  • 正则表达式匹配百度搜索(1)

    前面我们讲了获取百度搜索结果,主要是通过Get的方法来书写网址。现在用正则表达式来处理一下。主要也是两个方面的内容:获取搜索结果数量,获取每个条目的标题和链接

  • 正则表达式匹配百度搜索(2)

    接着上节课的内容,继续讲解用正则表达式匹配百度搜索结果。这里讲一下我们利用在线工具辅助分析。搜索“在线正则表达式”即可找到,能方便处理很多表达式。

  • 获取北京时间引发的问题(1)

    今天会继续讲一个实例:获取北京时间。输出结果,发现未找到数据:该网页是异步的(采用webserver),数据被隐藏了(分析js代码)

  • 获取北京时间引发的问题(2)

    这节课我们继续处理获取北京时间引发问题的。多次输出结果,发现数据未变动:缓存了。1可以Get请求,URL多加一个随机参数;2设置头信息,申明不要缓存;3用winhttp代替Xmlhttp

  • Fiddler安装和使用

    这节课讲一个相当有用的网抓工具:Fiddler。它是一个http协议调试代理工具,它可以抓取http数据包,得到相关的请求和响应等信息,主要用于调试和抓包。安装的时候需要有.net框架

  • Fiddler分析IP138

    这节课开始结合Fiddler这个工具来做些实例,先来分析一下IP138这个网站。前面我们说过网抓有时效性。通过这个工具,我们可以快速地抓取到具体的地址

  • 网抓天气预报(1)

    这节课开始,我们会花多节课的时候来讲一下天气预报的网站。天气预报有现成接口,本实例直接抓取“中国天气网”的数据。通过上节课讲的fiddler工具结合,很快就能取得结果了

  • 网抓天气预报(2)

    这节课开始,我们会花多节课的时候来讲一下天气预报的网站。天气预报有现成接口,本实例直接抓取“中国天气网”的数据。通过上节课讲的fiddler工具结合,很快就能取得结果了

  • 网抓天气预报(3)

    接着上节课的内容,继续用正则表达式去处理数据。最后就是整理城市代码表,把结果放到表格上。这样我们的网抓天气预报就做好了。

  • 快递查询(防盗链和JSON)(1)

    由于部分学员对Fiddler还不是很熟悉。这里再举一个实例说明一下,其中会加进防盗链和JSON的说明。实例我们选择了快递单号查询。通过单号查询快递的信息和状态。快递查询有现成接口(需要注册等)本实例直接抓取“快递100”的数据

  • 快递查询(防盗链和JSON)(2)

    上节课讲到防盗链。有的网站为了流量,或者防止别人盗用等原因。会采取防盗链。防盗链有很多方式:来源网址,cookies等,下面我们讲讲如何跳过防盗链去获取数据。

  • 快递查询(防盗链和JSON)(3)

    上节课讲的JSON的内容,Json的解释方式有:有JavaScript解析,自己写代码解析和用其他的代码解析。这节课讲一下具体是如何解释的。

  • 快递查询(防盗链和JSON)(4)

    前面已经把整个快递查询的内容讲过了。包括网抓分析,防盗链处理,Json解析。最后一个步骤就是程序优化了。把整理好的内容放到表格上

  • 中英互译(POST提交数据)(1)

    前面我们讲的都是GET请求方式,这节课我们讲讲POST提交数据。这里以中英互译这个实例为基础展开。我们使用有道翻译,抓取其数据。使用POST提交不同于GET提交(数据写在URL上),而且 数据更安全,数据没有限制。

  • 中英互译(POST提交数据)(2)

    前面基本通过fiddler工具来抓取到数据了。也了解到POST和GET提交方式的区别。这里我们再优化一下,POST数据提交有不同的方案,设置Content-Type和消息编码。

  • 登录和管理(1)

    这节课讲登录和管理,我们通过前面学习的知识来登录一个网站,登录后再去获取其他数据。再有些操作需要登录之后才可以操作的。我们通过登录多米音乐网站来编辑歌单这个实例来讲解一下。

  • 登录和管理(2)

    接着上节课的内容,来继续讲解网站登录。网站本质就是数据的操作。客户端:通过访问链接,请求数据。服务端:后台处理请求,返回数据。

  • 利用Cookie绕过登录

    上节课讲了用POST的方式直接提交用户名登录。这节课我们讲一下用cookie如何绕过登录。http协议是无状态的,服务器不知道客户端干嘛,只认提交的数据。登录之后,在客户端留了标记(cookie)之后再喝其他数据一起提交,判断是否登录了。所以我们可以用cookie欺骗来登录

  • 网抓其他资源(下载文件)

    这节课要补充讲一个内容,如何去网抓其他资源文件(下载文件)。网抓不止可以抓取文字,还可以抓取图片,其他文件等。文件都是二进制形式保存,用responseBody属性得到二进制六

  • IE控件抓取淘宝搜索结果(1)

    这节课开始讲IEweb控件抓取数据,以抓取淘宝搜索结果为实例。如果用xmlhttp和winhttp来抓取淘宝的页面。抓取到的是服务器返回来的数据。而很多数据都隐藏在js后面。

  • IE控件抓取淘宝搜索结果(2)

    这节课正式讲解用IE Web控件抓取淘宝搜索结果,IEWebBrowser控件是一个浏览器,完整的一个执行过程。非常方便地抓取到搜索结果

  • IE控件抓取淘宝搜索结果(3)

    继续完善IE控件抓取淘宝搜索结果,讲到正则表达式匹配的内容。整理处理结果,优化excel表格,改善搜索窗体。

  • IE控件登录邮箱(1)

    有的网站登录是比较麻烦的,需要用到IE控件来登录。这节课主要以登录邮箱为实例。IE WebBrowser控件**不同就是可以执行js代码

  • IE控件登录邮箱(2)

    上节课简单的讲了整个登录流程。但是事例还没有完全讲。这里要注意一下获取页面代码为window.Document.Body.innerHTML ,获取页面文本Window.Document.Body.innerText

  • QueryTable处理Table标签

    这节课讲QueryTable处理Table标签。Table标签是显示表格的标签,从html代码看,处理比较复杂,可以用querytable对象处理。可以不用写代码,直接刷新数据。可以通过菜单创建querytable,或者整个操作录制成宏。

  • WebService网抓公式

    最后一节网抓的课程。主要讲一套WebService的网抓公式。从excel2013开始加入了网络公式,webService 抓取某个链接的数据;filterXML 解析XML格式的数据;EnCodeurl 返回字符URL编码。

加载中
所属章节 资料名称 文件大小 下载
相关资料推荐

暂时还没有学习资料~

5

    1
    非常糟

    2
    很差

    3
    一般

    4
    很好

    5
    非常好

    • 0%
    • 0%
    • 0%
    • 0%
    • 0%
    加载中
    没有了哦~

    讲师介绍

    杨仕航

    Office中国金牌讲师,Office二次开发专家,拥有多年C#,VB和VBA开发经验和教学经验

    学院服务

    关注公众号领取
    免费VIP会员

    添加学院管家微信进入
    学习社群

    21988人学习过

    订阅专栏更多

    推荐图书

    7日学霸榜 有21988人与你一起学习

    课程介绍

    课程大纲

    学习资料

    学员评价

    ¥ 499.00

    课程评价

    发表客观评价,上限可得35学分(会员可得70学分)

    专业系统化的Excel VBA网抓视频课程【你学得会】

    该课程已有 人评价

    课程与描述相符

    老师的讲解表达

    老师的答疑服务

    匿名

    在线
    客服
    在线
    客服

    下载Android客户端

    下载iphone 客户端

    关注官方微信

    返回
    顶部