文本大数据抓取与挖掘专题

Pandas包是基于Python平台的数据管理利器，已经成为了Python进行数据分析和挖掘时的数据基础平台和事实上的工业标准，学习其使用方法，是使用Python进行数据分析和数据挖掘的必备条件。本课程将从中国高校综合排名和北京PM2.5实测数据两个实际案例出发，在实战中学习Pandas包的使用方法。学习完本课程后，学员将能够独立使用Pandas包完成数据读入、数据清理、数据准备方面的工作，学习如何使用统计图表工具进行数据信息呈现，为后续进一步进行数据分析建模和数据挖掘打下坚实基础。说明：为更贴近实战需求，本课程中的思考练习题一律不提供标准答案（因为实际项目不可能存在标准答案），望知悉。【更新历史】2022年1月：针对Anaconda最新版(python 3.8)和Pandas 1.3.5版完成兼容性测试，更新了对应的课程内容2021年11月：增加第14章：基于Pandas的图形化工具2021年10月：针对课程内容进行了功能增补2021年4月：针对最新的Pandas 1.2.3版进行了兼容性测试，更新了课程内容2020年9月，针对课程发布后Pandas至最新的 1.1.1 版增加的新功能对各章节做了增补和更新2020年3月，增加第13章：如何优化Pandas2020年3月，更新第2章：增加如何无缝读写SPSS数据文件，增加对读写命令的整体介绍【课程长度】总时长：10小时【学员基础】学员需要懂得Python语言的基本编程知识，可以先学习免费课程“Python语言轻松入门”。学员事前不要求学习统计分析的基本知识。学员事前不要求有任何统计软件的使用经验。

请至PC端网页下载本课程代码课件及数据。文本挖掘（TM），又称自然语言处理（NLP），是AI时代炙手可热的数据分析挖掘前沿领域，其所涉及的人机对话系统，推荐算法，文本分类等技术在BAT等企业中都得到广泛应用。本课程将使用经典武侠小说、大众点评抓取结果、微博语料数据等多个实际案例进行教学。本次课程将会从基本的分词、词袋模型、分布式表示等概念开始，多面介绍文本挖掘技术的各个方面，特别会针对目前最热的word2vec，gensim 等结合实际案例进行学习，帮助学员直接升级至业界技术前沿。学习完本课程后，学员将能够独立使用Python环境完成中文文本挖掘的各种工作。本课程已全部更新完毕，未来将根据方法学进展做不定期更新。【更新记录】2022.1：针对Anaconda最新版(python 3.8)，gensim 4.1.2和pandas 1.3.5版完成兼容性测试，更新了对应的课程内容。2021.4：增加了“主题模型结果的可视化”一节。2021.3：按照最新的gensim 4.0.0版和pandas1.2.3版的情况，对课程内容做了全面修订更新。【课程长度】总时长：约11小时【学员基础】学员需要懂得Python语言的基本编程知识。建议学员事先学习本系列课程中的Pandas课程，本课程中的数据管理将会用到Pandas的相关知识和操作。【课程大纲】第1章：文本挖掘概述第2章：磨刀不误砍柴工第3章：分词第4章：词云展示第5章：文档信息的向量化第6章：关键词提取第7章：抽取文本主题第8章：文本相似度第9章：文档分类第10章：情感分析第10章：自动摘要第11章：自动写作