SPSS 29版新功能介绍

Pandas对数据作简单浏览

文东老师详解了使用Pandas库进行数据处理的基本概念，包括但不限于数据框（DataFrame）的认识和操作，以及数据的展示方法。教程中提到了如何使用print命令在不同开发环境中完整显示数据框内容，以及特殊的notebook环境下省略print的操作。介绍了如何通过info函数详细了解数据框包含的变量、各变量的数据类型及存储信息，并无缺失值。数据类型的示例包括整数、浮点数和对象等。文东老师进一步展示了head和tail两个命令，便于查看数据框的顶部和尾部记录。整个视频针对入门Python数据科学领域的人士，尤其是那些希望在数据分析、数据处理方面提升能力的学生或专业人士。

如何用python做机器学习/数据挖掘？

本课程集中讲解Python环境下的机器学习和数据挖掘技术，强调数据挖掘作为知识发现的体系和方法论，而不仅仅是算法问题。scikit-learn（简称sklearn或SKN）被广泛用于这一领域，因其与机器学习和数据挖掘的需求契合度高，尤其是对CRISP-DM方法论的支持。 课程内容包括预处理、特征提取、归一化、降维、特征选择、模型建立、交叉验证、模型选择与评估，覆盖了数据准备至模型评估的核心步骤。此外，指出了scikit-learn的局限性，如在复杂统计模型、时间序列模型及深度神经网络方面的不足。对于数据量大的情景，介绍了随机梯度下降（SGD）等策略，并提到Python其他库，如Pandas和TensorFlow等，在数据挖掘任务中的作用。课程非常适合希望深入理解机器学习和数据挖掘以及scikit-learn使用者的需求。

卡方检验statsmodels实现

视频介绍了如何在states mode环境下利用列链表对象进行卡方检验及相关数据分析工作。演示了如何通过condition ent tables的table类创建对象，设定参数处理单元格频数，以及如何计算和解读边际概率分布、独立概率分布、期望频数、pearson残差和卡方贡献值。还涉及了对残差的另一种标准化处理和两两比较的方法。视频还讨论了如何处理有序分类变量和连续变量，以及如何导入和使用states mode的TBL模块进行独立性检验，举例说明了如何计算统计量、自由度和P值。

Python爬虫：Requests库的基本用法

本次内容聚焦于使用Python的requests库进行网页数据爬取。介绍了requests库作为一个无需转基因的HTTP库，在人类获取网页数据过程的适用性与便捷性。视频解释了如何安装库，以及如何使用GET方法来获取网页对象。其中，还包含了HTTP状态码的讲解，状态码帮助开发者识别HTTP请求的响应状态。强调了文本编码的重要性，在处理爬取到的文本数据时需设置合适的编码以避免乱码问题。此外，视频提供了通过requests库对网页文本信息提取的具体代码实例演示，旨在帮助开发者理解如何使用这一工具进行数据抓取。

Python处理Excel数据：什么是模块、包、库

本次课程内容涉及Python语言在进行Excel数据读写时的基础知识，包括模块、包、库等概念的讲解。学员将理解模块（.py文件）、包（包含__init__.py文件的文件夹），以及库（模块和包的集合）之间的区别和联系。重点介绍了Python的强大功能，包括内置的标准库以及可以自定义或利用第三方库来扩展能力。整节课的重点是帮助学员掌握Python处理Excel数据的能力，为后续实际操作打好理论基础。适合对自动化办公感兴趣或需要在项目中进行数据处理的技术人员学习。

什么是Power Pivot

课程针对Power Pivot在Excel中的应用进行深入讲解，揭示它如何颠覆传统数据分析思维。Power Pivot将数据透视表功能增强，并依赖内存实现大规模数据存储，有效提高数据处理性能。通过结构化方式存储数据，配合DAX公式，增加了数据分析的维度和深度，从而支持复杂报表和可视化图表的生成。此外，课程分为基础知识、核心技术、常见函数以及实际应用四个部分，不仅提供界面功能讲解，还强调了手动编写公式的重要性。同时，明确区分了Power Pivot与Power Query各自的功能定位，指导学员根据数据状态选择合适的工具进行分析或整理。

大数据架构与生态圈01

视频内容聚焦于大数据技术的发展三个阶段，其中大数据1.0时代遍及2006-2009年，以Apache基金会建立的Hadoop开源项目和相关技术（如HDFS、MapReduce、HBase）为标志，主要解决大规模结构化数据批处理问题。2.0时代自2009年至2015年，以Spark为主流计算引擎，着重于结构化数据处理与多种流计算引擎的出现。而3.0时代则自2015年开始，注重非结构化数据处理、数据共享及解决数据孤岛问题，推进大数据与人工智能、云计算技术的融合。内容指出大数据技术依据不同行业需求有不同架构，并且强调技术的持续更新与业务适配性。

我国大数据水平处于什么阶段？

中国大数据发展正面临硬件、软件与意识层面的挑战，尚在初级阶段。发展过程包含数据准备、存储、计算、分析及价值展现五大环节。现阶段，对大数据价值认识不足，相关领域数据未充分利用。存储环节依赖于进口核心芯片；计算管理中虚拟化产品国产化程度低；分析工具及数据库主要采用外国技术。国产化进步可加强数据安全，增强价值展现。本段内容适合关注本土技术发展、数据安全及大数据应用实践的专业人士。