公开笔记对他人可见,有机会被管理员评为“优质笔记”
{{ noteEditor.content.length }}/2000
包含本视频的课程:
【数据可视化】Python数据图表可视化入门到实战
视频主要讲述了数据可视化的概念、重要性、以及Python在数据可视化领域的优势。数据可视化通过图表帮助更高效地理解和传递科学或商业信息。Python语言因其广范的应用和库的整合,自动化和大数据处理能力,在数据可视化领域显著。视频还初步介绍了将要探讨的图表类型,如柱状图、折线图,以及用于数据可视化的Python环境和工具,比如Jupyter Notebook。内容适合对数据可视化感兴趣、希望提升数据沟通效率的学习者。
Python绘制轮播图
本次分享展示了如何利用Python中的matplotlib和pandas库创建一个动态的时间序列图,展现北京2019年每个月天气变化的数据可视化。演示开始先对数据进行处理,包括读取数据集、添加月份列和统计各种天气的出现次数。通过构建排名和绘制柱状图,展示了各种天气每月出现的次数,并使用时间轴播放整年数据的动态变化。这种图表可以清晰地展示数据随时间的变化趋势,适合数据分析师、Python 开发者、数据科学爱好者和教育工作者通过可视化手段分析数据变化。
Python读取射雕英雄传绘制词云图
本视频详细讲解了如何使用Python语言结合结巴分词库对《射雕英雄传》文本进行高频词提取,并使用Matplotlib库绘制出美观的词云图。视频通过展示代码实战,解释了文本预处理、分词、关键词提取与权重计算的完整流程。演示如何读取文本数据,处理编码,运用结巴分词提取高频关键词,并利用Matplotlib将这些数据转化为直观的词云图。通过词云图,观众能够直观感受小说中的人物、地点和事件的重要程度。这个过程不仅适用于文学作品分析,也适用于其他领域的文本数据挖掘,为初学者和文本处理爱好者提供了有趣的自然语言处理实践案例。
Python爬虫:Requests库的基本用法
本次内容聚焦于使用Python的requests库进行网页数据爬取。介绍了requests库作为一个无需转基因的HTTP库,在人类获取网页数据过程的适用性与便捷性。视频解释了如何安装库,以及如何使用GET方法来获取网页对象。其中,还包含了HTTP状态码的讲解,状态码帮助开发者识别HTTP请求的响应状态。强调了文本编码的重要性,在处理爬取到的文本数据时需设置合适的编码以避免乱码问题。此外,视频提供了通过requests库对网页文本信息提取的具体代码实例演示,旨在帮助开发者理解如何使用这一工具进行数据抓取。
大数据架构与生态圈01
视频内容聚焦于大数据技术的发展三个阶段,其中大数据1.0时代遍及2006-2009年,以Apache基金会建立的Hadoop开源项目和相关技术(如HDFS、MapReduce、HBase)为标志,主要解决大规模结构化数据批处理问题。2.0时代自2009年至2015年,以Spark为主流计算引擎,着重于结构化数据处理与多种流计算引擎的出现。而3.0时代则自2015年开始,注重非结构化数据处理、数据共享及解决数据孤岛问题,推进大数据与人工智能、云计算技术的融合。内容指出大数据技术依据不同行业需求有不同架构,并且强调技术的持续更新与业务适配性。
我国大数据水平处于什么阶段?
中国大数据发展正面临硬件、软件与意识层面的挑战,尚在初级阶段。发展过程包含数据准备、存储、计算、分析及价值展现五大环节。现阶段,对大数据价值认识不足,相关领域数据未充分利用。存储环节依赖于进口核心芯片;计算管理中虚拟化产品国产化程度低;分析工具及数据库主要采用外国技术。国产化进步可加强数据安全,增强价值展现。本段内容适合关注本土技术发展、数据安全及大数据应用实践的专业人士。
美国大数据现状
美国以其大量的信息技术巨头牵头,大数据技术的发展及其应用处于全球领先地位,特别是在技术研发、商业应用和国家安全的维护上。强调数据主权和安全的重要性,美国加强了数据获取能力,并通过法律确立数据主权战略。澄清境外数据合法使用法案的例子突显了数据安全成为全球性问题。美国的顶层设计包含七个维度,旨在建立一个未来导向的大数据创新生态,涉及技术、开放共享、隐私安全等多方面,同时注重大数据人才的培养和引进以保持其全球领先地位。
数据分析之电商数据整体任务分析
视频内容涵盖了从数据清洗到数据分析各个步骤的详细教学。主要介绍了如何处理交易数据中的缺失值、重复值和异常值之后,进入到数据分析阶段。具体分析内容包含交易额、订单量、客户数、商家数、商品种类(SPU)和数量(SKU)、客单价及评价量等关键指标。通过SQL查询,提取了指定时间范围内的电商平台的营业数据,计算了各类重要业务指标,并对数据分析结果进行了简要解读,如单月交易额、平均订单量、客户挖掘潜力、商品多样性等。此视频适合数据分析师、电商运营、SQL技术人员。