软件准备及实验介绍

课程描述：

本课程是为大数据技术与应用、云计算技术与应用专业、人工智能技术专业等专业学生开设的课程。随着时代的发展，大数据已经成为一个耳熟能详的词汇。与此同时，针对大数据处理的新技术也在不断的开发和运用中，逐渐成为数据处理挖掘行业广泛使用的主流技术之一。Hadoop作为处理大数据的分布式存储和计算框架，得到了国内外大小型企业广泛的应用。Hadoop是一个可以搭建在廉价服务器上的分布式集群系统架构，它具有可用性高、容错性高和可扩展性高等优点。由于它提供了一个开放式的平台，用户可以在完全不了解底层实现细节的情形下，开发适合自身应用的分布式程序。经过十多年的发展，目前Hadoop已经成长为一个全栈式的大数据技术生态圈，并在事实上成为应用最广泛最具有代表性的大数据技术。因此，学习Hadoop技术是从事大数据行业工作所必不可少的一步。

教学目标：

通过本课程的学习，使学生学会搭建Hadoop完全分布式集群，掌握HDFS的原理和基础操作，掌握MapReduce原理架构、MapReduce程序的编写。为将来从事大数据挖掘研究工作以及后续课程的学习奠定基础。

学习《Hadoop大数据技术与应用》，应使学生达到以下要求：

1、了解Hadoop的架构、原理、Hadoop集群配置及安装；

2、熟悉Hadoop IDE开发环境配置和Hadoop Java API编程实例；

3、具备Hadoop编程开发能力。

4、熟悉Hadoop生态系统常用组件的使用。

5、能够自主解决在搭建Hadoop环境过程中出现的一些问题。

6、培养出良好的阅读官网的能力和规范编程的能力。

主要教学范式：

本课程以Hadoop大数据技术为核心，利用理论+实践的教学方式，注重培养学生们的发散性思维和动手实践的能力。

首先，通过介绍大数据的概念和重要性，引发学生对大数据的兴趣。然后，简要介绍Hadoop的基本概念和作用，为后续章节的学习打下基础。在具体授课阶段将详细讲解第1章和第2章，包括Hadoop的基本原理、架构和组件，以及如何搭建和配置Hadoop集群。在讲解过程中，穿插实际案例和操作演示，帮助学生更好地理解和掌握知识点。在第3章中，引导学生动手操作Hadoop集群，进行基本的数据存储和管理操作。通过实际操作，加深学生对Hadoop的理解和应用能力。在后续章节中，分别讲解MapReduce的基本概念、编程模型和编程示例。鼓励学生自己动手编写MapReduce程序，解决实际问题。在最后两章中，组织学生进行实际项目开发，如电影网站用户性别预测项目。通过实际项目，让学生将所学知识应用于实际场景，提高学生的实践能力和创新能力。

在课程结束时，对整个学习过程进行总结，强调Hadoop在大数据处理中的重要性和应用价值。同时，鼓励学生在课后继续深入学习和探索大数据领域，为自己的职业生涯做好准备。

注：此课程不提供任何资料下载。