排查遇到的问题以及实践

通过学习本课程，可以初步了解Azure数据工厂的应用场景已经架构示意和使用方法以及排查问题的方式。

课程安排

 本课程分为3讲，具体安排如下：

第一讲：Azure数据工厂的优势

无需代码和维护就能开发简单而全面的 ETL 和 ELT 进程。单击几下即可引入、移动、准备、转换和处理数据，还可在易访问的视觉环境中完成数据建模。

查看不断扩充的项目组合，其中有 80 多种预构建的连接器，包括 Azure 数据服务、本地数据源、Amazon S3、Amazon Redshift 和 Google Big Query - 均无需额外成本。数据工厂利用基础网络带宽的完整功能，提供高达 1.5 GB 每秒的吞吐量，可实现高效而可靠的数据传输。

使用无服务器工具集成数据，无需管理基础结构。利用弹性功能随着客户群的增长进行扩展，仅对所使用的资源付费。

数据工厂为各种技能级别提供了一种混合数据集成服务。使用可视界面或采用 Python、.NET 或 ARM 编写自己的代码，从而生成管道。将所选的处理服务放到托管的数据管道中，或者在任意管道中插入自定义代码作为一个处理步骤。 

第二讲：数据工厂如何工作以及架构           

企业拥有各种类型的数据（位于云、结构化、非结构化和半结构化的本地分散源中），都以不同的时间间隔和速度到达。构建信息生产系统时，第一步是连接到所有必需的数据和处理源（例如软件即服务 (SaaS) 服务、数据库、文件共享、FTP Web 服务）。

在云中的集中式数据存储中存在数据后，使用 HDInsight Hadoop 和 Spark 等计算服务处理或转换收集的数据。 需要按可以维护和控制的计划以可靠方式生成转换的数据，为生产环境提供可信数据。

原始数据被优化为业务就绪型可使用的窗体后，请将数据载入 Azure 数据仓库、Azure SQL 数据库、Azure Cosmos DB 或业务用户可从其商业智能工具中指向的任何分析引擎。

成功地构建和部署数据集成管道后（提供优化数据的业务值），请监视计划的活动和管道，以了解成功率和失败率。 Azure 数据工厂通过 Azure 门户上的 Azure Monitor、API、PowerShell、Azure Monitor 日志和运行状况面板，对管道监视提供内置支持。 

第三讲：Azure数据工厂实践

移动数据：本地到云、云到云、云到本地

转换数据：TXT =》 CSV…

控制流：Web活动…

……