使用用于 Visual Studio 的 Data Lake 工具开发 U-SQL 脚本

2023-12-20

重要

除非已启用订阅，否则无法再创建新的 Azure Data Lake Analytics 帐户。如果您需要激活订阅，联系支持人员并提供您的业务场景。

如果已在使用 Azure Data Lake Analytics，则需要在 2024 年 2 月 29 日为组织创建到 Azure Synapse Analytics 的迁移计划。

Azure Data Lake 和流分析工具包括与两个 Azure 服务、Azure Data Lake Analytics 和 Azure 流分析相关的功能。有关 Azure 流分析方案的详细信息，请参阅适用于 Visual Studio 的 Azure 流分析工具。

本文介绍如何使用 Visual Studio 创建 Azure Data Lake Analytics 帐户。可以在 U-SQL 中定义作业，并将作业提交到 Data Lake Analytics 服务。有关 Data Lake Analytics 的详细信息，请参阅 Azure Data Lake Analytics 概述。

重要

建议升级到适用于 Visual Studio 的 Azure Data Lake 工具 2.3.3000.4 或更高版本。以前的版本不再可供下载，现已弃用。

检查您使用的 Azure Data Lake Tools for Visual Studio 版本是否早于 2.3.3000.4。
如果版本是 2.3.3000.4 的早期版本，请访问下载中心更新适用于 Visual Studio 的 Azure Data Lake 工具：
- 对于 Visual Studio 2017 和 2019
- 对于 Visual Studio 2013 和 2015

先决条件

Visual Studio：支持除 Express 以外的所有版本。
- Visual Studio 2019
- Visual Studio 2017
- Visual Studio 2015
- Visual Studio 2013
Microsoft Azure SDK for .NET 版本 2.7.1 或更高版本。使用 Web 平台安装程序安装它。
Data Lake Analytics 帐户。若要创建帐户，请参阅使用 Azure 门户的 Azure Data Lake Analytics 入门。

安装用于 Visual Studio 的 Azure Data Lake 工具

本教程要求安装用于 Visual Studio 的 Data Lake 工具。有关详细信息，请参阅安装用于 Visual Studio 的 Data Lake 工具。

连接到 Azure Data Lake Analytics 帐户

打开 Visual Studio。
打开Data Lake Analytics 资源管理器，方法是选择查看>Data Lake Analytics 资源管理器。
右键单击 Azure，然后选择“ 连接到”Microsoft Azure 订阅。在 登录到您的帐户，请按照说明进行操作。
在 服务器资源管理器中，选择 Azure>Data Lake Analytics。可以看到 Data Lake Analytics 帐户的列表。

编写第一个 U-SQL 脚本

以下文本是一个简单的 U-SQL 脚本。它定义一个小数据集，并将该数据集作为名为 /data.csv 的文件写入默认 Data Lake Store。

USE DATABASE master;
USE SCHEMA dbo;
@a  = 
    SELECT * FROM 
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS 
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

提交 Data Lake Analytics 作业

在 Visual Studio 中，选择“文件”>“新建”>“项目”。
选择 U-SQL 项目 类型，然后选择“ 下一步”。在 “配置新项目”中，选择“ 创建”。

Visual Studio 创建包含 Script.usql 文件的解决方案。
将脚本从 “编写第一个 U-SQL 脚本 ”粘贴到 Script.usql 窗口中。
在 解决方案资源管理器中，右键单击 Script.usql，然后选择“ 提交脚本”。
在 “提交作业”中，选择 Data Lake Analytics 帐户，然后选择“ 提交”。

作业提交后，“ 作业视图 ”选项卡将打开以显示作业进度。

作业摘要 显示作业的摘要。
作业图 直观显示作业的进度。
元数据操作 显示在 U-SQL 目录上进行的所有操作。
数据显示 所有输入和输出。
状态历史记录 显示时间线和状态详细信息。
AU 分析 显示作业中使用的 AU（分析单元）数量，并探索不同 AU 分配策略的模拟。
诊断为作业执行和性能优化提供了高级分析。

U-SQL Visual Studio Data Lake Analytics 作业性能图

若要查看最新的作业状态并刷新屏幕，请选择“ 刷新”。

检查作业状态

在 Data Lake Analytics 资源管理器中，选择 Data Lake Analytics。
扩展 Data Lake Analytics 帐户名称。
双击职位。
选择之前提交的任务。

查看作业输出

在 Data Lake Analytics 浏览器中，浏览到您提交的作业。
选择作业中的 “数据 ”选项卡。
在“ 作业输出 ”选项卡中，选择 "/data.csv" 该文件。

通过