使用 U-SQL 数据库项目为 Azure Data Lake 开发 U-SQL 数据库

重要

Azure Data Lake Analytics 于 2024 年 2 月 29 日停用。 了解更多信息,请查看此公告

对于数据分析,你的组织可以使用 Azure Synapse AnalyticsMicrosoft Fabric

U-SQL 数据库针对表中的非结构化数据和托管结构化数据提供结构化视图。 它还提供用于组织结构化数据和自定义代码的一般元数据目录系统。 数据库是将这些相关对象组合在一起的概念。

详细了解 U-SQL 数据库和数据定义语言(DDL)。

U-SQL 数据库项目是 Visual Studio 中的项目类型,可帮助开发人员快速轻松地开发、管理和部署其 U-SQL 数据库。

创建 U-SQL 数据库项目

适用于 Visual Studio 的 Azure Data Lake 工具在版本 2.3.3000.0 之后添加了名为 U-SQL 数据库项目的新项目模板。 若要创建 U-SQL 项目,请选择“ 文件 > 新建 > 项目”。 可以在 Azure Data Lake > U-SQL 节点下找到 U-SQL 数据库项目。

用于 Visual Studio 的 Data Lake 工具--创建 U-SQL 数据库项目

使用数据库项目开发 U-SQL 数据库对象

右键单击 U-SQL 数据库项目。 选择“添加> 新项目”。 可以在 “添加新项 向导”中找到所有受支持的新对象类型。

对于非程序集对象(例如表值函数),在添加新项后会创建新的 U-SQL 脚本。 可以在编辑器中开始为该对象开发 DDL 语句。

对于程序集对象,该工具提供了一个用户友好的 UI 编辑器,可帮助你注册程序集并部署 DLL 文件和其他文件。 以下步骤演示如何将程序集对象定义添加到 U-SQL 数据库项目:

  1. 在 C# 项目中添加对包含 UDO/UDAG/UDF 的 U-SQL 数据库项目的引用。

    用于 Visual Studio 的 Data Lake 工具 - 添加引用

    用于 Visual Studio 的 Data Lake 工具 - 添加 U-SQL 数据库项目参考

  2. 在程序集设计视图中,从“从引用创建程序集”下拉菜单中选择引用的程序集。

    用于 Visual Studio 的 Data Lake 工具 - 从引用创建程序集

  3. 添加 托管依赖项附加文件 (如果有)。 当您添加附加文件时,该工具会使用相对路径来确保它可以在本地计算机和生成计算机上找到程序集。

@_DeployTempDirectory是一个预定义变量,用于将工具指向生成输出文件夹。 在生成输出文件夹下,每个程序集都有一个名为程序集名称的子文件夹。 所有 DLL 和其他文件都位于该子文件夹中。

生成 U-SQL 数据库项目

U-SQL 数据库项目的生成输出是一个 U-SQL 数据库部署包,其后缀为 .usqldbpack。 包 .usqldbpack 是一个 .zip 文件,其中包含 DDL 文件夹中单个 U-SQL 脚本中的所有 DDL 语句,以及 Temp 文件夹中程序集的所有 DLL 和其他文件。

详细了解 如何使用 MSBuild 命令行和 Azure DevOps Services 生成任务生成 U-SQL 数据库项目

部署 U-SQL 数据库

.usqldbpack 包可以使用 Visual Studio 或部署 SDK 部署到本地帐户或 Azure Data Lake Analytics 帐户。

在 Visual Studio 中部署 U-SQL 数据库

可以通过 U-SQL 数据库项目或 Visual Studio 中的 .usqldbpack 包部署 U-SQL 数据库。

通过 U-SQL 数据库项目进行部署

  1. 右键单击 U-SQL 数据库项目,然后选择“ 部署”。

  2. “部署 U-SQL 数据库向导”中,选择要将数据库部署到的 ADLA 帐户 。 支持本地帐户和 ADLA 帐户。

  3. 数据库源 会自动填充,并指向项目的生成输出文件夹中的 .usqldbpack 包。

  4. 数据库名称 中输入名称以创建数据库。 如果目标 Azure Data Lake Analytics 帐户中已存在同名的数据库,则不会重新创建数据库项目中定义的所有对象。

  5. 若要部署 U-SQL 数据库,请选择“ 提交”。 将上传所有资源(程序集和其他文件),并提交包含所有 DDL 语句的 U-SQL 作业。

    用于 Visual Studio 的 Data Lake 工具--部署 U-SQL 数据库项目

    用于 Visual Studio 的 Data Lake 工具--部署 U-SQL 数据库项目向导

通过 U-SQL 数据库部署包进行部署

  1. 打开 服务器资源管理器。 然后展开Azure Data Lake Analytics 帐户,对其部署数据库。

  2. 右键单击或按住 U-SQL 数据库,然后选择“ 部署数据库”。

  3. 数据库源 设置为 U-SQL 数据库部署包(.usqldbpack 文件)路径。

  4. 输入 数据库名称 以创建数据库。 如果目标 Azure Data Lake Analytics 帐户中存在同名的数据库,则不会重新创建数据库项目中定义的所有对象。

    用于 Visual Studio 的 Data Lake 工具--部署 U-SQL 数据库包

    用于 Visual Studio 的 Data Lake 工具--部署 U-SQL 数据库包向导

使用 SDK 部署 U-SQL 数据库

PackageDeploymentTool.exe 提供有助于部署 U-SQL 数据库的编程和命令行接口。 SDK 包含在 U-SQL SDK NuGet 包中,位于 build/runtime/PackageDeploymentTool.exe

详细了解 SDK 以及如何为 U-SQL 数据库部署设置 CI/CD 管道

引用 U-SQL 数据库项目

U-SQL 项目可以引用 U-SQL 数据库项目。 引用会影响两个工作负荷:

如何添加 U-SQL 数据库引用

  1. 解决方案资源管理器中右键单击 U-SQL 项目,然后选择 “添加 U-SQL 数据库引用...”

    用于 Visual Studio 的 Data Lake 工具 - 添加数据库项目引用

  2. 在当前解决方案或 U-SQL 数据库包文件中配置来自 U-SQL 数据库项目的数据库引用。

  3. 提供数据库的名称。

    用于 Visual Studio 的 Data Lake 工具添加数据库项目引用向导

后续步骤