重要
除非已启用订阅,否则无法再创建新的 Azure Data Lake Analytics 帐户。 如果需要启用订阅, 请联系支持人员 并提供业务方案。
如果已在使用 Azure Data Lake Analytics,则需要在 2024 年 2 月 29 日前为组织创建 到 Azure Synapse Analytics 的迁移计划 。
本文介绍如何使用 Azure 门户管理 Azure Data Lake Analytics 帐户、数据源、用户和作业。
管理 Data Lake Analytics 帐户
创建帐户
- 登录到 Azure 门户。
- 选择“ 创建资源 ”并搜索 Data Lake Analytics。
- 为以下项选择值:
- 名称:Data Lake Analytics 帐户的名称。
- 订阅:用于帐户的 Azure 订阅。
- 资源组:要在其中创建帐户的 Azure 资源组。
- 位置:Data Lake Analytics 帐户的 Azure 数据中心。
- Data Lake Store:要用于 Data Lake Analytics 帐户的默认存储。 Azure Data Lake Store 帐户和 Data Lake Analytics 帐户必须位于同一位置。
- 选择“ 创建”。
删除 Data Lake Analytics 帐户
删除 Data Lake Analytics 帐户之前,请删除其默认的 Data Lake Store 帐户。
- 在 Azure 门户中,转到 Data Lake Analytics 帐户。
- 选择 “删除”。
- 键入帐户名称。
- 选择 “删除”。
管理数据源
Data Lake Analytics 支持以下数据源:
- Data Lake Store
- Azure 存储
可以使用数据资源管理器浏览数据源并执行基本文件管理作。
添加数据源
在 Azure 门户中,转到 Data Lake Analytics 帐户。
选择 数据资源管理器。
选择 “添加数据源”。
- 若要添加 Data Lake Store 帐户,需要帐户名和帐户访问权限才能对其进行查询。
- 若要添加 Azure Blob 存储,需要存储帐户和帐户密钥。 若要查找它们,请转到门户中的存储帐户,然后选择 “访问密钥”。
设置防火墙规则
可以使用 Data Lake Analytics 进一步锁定对网络级别的 Data Lake Analytics 帐户的访问。 可以启用防火墙、指定 IP 地址,或为受信任的客户端定义 IP 地址范围。 启用这些度量值后,只有具有定义范围内的 IP 地址的客户端才能连接到存储区。
如果其他 Azure 服务(如 Azure 数据工厂或 VM)连接到 Data Lake Analytics 帐户,请确保启用“允许 Azure 服务”。
设置防火墙规则
- 在 Azure 门户中,转到 Data Lake Analytics 帐户。
- 在左侧菜单中,选择 “防火墙”。
添加新用户
可以使用 “添加用户向导 ”轻松创建新的 Data Lake 用户。
- 在 Azure 门户中,转到 Data Lake Analytics 帐户。
- 在左侧的 “入门”下,选择“ 添加用户向导”。
- 选择用户,然后选择 “选择”。
- 选择角色,然后选择 “选择”。 若要设置新开发人员以使用 Azure Data Lake,请选择 Data Lake Analytics 开发人员 角色。
- 选择 U-SQL 数据库的访问控制列表(ACL)。 如果对选择感到满意,请选择 “选择”。
- 选择文件的 ACL。 对于默认存储区,请勿更改根文件夹“/”和 /system 文件夹的 ACL。 选择选择。
- 查看所有所选更改,然后选择“ 运行”。
- 向导完成后,选择“ 完成”。
管理 Azure 基于角色的访问控制
与其他 Azure 服务一样,可以使用 Azure 基于角色的访问控制(Azure RBAC)来控制用户与服务交互的方式。
标准 Azure 角色具有以下功能:
- 所有者:可以提交作业、监视作业、取消来自任何用户的作业以及配置帐户。
- 参与者:可以提交作业、监视作业、取消来自任何用户的作业以及配置帐户。
- 读取者:可以监视作业。
使用 Data Lake Analytics 开发人员角色使 U-SQL 开发人员能够使用 Data Lake Analytics 服务。 可以使用 Data Lake Analytics 开发人员角色来:
- 提交作业。
- 监视作业状态以及任何用户提交的作业进度。
- 查看任何用户提交的作业中的 U-SQL 脚本。
- 仅取消自己的任务。
将用户或安全组添加到 Data Lake Analytics 帐户
在 Azure 门户中,转到 Data Lake Analytics 帐户。
选择“访问控制(IAM)”。
选择“添加”>添加角色分配以打开“添加角色分配”页。
向用户分配角色。 有关详细步骤,请参阅 使用 Azure 门户分配 Azure 角色。
注释
如果用户或安全组需要提交作业,他们还需要对存储帐户拥有权限。 有关详细信息,请参阅 Data Lake Store 中存储的安全数据。
管理作业
提交作业
在 Azure 门户中,转到 Data Lake Analytics 帐户。
选择 “新建作业”。 对于每个作业,请配置:
- 作业名称:作业的名称。
- 优先级:这在 “更多”选项下。 较低的数字具有更高的优先级。 如果有两个作业排队,则优先级较低的作业会先运行。
- AU:要为此作业保留的分析单元数或计算进程的最大数目。
- 运行时:也在 “更多”选项下。 选择默认运行时,除非已收到自定义运行时。
添加脚本。
选择 “提交作业”。
监视作业
- 在 Azure 门户中,转到 Data Lake Analytics 帐户。
- 选择页面顶部的“查看所有工作”。 将显示帐户中所有活动作业和最近完成的作业的列表。
- (可选)选择 “筛选器 ”,以按 时间范围、 状态、 作业名称、 作业 ID、 管道名称 或 管道 ID、 重复名称 或 重复 ID 以及 “作者 ”值查找作业。
监控流水线作业
属于管道一部分的作业通常按顺序协同工作,以实现特定方案。 例如,可以有一个管道来清理、提取、转换和汇总数据,以获得客户见解。 提交作业时,使用“Pipeline”属性标识管道作业。 使用 ADF V2 排程的作业将自动填充此属性。
若要查看属于管道一部分的 U-SQL 作业的列表:
- 在 Azure 门户中,转到 Data Lake Analytics 帐户。
- 选择Job Insights。 默认为“所有作业”选项卡,其中显示了正在运行、排队和已结束的作业的列表。
- 选择“ 管道作业 ”选项卡。将显示管道作业列表以及每个管道的聚合统计信息。
监视周期性作业
定期作业是具有相同业务逻辑但每次运行时使用不同的输入数据。 理想情况下,定期作业应始终成功,并且执行时间相对稳定;监视这些行为将有助于确保作业正常运行。 定期作业是通过“周期”属性来标识的。 通过 ADF V2 调度的作业将自动填充此属性。
若要查看定期执行的 U-SQL 作业的列表:
- 在 Azure 门户中,转到 Data Lake Analytics 帐户。
- 选择 “作业见解”。 默认为“所有作业”选项卡,其中显示了正在运行、排队和已结束的作业的列表。
- 选择“ 定期作业 ”选项卡。将显示定期作业的列表以及每个定期作业的聚合统计信息。