排查异常重复作业问题

重要

Azure Data Lake Analytics 于 2024 年 2 月 29 日停用。 了解更多信息,请查看此公告

对于数据分析,你的组织可以使用 Azure Synapse AnalyticsMicrosoft Fabric

本文介绍如何使用 适用于 Visual Studio 的 Azure Data Lake 工具 排查定期作业的问题。 从 Azure Data Lake 和 Azure HDInsight 博客了解有关管道和重复工作的更多信息。

定期作业通常共享相同的查询逻辑和类似的输入数据。 例如,假设您每周一早上 8 点运行一个重复的任务,统计上周的每周活跃用户数。 这些作业的脚本共享一个包含查询逻辑的脚本模板。 这些作业的输入是上周的使用情况数据。 共享相同的查询逻辑和类似的输入通常意味着这些作业的性能相似且稳定。 如果您的某个周期性作业突然表现异常、失败或明显减慢,您可能想要:

  • 查看上次定期作业运行的统计信息报告,了解所发生的情况。
  • 将异常作业与正常作业进行比较,以确定已更改的内容。

适用于 Visual Studio 的 Azure Data Lake 工具中的相关作业视图可帮助你加快这两种情况的故障排除进度。

若要使用相关作业视图排查定期作业问题,首先需要在 Visual Studio 中找到定期作业,然后打开相关作业视图。

案例 1:你有周期性任务的 URL

通过 “工具>Data Lake>作业视图”,可以粘贴作业 URL 以在 Visual Studio 中打开作业视图。 选择 “查看相关作业 ”以打开相关作业视图。

在 Data Lake Analytics 工具中查看相关作业链接

情况 2:你有周期性任务的流水线,但没有 URL

在 Visual Studio 中,可以通过服务器资源管理器中的 Azure Data Lake Analytics 帐户来打开管道浏览器> 管道。 (如果在服务器资源管理器中找不到此节点, 请下载最新的插件

选择“管道”节点

在管道浏览器中,Data Lake Analytics 帐户的所有管道都列在左侧。 您可以展开管道以找到所有周期性任务,并选择出现问题的任务。 相关职位窗口在右侧打开。

选择管道并打开相关作业视图

步骤 2:分析统计信息报告

相关作业视图顶部会显示摘要和统计信息报告。 在那里,可以找到问题的潜在根本原因。

  1. 在报表中,X 轴显示作业提交时间。 使用它查找异常作业。
  2. 使用下图中的过程检查统计信息并获取有关问题和可能解决方案的见解。

检查统计信息的过程关系图

步骤 3:将异常作业与正常作业进行比较

可以通过相关作业视图底部的作业列表找到所有提交的定期作业。 若要查找更多见解和潜在解决方案,请右键单击异常作业。 使用作业差异视图将异常作业与以前的正常作业进行比较。

用于比较作业的快捷菜单

请注意这两个作业之间的差异。 这些差异可能会导致性能问题。 若要进一步检查,请使用下图中的步骤:

用于检查作业差异的过程图

后续步骤