通过

使用 Azure 文件配置 HPC Pack

本文介绍如何使用 Azure 文件配置 HPC Pack、配置标识和身份验证，以及如何实现性能目标。

由于 Azure 文件共享无服务器，因此部署生产方案不需要管理文件服务器或网络连接存储（NAS）设备。 Azure 文件存储还提供内置冗余以实现高可用性。 这意味着组织不必应用软件修补程序或条带化多个磁盘，以满足其高性能计算（HPC）群集的成本和性能需求。

Azure 文件存储高级文件共享满足典型的客户性能和标识要求，从而轻松配置、经济高效、高性能的直接迁移方案。 Azure 文件 存储根据客户需求支持不同的标识配置。

本文重点介绍如何将现有的本地 HPC Pack 工作负荷引入 Azure。 它重点介绍此方案的常见报告配置，此方案是高级文件共享，其中包含使用 默认共享级别权限配置的本地 Azure Active Directory 域服务 （Azure AD DS） 实例。

例如，如果对金融服务使用 HPC Pack，公司可能会有一个策略来不将标识同步到云。 在这种情况下，默认权限可能会满足你的需求。 默认共享级访问控制列表（ACL）允许为所有 AD DS 经过身份验证的用户添加存储帐户的默认共享级别权限。 然后，可以使用 Windows ACL（也称为 NTFS 权限）在文件和目录级别应用精细访问控制。

分配给存储帐户的默认共享级别权限将应用于存储帐户中包含的所有文件共享。 然后，可以将本地 Active Directory 用于文件级和目录级权限，而无需将 Active Directory 同步到云。

规划将 Azure 文件与 HPC Pack 配合使用

以下部分介绍如何使用 Azure 文件存储作为存储来规划和执行本地 HPC Pack 解决方案的直接迁移。

计算性能目标

使用 服务器消息块（SMB） 装载的 Azure 文件存储高级文件共享非常适合基于 Windows 的应用程序，这些应用程序：

  • 需要性能更高的安全解决方案（与标准层存储相比），例如 HPC Pack。 详细了解高级存储层。
  • 在固态硬盘（SSD）上使用预配存储。

计算 HPC Pack 环境的性能需求后，可以 计算各种文件共享的性能目标：

  • 若要计算每秒的基线输入/输出（IOPS），请使用以下公式：

    每个 GiB 3,000 + 1 IOPS

    例如，对于 10 TiB 高级文件共享，计算为 3,000 + 10,240 GiB = 13,240 IOPS。

  • 若要计算吞吐量（总入口和出口量），请使用此公式。 使用 CEILING 函数，因为这会影响结果，具体取决于输入预配的大小。

    100 + CEILING（.04 * GiB） + CEILING（.06 * GiB）

    例如，对于 10 TiB 高级文件共享，计算为 100 + CEILING（.04 * GiB） + CEILING（.06 * GiB） = 1,125 MiB/秒。

知道提供预期 IOPS 和吞吐量值的目标共享大小后，可以：

选择标识方案

接下来，需要确定是使用 Azure AD DS 还是本地 AD DS 作为标识方案。 还需要决定是否应用默认共享级别权限。 有关详细信息，请参阅 Azure 文件存储基于标识的身份验证选项概述，以便进行 SMB 访问。

HPC Pack 的一种常见模式是，组织不希望将 Active Directory 同步到云。 如果是这种情况，并且无法将本地 AD DS 实例同步到 Azure AD，请使用 默认共享级别权限 为所有经过身份验证的标识设置默认访问级别，而不考虑其同步状态。 然后，可以使用 Windows ACL 对文件和目录强制实施精细权限。

为 HPC Pack 配置 Azure 文件

  1. 创建和配置 Azure 文件共享：

    1. 创建存储帐户。 若要创建 FileStorage 存储帐户，请确保“性能”选项设置为“高级”，并在“高级帐户类型”下拉列表中选择文件共享。 存储帐户名称必须为 15 个字符或更少。
    2. 使用满足性能需求的大小创建文件共享。 如前面的计算所示。
    3. 启用 SMB 多通道。 本文 稍后将介绍 SMB 多通道优势。
    4. 通过在 Azure 文件存储上启用 Azure AD DS 身份验证 或在 存储帐户上为 Azure 文件启用 AD DS 身份验证来配置标识。
    5. 设置默认共享级别权限。
    6. 使用存储帐户密钥装载 Azure 文件共享。
    7. 配置 Windows ACL。

  2. 配置和使用 HPC Pack 文件共享。 有关默认 HPC Pack 文件共享的列表，请参阅 在 Azure 中生成高可用性 HPC Pack 群集。 请注意，默认共享仅适用于某些用户方案。 若要将默认共享移动到 Azure 文件共享，请执行以下步骤：

    1. 根据原始文件共享（例如 SOA 运行时共享）创建 Azure 文件共享并配置 Windows ACL。
    2. 更改相关的群集设置（例如， cluscfg setenvs CCP_SERVICEREGISTRATION_PATH=\\<AzureFiles>\HpcServiceRegistration）。

使用 Azure 文件存储的高性能

SMB 多通道

Azure 文件支持高级文件共享上的 SMB 多通道（存储帐户的 FileStorage 类型的文件共享）。 在 Azure 文件存储中启用 SMB 多通道不会产生额外费用。 默认情况下， 在 FileStorage 资源上禁用 SMB 多通道。

单个 VM 客户端的最大性能仍受 VM 限制约束。 例如，Standard_D32s_v3可以支持最大带宽为 16,000 MBps（或 2 GBps）。 从 VM（写入到存储）的出口按流量计费，但入口（从存储读取）不是。 文件共享性能受计算机网络限制、CPU、内部存储可用、网络带宽、I/O 大小、并行度等因素的约束。 有关详细信息，请参阅 SMB 多通道性能。

典型的 HPC Pack 性能

典型的 HPC Pack 使用率是一些从中读取和写入到（平均读取 60% 和 40% 写入）且块大小较大（存储在 Azure 文件中）的大型文件。 此类用法应根据 标识配置，根据已发布的 I/O 和吞吐量预期体验最佳性能。

非典型用法可能是数百万个小文件和小块大小。 在这些情况下，组织需要测试其他配置以评估最佳性能。

度量性能

若要测试性能，可以使用 DiskSpd.exe。 它是一种可配置的工具，可以模拟各种工作负荷并测量延迟、读取和写入 I/O、延迟和吞吐量。

优化和故障排除性能

下面是一些资源和提示：

  • 优化性能
  • 排查 Azure 文件共享性能问题
  • HPC Pack 环境中存储性能不佳的指示：
    • 接受任务和开始计算的节点的启动时间很长。
    • Windows 性能计数器（平均磁盘秒/读取，平均磁盘秒/传输，平均磁盘秒/写入，特别是平均磁盘队列长度）在计算节点上显示高值或上限值。
    • 输出位置的延迟。 在某些计算中，指定的输出位置 RUNTIME$ 共享或其他 SMB 共享可能表示饱和。
  • 高级 SMB 客户端故障排除