Microsoft HPC Pack を使用して Azure IaaS コンピューティング ノードを追加するための要件
このセクションでは、AZURE IaaS コンピューティング ノードを HPC クラスターに追加するための要件について説明します。
サポートされているバージョンの Microsoft HPC Pack クラスター
HPC Pack クラスターに Azure IaaS コンピューティング ノードをデプロイするには、Microsoft HPC Pack 2016 Update 1 以降のバージョンを実行している必要があります。
新しい HPC Pack クラスターを完全に Azure に作成する場合は、「Azure に HPC Pack 2016 クラスターをデプロイする」に移動し、デプロイするテンプレートを選択します。 それ以外の場合は、最初にオンプレミスで HPC Pack クラスターを作成する必要があります。 ハイブリッド HPC Pack クラスターのインストール手順については、以下を参照してください。
- HPC Pack 2016 の概要
Azure サブスクリプション アカウント
Azure サブスクリプションを取得するか、サブスクリプションの所有者ロールに割り当てられる必要があります。
Azure サブスクリプションを作成するには、Azure サイトに移動します。
既存のサブスクリプションにアクセスするには、Azure portalに移動します。
注
各 Azure サブスクリプションには、いくつかの制限 (クォータとも呼ばれます) があります。 仮想マシン のコアには、リージョンの合計制限と、個別に適用されるリージョンごとのサイズシリーズ (Dv2、F など) の制限があります。 Azure portal
ネットワーク インフラストラクチャ
Azure IaaS コンピューティング ノード用の Azure 仮想ネットワークとサブネットを提供する必要があります。
完全に Azure で HPC Pack クラスターを作成する予定の場合は、ヘッド ノードと Azure IaaS コンピューティング ノードを 1 つの Azure 仮想ネットワークに作成する必要があります。

ただし、オンプレミスの企業ネットワークにヘッド ノードを含むハイブリッド HPC Pack クラスターを作成し、Azure で Azure IaaS コンピューティング ノードを作成する場合は、オンプレミス ネットワークから Azure 仮想ネットワークへの expressRoute 接続を

Azure 仮想ネットワークのネットワーク セキュリティ グループを構成する
Azure 仮想ネットワーク サブネットのネットワーク セキュリティ グループを構成することをお勧めします。 次の HPC ポート テーブル、各 HPC ノード タイプのリッスン ポートの一覧を示します。 ポートの詳細については、このドキュメント
役割 | 港 / ポート | プロトコル |
---|---|---|
Linux コンピューティング ノード の |
40000, 40002 | TCP |
Windows コンピューティング ノード の |
1856, 6729, 6730, 7998, 8677, 9096, 9100-9611, 42323, 42324 | TCP |
Broker ノードの | 9087、9091、9095、80、443、および Windows コンピューティング ノードのポート | TCP |
ヘッド ノードの | 445、5800、5802、5969、5970、5974、5999、7997、9090、9092、9094、9892-9894、および ブローカー ノードのポート;1433 for Local Databases;Service Fabric クラスター (高可用性) の 10100、10101、10200、10300、10400 | TCP |
ヘッド ノードの | 9894 | UDP(ユーザー・データグラム・プロトコル) |
Azure のヘッド ノードを含む HPC Pack クラスターの場合
完全に Azure の HPC Pack クラスターの場合は、次の NSG ルールを構成する必要があります。
1. 受信セキュリティ規則
AllowVNetInBound
オンプレミス クライアントからインターネット経由でジョブを送信する場合は、次の受信セキュリティ規則を追加する必要があります。
名前 | 港 / ポート | プロトコル | 情報源 | 行き先 | アクション |
---|---|---|---|---|---|
AllowHttpsInBound | 443 | TCP | [任意] | [任意] | 許可する |
AllowHpcSoaInbound | 9087,9090,9091,9094 | TCP | [任意] | [任意] | 許可する |
2. 送信セキュリティ規則
AllowVNetOutBound
AllowInternetOutBound
名前 | 港 / ポート | プロトコル | 情報源 | 行き先 | アクション |
---|---|---|---|---|---|
AllowKeyVaultOutBound | [任意] | [任意] | VirtualNetwork | AzureKeyVault | 許可する |
AllowAzureCloudOutBound | [任意] | [任意] | VirtualNetwork | AzureCloud | 許可する |
AllowHttpsOutBound | 443 | TCP | VirtualNetwork | [任意] | 許可する |
オンプレミスのヘッド ノードを使用するハイブリッド HPC Pack クラスターの場合
オンプレミスのヘッド ノードとブローカー ノード、および Azure IaaS コンピューティング ノードを含むハイブリッド HPC Pack クラスターの場合、Azure IaaS コンピューティング ノードの観点から次の NSG ルールを構成する必要があります。
1. 受信セキュリティ規則
AllowVNetInBound
注
Corporation ネットワークと Azure 仮想ネットワークの間にファイアウォールがある場合は、送信 ファイアウォール規則を構成して、ヘッド ノードの観点からこれらのポートを許可します。
2. 送信セキュリティ規則
AllowVNetOutBound
名前 | 港 / ポート | プロトコル | 情報源 | 行き先 | アクション |
---|---|---|---|---|---|
AllowHpcIntraVNetTcpOutBound | 443, 5970, 6729, 6730, 8677, 9892, 9893, 9894 | TCP | [任意] | VirtualNetwork | 許可する |
AllowHpcIntraVNetUdpOutBound | 9894 | UDP(ユーザー・データグラム・プロトコル) | [任意] | VirtualNetwork | 許可する |
注
Corporation ネットワークと Azure 仮想ネットワークの間にファイアウォールがある場合は、ヘッド ノードの観点からこれらのポートを許可するように、受信 ファイアウォール規則
AllowInternetOutBound
名前 | 港 / ポート | プロトコル | 情報源 | 行き先 | アクション |
---|---|---|---|---|---|
AllowKeyVaultOutBound | [任意] | [任意] | VirtualNetwork | AzureKeyVault | 許可する |
AllowAzureCloudOutBound | [任意] | [任意] | VirtualNetwork | AzureCloud | 許可する |
AllowHttpsOutBound | 443 | TCP | VirtualNetwork | [任意] | 許可する |
HPC Pack ヘッド ノードは、
https://management.core.windows.net
https://management.azure.com
https://login.microsoftonline.com
https://hpcazuresasdispatcher.azurewebsites.net
https://hpcazureconsumptionsb.servicebus.windows.net
https://*.vault.azure.net
https://*.microsoft.com
https://*.msauth.net
https://*.msftauth.net
https://*.core.windows.net
ステップ 1. Azure IaaS コンピューティング ノードのデプロイをサポートするようにクラスターを構成する
手順 1.1 Azure デプロイ構成を設定する
HPC Cluster Manager または powerShell コマンドを
HPC Cluster Manager を使用して Azure Deployment Configuration を設定する
注
この記事の Azure Deployment Configuration の設定ウィザードは、HPC Pack 2016 Update 2 (以降のバージョン) に基づいています。
[Azure Deployment Configuration
![[構成] ウィンドウで選択されている [実行するデプロイ] の一覧を示すスクリーンショット。[Azure Deployment Configuration の設定] が強調表示されています。](../media/hybrid/iaasburst-setting.png?view=hpc19-ps)
1.Azure サービス プリンシパルを構成する
Azure サービス プリンシパルは、AZURE IaaS VM のプロビジョニング、開始、停止、削除に HPC Pack サービスによって使用されます。 Azure サービス プリンシパルを構成するには、[ログイン
![[Azure サービス プリンシパル] ページのスクリーンショット。[ログイン] と [次へ] が強調表示されています。](../media/hybrid/iaasburst-serviceprincipal1.png?view=hpc19-ps)
注
Microsoft Entra ID (Azure AD) アカウントでログインする必要があります。 個人用の Microsoft アカウントでログインすると、"このユーザー名が正しくない可能性があります。 正しく入力していることを確認します。 それ以外の場合は、管理者に問い合わせてください。
アカウントの種類を確認するには、Azure Portal にサインインし、[Microsoft Entra ID] ->[ユーザーとグループ] をクリックして、アカウントを検索します。 ID がディレクトリのドメイン名ではなく MicrosoftAccount の場合、アカウントは Microsoft 個人アカウントです。 workarround は、アカウントの ユーザー プリンシパル名 を見つけて、それを使用してログインすることです。
アカウントから複数の Azure AD テナントにアクセスできる場合は、右上隅にあるアカウントをクリックします。 次に、ポータル セッションを目的のテナントに設定します。 ディレクトリ内のリソースにアクセスするためのアクセス許可が必要です。
左側の [サービス] ナビゲーション ウィンドウで [Microsoft Entra ID] をクリックし、[ユーザーとグループ] をクリックして、既に作成または構成されているユーザー アカウントがあることを確認します
Azure アカウントに複数の Azure サブスクリプションが関連付けられている場合は、[ の選択] ボタン
[サービス プリンシパル名] 一覧から既存の Azure サービス プリンシパル
![[Azure サービス プリンシパル] ページのスクリーンショット。選択、作成、参照が行われ、サービス プリンシパル名が強調表示されます。](../media/hybrid/iaasburst-serviceprincipal2.png?view=hpc19-ps)
新しい Azure サービス プリンシパルを作成する場合は、[
![[Azure サービス プリンシパルの作成] ダイアログ ボックスを示すスクリーンショット。表示名、参照、インポート、OK が強調表示されています。](../media/hybrid/iaasburst-createserviceprincipal.png?view=hpc19-ps)
注
2.Azure Virtual Network を指定する
[Azure 仮想ネットワーク] ページで、Azure IaaS コンピューティング ノードを作成する Azure 仮想ネットワークの情報を指定します。
Azure Location: 仮想ネットワークが配置される Azure の場所
リソース グループ名: 仮想ネットワークが作成されたリソース グループ
仮想ネットワーク名: Azure IaaS コンピューティング ノードが作成される仮想ネットワークの名前。
サブネット名: Azure IaaS コンピューティング ノードが作成されるサブネットの名前。
![[次へ] が強調表示されている Azure 仮想ネットワーク ページを示すスクリーンショット。](../media/hybrid/iaasburst-vnet.png?view=hpc19-ps)
注
指定した仮想ネットワークには、ヘッド ノードが配置されているオンプレミス ネットワークへのサイト間 VPN または Express Route 接続が必要です。
3. Azure Key Vault 証明書を構成する
HPC Pack サービスは、X.509 証明書を使用して HPC ノード通信をセキュリティで保護します。 そのため、プロビジョニング中に Azure IaaS VM にインストールできるように、この証明書を Azure Key Vault にインポートする必要があります。 [Azure Key Vault 証明書の] ページ
![[Azure Key Vault 証明書] ページを示すスクリーンショット。選択、作成、次が強調表示されています。](../media/hybrid/iaasburst-keyvaultsecret.png?view=hpc19-ps)
新しい Key Vault シークレットを作成する場合は、[
![[キー コンテナー] ダイアログ ボックスを示すスクリーンショット。valult 名、シークレット名、および証明書セクションが強調表示されています。](../media/hybrid/iaasburst-createkeyvaultsecret.png?view=hpc19-ps)
注
HPC ノード通信にヘッド ノードで自己署名証明書を使用している場合は、同じ証明書 (ヘッド ノードのインストール時に使用される証明書) を Azure Key Vault シークレットにアップロードする必要があります。 失敗した場合、信頼されていない証明書の問題が原因で、ヘッド ノードに対して Azure IaaS コンピューティング ノードに到達できなくなります。 また、次の PowerShell コマンドを使用して、ノード通信に使用される証明書の拇印を取得できます。Get-HPCClusterRegistry -propertyName SSLThumbprint
設定を確認し、[完了]
PowerShell を使用して Azure デプロイ構成を設定する
次の PowerShell コマンドを実行して、既に Azure Deployment Configuration を設定することもできます。
- Azure サービス プリンシパルと Azure Key Vault 証明書を作成しました。
- すべてのヘッド ノード マシンに秘密キー を使用して、Azure サービス プリンシパルの証明書をローカル コンピューター\個人用 証明書ストア
インストールしました。
Add-PSSnapin Microsoft.Hpc
# Set Azure subscription and Service Principal information
Set-HpcClusterRegistry -PropertyName SubscriptionId -PropertyValue <subscriptionId>
Set-HpcClusterRegistry -PropertyName TenantId -PropertyValue <tenantId>
Set-HpcClusterRegistry -PropertyName ApplicationId -PropertyValue <ServiceprincipalApplicationId>
Set-HpcClusterRegistry -PropertyName Thumbprint -PropertyValue <ServiceprincipalCertThumbprint>
# Set Virtual network information
Set-HpcClusterRegistry -PropertyName VNet -PropertyValue <VNetName>
Set-HpcClusterRegistry -PropertyName Subnet -PropertyValue <SubnetName>
Set-HpcClusterRegistry -PropertyName Location -PropertyValue <VNetLocation>
Set-HpcClusterRegistry -PropertyName ResourceGroup -PropertyValue <VNetResourceGroup>
# Set Azure Key vault certificate
Set-HpcKeyVaultCertificate -ResourceGroup <KeyVaultResourceGroupName> -CertificateUrl <KeyVaultSecretUrlWithVersion> -CertificateThumbprint <KeyVaultCertificateThumbprint>
手順 1.2 他のクラスター プロパティを構成する
ドメインに参加していない Azure IaaS Windows コンピューティング ノードまたは Linux コンピューティング ノード
Set-HpcClusterRegistry -PropertyName HostFileForOtherSubnet -PropertyValue 1
if($env:CCP_CONNECTIONSTRING -like "*,*,*") {
Connect-ServiceFabricCluster
$opId = [Guid]::NewGuid()
Start-ServiceFabricPartitionRestart -OperationId $opId -RestartPartitionMode AllReplicasOrInstances -ServiceName fabric:/HpcApplication/ManagementStatelessService -ErrorAction Stop
}
HPC Pack 2016 Update 2 以前のバージョンを実行していて、 Azure IaaS ノード テンプレートを使用して作成された Azure IaaS Linux コンピューティング ノードを作成する予定の場合は、 ヘッド ノードで 次の PowerShell コマンドを実行して、ヘッド ノードと Linux コンピューティング ノード間の Http 経由の通信を有効にします。
Set-HpcClusterRegistry -PropertyName LinuxHttps -PropertyValue 0
if($env:CCP_CONNECTIONSTRING -like "*,*,*") {
Connect-ServiceFabricCluster
$opId = [Guid]::NewGuid()
Start-ServiceFabricPartitionRestart -OperationId $opId -RestartPartitionMode AllReplicasOrInstances -ServiceName fabric:/HpcApplication/SchedulerStatefulService -ErrorAction Stop
} else {
Restart-Service -Name HpcScheduler
}
HPC Pack 2019 Update 2 以前のバージョンのを実行していて、Azure IaaS ノード テンプレート で作成Azure IaaS Linux コンピューティング ノードを作成する予定の場合は、「HPC Pack の Linux 認証キーを管理する」 を参照して、Linux コンピューティング ノードの Linux 認証キーを設定していることを確認します。
手順 2. Azure IaaS ノード テンプレートを作成する
Von Bedeutung
- カスタム イメージまたは共有イメージを使用する場合は、VM イメージのオペレーティング システムが
要件を満たしている必要があります。 - 共有イメージ は、HPC Pack 2016 Update 2 以前のバージョンではサポートされていません。
- AZURE Spot VM は HPC Pack 2019 以降でサポートされています
[
![選択されたノード テンプレートを示すスクリーンショット。[操作] ウィンドウで [新規] が強調表示されています。](../media/hybrid/iaasburst-newnodetemplate.png?view=hpc19-ps)
[ノード テンプレートの種類 選択
![スクリーンショットは、Azure I a S ノード テンプレートが選択されている [ノード テンプレートの種類の選択] ページを示しています。次が強調表示されます。](../media/hybrid/iaasburst-nodetemplatetype.png?view=hpc19-ps)
テンプレート名の指定 ページで、テンプレート名 を指定し、必要に応じて 説明を指定します。
![テンプレート名が入力された [テンプレート名の指定] ページを示すスクリーンショット。次が強調表示されます。](../media/hybrid/iaasburst-nodetemplatename.png?view=hpc19-ps)
VM グループ情報の指定 ページで、IaaS コンピューティング ノード 作成される Azure リソース グループのリソース グループ名 を指定します。 既存のリソース グループを選択することも、新しいリソース グループ名を指定することもできます。 新しいリソース グループ名を指定すると、このノード テンプレートを使用して最初の Azure IaaS コンピューティング ノードをデプロイするときに、HPC Pack クラスターによってリソース グループが作成されます。
Azure 可用性セットにノードを作成するかどうかを指定し、必要に応じて可用性セット名を指定します。 新しい可用性セット名を指定すると、このノード テンプレートを使用して最初の Azure IaaS コンピューティング ノードをデプロイするときに、HPC Pack クラスターによって作成されます。
![[リソース グループ名] が強調表示されている [V M グループ情報の指定] ページを示すスクリーンショット。Azure 可用性セット内のノードの作成はオフになっています。](../media/hybrid/iaasburst-nodetemplatevmgroup.png?view=hpc19-ps)
[VM イメージの の指定] ページで、IaaS コンピューティング ノードのデプロイに使用する VM イメージを指定します。
![スクリーンショットは、[VM イメージの指定] ダイアログを示しています。ドロップダウン リストが強調表示されています。ノードをドメインに参加させるチェック ボックスがオンになっています。](../media/hybrid/iaasburst-nodetemplatevmimage4.png?view=hpc19-ps)
CustomImageとしてイメージの種類
カスタマイズされた HPC Pack コンピューティング ノード VM イメージを作成する方法については、HPC Pack コンピューティング ノードのカスタム VM イメージの詳細 リンクをクリックしてください。
![スクリーンショットは、[VM イメージの指定] ダイアログを示しています。O S の種類、リソース グループ、およびイメージ名が強調表示されます。ノードをドメインに参加させるチェック ボックスがオンになっています。](../media/hybrid/iaasburst-nodetemplatevmimage5.png?view=hpc19-ps)
[イメージの種類]
![スクリーンショットは、[VM イメージの指定] ダイアログを示しています。O S の種類とリソース ID が強調表示されています。](../media/hybrid/iaasburst-nodetemplatevmimage6.png?view=hpc19-ps)
[
ノード テンプレートを使用して新しい Azure IaaS コンピューティング ノードを作成する前に、Azure スポット VM の使用などの高度なオプションを指定する場合は、「 IaaS ノード テンプレートの詳細オプション」を参照してください。
手順 3. IaaS コンピューティング ノードを作成して管理する
HPC Cluster Manager コンソール
![[操作] ウィンドウで [ノードの追加] が強調表示されている [リソース管理] ページを示すスクリーンショット。](../media/hybrid/iaasburst-addnode.png?view=hpc19-ps)
[デプロイ方法の選択] ページで、[Azure IaaS VM ノード追加] を選択します。
![スクリーンショットは、[Add Azure I a S V M nodes]\(Azure I a S V M ノードの追加\) が選択された [デプロイ方法の選択] ページを示しています。](../media/hybrid/iaasburst-addnodewizard1.png?view=hpc19-ps)
[
![[ノードの追加] ウィザードを示すスクリーンショット。新しいノードが選択されていることを指定します。](../media/hybrid/iaasburst-addnodewizard2.png?view=hpc19-ps)
[完了]

その後、ノードを選択し、[開始] をクリックして、Azure に仮想マシンを作成できます。
![ノードの一覧を示すスクリーンショット。操作ウィンドウで [開始] が強調表示されています。](../media/hybrid/iaasburst-startnodes.png?view=hpc19-ps)
Azure IaaS コンピューティング ノードのプロビジョニングを待ちます。
![[ノード] ページを示すスクリーンショット。プロビジョニング ログには、実行中の操作が表示されます。](../media/hybrid/iaasburst-nodeprovision.png?view=hpc19-ps)
Azure IaaS コンピューティング ノードのデプロイが完了し、Node Health が OKになったら、これらのノードにジョブを送信できます。
[ 停止] をクリックしてノードを手動で停止すると、Azure 内の仮想マシンが割り当て解除されます。
![2 つのノードが選択されている [ノード] リストを示すスクリーンショット。停止は、メイン ウィンドウと [操作] ウィンドウで強調表示されています。](../media/hybrid/iaasburst-stopnodes.png?view=hpc19-ps)
不要な場合は、ノード 削除
azure ノードの自動拡張と縮小 機能
IaaS ノード テンプレートの詳細オプション
ほとんどのシナリオでは、 手順 2 で作成したノード テンプレートを直接使用して Azure IaaS コンピューティング ノードを作成できます。詳細オプションを指定する必要はありません。 詳細オプションを指定する場合は、[構成] ->[ノード テンプレート] に移動し、先ほど作成したノード テンプレートを選択して、[編集] をクリックします。
注
Azure IaaS ノード テンプレートは、作成されたコンピューティング ノードがない場合にのみ編集できます。
Azure スポット VM を使用する
Azure スポット VM を 使用した Azure IaaS コンピューティング ノードの作成は、HPC Pack 2019 で導入された機能です。 Azure スポット VM を使用すると、未使用の Azure コンピューティング容量を大幅なコスト削減で利用できます。 ただし、Azure スポット VM の SLA はありません。
指定した Azure リージョンで使用可能なスポット容量がない場合、IaaS コンピューティング ノードのデプロイが失敗する可能性があります。
実行中の Azure スポット VM は、Azure インフラストラクチャで容量を元に戻す必要がある任意の時点で、削除され、停止された割り当て解除された状態に移動できます。 その場合、対応する HPC コンピューティング ノードが エラー ノードの正常性状態で表示され、ノードで実行されているタスクはすべて中断され、再キューされます。
スポット容量が再び使用可能になった場合、Azure インフラストラクチャは削除された Azure スポット VM を自動的に再デプロイしません。 ノードを手動でオフラインにしてから HPC クラスター マネージャーで再起動して後で Azure スポット VM を再デプロイすることもできますが、使用可能なスポット容量がないため、再デプロイが失敗する可能性があります。
![スクリーンショットは、[スポット V Ms を使用] が True に指定されているノード テンプレート エディターを示しています。](../media/hybrid/iaasburst-spotvms.png?view=hpc19-ps)
DNS サーバー
既定では 、DNS サーバー オプションは設定されておらず、Azure VM のネットワーク インターフェイスは仮想ネットワークから DNS サーバー設定を取得します。 ネットワーク インターフェイスの DNS サーバーを明示的に設定する場合は、DNS サーバーの一覧をコンマで区切って指定します。

HPC 自動更新
HPC Pack では 、Azure VM 拡張機能 を使用して、Azure VM に HPC Pack コンポーネントをデプロイします。 HPC Auto Update オプションは、新しいバージョンの HPC Pack コンピューティング ノード VM 拡張機能が発行された場合に、Azure VM エージェントが HPC Pack のバージョンを自動的にアップグレードする必要があるかどうかを指定します。 既定値は False です。実行中のタスクが中断され、HPC ジョブも失敗する可能性があるため、True に設定 しないことを 強くお勧めします。