ストレージアカウントにアーカイブされた Azure Monitor プラットフォームログの形式変更の準備

2018-07-06

警告

診断設定を使用してストレージアカウントに Azure リソースログまたはメトリックを送信する場合、またはログプロファイルを使用してアクティビティログをストレージアカウントに送信する場合、ストレージアカウント内のデータの形式が 2018 年 11 月 1 日に JSON Lines に変更されました。次の手順では、新しい形式を処理するようにツールを更新する影響と方法について説明します。

変更箇所

Azure Monitor には、リソースログとアクティビティログを Azure ストレージアカウント、Event Hubs 名前空間、または Azure Monitor の Log Analytics ワークスペースに送信できる機能が用意されています。システムパフォーマンスの問題に対処するために、 2018 年 11 月 1 日午前 0 時 (UTC) に、BLOB ストレージへのログデータ送信の形式が変更されました。 BLOB ストレージからデータを読み取るツールがある場合は、新しいデータ形式を理解するためにツールを更新する必要があります。

2018 年 11 月 1 日木曜日の午前 12 時 (UTC) に、BLOB 形式が JSON 行に変更されました。つまり、各レコードは改行で区切られ、外側のレコード配列も JSON レコード間のコンマも使用されません。
すべてのサブスクリプションの診断設定の BLOB 形式が一斉に変更されました。 11 月 1 日に出力された最初の PT1H.json ファイルでは、この新しい形式が使用されました。 BLOB 名とコンテナー名は変わりません。
11 月 1 日より前の間に診断設定を設定すると、11 月 1 日まで現在の形式でデータが出力され続けました。
この変更は、すべてのパブリッククラウドリージョンで一度に発生しました。この変更は、21Vianet、Azure Germany、または Azure Government クラウドによって運用されている Microsoft Azure では、まだ発生しません。
この変更は、次のデータ型に影響します。
この変更は、次の影響を与えません。
- ネットワークフローログ
- Azure Monitor でまだ使用できない Azure サービスログ (Azure App Service リソースログ、ストレージ分析ログなど)
- Azure リソースログとアクティビティログの他の宛先へのルーティング (Event Hubs、Log Analytics)

影響を受けるかどうかを確認する方法

次の場合にのみ、この変更の影響を受けます。

診断設定を使用して Azure ストレージアカウントにログデータを送信しています。
ストレージ内のこれらのログの JSON 構造に依存するツールがあります。

Azure ストレージアカウントにデータを送信する診断設定があるかどうかを確認するには、ポータルの [監視 ] セクションに移動し 、[診断設定] をクリックして、[ 診断状態] が [有効] に設定されているリソースを特定します。

Azure Monitor の [診断設定] ウィンドウ

診断状態が有効に設定されている場合は、そのリソースに対してアクティブな診断設定があります。リソースをクリックして、診断設定がストレージアカウントにデータを送信しているかどうかを確認します。

ストレージアカウントが有効になっている

これらのリソース診断設定を使用してストレージアカウントにデータを送信するリソースがある場合は、そのストレージアカウント内のデータの形式がこの変更の影響を受けます。これらのストレージアカウントから動作するカスタムツールがない限り、形式の変更は影響しません。

形式変更の詳細

Azure Blob Storage の PT1H.json ファイルの現在の形式では、レコードの JSON 配列が使用されます。 KeyVault ログファイルのサンプルを次に示します。

{
    "records": [
        {
            "time": "2016-01-05T01:32:01.2691226Z",
            "resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT",
            "operationName": "VaultGet",
            "operationVersion": "2015-06-01",
            "category": "AuditEvent",
            "resultType": "Success",
            "resultSignature": "OK",
            "resultDescription": "",
            "durationMs": "78",
            "callerIpAddress": "104.40.82.76",
            "correlationId": "",
            "identity": {
                "claim": {
                    "http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX",
                    "http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com",
                    "appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"
                }
            },
            "properties": {
                "clientInfo": "azure-resource-manager/2.0",
                "requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01",
                "id": "https://contosokeyvault.vault.azure.net/",
                "httpStatusCode": 200
            }
        },
        {
            "time": "2016-01-05T01:33:56.5264523Z",
            "resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT",
            "operationName": "VaultGet",
            "operationVersion": "2015-06-01",
            "category": "AuditEvent",
            "resultType": "Success",
            "resultSignature": "OK",
            "resultDescription": "",
            "durationMs": "83",
            "callerIpAddress": "104.40.82.76",
            "correlationId": "",
            "identity": {
                "claim": {
                    "http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX",
                    "http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com",
                    "appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"
                }
            },
            "properties": {
                "clientInfo": "azure-resource-manager/2.0",
                "requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01",
                "id": "https://contosokeyvault.vault.azure.net/",
                "httpStatusCode": 200
            }
        }
    ]
}

新しい形式では JSON 行が使用されます。各イベントは行で、改行文字は新しいイベントを示します。変更後の PT1H.json ファイルの上記のサンプルは次のようになります。

{"time": "2016-01-05T01:32:01.2691226Z","resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT","operationName": "VaultGet","operationVersion": "2015-06-01","category": "AuditEvent","resultType": "Success","resultSignature": "OK","resultDescription": "","durationMs": "78","callerIpAddress": "104.40.82.76","correlationId": "","identity": {"claim": {"http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX","http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com","appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"}},"properties": {"clientInfo": "azure-resource-manager/2.0","requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01","id": "https://contosokeyvault.vault.azure.net/","httpStatusCode": 200}}
{"time": "2016-01-05T01:33:56.5264523Z","resourceId": "/SUBSCRIPTIONS/361DA5D4-A47A-4C79-AFDD-XXXXXXXXXXXX/RESOURCEGROUPS/CONTOSOGROUP/PROVIDERS/MICROSOFT.KEYVAULT/VAULTS/CONTOSOKEYVAULT","operationName": "VaultGet","operationVersion": "2015-06-01","category": "AuditEvent","resultType": "Success","resultSignature": "OK","resultDescription": "","durationMs": "83","callerIpAddress": "104.40.82.76","correlationId": "","identity": {"claim": {"http://schemas.microsoft.com/identity/claims/objectidentifier": "d9da5048-2737-4770-bd64-XXXXXXXXXXXX","http://schemas.xmlsoap.org/ws/2005/05/identity/claims/upn": "live.com#username@outlook.com","appid": "1950a258-227b-4e31-a9cf-XXXXXXXXXXXX"}},"properties": {"clientInfo": "azure-resource-manager/2.0","requestUri": "https://control-prod-wus.vaultcore.azure.net/subscriptions/361da5d4-a47a-4c79-afdd-XXXXXXXXXXXX/resourcegroups/contosoresourcegroup/providers/Microsoft.KeyVault/vaults/contosokeyvault?api-version=2015-06-01","id": "https://contosokeyvault.vault.azure.net/","httpStatusCode": 200}}

この新しい形式により、Azure Monitor では追加 BLOB を使用してログファイルをプッシュできます。これにより、新しいイベントデータを継続的に追加する方が効率的です。

更新方法

更新が必要なのは、追加処理のためにこれらのログファイルを取り込むカスタムツールがある場合のみです。外部のログ分析または SIEM ツールを使用している場合は、代わりにイベントハブを使用してこのデータを取り込することをお勧めします。イベントハブの統合は、多くのサービスからのログを処理し、特定のログ内の場所をブックマークするという点で簡単です。

カスタムツールは、上で説明した現在の形式と JSON Lines 形式の両方を処理するように更新する必要があります。これにより、データが新しい形式で表示され始めると、ツールが壊れなくなります。

次のステップ

リソースリソースログをストレージアカウントにアーカイブする方法について説明します
アクティビティログデータをストレージアカウントにアーカイブする方法について説明します