벤치마킹 프레임워크를 사용하여 NoSQL 성능에 대한 Azure Cosmos DB 측정

Azure Portal에서 기존 NoSQL 계정의 API로 이동합니다.

리소스 메뉴에서 데이터 탐색기를 선택합니다.

Data Explorer 페이지의 명령 모음에서 새 컨테이너 옵션을 선택합니다.

새 컨테이너 대화 상자에서 다음 설정을 사용하여 새 컨테이너를 만듭니다.

아직 로그인하지 않은 경우 az login 명령을 사용하여 Azure CLI에 로그인합니다.

다음 값에 대한 셸 변수를 만듭니다.

• 이름이 cosmosAccountName인 기존 Azure Cosmos DB for NoSQL 계정의 이름입니다.
• 이름이 sourceResourceGroupName인 리소스가 있는 첫 번째 리소스 그룹의 이름입니다.
• 이름이 targetResourceGroupName인 두 번째 빈 리소스 그룹의 이름입니다.
• 이름이 cosmosEndpoint인 NoSQL 계정 엔드포인트 URI에 대한 기존 Azure Cosmos DB
• 이름이 cosmosPrimaryKey인 NoSQL 계정 기본 키에 대한 기존 Azure Cosmos DB

# Variable for Azure Cosmos DB for NoSQL account name
cosmosAccountName="<cosmos-db-nosql-account-name>"

# Variable for resource group with Azure Cosmos DB and Azure Storage accounts
sourceResourceGroupName="<first-resource-group-name>"

# Variable for empty resource group
targetResourceGroupName="<second-resource-group-name>"

# Variable for API for NoSQL endpoint URI
cosmosEndpoint="<cosmos-db-nosql-endpoint-uri>"

# Variable for API for NoSQL primary key
cosmosPrimaryKey="<cosmos-db-nosql-primary-key>"

# Variable for Azure Storage account name
storageAccountName="<storage-account-name>"

# Variable for storage account connection string
storageConnectionString="<storage-connection-string>"

az cosmosdb sql database create 명령으로 다음 설정을 사용하여 새 데이터베이스를 만듭니다.

az cosmosdb sql database create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --name "ycsb" \
    --throughput 400

az cosmosdb sql container create 명령으로 다음 설정을 사용하여 새 컨테이너를 만듭니다.

az cosmosdb sql container create \
    --resource-group $sourceResourceGroupName \
    --account-name $cosmosAccountName \
    --database-name "ycsb" \
    --name "usertable" \
    --partition-key-path "/id"

이 링크에서 사용할 수 있는 Azure Resource Manager 템플릿을 사용하여 벤치마킹 프레임워크를 배포합니다.

사용자 지정 배포 페이지에서 다음 매개 변수를 따릅니다

검토 + 만들기를 선택한 다음, 만들기를 선택하여 템플릿을 배포합니다.

배포가 완료될 때가지 기다립니다.

az deployment group create를 사용하여 Azure Resource Manager 템플릿으로 벤치마킹 프레임워크를 배포합니다.

# Variable for raw template JSON on GitHub
templateUri="https://raw.githubusercontent.com/Azure/azure-db-benchmarking/main/cosmos/sql/tools/java/ycsb/recipes/read/try-it-read/azuredeploy.json"

az deployment group create \
    --resource-group $targetResourceGroupName \
    --name "benchmarking-framework" \
    --template-uri $templateUri \
    --parameters \
        adminPassword='P@ssw.rd' \
        resultsStorageConnectionString=$storageConnectionString \
        cosmosURI=$cosmosEndpoint \
        cosmosKey=$cosmosPrimaryKey

배포가 완료될 때가지 기다립니다.

Azure Portal에서 기존 Azure Storage 계정으로 이동합니다.

ycsbbenchmarkingmetadata라는 스토리지 테이블로 이동하고 파티션 키가 ycsb_sql인 엔터티를 찾습니다.

테이블 엔터티의 JobStatus 필드를 관찰합니다. 처음에는 작업의 상태 속성이 Started이며 JobStartTime 속성에 타임스탬프가 포함되지만 JobFinishTime 속성에는 포함되지 않습니다.

작업이 Finished 상태가 되고 JobFinishTime 속성에 타임스탬프가 포함될 때까지 기다립니다.

ycsbbenchmarking-* 접두사를 사용하여 동일한 계정의 스토리지 컨테이너로 이동합니다. 도구의 출력 및 진단 Blob을 관찰합니다.

aggregation.csv Blob을 열고 콘텐츠를 확인합니다. 이제 모든 벤치마크 클라이언트에서 집계된 결과가 포함된 CSV 데이터 세트가 있어야 합니다.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867

ycsbbenchmarkingmetadata를 사용하여 이름이 az storage entity query인 스토리지 테이블의 작업 레코드를 쿼리합니다.

az storage entity query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --table-name ycsbbenchmarkingmetadata

이 쿼리 결과를 관찰합니다. 결과는 JobStartTime, JobStatus, JobFinishTime 속성이 있는 단일 작업을 반환해야 합니다. 처음에는 작업의 상태 속성이 Started이며 JobStartTime 속성에 타임스탬프가 포함되지만 JobFinishTime 속성에는 포함되지 않습니다.

{
  "items": [
    {
      "JobFinishTime": "",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Started",
      "NoOfClientsCompleted": "0",
      "NoOfClientsStarted": {
        "edm_type": "Edm.Int64",
        "value": 1
      },
      "PartitionKey": "ycsb_sql",
      ...
    }
  ],
  ...
}

필요한 경우 작업의 상태가 az storage entity query이고 Finished 속성에 타임스탬프를 포함할 때까지 JobFinishTime을 여러 번 실행합니다.

{
  "items": [
    {
      "JobFinishTime": "2023-02-02T14:21:12Z",
      "JobStartTime": "2023-02-02T13:59:42Z",
      "JobStatus": "Finished",
      ...
    }
  ],
  ...
}

ycsbbenchmarking-*를 사용하는 az storage container list 접두사 및 JMESPath 쿼리를 사용하여 가장 최근에 수정된 스토리지 컨테이너의 이름을 찾습니다.

az storage container list \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
    --output tsv

storageConnectionString 변수에 컨테이너 문자열을 저장합니다.

storageContainerName=$( \
    az storage container list \
        --account-name $storageAccountName \
        --connection-string $storageConnectionString \
        --query "sort_by([?starts_with(name, 'ycsbbenchmarking-')], &properties.lastModified)[-1].name" \
        --output tsv \
)

[az storage blob query]/cli/azure/storage/blob#az-storage-blob-query)를 사용하여 이전에 위치한 컨테이너에 저장된 스토리지 Blob에서 작업 결과를 쿼리합니다.

az storage blob query \
    --account-name $storageAccountName \
    --connection-string $storageConnectionString \
    --container-name $storageContainerName \
    --name aggregation.csv \
    --query-expression "SELECT * FROM BlobStorage"

이 쿼리 결과를 관찰합니다. 이제 모든 벤치마크 클라이언트에서 집계된 결과가 포함된 CSV 데이터 세트가 있어야 합니다.

Operation,Count,Throughput,Min(microsecond),Max(microsecond),Avg(microsecond),P9S(microsecond),P99(microsecond)
READ,180000,299,706,448255,1079,1159,2867