Azure Machine Learning용 고객 관리형 키

Azure Machine Learning은 여러 Azure 서비스를 토대로 빌드되었습니다. 저장된 데이터는 Microsoft에서 제공하는 암호화 키를 통해 암호화되지만, 고유한(고객 관리형) 키도 제공하여 보안을 강화할 수 있습니다. 사용자가 제공하는 키는 Azure Key Vault에 저장됩니다. 데이터는 Azure 구독에서 사용자가 관리하는 다양한 리소스 집합이나 Microsoft가 관리하는 리소스의 서버 측에 저장할 수 있습니다.

Azure Machine Learning은 CMK(고객 관리형 키) 외에도 매우 중요한 데이터 워크로드에 대한 높은 비즈니스 영향 구성을 제공합니다. 이 구성을 사용하도록 설정하면 Microsoft가 진단을 위해 수집하는 데이터의 양이 줄어들고 Microsoft 관리 환경에서 추가 암호화가 가능합니다.

필수 구성 요소

• Azure 구독
• Azure Key Vault 인스턴스. 키 자격 증명 모음에는 서비스를 암호화하기 위한 키가 포함되어 있습니다.

키 자격 증명 모음은 일시 삭제 및 제거 보호를 사용하도록 설정해야 합니다. 고객 관리형 키를 사용하여 보호하는 서비스의 관리 ID에는 키 자격 증명 모음에 대한 다음 권한이 있어야 합니다.

• 키 래핑
• 키 래핑 해제
• 가져오기

예를 들어 Azure Cosmos DB의 관리 ID에는 키 자격 증명 모음에 대한 해당 권한이 있어야 합니다.

제한 사항

• 작업 영역을 만든 후에는 작업 영역이 종속된 리소스에 대한 고객 관리형 암호화 키를 원래 Azure Key Vault 리소스의 다른 키로만 업데이트할 수 있습니다.
• 서비스 쪽을 사용하지 않는 한 암호화된 데이터는 구독의 Microsoft 관리 리소스 그룹에 있는 리소스에 저장됩니다. 이러한 리소스를 미리 만들거나 소유권을 사용자에게 이전할 수 없습니다. 데이터 수명 주기는 Azure Machine Learning Service에서 개체를 만들 때 Azure Machine Learning API를 통해 간접적으로 관리됩니다.
• 서비스 쪽을 사용하는 경우 일시 삭제 보존 기간 동안 Azure 요금이 계속 발생합니다.
• 작업 영역도 삭제해야 고객 관리형 키에 사용하는 Microsoft의 관리되는 리소스를 삭제할 수 있습니다.
• 고객 관리형 키를 사용하여 컴퓨팅 클러스터의 OS 디스크를 암호화할 수 없습니다. Microsoft 관리형 키를 사용해야 합니다.

고객 관리형 키

고객 관리형 키를 사용하지 않는 경우 Microsoft는 Microsoft 소유 Azure 구독에서 리소스를 만들고 관리하며, Microsoft 관리형 키를 사용하여 데이터를 암호화합니다.

고객 관리형 키를 사용하는 경우 다음과 같은 두 가지 구성이 가능합니다.

• 서비스 쪽 암호화: 리소스는 Microsoft 관리 리소스에 서비스 쪽에 저장됩니다. 이 구성은 비용을 줄이고 Azure 구독에 대해 설정한 정책과 충돌할 가능성을 줄입니다.
• 구독 쪽 암호화(클래식): 리소스는 Azure 구독에서 호스트되고 키로 암호화됩니다. 이러한 리소스는 고객 구독에 있지만 Microsoft에서 관리합니다. Azure Machine Learning 작업 영역을 만들 때 이러한 리소스가 자동으로 만들어지고 구성됩니다.

메타데이터의 서비스 쪽 암호화

이 구성에서 암호화된 데이터는 구독 대신 Microsoft 관리 리소스에 서비스 쪽에 저장됩니다. 서비스 쪽 암호화를 사용하면 구독 쪽 암호화에 비해 비용이 절감되고 Azure 정책 충돌 가능성이 줄어듭니다.

데이터는 암호화 키를 사용하여 문서 수준 암호화를 사용하여 다중 테넌트 Microsoft 관리 리소스에 저장됩니다. 검색 인덱스는 작업 영역별로 전용으로 프로비전되는 Microsoft 관리형 리소스에 저장됩니다. Azure AI 검색 인스턴스의 비용은 Azure Cost Management의 Azure Machine Learning 작업 영역에서 청구됩니다.

파이프라인 메타데이터는 Azure Machine Learning 작업 영역에 연결된 구독의 스토리지 계정에 저장됩니다. 이 Azure Storage 리소스는 구독에서 별도로 관리되므로 해당 리소스에 대한 암호화 설정을 구성할 책임이 있습니다.

메타데이터의 서비스 쪽 암호화를 사용하여 작업 영역을 만드는 템플릿은 다음을 참조하세요.

• 기본 작업 영역을 만들기 위한 Bicep 템플릿입니다.
• 허브 작업 영역을 만들기 위한 Bicep 템플릿입니다.

메타데이터의 구독 쪽 암호화(클래식)

사용자 고유의 암호화 키를 가져오면 서비스 메타데이터가 Azure 구독의 전용 리소스에 저장됩니다. Microsoft는 이를 위해 구독에 별도의 리소스 그룹(azureml-rg-workspacename_GUID)을 만듭니다. Microsoft에서만 이 관리되는 리소스 그룹의 리소스를 수정할 수 있습니다.

Azure Machine Learning 작업 영역에서 프라이빗 엔드포인트를 사용하는 경우 이 리소스 그룹에는 Microsoft 관리형 Azure 가상 네트워크도 포함됩니다. 이 가상 네트워크는 관리형 서비스와 작업 영역 간 통신을 보호하는 데 도움이 됩니다. Microsoft에서 관리되는 리소스에 사용하도록 고유한 가상 네트워크를 제공할 수 없습니다. 가상 네트워크를 수정할 수도 없습니다. 예를 들어 사용하는 IP 주소 범위를 변경할 수 없습니다.

Microsoft는 작업 영역에 대한 메타데이터를 저장하기 위해 다음과 같은 리소스를 만듭니다.

데이터 수명 주기 관리의 관점에서는 Azure Machine Learning에서 해당 개체를 만들고 삭제할 때 이전 리소스의 데이터가 만들어지고 삭제됩니다.

Azure Machine Learning 작업 영역은 관리 ID를 사용하여 데이터를 읽고 씁니다. 데이터 리소스에 대한 역할 할당(Azure 역할 기반 액세스 제어)을 통해 이 ID에 리소스 액세스 권한이 부여됩니다. 제공한 암호화 키는 Microsoft에서 관리되는 리소스에 저장된 데이터를 암호화하는 데 사용됩니다. 런타임에 이 키는 Azure AI 검색에 대한 인덱스를 만드는 데도 사용됩니다.

인바운드 연결을 허용하도록 작업 영역에 프라이빗 링크 엔드포인트를 만들 때 추가 네트워킹 컨트롤이 구성됩니다. 이 구성에는 Azure Cosmos DB 인스턴스에 대한 프라이빗 링크 엔드포인트 연결 만들기가 포함됩니다. 네트워크 액세스는 신뢰할 수 있는 Microsoft 서비스로만 제한됩니다.

컴퓨팅 리소스의 데이터 암호화

Azure Machine Learning은 컴퓨팅 리소스를 사용하여 기계 학습 모델을 학습하고 배포합니다. 다음 표에서는 컴퓨팅 옵션과 각 컴퓨팅 옵션에서 데이터를 암호화하는 방법을 설명합니다.

컴퓨팅 클러스터

컴퓨팅 클러스터에는 로컬 OS 디스크 스토리지가 있으며 작업 중에 구독의 스토리지 계정에서 데이터를 탑재할 수 있습니다. 작업에서 고유한 스토리지 계정의 데이터를 탑재하는 경우 암호화를 위해 해당 스토리지 계정에서 고객 관리형 키를 사용하도록 설정할 수 있습니다.

Azure Storage에 저장된 각 컴퓨팅 노드의 OS 디스크는 항상 고객 관리형 키가 아닌 Azure Machine Learning 스토리지 계정의 Microsoft 관리형 키로 암호화됩니다. 이 컴퓨팅 대상은 임시이므로 클러스터가 스케일 다운된 후 OS 디스크에 저장된 데이터가 삭제됩니다. 일반적으로 클러스터는 큐에 대기 중인 작업이 없으며 자동 크기 조정이 설정되어 있고 최소 노드 수가 0으로 설정된 경우 스케일 다운됩니다. 기본 가상 머신의 프로비저닝이 해제되고 OS 디스크가 삭제됩니다.

OS 디스크에는 Azure Disk Encryption이 지원되지 않습니다. 각 가상 머신에는 OS 작업을 위한 로컬 임시 디스크도 있습니다. 필요하면 디스크를 사용하여 학습 데이터를 준비할 수 있습니다. hbi_workspace 매개 변수를 TRUE로 설정하여 작업 영역을 만드는 경우 임시 디스크가 암호화됩니다. 이 환경은 작업 중에만 수명이 지속되며 암호화 지원이 시스템 관리형 키로만 제한됩니다.

컴퓨팅 인스턴스

컴퓨팅 인스턴스용 OS 디스크는 Azure Machine Learning 스토리지 계정의 Microsoft 관리형 키로 암호화됩니다. hbi_workspace 매개 변수를 TRUE로 설정하여 작업 영역을 만드는 경우 컴퓨팅 인스턴스의 로컬 임시 디스크는 Microsoft 관리형 키로 암호화됩니다. OS 및 임시 디스크에는 고객 관리형 키 암호화가 지원되지 않습니다.

HBI(높은 비즈니스 영향) 구성

표준 작업 영역 구성에서 Azure Machine Learning은 성능 모니터링 및 개선뿐만 아니라 컴퓨팅 클러스터 문제 해결을 위한 진단 정보를 수집합니다. 예를 들어 동일한 Docker 이미지를 사용하여 동일한 컴퓨팅 클러스터에서 두 개의 작업을 실행하는 경우 작업 시작 시간을 두 번 다시 빌드하거나 끌어오지 않고도 동일한 이미지를 작업 간에 재사용할 수 있습니다.

매우 중요한 데이터 워크로드를 처리할 때 작업 영역에서 플래그를 설정 hbi 하여 위의 동작에서 옵트아웃할 수 있습니다. 이 플래그를 사용하면 다음과 같은 동작이 가능합니다.

• Microsoft가 컴퓨팅 클러스터에서 진단 목적으로 수집하는 데이터의 양을 줄이고 Microsoft 관리 환경에서 추가 암호화를 사용하도록 설정합니다.
• Azure Machine Learning 컴퓨팅 클러스터에서 로컬 스크래치 디스크 암호화를 시작합니다. 이 동작은 해당 구독에서 이전 클러스터를 만들지 않은 경우에만 적용됩니다. 그렇지 않으면 컴퓨팅 클러스터에 대한 스크래치 디스크의 암호화를 사용하도록 설정하기 위해 지원 티켓을 발생해야 합니다.
• 작업 사이에 로컬 스크래치 디스크를 정리합니다. 예를 들어 캐시된 Docker 이미지를 정리하고 작업 시작 속도에 영향을 줄 수 있습니다.
• Azure Key Vault를 사용하여 실행 계층에서 컴퓨팅 클러스터로 스토리지 계정, 컨테이너 레지스트리 및 SSH(Secure Shell) 계정에 대한 자격 증명을 전달합니다.

플래그는 hbi_workspace 전송 중인 암호화에 영향을 주지 않습니다. 미사용 암호화에만 영향을 줍니다.

작업 영역을 만들 때만 hbi_workspace 플래그를 설정할 수 있습니다. 기존 작업 영역의 경우 변경할 수 없습니다.

이 플래그를 TRUE로 설정하면 Microsoft로 전송되는 원격 분석 데이터가 더 적기 때문에 문제 해결이 어려워질 수 있습니다. 성공률 또는 문제 유형을 파악할 가능성이 줄어듭니다. 이 플래그가 TRUE이면 Microsoft에서 사전에 대응하지 못할 수 있습니다.

Azure Machine Learning 작업 영역을 만들 때 hbi_workspace 플래그를 사용하도록 설정하려면 다음 문서 중 하나의 단계를 수행합니다.

• Azure Portal 또는 Python SDK를 사용하여 작업 영역 만들기 및 관리
• Azure CLI를 사용하여 작업 영역 만들기 및 관리
• HashiCorp Terraform을 사용하여 작업 영역 만들기
• Azure Resource Manager 템플릿을 사용하여 작업 영역 만들기

다음 단계

• Azure Machine Learning을 사용하여 고객 관리형 키 구성