Azure Machine Learning 스튜디오를 사용하여 데이터에 연결

이 문서에서는 Azure Machine Learning 스튜디오를 사용하여 데이터에 액세스하는 방법을 보여줍니다. Azure Machine Learning 데이터 저장소를 사용하여 Azure 스토리지 서비스의 데이터에 연결합니다. 그런 다음 Azure Machine Learning 데이터 세트를 사용하여 ML 워크플로 작업에 대한 데이터를 패키지합니다.

이 표에서는 데이터 저장소 및 데이터 세트의 이점을 정의하고 요약합니다.

데이터 저장소 및 데이터 세트가 전체 Azure Machine Learning 데이터 액세스 워크플로에 적합한 위치에 대한 자세한 내용은 안전하게 데이터에 액세스하세요.

Azure Machine Learning Python SDK 및 코드 우선 환경에 대한 자세한 내용은 다음을 참조하세요.

• 데이터 저장소를 사용하여 Azure Storage 서비스에 연결
• Azure Machine Learning 데이터 세트 만들기

필수 구성 요소

• Azure 구독 Azure 구독이 아직 없는 경우 시작하기 전에 체험 계정을 만듭니다. Azure Machine Learning 평가판 또는 유료 버전 사용해 보기

• Azure Machine Learning 스튜디오에 액세스

• Azure Machine Learning 작업 영역 작업 영역 리소스 만들기

  • 작업 영역을 만들면 Azure Blob 컨테이너와 Azure 파일 공유가 자동으로 작업 영역에 데이터 저장소로 등록됩니다. 각각 이름이 workspaceblobstore 및 workspacefilestore로 지정됩니다. 충분한 Blob Storage 리소스의 경우 workspaceblobstore이(가) 이미 사용하도록 구성된 기본 데이터 저장소로 설정됩니다. 더 많은 Blob Storage 리소스의 경우 지원되는 스토리지 유형을 사용하는 Azure Storage 계정이 필요합니다.

데이터 저장소 만들기

이 Azure 스토리지 솔루션에서 데이터 저장소를 만들 수 있습니다. 지원되지 않는 스토리지 솔루션의 경우 ML 실험 중에 데이터 송신 비용을 절약하려면 지원되는 Azure Storage 솔루션으로 데이터를 이동해야 합니다. 데이터 저장소에 대한 자세한 내용은 이 리소스를 방문하세요.

자격 증명 기반 액세스 또는 ID 기반 액세스를 사용하여 데이터 저장소를 만들 수 있습니다.

데이터 자산 만들기

데이터 저장소를 만든 후 데이터 세트를 만들어 데이터와 상호 작용합니다. 데이터 세트는 학습과 같은 기계 학습 작업을 위해 천천히 평가되는 사용 가능한 개체로 데이터를 패키징합니다. 데이터 세트에 관한 자세한 내용은 Azure Machine Learning 데이터 세트 만들기에 방문하세요.

두 가지 형식의 데이터 세트인 FileDataset 및 TabularDataset가 있습니다. FileDataset는 단일 또는 여러 파일이나 퍼블릭 URL에 대한 참조를 만듭니다. TabularDataset는 데이터를 테이블 형식으로 표시합니다. 다음에서 TabularDatasets를 만들 수 없습니다.

• .csv
• .tsv
• .parquet
• .json 파일 및 SQL 쿼리 결과.

다음 단계는 Azure Machine Learning 스튜디오에서 데이터 세트를 만드는 방법을 설명합니다.

1. Azure Machine Learning 스튜디오로 이동합니다.

2. 왼쪽 탐색의 자산 아래에서 데이터를 선택합니다. 다음 스크린샷과 같이 데이터 자산 탭에서 만들기를 선택합니다.

1. 데이터 자산에 이름과 설명(선택 사항)을 지정합니다. 그런 다음 다음 스크린샷과 같이 형식 아래에서 파일 또는 테이블 형식의 데이터 세트 형식을 선택합니다.

1. 다음 스크린샷과 같이 데이터 원본 창이 다음에 열립니다.

데이터 원본에 대한 다양한 옵션이 있습니다. Azure에 이미 저장된 데이터의 경우 “Azure Storage에서”를 선택합니다. 로컬 드라이브에서 데이터를 업로드하려면 “로컬 파일에서”를 선택합니다. 데이터가 공용 웹 위치에 저장된 경우 "웹 파일에서"를 선택합니다. SQL 데이터베이스 또는 Azure Open Datasets에서 데이터 자산을 만들 수도 있습니다.

1. 파일 선택 단계에서 Azure가 데이터를 저장할 위치와 사용하려는 데이터 파일을 선택합니다.

   1. 데이터가 가상 네트워크에 있는 경우 유효성 검사 건너뛰기를 사용합니다. 가상 네트워크 격리 및 개인 정보에 대한 자세한 내용은 이 리소스를 참조하세요.

2. 단계에 따라 데이터 자산에 대한 데이터 구문 분석 설정 및 스키마를 설정합니다. 설정은 파일 형식에 따라 미리 채워지고 데이터 자산을 만들기 전에 설정을 추가로 구성할 수 있습니다.

3. 검토 단계에 도달하면 마지막 페이지에서 만들기 선택

데이터 미리 보기 및 프로필

데이터 세트를 만든 후 스튜디오에서 미리 보기 및 프로필을 볼 수 있는지 확인합니다.

1. Azure Machine Learning 스튜디오에 로그인합니다.
2. 왼쪽 탐색의 자산 아래에서 다음 스크린샷과 같이 데이터를 선택합니다.

1. 보려는 데이터 세트 이름을 선택합니다.
2. 탐색 탭을 선택합니다.
3. 다음 스크린샷과 같이 미리 보기 탭을 선택합니다.

1. 다음 스크린샷과 같이 프로필 탭을 선택합니다.

데이터 집합이 ML 준비되었는지 확인하려면 데이터 집합 전체에서 요약 통계를 사용할 수 있습니다. 숫자가 아닌 열의 경우 이러한 통계에는 기본 통계 측정값(예: min, max 및 error count)만 포함됩니다. 숫자 열은 통계적 모멘트와 예상 분위수를 제공합니다.

Azure Machine Learning 데이터 세트 데이터 프로필에는 다음이 포함됩니다.

스토리지 액세스 및 권한

Azure Storage 서비스에 안전하게 연결하려면 Azure Machine Learning에서 해당하는 데이터 스토리지에 액세스할 권한이 있어야 합니다. 이 액세스 권한은 데이터 저장소를 등록하는 데 사용되는 인증 자격 증명에 따라 다릅니다.

가상 네트워크

데이터 스토리지 계정이 가상 네트워크에 있는 경우 Azure Machine Learning이 데이터에 액세스할 수 있도록 하려면 추가 구성 단계가 필요합니다. 가상 네트워크에서 Azure Machine Learning Studio를 사용하여 데이터 저장소를 만들고 등록할 때 적절한 구성 단계가 적용되는지 확인합니다.

액세스 유효성 검사

초기 데이터 저장소 생성 및 등록 프로세스에서 Azure Machine Learning은 기본 스토리지 서비스가 있고 사용자가 제공한 보안 주체(사용자 이름, 서비스 주체 또는 SAS 토큰)가 지정된 스토리지에 대한 액세스 권한이 있는지 자동으로 유효성을 검사합니다.

데이터 저장소가 생성된 후 이 유효성 검사는 기본 스토리지 컨테이너에 액세스해야 하는 메서드에 대해서만 수행됩니다. 데이터 저장소 개체를 검색할 때마다 유효성 검사가 수행되지 않습니다. 예를 들어 데이터 저장소에서 파일을 다운로드할 때 유효성 검사가 수행됩니다. 그러나 기본 데이터 저장소를 변경하려는 경우에는 유효성 검사가 수행되지 않습니다.

기본 스토리지 서비스에 대한 액세스를 인증하려면 만들려는 데이터 저장소 유형에 따라 계정 키, SAS(공유 액세스 서명) 토큰 또는 서비스 주체를 제공하면 됩니다. 스토리지 유형 행렬에는 각 데이터 저장소 유형에 해당하는 지원되는 인증 유형이 나열됩니다.

Azure Portal에서 계정 키, SAS 토큰 및 서비스 주체 정보를 찾을 수 있습니다.

• 인증을 위한 계정 키를 가져오려면 왼쪽 창에서 스토리지 계정을 선택하고 등록할 스토리지 계정 선택

  • 개요 페이지에서는 계정 이름, 컨테이너 및 파일 공유 이름과 같은 정보를 제공합니다.
  • 왼쪽 탐색에서 보안 + 네트워킹 노드 확장
  • 액세스 키를 선택합니다.
  • 사용 가능한 키 값은 계정 키 값으로 사용됨

• 인증을 위해 SAS 토큰을 가져오려면 왼쪽 창에서 스토리지 계정을 선택하고 원하는 스토리지 계정 선택

  • Access 키 값을 가져오려면 왼쪽 탐색에서 보안 + 네트워킹 노드 확장
  • 공유 액세스 서명 선택
  • SAS 값을 생성하는 프로세스 완료

• 인증에 서비스 주체 를 사용하려면 앱 등록 으로 이동하여 사용하려는 앱을 선택합니다.

  • 해당 개요 페이지에는 테넌트 ID 및 클라이언트 ID와 같은 필수 정보가 포함되어 있습니다.

사용 권한

Azure Blob 컨테이너 및 Azure Data Lake Gen 2 스토리지의 경우, 인증 자격 증명에 Storage Blob 데이터 읽기 권한자 액세스 권한이 있는지 확인합니다. 스토리지 Blob 데이터 읽기 권한자에 대해 자세히 알아보세요. 기본적으로 계정 SAS 토큰에는 권한이 없습니다.

• 데이터 읽기 액세스의 경우 인증 자격 증명에는 컨테이너 및 개체에 대한 최소한의 나열 및 읽기 권한이 있어야 합니다.

• 데이터 쓰기 액세스의 경우 쓰기 및 추가 권한도 필요합니다.

데이터 세트로 학습

ML 모델 학습을 위한 기계 학습 실험에서 데이터 세트를 사용합니다. 데이터 세트를 사용하여 학습시키는 방법을 알아보세요.

다음 단계

• TabularDataset 및 자동화된 기계 학습을 사용한 학습의 단계별 예제
• 모델 학습
• 추가 데이터 세트 학습 예제는 샘플 Notebook 참조