중요하다
AKS의 Azure HDInsight는 2025년 1월 31일에 사용 중지되었습니다. 이 공지 사항을 통해 자세히 알아보세요.
워크로드가 갑자기 종료되는 것을 방지하려면 워크로드를 Microsoft Fabric 또는 해당 Azure 제품으로 마이그레이션해야 합니다.
중요하다
이 기능은 현재 미리 보기로 제공됩니다. Microsoft Azure Preview에 대한 추가 사용 약관에는 베타, 미리 보기 또는 아직 일반 공급으로 릴리스되지 않은 Azure 기능에 적용되는 더 많은 법적 용어가 포함되어 있습니다. 이 특정 미리 보기에 대한 자세한 내용은 AKS 미리 보기 정보의 Azure HDInsight를 참조하세요. 질문 또는 기능 제안을 보려면 AskHDInsight 에 대한 세부 정보 요청을 제출하고 Azure HDInsight 커뮤니티에 대한 추가 업데이트를 받으세요.
구독 필수 구성 요소 및 리소스 필수 구성 요소 단계가 완료되고 클러스터 풀이 배포되면 계속해서 Azure Portal을 사용하여 Spark 클러스터를 만듭니다. Azure Portal을 사용하여 클러스터 풀에서 Apache Spark 클러스터를 만들 수 있습니다. 그런 다음 Jupyter Notebook을 만들고 이를 사용하여 Apache Hive 테이블에 대해 Spark SQL 쿼리를 실행할 수 있습니다.
Azure Portal에서 클러스터 풀을 입력하고 클러스터 풀을 선택하여 클러스터 풀 페이지로 이동합니다. 클러스터 풀 페이지에서 새 Spark 클러스터를 추가할 수 있는 클러스터 풀을 선택합니다.
특정 클러스터 풀 페이지에서 + 새 클러스터를 클릭합니다.
이 단계에서는 클러스터 만들기 페이지를 엽니다.
재산 묘사 구독 사전 준비 사항 섹션에서 AKS의 HDInsight에 사용하기 위해 등록된 Azure 구독이 자동으로 채워집니다. 리소스 그룹 클러스터 풀과 동일한 리소스 그룹이 미리 채워집니다. 지역 클러스터 풀 및 가상 환경과 동일한 지역이 미리 설정됩니다. 클러스터 풀 클러스터 풀의 이름이 미리 채워집니다. HDInsight 풀 버전 클러스터 풀 버전은 풀 만들기 선택에서 미리 채워집니다. AKS 버전의 HDInsight AKS 버전에서 HDI 지정 클러스터 유형 드롭다운 목록에서 Spark를 선택합니다. 클러스터 버전 사용할 이미지 버전의 버전을 선택합니다. 클러스터 이름 새 클러스터의 이름을 입력합니다. 사용자 할당 관리 ID 스토리지와 연결 문자열로 작동할 사용자 할당 관리 ID를 선택합니다. 스토리지 계정 클러스터의 기본 스토리지로 사용할 미리 만든 스토리지 계정을 선택합니다. 컨테이너 이름 미리 만든 경우 컨테이너 이름(고유)을 선택하거나 새 컨테이너를 만듭니다. Hive 카탈로그(선택 사항) 미리 만든 Hive 메타스토어 선택(Azure SQL DB) Hive용 SQL 데이터베이스 드롭다운 목록에서 hive-metastore 테이블을 추가할 SQL Database를 선택합니다. SQL 관리자 사용자 이름 SQL 관리자 사용자 이름 입력 키 볼트 드롭다운 목록에서 SQL 관리자 사용자 이름에 대한 암호가 있는 비밀이 포함된 Key Vault를 선택합니다. SQL 암호 비밀 이름 SQL DB 암호가 저장된 Key Vault의 비밀 이름을 입력합니다. 메모
- 현재 HDInsight는 MS SQL Server 데이터베이스만 지원합니다.
- Hive 제한으로 인해 메타스토어 데이터베이스 이름의 "-"(하이픈) 문자는 지원되지 않습니다.
다음을 선택합니다. 계속하려면 구성 + 가격 책정을 선택합니다.
재산 묘사 노드 크기 Spark 노드에 사용할 노드 크기 선택 작업자 노드 수 Spark 클러스터의 노드 수를 선택합니다. 이 중 3개의 노드는 코디네이터 및 시스템 서비스를 위해 예약되고, 나머지 노드는 Spark 작업자 전용이며 노드당 하나의 작업자입니다. 예를 들어 5노드 클러스터에는 두 명의 작업자가 있습니다. 오토스케일 자동 크기 조정을 사용하도록 설정하려면 토글 단추를 클릭합니다. 자동 크기 조정 유형 부하 기반 또는 일정 기반 자동 크기 조정 중에서 선택 원활한 서비스 종료 시간 제한 원활한 폐기 시간 제한 지정 기본 작업자 노드 없음 자동 크기 조정에 대한 노드 수 선택 시간대 표준 시간대 선택 자동 크기 조정 규칙 날짜, 시작 시간, 종료 시간, 작업자 노드 수를 선택합니다. SSH 사용 사용하도록 설정하면 접두사 및 SSH 노드 수를 정의할 수 있습니다. 다음: 통합을 클릭하여 Log Analytics를 사용하도록 설정하고 로깅을 선택합니다.
모니터링 및 메트릭에 대한 Azure Prometheus는 클러스터 생성 후 사용하도록 설정할 수 있습니다.
다음: 태그를 클릭하여 다음 페이지로 계속 진행합니다.
태그 페이지에서 리소스에 추가하려는 태그를 입력합니다.
재산 묘사 이름 선택적. AKS 프라이빗 미리 보기의 HDInsight와 같은 이름을 입력하여 리소스와 연결된 모든 리소스를 쉽게 식별합니다. 값 비워 둡니다. 자원 선택한 모든 리소스 선택 다음: 검토 + 만들기를 클릭합니다.
검토 + 만들기 페이지에서 페이지 맨 위에 있는 유효성 검사 성공 메시지를 찾은 다음 만들기를 클릭합니다.
배포가 프로세스 중이며 클러스터가 만들어지는 페이지가 표시됩니다. 클러스터를 만드는 데 5~10분이 걸립니다. 클러스터가 만들어지면 배포가 완료 된 메시지가 표시됩니다. 페이지에서 벗어나면 알림에서 상태를 확인할 수 있습니다.
클러스터 개요 페이지로 이동하면 엔드포인트 링크가 표시됩니다.
