用于 ML 的 Databricks Runtime 10.1 (EoS)

用于机器学习的 Databricks Runtime 10.1 基于 Databricks Runtime 10.1 (EoS) 为机器学习和数据科学提供随时可用的环境。 Databricks Runtime ML 包含许多常用的机器学习库，包括 TensorFlow、PyTorch 和 XGBoost。 它还支持使用 Horovod 进行分布式深度学习训练。

有关详细信息，包括有关如何创建 Databricks Runtime ML 群集的说明，请参阅 Databricks 上的 AI 和机器学习。

新增功能和改进

Databricks Runtime 10.1 ML 基于 Databricks Runtime 10.1 构建。 若要了解 Databricks Runtime 10.1 中的新增功能，包括 Apache Spark MLlib 和 SparkR，请参阅 Databricks Runtime 10.1 (EoS) 发行说明。

AutoML 的增强功能

在 Databricks Runtime 10.1 中，AutoML 包括改进的语义类型检测、训练期间潜在数据问题的新警报、防止过度拟合模型的新功能，以及按时间顺序将输入数据集拆分为训练、验证和测试集的功能。

其他语义类型检测

AutoML 现在支持其他语义类型检测：

• 包含分类标签的数字列被视为分类类型。
• 包含英语文本的字符串列被视为文本特征。

现在还可以添加注释以指定列数据类型。 有关详细信息，请参阅语义类型检测。

训练期间针对潜在数据问题的警报

AutoML 现在会检测并生成数据集潜在问题的警报。 示例警报包括不支持的列类型和高基数列。 这些警报显示在试验页上的新“警报”选项卡下。有关警报的其他信息包含在数据浏览笔记本中。 有关详细信息，请参阅运行试验并监视结果。

降低了模型过度拟合的可能性

使用 AutoML 时，可以通过两项新功能降低过度拟合模型的可能性：

• AutoML 现在除了报告验证和训练指标外，还报告测试指标。
• AutoML 现在使用提前停止。 如果验证指标不再改进，它会停止训练和优化模型。

按时间顺序将数据集拆分为训练/验证/测试集

对于分类和回归问题，可以按时间顺序将数据集拆分为训练集、验证集和测试集。 有关详细信息，请参阅将数据拆分为训练集、验证集和测试集。

Databricks 特征存储增强功能

Databricks 特征存储现在支持特征表的其他数据类型：BinaryType、DecimalType 和 MapType。

MLFLOW

从 Mlflow 版本 1.21.0 开始进行了以下改进，该版本包含在 Databricks Runtime 10.1 ML 中。

• [模型] 升级 fastai 模型风格以支持 fastai v2（2.4.1 及更高版本）。
• [模型] 引入适用于 Prophet 时序模型的 mlflow.prophet 模型风格。
• [评分] 修复了一个架构执行错误，该错误将类似日期的字符串错误地转换为日期时间对象。

Hyperopt

SparkTrials 现在支持 early_stopping_fn 的 fmin 参数。 可以使用提前停止功能来指定在达到最大计算次数之前 Hyperopt 应停止超参数优化的条件。 例如，如果目标函数不再减少，可以使用此参数结束优化。 有关详细信息，请参阅 fmin()。

Databricks Runtime ML Python 环境的主要更改

升级的 Python 包

• automl 1.3.1 => 1.4.1
• feature_store 0.3.4 => 0.3.5
• holidays 0.11.2 => 0.11.3.1
• horovod 0.22.1 => 0.23.0
• hyperopt 0.2.5.db2 => 0.2.5.db4
• imbalanced-learn 0.8.0 => 0.8.1
• lightgbm 3.1.1 => 3.3.0
• mlflow 1.20.2 => 1.21.0
• petastorm 0.11.2 => 0.11.3
• plotly 5.1.0 => 5.3.0
• pytorch 1.9.0 => 1.9.1
• spacy 3.1.2 => 3.1.3
• sparkdl 2.2.0_db3 => 2.2.0_db4
• torchvision 0.10.0 => 0.10.1
• transformers 4.9.2 => 4.11.3

添加的 Python 包

• fasttext => 0.9.2
• tensorboard-plugin-profile => 2.5.0

弃用项

MLlib 自动化 MLflow 跟踪在运行 Databricks Runtime 10.1 ML 及更高版本的群集上已弃用。 相反，通过调用 来使用 MLflow PySpark ML 自动日志记录。 默认情况下，通过 Databricks 自动记录启用自动记录。

系统环境

Databricks Runtime 10.1 ML 中的系统环境在以下方面不同于 Databricks Runtime 10.1：

• DBUtils：Databricks Runtime ML 不包含库实用工具 (dbutils.library)（旧版）。 请改用 %pip 命令。 请参阅作用域为笔记本的 Python 库。
• 对于 GPU 群集，Databricks Runtime ML 包含以下 NVIDIA GPU 库：
  • CUDA 11.0
  • cuDNN 8.0.5.39
  • NCCL 2.10.3
  • TensorRT 7.2.2

图书馆

以下部分列出了 Databricks Runtime 10.1 ML 中包含的库，这些库不同于 Databricks Runtime 10.1 中包含的库。

本节内容：

• 顶层库
• Python 库
• R 库
• Java 库和 Scala 库（Scala 2.12 群集）

顶级图书馆

Databricks Runtime 10.1 ML 包含以下顶层库：

• GraphFrames
• Horovod 和 HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Python 库

Databricks Runtime 10.1 ML 使用 Virtualenv 进行 Python 包管理，包含许多常用的 ML 包。

除了在以下部分指定的包，Databricks Runtime 10.1 ML 还包含以下包：

• hyperopt 0.2.5.db4
• sparkdl 2.2.0-db4
• feature_store 0.3.5
• automl 1.4.0

#!/bin/bash

set -e

pip install --upgrade "scikit-learn>=1.0,<1.1"

CPU 群集上的 Python 库

GPU 群集上的 Python 库

包含 Python 模块的 Spark 包

R 库

R 库与 Databricks Runtime 10.1 中的 R 库完全相同。

Java 库和 Scala 库（Scala 2.12 群集）

除了 Databricks Runtime 10.1 中的 Java 库和 Scala 库，Databricks Runtime 10.1 ML 还包含以下 JAR：

CPU 群集

GPU 群集