本文概述了无服务器环境版本 2 的系统环境信息。 为了确保应用程序的兼容性,无服务器工作负荷使用版本控制 API(称为环境版本),该 API 与较新的服务器版本保持兼容。
可以使用无服务器笔记本中的 环境 侧面板选择环境版本。 请参阅 “选择环境版本”。
新功能和改进
无服务器环境 2 中提供了以下新功能和改进。
仪表板、警报和查询都得到工作区文件的支持
2025 年 5 月 20 日
仪表板、警报和查询现在作为工作区文件受支持,这意味着你可以从工作区文件系统可用的任意位置以编程方式与这些 Databricks 对象进行交互。 请参阅 什么是工作区文件? 和 编程方式与工作区文件交互。
在无服务器计算上启用的 Web 终端
2025 年 4 月 3 日
Web 终端现已在无服务器环境版本 2 上启用。 有关如何使用 Web 终端的详细信息,请参阅 Azure Databricks Web 终端中的 Run shell 命令。
VARIANT
数据类型不能再用于需要比较的操作
2025 年 2 月 5 日
不能在包含 VARIANT
数据类型的查询中使用以下子句或运算符:
DISTINCT
INTERSECT
EXCEPT
UNION
DISTRIBUTE BY
此外,不能使用这些 DataFrame 函数:
df.dropDuplicates()
df.repartition()
这些操作用于执行比较,而使用 VARIANT
数据类型的比较会生成未定义的结果,并且在 Databricks 中不受支持。 如果在 Azure Databricks 工作负荷或表中使用 VARIANT
类型,Databricks 建议进行以下更改:
- 更新查询或表达式,以将
VARIANT
值显式转换为非VARIANT
数据类型。 - 如果字段必须与上述任何操作一起使用,请从
VARIANT
数据类型中提取这些字段,并使用非VARIANT
数据类型存储这些字段。
请参阅查询变体数据。
笔记本支持作为工作区文件使用
2025 年 1 月 23 日
无服务器环境 2 中支持笔记本作为工作区文件。 可以像编写、读取和删除任何其他文件一样以编程方式写入、读取和删除笔记本。 这允许从工作区文件系统的任何位置与笔记本进行编程交互。 有关详细信息,请参阅 以编程方式创建、更新和删除文件和目录。
在无服务器计算中添加任务进度栏
2024 年 12 月 16 日
新的任务进度栏已添加到在无服务器计算环境版本 2 上运行的笔记本单元。 此进度栏指示单元格的 Spark 代码的执行进度。
系统环境
- 操作系统:Ubuntu 22.04.4 LTS
- Python:3.11.10
- Databricks Connect:15.4.5
已安装的 Python 库
图书馆 | 版本 | 图书馆 | 版本 | 图书馆 | 版本 |
---|---|---|---|---|---|
asttokens | 2.0.5 | astunparse | 1.6.3 | autocommand | 2.2.2 |
azure-core | 1.31.0 | azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12.14.0 |
backports.tarfile | 1.2.0 | 黑色 | 23.3.0 | 闪烁器 | 1.4 |
boto3 | 1.34.39 | botocore | 1.34.39 | cachetools (缓存工具) | 5.5.0 |
certifi | 2023.7.22 | cffi | 1.15.1 | chardet | 4.0.0 |
charset-normalizer (字符集正常化工具) | 2.0.4 | click | 8.0.4 | cloudpickle | 3.0.0 |
comm | 0.1.2 | contourpy | 1.0.5 | 密码学 | 41.0.3 |
骑行者 | 0.11.0 | Cython | 0.29.32 | databricks-connect 连接工具 | 15.4.5 |
Databricks软件开发工具包 (databricks-sdk) | 0.36.0 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
装饰师 | 5.1.1 | 莳萝 | 0.3.6 | distlib | 0.3.9 |
入口点 | 0.4 | 正在执行 | 0.8.3 | 各个方面概述 | 1.1.1 |
文件锁 (filelock) | 3.13.4 | fonttools(字体工具) | 4.25.0 | gitdb (Git数据库) | 4.0.11 |
GitPython | 3.1.43 | google-api-core | 2.18.0 | google-auth (谷歌身份验证) | 2.35.0 |
google-cloud-core (Google云核心) | 2.4.1 | 谷歌云存储 (Google Cloud Storage) | 2.18.2 | google-crc32c | 1.6.0 |
google-resumable-media (谷歌可恢复媒体) | 2.7.2 | googleapis-common-protos | 1.65.0 | grpcio | 1.67.0 |
grpcio-status | 1.67.0 | httplib2 | 0.20.2 | idna | 3.4 |
importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 | inflect | 7.3.1 |
ipyflow-core | 0.0.201 | ipykernel | 6.28.0 | ipython | 8.25.0 |
ipython-genutils(IPython通用工具) | 0.2.0 | ipywidgets | 7.7.2 | isodate | 0.7.2 |
jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
jaraco.text | 3.12.1 | jedi | 0.18.1 | 吉普尼 | 0.7.1 |
jmespath | 0.10.0 | joblib | 1.2.0 | jupyter_client(Jupyter 客户端) | 7.4.9 |
jupyter_core(Jupyter核心) | 5.3.0 | keyring | 23.5.0 | kiwisolver | 1.4.4 |
launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.11.4 |
more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nest-asyncio | 1.5.6 |
numpy | 1.23.5 | oauthlib | 3.2.0 | 包装 | 23.2 |
熊猫 | 1.5.3 | 帕尔索 | 0.8.3 | pathspec | 0.10.3 |
patsy | 0.5.3 | pexpect | 4.8.0 | 枕头 | 10.3.0 |
pip | 24.2 | platformdirs | 3.10.0 | plotly | 5.9.0 |
提示工具包 (prompt_toolkit) | 3.0.48 | proto-plus | 1.25.0 | protobuf | 5.28.3 |
psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
pure-eval | 0.2.2 | py4j | 0.10.9.7 | pyarrow | 14.0.1 |
pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.65 |
Python代码解析器 | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.39 |
pyparsing | 3.0.9 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.2 |
pytz | 2022年7月 | PyYAML | 6.0 | pyzmq | 25.1.2 |
requests | 2.31.0 | rsa | 4.9 | s3transfer | 0.10.3 |
scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
SecretStorage | 3.3.1 | setuptools | 75.1.0 | 6 | 1.16.0 |
smmap | 5.0.1 | sqlparse | 0.5.1 | ssh-import-id | 5.11 |
堆栈数据 | 0.2.0 | statsmodels | 0.14.0 | 毅力 | 8.2.2 |
threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
龙卷风 | 6.3.2 | traitlets | 5.13.0 | typeguard | 4.3.0 |
输入扩展 (typing_extensions) | 4.10.0 | tzdata | 2022年1月 | ujson | 5.4.0 |
unattended-upgrades | 0.1 | urllib3 | 1.26.16 | virtualenv | 20.26.6 |
wadllib | 1.3.6 | wcwidth | 0.2.5 | 轮子 | 0.38.4 |
齐普 | 3.11.0 | zstandard | 0.23.0 |