注意
对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。
以下发行说明提供了由 Apache Spark 3.1.2 提供支持的 Databricks Runtime 8.4 和 Databricks Runtime 8.4 Photon 的相关信息。 Databricks 于 2021 年 7 月发布了此版本。 Photon 处于公共预览版。
新增功能和改进
Delta Lake 新增功能和改进
- Delta 表更改数据馈送 (GA)
- 使用 Databricks Runtime 轻松加载共享 Delta 表
- 更多表格受益于动态文件修剪
- 通过自动优化目标文件大小提高性能
-
在
DeltaTable.forName中指定表的更多方法 -
使用
foreachBatch实现可靠的流式处理多表写入 - 由于调整了检查点，某些工作负载中的读取查询性能有所提升
-
创建
GroupState以测试用户定义的结构化流式处理函数
Delta 表更改数据馈送 (GA)
Delta 表更改数据馈送现已正式发布。 它表示表的不同版本之间的行级别更改。 启用后，系统会记录关于表上每个写入操作的行级更改的其他信息。 请参阅在 Azure Databricks 上使用 Delta Lake 更改数据馈送。
使用 Databricks Runtime 轻松加载共享 Delta 表
用于 Delta Sharing 0.1.0 的 Apache Spark 连接器现位于 Databricks Runtime 中。 可以直接使用 spark.read.format("deltaSharing").load(uri) 加载共享表，而无需将 Delta Sharing Spark 连接器附加到群集。
更多表受益于动态文件修剪
动态文件修剪功能已优化为在文件较少的表上触发。 请参阅动态文件修剪。
通过自动优化目标文件大小提高性能
Delta 表的目标文件大小现在会根据表大小自动优化。 之前，OPTIMIZE 和 OPTIMIZE ZORDER BY 的目标文件大小为 1GB。 借助基于表大小的自动调整，2.56TB 以内的 Delta 表将使用 256MB 作为目标大小。 大于 10TB 的表将像以前一样使用 1GB 的目标大小。 这两个大小之间的表将使用与表大小成比例增长的目标大小。
请参阅配置 Delta Lake 以控制数据文件大小。
在 DeltaTable.forName 中指定表的更多方法
DeltaTable.forName 现在支持使用 delta.`<path>` 来标识表。
使用 foreachBatch 实现可靠的流式处理多表写入
现支持 foreachBatch() 命令中的幂等 Delta 流式处理写入。 有关详细信息，请参阅幂等多表写入。
由于调整了检查点，某些工作负载中的读取查询性能得到了改善。
Delta Lake 现可调整其执行检查点增强的频率。 Delta 现根据某些事件触发器动态调整检查点频率，而不是按固定间隔设置检查点。 这提高了以前无法应用某些数据跳过优化的工作负载中的读取查询性能。 若要使用这些优化，请将写入 Delta Lake 的作业升级到 Databricks Runtime 8.4。
创建 GroupState 以测试用户定义的结构化流式处理函数
到目前为止，只有结构化流引擎才能创建 GroupState 的实例。 因此，用户定义函数的任何单元测试都需要在 Apache Spark 中运行流式处理查询。
现在，你可以使用 GroupState 创建 TestGroupState.create(…) 的实例。 这允许你在无需运行 Spark 的简单单元测试中测试用户定义的函数。 请参阅测试 mapGroupsWithState 更新函数。 具体而言，它会生成类型为 TestGroupState 的实例，该实例扩展了接口 GroupState，并提供用于在应用用户定义的函数之后检查内部状态的其他方法。
自动加载器功能和改进
配置回填以捕获丢失的文件
自动加载程序现在支持异步执行回填，以通过文件通知捕获可能遗漏的任何文件。 文件存储系统和通知系统无法保证 100% 传递所有文件事件。 因此，Databricks 建议启用定期回填，以便通过自动加载器捕获所有数据。 使用 cloudFiles.backfillInterval 选项可以计划对数据进行定期回填。 请参阅常用的自动加载程序选项。
为大型卷流绑定存储占用空间
现在可以将自动加载程序配置为过期并删除 RocksDB 中的条目，以将其存储占用空间绑定到检查点位置。 Databricks 不建议使用此选项，除非需要以每小时数百万个文件的速度引入数据。 错误地设置此选项或尝试优化它可能会导致许多数据质量问题，例如忽略未处理的文件或复制某些文件，而不是仅进行一次处理。 有关详细信息，请参阅 文件事件跟踪。
具有无路径支持的简化配置
S3 存储桶
现在，可以提供从多个路径或 S3 存储桶接收事件的 SQS 队列。
如果提供 SQS 队列 URL，则此用例不需要 path 选项。
自动加载程序使用 S3 事件中的存储桶和密钥构造 S3 路径。 如果要通过 DBFS 装入点读取文件，可以使用 cloudFiles.pathRewrites 将路径前缀更改为 DBFS。 除非使用 AssumeRole 访问不同帐户的数据，否则不需要这样做。
请参阅文件通知选项。
Azure Data Lake Storage 容器
现在，可以提供从多个容器接收事件的 Azure 队列。
如果提供 Azure 队列名称，则不需要 path 选项。
默认情况下，自动加载程序使用文件事件中的容器和密钥构造 Azure Data Lake Storage 路径。
如果要使用 WASB 路径或 DBFS 装入点，可以使用 cloudFiles.pathRewrites 更改路径前缀。
请参阅文件通知选项。
连接器升级
- Snowflake Spark 连接器已更新至 v2.9.0。
- Redshift 连接器的
UNLOAD语句中现已支持 KMS 加密。
漏洞修复
- 修复了启用表访问控制的群集中的问题：即使用户没有文件访问权限，
select * from folder也可以显示文件夹内容。 - 非管理员数据库所有者现在可以删除数据库中非拥有的表。 这修复了以下问题：数据库所有者在数据库中存在非拥有表时无法删除数据库。
图书馆升级
- 升级了 Python 库：
- certifi 已从 2020.12.5 升级到 2021.5.30
- distill 已从 0.3.1 升级到 0.3.2
- koalas 已从 1.8.0 升级到 1.8.1
- protobuf 已从 3.17.0 升级到 3.17.3
- 升级了 R 库：
- 基础映像已从 4.0.4 升级到 4.1.0
- 启动文件已从 1.3-27 升级到 1.3-28
- 类已从 7.3-18 升级到 7.3-19
- 群集已从 2.1.1 升级到 2.1.2
- 编译器已从 4.0.4 升级到 4.1.0
- 数据集已从 4.0.4 升级到 4.1.0
- 图形已从 4.0.4 升级到 4.1.0
- grDevices 已从 4.0.4 升级到 4.1.0
- 网格已从 4.0.4 升级到 4.1.0
- KernSmooth 已从 2.23-18 升级到 2.23-20
- lattice 已从 0.20-41 升级到 0.20-44
- MASS 已从 7.3-53.1 升级到 7.3-54
- 矩阵已从 1.3-2 升级到 1.3-3
- 方法已从 4.0.4 升级到 4.1.0
- mgcv 已从 1.8-33 升级到 1.8-35
- nnet 已从 7.3-15 升级到 7.3-16
- 并行已从 4.0.4 升级到 4.1.0
- Rserve 已从 1.8-7 升级到 1.8-8
- SparkR 已从 3.1.1 升级到 3.1.2
- splines 已从 4.0.4 升级到 4.1.0
- stats 已从 4.0.4 升级到 4.1.0
- stats4 已从 4.0.4 升级到 4.1.0
- survival 已从 3.2-7 升级到 3.2-11
- tcltk 已从 4.0.4 升级到 4.1.0
- 工具已从 4.0.4 升级到 4.1.0
- utils 已从 4.0.4 升级到 4.1.0
- 升级了 Java 库：
- snowflake-jdbc 已从 3.12.8 升级到 3.13.3
- spark-snowflake_2.12 已从 2.8.1-spark_3.0 升级到 2.9.0-spark_3.1
- RoaringBitmap 已从 0.9.0 升级到 0.9.14
- shims 已从 0.9.0 升级到 0.9.14
- rocksdbjni 已从 6.2.2 升级到 6.20.3
Apache Spark
Databricks Runtime 8.4 包括 Apache Spark 3.1.2。 此版本包括 Databricks Runtime 8.3 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：
-
[SPARK-35792] [SQL] 视图不应捕获
RelationConversions中使用的配置 - [SPARK-35700] [SQL] 读取由外部系统创建和写入的 char/varchar orc 表
- [SPARK-35636] [SQL] 不应在 Lambda 函数之外引用 Lambda 密钥
- [SPARK-35800] [Cherry Pick] 通过引入 TestGroupState 提高 GroupState 可测试性
- [SPARK-35391] 修复 ExecutorAllocationListener 中的内存泄漏
- [SPARK-35799] [CherryPick] 修复 FlatMapGroupsWithStateExec 中的 allUpdatesTimeMs 指标测量
- [SPARK-35763] [SS] 删除 StateStoreCustomMetric 子类枚举依赖项
- [SPARK-35791] [SQL] 为 NULL 感知的反联接正确地发布正在进行的映射
- [SPARK-35695] [SQL] 从缓存的和自适应执行子树收集观察到的指标
- [SPARK-35767] [SQL] 避免在 CoalesceExec 中执行子计划两次
- [SPARK-35746] [UI] 修复阶段页面的事件任务时间线中的任务ID
- [SPARK-35673] [SQL] 修复子查询中用户定义的提示和未识别的提示。
- [SPARK-35714] [CORE] 执行器关闭过程中出现死锁的 Bug 修复
- [SPARK-35689] [SS] 添加日志警告，当 keyWithIndexToValue 返回 null 值时
- [SPARK-35589] [CORE][3.1] BlockManagerMasterEndpoint 不应在更新时忽略仅索引的 shuffle 文件
- [SPARK-35643] [PYTHON] 修复 functions.py column() 中的不明确引用
- [SPARK-35652] [SQL] 对同一个表生成的两个表使用 joinWith
- [SPARK-35679] [SQL] instantToMicros 溢出
- [SPARK-35602] [SS] 更新状态架构以便能够接受长的 JSON
- [SPARK-35653] [SQL] 修复 CatalystToExternalMap 解释路径对于以事例类作为键或值的映射失败
- [SPARK-35296] [SQL] 允许 Dataset.observe 继续运行，即使任务中的 CollectMetricsExec 处理多个分区。
- [SPARK-35659] [SS] 避免将 Null 写入 StateStore
- [SPARK-35665] [SQL] 解析 CollectMetrics 中的 UnresolvedAlias
- [SPARK-35558] 针对多分位数检索进行优化
- [SPARK-35621] [SQL] 向 TypeCoercion 规则添加规则 ID 修剪
- [SPARK-35077] [SQL] 将遗留优化器规则迁移到 transformWithPruning
- [SPARK-35610] [CORE] 修复执行器的停止关闭挂钩引入的内存泄漏
- [SPARK-35544] [SQL] 在分析器规则中添加树形模式修剪
- [SPARK-35566] [SS] 修复 StateStoreRestoreExec 输出行
- [SPARK-35454] [SQL] [3.1] 一个 LogicalPlan 可以匹配多个数据集 ID
- [SPARK-35538] [SQL] 迁移 transformAllExpressions 调用站点以使用 transformAllExpressionsWithPruning
- [SPARK-35106] [Core][sql] 避免因目标目录不存在而导致的重命名失败
- [SPARK-35287] [SQL] 允许 RemoveRedundantProjects 保留为 DataSourceV2ScanRelation 生成 UnsafeRow 的 ProjectExec
- [SPARK-35495] [R] 更改 CRAN 的 SparkR 维护程序
- [SPARK-27991] [CORE] 延迟对 Netty OOM 的提取请求
- [SPARK-35171] [R] 将 Markdown 包声明为 SparkR 包的依赖项
- [SPARK-35454] [SQL] 一个 LogicalPlan 可以匹配多个数据集 ID
- [SPARK-35298] [SQL] 为 Optimizer.scala 中的规则迁移到 transformWithPruning
- [SPARK-35480] [SQL] 使 percentile_approx 可以与 pivot 配合使用
- [SPARK-35093] [SQL] AQE 现使用 newQueryStage 计划作为键来查找缓存的交换以便重复使用
- [SPARK-35146] [SQL] 将 finishAnalysis.scala 中的规则迁移到 transformWithPruning 或 resolveWithPruning
- [SPARK-35411] [SQL] 在将 TreeNode 序列化为 json 时添加基本信息
- [SPARK-35294] [SQL] 在优化器下的专用文件中添加树形遍历修剪
- [SPARK-34897] [SQL] [3.1] 支持嵌套列修剪后根据索引对架构进行协调
- [SPARK-35144] [SQL] 将对象规则迁移到 transformWithPruning
- [SPARK-35155] [SQL] 向分析器规则添加规则 ID
- [SPARK-35382] [PYTHON] 修复 Python API 中嵌套数据帧函数的 Lambda 变量名称问题。
- [SPARK-35359] [SQL] 如果数据长度超过长度限制，则插入包含 char/varchar 数据类型的数据将失败
- [SPARK-35381] [R] 修复 R API 上嵌套的高阶函数中的 Lambda 变量名称问题
系统环境
- 操作系统：Ubuntu 18.04.5 LTS
- Java：Zulu 8.54.0.21-CA-linux64
- Scala：2.12.10
- Python：3.8.8
- R：4.1.0 (2021-05-18)
- Delta Lake 1.0.0
已安装的 Python 库
| 图书馆 | 版本 | 图书馆 | 版本 | 图书馆 | 版本 |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | 回调 | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2021.5.30 | cffi | 1.14.3 | chardet | 3.0.4 |
| 密码系统 | 3.1.1 | 骑行者 | 0.10.0 | Cython | 0.29.21 |
| 装饰师 | 4.4.2 | distlib | 0.3.2 | docutils | 0.15.2 |
| 入口点 | 0.3 | 各个方面概述 | 1.0.0 | 文件锁 | 3.0.12 |
| IDNA | 2.10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils（IPython通用工具） | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | Jupyter客户端 | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | 考拉 | 1.8.1 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | 熊猫 | 1.1.5 | 帕尔索 | 0.7.0 |
| 替罪羊 | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| 果仁 | 20.2.4 | plotly | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.3 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | Python代码解析器 | 2.20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| 请求 | 2.24.0 | 正在重试 | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | seaborn | 0.10.0 |
| setuptools | 50.3.1 | 6 | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | 龙卷风 | 6.0.4 | Traitlets | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| 轮子 | 0.35.1 |
已安装的 R 库
R 库安装自 2020-11-02 版本中的 Microsoft CRAN 快照。
| 图书馆 | 版本 | 图书馆 | 版本 | 图书馆 | 版本 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | 回移补丁 | 1.2.1 |
| 基础 | 4.1.0 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| 位 | 4.0.4 | bit64 | 4.0.5 | 团状物 | 1.2.1 |
| 靴子 | 1.3-28 | 酿造/冲泡 | 1.0-6 | 活力 | 1.1.0 |
| 扫帚 | 0.7.2 | 调用方 | 3.5.1 | 插入符号 | 6.0-86 |
| cellranger (细胞测序工具) | 1.1.0 | chron | 2.3-56 | 班级 | 7.3-19 |
| 命令行接口 (CLI) | 2.2.0 | 剪辑器 | 0.7.1 | 集群 | 2.1.2 |
| codetools | 0.2-18 | 色彩空间 | 2.0-0 | commonmark | 1.7 |
| 编译器 | 4.1.0 | 配置 | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | 蜡笔 | 1.3.4 | 资格证书 | 1.3.0 |
| 相声 | 1.1.0.1 | 卷曲 | 4.3 | 数据表 (data.table) | 1.13.4 |
| 数据集 | 4.1.0 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| 摘要 | 0.6.27 | dplyr | 1.0.2 | If "DT" is a term that should be translated: 如果“DT”代表一个需要翻译的术语，可以替换为适当的中文术语。 | 0.16 |
| 省略号 | 0.3.1 | 评价 | 0.14 | fansi | 0.4.1 |
| 颜色 | 2.0.3 | 快速映射 | 1.0.1 | 由于缺乏上下文信息，“forcats”很可能是专有名词或品牌名称，因此保留原文不翻译为合理处理。 | 0.5.0 |
| foreach | 1.5.1 | 外国 | 0.8-81 | 锻造 | 0.2.0 |
| 文件系统 (if fs stands for "file system") | 1.5.0 | 未来 | 1.21.0 | 泛 型 | 0.1.0 |
| 格特 | 1.0.2 | ggplot2 | 3.3.2 | gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | 全局变量 | 0.14.0 |
| 胶水 | 1.4.2 | gower | 0.2.2 | 图形 | 4.1.0 |
| grDevices | 4.1.0 | “业务流程参数” 网格 | 4.1.0 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | 避风港 | 2.3.1 |
| 更高 | 0.8 | 赫姆斯 | 0.5.3 | HTML工具 | 0.5.0 |
| HTML小插件 | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | 迭代器 | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-20 | 针织器 | 1.30 |
| 标记 | 0.4.2 | 稍后 | 1.1.0.1 | 格子 | 0.20-44 |
| 熔岩 | 1.6.8.1 | lazyeval | 0.2.2 | 生命周期 | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| markdown | 1.1 | 质量 | 7.3-54 | 矩阵 | 1.3-3 |
| 缓存 | 1.1.0 | 方法 | 4.1.0 | mgcv | 1.8-35 |
| 默剧 | 0.9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| 蒙塞尔 | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016年8月-2017年1月1日 | openssl（开放SSL） | 1.4.3 | 平行 | 4.1.0 |
| 并行 | 1.22.0 | 支柱 | 1.4.7 | pkgbuild (软件包构建工具) | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | 普洛格 | 0.2.0 |
| 普莱尔 | 1.8.6 | 赞美 | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| 进度 | 1.2.2 | 承诺 | 1.1.1 | 原型 (proto) | 1.0.0 |
| 附注 (ps) | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | 随机森林 (randomForest) | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr（阅读器） | 1.4.0 | readxl | 1.3.1 | 食谱 | 0.1.15 |
| 重赛 | 1.0.1 | rematch2 | 2.1.2 | 遥控器 | 2.2.0 |
| 可复现示例 | 0.3.0 | reshape2 | 1.4.4 | 雷克斯 | 1.2.0 |
| rlang | 0.4.9 | rmarkdown（R语言动态文档生成工具） | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-8 | RSQLite | 2.2.1 | rstudioapi | 0.13 |
| R版本 | 2.0.2 | rvest | 0.3.6 | 磅秤 | 1.1.1 |
| selectr | 0.4-2 | 会话信息 | 1.1.1 | 形状 | 1.4.5 |
| 光亮 | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.1 | 空间 | 7.3-11 | 样 条 | 4.1.0 |
| sqldf（R环境中的数据库操作软件包） | 0.4-11 | SQUAREM | 2020.5 | 统计数据 | 4.1.0 |
| 统计数据4 | 4.1.0 | 字符串 | 1.5.3 | stringr | 1.4.0 |
| 生存 | 3.2-11 | sys | 3.4 | tcltk | 4.1.0 |
| 教学演示 | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse（数据分析工具包） | 1.3.0 |
| 时间日期 | 3043.102 | tinytex | 0.28 | 工具 | 4.1.0 |
| usethis | 2.0.0 | utf8 | 1.1.4 | 实用工具 | 4.1.0 |
| UUID（通用唯一识别码） | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| 瓦尔多 | 0.2.3 | 晶 须 | 0.4 | 无改动（具体含义和背景需要更多信息） | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | 压缩包 | 2.1.1 |
已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis 客户端 | 1.12.0 |
| com.amazonaws | AWS Java SDK 自动扩展 | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | AWS Java SDK CloudFront | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-云HSM | 1.11.655 |
| com.amazonaws | AWS Java SDK 云搜索 | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config（AWS Java SDK 配置） | 1.11.655 |
| com.amazonaws | aws-java-sdk-core (AWS Java软件开发工具包核心) | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | AWS Java SDK Direct Connect（直连） | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） | 1.11.655 |
| com.amazonaws | aws-java-sdk-弹性负载均衡 | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | AWS Java SDK Glacier | 1.11.655 |
| com.amazonaws | AWS Java SDK Glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | AWS Java SDK 导入导出 (aws-java-sdk-importexport) | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | AWS Java 软件开发工具包 - KMS | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs（AWS Java开发包日志） | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-机器学习 | 1.11.655 |
| com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | AWS Java SDK 存储网关 | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | AWS Java SDK支持 | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-SWF-库 | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | 溪流 | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同学 | 1.3.4 |
| com.fasterxml.jackson.core | Jackson注解 | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor（Jackson的CBOR数据格式） | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda（杰克逊数据类型-Joda） | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.咖啡因 | 咖啡因 | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | 原生系统-Java | 1.1 |
| com.github.fommil.netlib | native_system-Java原生代码 | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter（度量工具） | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | 番石榴 | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | 分析器 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | 源代码_2.12 | 0.1.9 |
| com.microsoft.azure | Azure 数据湖存储 SDK | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | 镜头_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | 配置 | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers解析器 | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec（公共编解码器） | commons-codec（公共编解码器） | 1.10 |
| commons-collections (通用集合库) | commons-collections (通用集合库) | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| 公共文件上传 | 公共文件上传 | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging（日志库） | commons-logging（日志库） | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | 空气压缩机 | 0.10 |
| io.delta | delta-sharing-spark_2.12 | 0.1.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | 指标-健康检查 | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | 指标-JMX | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | 指标-JVM | 4.1.1 |
| io.dropwizard.metrics | 指标-Servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | 简单客户端通用 | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收藏者 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 激活 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | 交易接口 (transaction-api) | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | 辉岩 | 4.30 |
| net.sf.jpam | 杰潘 | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc（远程调用协议库） | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate (字符串模板) | 3.2.1 |
| org.apache.ant | 蚂蚁 | 1.9.2 |
| org.apache.ant | ant-jsch（Java的SSH库） | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | 箭头格式 | 2.0.0 |
| org.apache.arrow | 箭头内存核心 | 2.0.0 |
| org.apache.arrow | 箭头内存网状系统 | 2.0.0 |
| org.apache.arrow | 箭头向量 | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | 策展人与客户 | 2.7.1 |
| org.apache.curator | Curator框架 | 2.7.1 |
| org.apache.curator | 策展人食谱 | 2.7.1 |
| org.apache.derby | 德比 | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | Hadoop 注释 | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | Hadoop客户端 | 2.7.4 |
| org.apache.hadoop | hadoop-common（Hadoop公共模块） | 2.7.4 |
| org.apache.hadoop | Hadoop 分布式文件系统 (Hadoop-HDFS) | 2.7.4 |
| org.apache.hadoop | Hadoop MapReduce 客户端应用 | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-客户端-通用 | 2.7.4 |
| org.apache.hadoop | Hadoop-MapReduce-客户端-核心 | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | Hadoop-YARN客户端 | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | Hadoop Yarn 服务器公共组件 | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-垫片 | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0 孵化 |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | 常春藤 | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| \ org.apache.orc | orc-core | 1.5.12 |
| \ org.apache.orc | orc-mapreduce | 1.5.12 |
| \ org.apache.orc | 兽人垫片 | 1.5.12 |
| org.apache.parquet | parquet列 | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | Parquet 编码 | 1.10.1-databricks9 |
| org.apache.parquet | Parquet格式 | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | 听众批注 | 0.5.0 |
| org.apache.zookeeper | 动物园管理员 | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl (Jackson核心库 - ASL) | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | 杰克逊映射器-ASL | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | 公共编译器 | 3.0.16 |
| org.codehaus.janino | 雅尼诺 | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | Jetty-HTTP | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | 码头安全 | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server（Jetty服务器） | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util（Jetty工具库） | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | Jetty 网页应用 | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-定位器 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi资源定位器 | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | Jersey容器Servlet核心 | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | Jersey框架服务器 | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb (Jersey 媒体库 - JAXB) | 2.30 |
| org.hibernate.validator | Hibernate验证器 | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss 日志 | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | 垫片 | 0.9.14 |
| .rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | 测试接口 | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.springframework | spring-core (Spring核心模块) | 4.1.4.RELEASE |
| org.springframework | 春季测试 | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | 机床工_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | WildFly-OpenSSL | 1.0.7.最终版 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| 斯塔克斯 | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |