注意
对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。
以下发行说明提供了由 Apache Spark 3.1.1 提供支持的 Databricks Runtime 8.3 和 Databricks Runtime 8.3 Photon 的相关信息。 Databricks 于 2021 年 6 月发布了此版本。 Photon 处于公共预览版。
新增功能和改进
- Delta 表中的生成列（公共预览版）
- 自动加载程序功能和改进
- 使用新编程 API 创建 Delta 表（公共预览版）
-
SQL 中 Delta 表大小的正确计算
ANALYZE - 使用 RocksDBStateStore 时 RocksDB 性能的详细指标
- 自动优化写入
- 如果只对一个联接端进行 Bucket 存储，则启用 Bucket 存储联接
- 提高了定义 Spark UDF 时的安全性（公共预览版）
-
对于使用
from_avro的查询，减少了对架构注册表的请求数 - 通过 ListResults 在 R 中显示多个结果（公共预览版）
Delta 表中的生成列（公共预览版）
Delta Lake 现在支持生成列，这些列是一种特殊类型的列，其值基于用户指定的函数在 Delta 表中的其他列上自动生成。 可以使用大多数内置 SQL 函数生成这些生成列的值。 例如，可以从时间戳列自动生成日期列（用于按日期对表进行分区）；对表进行的任何写入都只需为时间戳列指定数据。 可以使用 SQL、Scala、Java 或 Python API 创建包含生成列的 Delta 表。
有关详细信息，请参阅 Delta Lake 生成的列。
自动加载程序功能和改进
- 自动加载程序中用于 CSV 文件的架构推理
- 改进了自动加载程序流的启动时间
- 自动加载程序中的目录列表更快
- 减少了自动加载程序检查点的存储开销
- 自动加载程序在补救数据列中包括文件路径（可用时）
- 自动加载程序支持在文件通知模式下在 Azure Data Lake Storage 中重命名文件
自动加载程序中用于 CSV 文件的架构推理
自动加载程序现在支持 CSV 文件的架构推理和演变。 自动加载程序在 Apache Spark 中的现有 CSV 分析程序基础上提供以下功能：
- 架构合并：自动加载程序可以引入文件间具有不同架构（不同的列数、不同的列排序）的 CSV 文件。
- 补救数据列：可以使用补救数据列来补救 CSV 文件中可能会出现的意外数据。 这包括无法解析为预期数据类型的数据、标头中大小写不同或存在 null 值的列，以及不在预期架构中的额外列。
有关详细信息，请参阅在自动加载程序中配置架构推理和演变。
改进了自动加载程序流的启动时间
首次启动时，自动加载程序流现在以异步方式执行流的初始回填，从而可显著加快流的启动时间。 这可以允许你使用生产数据快速循环访问代码，尤其是在必须从包含数百万或数十亿个文件的目录中引入数据时。
此外，重新启动的流的启动时间也得到了改进，因为我们已使加载程序用于提供恰好一次语义的 RocksDB 文件的下载和上传并行化。
自动加载程序中的目录列表更快
我们显著提高了自动加载程序中的目录列表效率。 此性能改进的副作用是，如果没有要处理的新数据，流可能会向存储系统发出更多列表请求，这可能会导致列表请求费用激增。 作为常规最佳做法，Databricks 建议为生产流式处理管道设置合理的触发间隔。 请参阅结构化流式处理的生产注意事项。
减少了自动加载程序检查点的存储开销
自动加载程序流现在会自动异步清理检查点目录中的过时文件，以防止检查点目录大小无限增长并降低存储成本。
自动加载程序在补救数据列中包括文件路径（可用时）
在名为 _file_ path 的列中适用时，补救数据列会自动提供补救数据的文件路径。 这可以帮助跟踪数据质量问题的根本原因。 如果数据架构包含名为 _file_path 的列，则不包含该列。 如有必要，可以使用 SQL 配置 spark.databricks.sql.rescuedDataColumn.filePath.name 重命名该列。
自动加载程序支持在文件通知模式下在 Azure Data Lake Storage 中重命名文件
在文件通知模式下运行时，自动加载程序现在支持 Azure Data Lake Storage 的 BlobRenamed 事件。 若要通过重命名操作和文件通知处理上传到 Azure Data Lake Storage 容器中的文件，请使用 Databricks Runtime 8.3 和自动加载器启动新流。 若要确保对文件恰好处理一次，请确保自动加载程序不会监视正在从中重命名文件的源目录。
使用新编程 API 创建 Delta 表（公共预览版）
现在可以通过编程方式创建新 Delta 表（使用 Scala、Java 和 Python），而无需使用 DataFrame API。 通过新的 DeltaTableBuilder 和 DeltaColumnBuilder API 可以指定可使用 SQL CREATE TABLE 指定的所有表详细信息。
有关详细信息，请参阅创建表。
SQL 中 Delta 表大小的正确计算ANALYZE
现有分析逻辑错误地计算 Delta 表的表大小，并更新大小不正确的目录。 解决方法是从 Delta 日志获取 Delta 表的大小。
使用 RocksDBStateStore 时 RocksDB 性能的详细指标
如果配置了结构化流式处理查询以使用 RocksDB 作为状态存储，则现在可以通过有关获取/放置延迟、压缩延迟、缓存命中等的详细指标，更好地了解 RocksDB 的性能。 这些指标可通过 StreamingQueryProgress 和 StreamingQueryListener API 用于监视流式处理查询。
有关详细信息，请参阅在 Azure Databricks 上配置 RocksDB 状态存储。
自动优化写入
现在会为包含子查询的更新和删除查询，自动启用对已分区 Delta 表的优化写入。
如果只对一个联接端进行 Bucket 存储，则启用 Bucket 存储联接
新配置 spark.databricks.sql.minBucketsForBucketedJoin 会在只对一个联接端进行 Bucket 存储并且 Bucket 数不小于此配置值时，启用 Bucket 存储联接。 默认情况下，此配置值与默认随机分区数 (200) 相同。
提高了定义 Spark UDF 时的安全性（公共预览版）
用户信息函数 current_user 和 is_member 无法再由临时函数（包括 Python spark.udf.register 或 SQL create or replace temp function）所替代。
对于使用 from_avro 的查询，减少了对架构注册表的请求数
具有架构注册表支持的使用 from_avro 的查询不再对架构注册表服务生成同样多的请求，从而节省了操作成本。
通过 ListResults 在 R 中显示多个结果（公共预览版）
Databricks R 笔记本现在支持每个单元格中有多个结果。 以前，对每个笔记本单元格只呈现一个结果。 当前，R 笔记本中单个单元格的结果按以下顺序显示：
- RShiny URL
- 绘图
- displayHTML 输出
- 表
- stdout
库升级
- 升级了 Python 库：
- koalas 已从 1.7.0 升级到 1.8.0。
- pandas 已从 1.1.3 升级到 1.1.5。
- s3transfer 已从 0.3.4 升级到 0.3.6。
- 升级了 R 库：
- SparkR 已从 3.1.1 升级到 3.1.2。
- 升级了 Java 库：
- mariadb-java-client 已从 2.1.2 升级到 2.2.5。
- parquet-column 已从 1.10.1-databricks6 升级到 1.10.1-databricks9
- parquet-common 已从 1.10.1-databricks6 升级到 1.10.1-databricks9
- parquet-encoding 已从 1.10.1-databricks6 升级到 1.10.1-databricks9
- parquet-hadoop 已从 1.10.1-databricks6 升级到 1.10.1-databricks9
- parquet-jackson 已从 1.10.1-databricks6 升级到 1.10.1-databricks9
Apache Spark
Databricks Runtime 8.3 包括 Apache Spark 3.1.1。 此版本包括 Databricks Runtime 8.2 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下缺陷修复和改进：
- [SPARK-34614] [SQL] ANSI 模式：将字符串强制转换为布尔值应在分析错误时引发异常
- [SPARK-34246] [FOLLOWUP] 更改以下内容的定义：`findTightestCommonT…
- [SPARK-35213] [SQL] 在链接 withField 操作中保留嵌套结构的正确排序
- [SPARK-35096] [SQL] SchemaPruning 应遵循 spark.sql.caseSensitive 配置
- [SPARK-35227] [BUILD] 在 SparkSubmit 中更新 spark-packages 的解析程序
-
[SPARK-35224] [SQL] 在
MutableProjectionSuite中修复缓冲区溢出 - [SPARK-34245] [CORE] 确保主服务器删除未能发送已完成状态的执行程序
- [SPARK-34856] [SQL] ANSI 模式：允许将复杂类型强制转换为字符串类型
- [SPARK-34946] [SQL] 在聚合中阻止不支持的相关标量子查询
- [SPARK-35014] 修复 PhysicalAggregation 模式，不重写可折叠表达式
- [SPARK-34769] [SQL] AnsiTypeCoercion：返回最近的…
系统环境
- 操作系统：Ubuntu 18.04.5 LTS
- Java：Zulu 8.52.0.23-CA-linux64（内部版本 1.8.0_282-b08）
- Scala：2.12.10
- Python：3.8.8
- R：R 版本4.0.4 (2021-02-15)
- Delta Lake 1.0.0
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | 回调 | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2020.12.5 | cffi | 1.14.3 | chardet | 3.0.4 |
| 密码系统 | 3.1.1 | 骑行者 | 0.10.0 | Cython | 0.29.21 |
| 装饰师 | 4.4.2 | distlib | 0.3.1 | docutils | 0.15.2 |
| 入口点 | 0.3 | 各个方面概述 | 1.0.0 | 文件锁 (filelock) | 3.0.12 |
| IDNA | 2.10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils（IPython通用工具） | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | Jupyter客户端 | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | 考拉 | 1.8.0 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | 熊猫 | 1.1.5 | 帕尔索 | 0.7.0 |
| 替罪羊 | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| 果仁 | 20.2.4 | plotly | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.0 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | Python代码解析器 | 2.20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| 请求 | 2.24.0 | 正在重试 | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | seaborn | 0.10.0 |
| setuptools | 50.3.1 | 6 | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | 龙卷风 | 6.0.4 | Traitlets | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| 轮子 | 0.35.1 |
已安装的 R 库
R 库安装自 2020-11-02 的 Microsoft CRAN 快照。
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | 回移补丁 | 1.2.1 |
| 基础 | 4.0.4 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| 位 | 4.0.4 | bit64 | 4.0.5 | 团状物 | 1.2.1 |
| 启动 | 1.3-27 | 酿造/冲泡 | 1.0-6 | 活力 | 1.1.0 |
| 扫帚 | 0.7.2 | 调用方 | 3.5.1 | 插入符号 | 6.0-86 |
| cellranger (细胞测序工具) | 1.1.0 | chron | 2.3-56 | 班级 | 7.3-18 |
| cli | 2.2.0 | 剪辑器 | 0.7.1 | 集群 | 2.1.1 |
| codetools | 0.2-18 | 色彩空间 | 2.0-0 | commonmark | 1.7 |
| 编译器 | 4.0.4 | 配置 | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | 蜡笔 | 1.3.4 | 凭据 | 1.3.0 |
| 相声 | 1.1.0.1 | 卷曲 | 4.3 | 数据表 (data.table) | 1.13.4 |
| 数据集 | 4.0.4 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| 摘要 | 0.6.27 | dplyr | 1.0.2 | If "DT" is a term that should be translated: 如果“DT”代表一个需要翻译的术语，可以替换为适当的中文术语。 | 0.16 |
| 省略号 | 0.3.1 | 评估 | 0.14 | fansi | 0.4.1 |
| 颜色 | 2.0.3 | 快速映射 | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | 外国 | 0.8-81 | 锻造 | 0.2.0 |
| 文件系统 (if fs stands for "file system") | 1.5.0 | 未来 | 1.21.0 | 泛 型 | 0.1.0 |
| 格尔特 | 1.0.2 | ggplot2 | 3.3.2 | gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | 全局变量 | 0.14.0 |
| 胶水 | 1.4.2 | gower | 0.2.2 | 图形 | 4.0.4 |
| grDevices | 4.0.4 | “业务流程参数” 网格 | 4.0.4 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | 避风港 | 2.3.1 |
| 更高 | 0.8 | 赫姆斯 | 0.5.3 | HTML工具 | 0.5.0 |
| HTML小插件 | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | 迭代器 | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-18 | 针织器 | 1.30 |
| 标记 | 0.4.2 | 稍后 | 1.1.0.1 | 格子 | 0.20-41 |
| 熔岩 | 1.6.8.1 | lazyeval | 0.2.2 | 生命周期 | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| markdown | 1.1 | 质量 | 7.3-53.1 | 矩阵 | 1.3-2 |
| 缓存 | 1.1.0 | 方法 | 4.0.4 | mgcv | 1.8-33 |
| 默剧 | 0.9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| 蒙塞尔 | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-15 |
| numDeriv | 2016年8月至1月1日 | openssl（开放SSL） | 1.4.3 | 平行 | 4.0.4 |
| 并行 | 1.22.0 | 柱子 | 1.4.7 | pkgbuild (软件包构建工具) | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | 普洛格 | 0.2.0 |
| 普莱尔 | 1.8.6 | 赞美 | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| 进度 | 1.2.2 | 承诺 | 1.1.1 | 原型 (proto) | 1.0.0 |
| 附注 (ps) | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | 随机森林 (randomForest) | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr（阅读器） | 1.4.0 | readxl | 1.3.1 | 食谱 | 0.1.15 |
| 重赛 | 1.0.1 | rematch2 | 2.1.2 | 遥控器 | 2.2.0 |
| 可复现示例 | 0.3.0 | reshape2 | 1.4.4 | 雷克斯 | 1.2.0 |
| rlang | 0.4.9 | rmarkdown（R语言动态文档生成工具） | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-7 | RSQLite | 2.2.1 | rstudioapi | 0.13 |
| rversions | 2.0.2 | rvest | 0.3.6 | 磅秤 | 1.1.1 |
| selectr | 0.4-2 | 会话信息 | 1.1.1 | 形状 | 1.4.5 |
| 光亮 | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.2 | 空间 | 7.3-11 | 样 条 | 4.0.4 |
| sqldf（R环境中的数据库操作软件包） | 0.4-11 | SQUAREM | 2020.5 | 统计数据 | 4.0.4 |
| 统计数据4 | 4.0.4 | 字符串 | 1.5.3 | stringr | 1.4.0 |
| 生存 | 3.2-7 | sys | 3.4 | tcltk | 4.0.4 |
| 教学演示 | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse（数据分析工具包） | 1.3.0 |
| 时间日期 | 3043.102 | tinytex | 0.28 | 工具 | 4.0.4 |
| usethis | 2.0.0 | utf8 | 1.1.4 | 实用工具 | 4.0.4 |
| UUID（通用唯一识别码） | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| 瓦尔多 | 0.2.3 | 晶 须 | 0.4 | 无改动（具体含义和背景需要更多信息） | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | 压缩包 | 2.1.1 |
已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis 客户端 | 1.12.0 |
| com.amazonaws | AWS Java SDK 自动扩展 | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | AWS Java SDK CloudFront | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-云HSM | 1.11.655 |
| com.amazonaws | AWS Java SDK 云搜索 | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config（AWS Java SDK 配置） | 1.11.655 |
| com.amazonaws | aws-java-sdk-core (AWS Java软件开发工具包核心) | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | AWS Java SDK Direct Connect（直连） | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） | 1.11.655 |
| com.amazonaws | aws-java-sdk-弹性负载均衡 | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | AWS Java SDK Glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | AWS Java SDK 导入导出 (aws-java-sdk-importexport) | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | AWS Java 软件开发工具包 - KMS | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs（AWS Java开发包日志） | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-机器学习 | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | AWS Java SDK 存储网关 | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | AWS Java SDK支持 | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-SWF-库 | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | 流 (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同学 | 1.3.4 |
| com.fasterxml.jackson.core | Jackson注解 | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor（Jackson的CBOR数据格式） | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda（杰克逊数据类型-Joda） | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.咖啡因 | 咖啡因 | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | 原生系统-Java | 1.1 |
| com.github.fommil.netlib | native_system-Java原生代码 | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | 番石榴 | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | 分析器 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | 源代码_2.12 | 0.1.9 |
| com.microsoft.azure | Azure 数据湖存储 SDK | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | 镜头_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | 配置 | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers解析器 | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec（公共编解码器） | commons-codec（公共编解码器） | 1.10 |
| commons-collections (通用集合库) | commons-collections (通用集合库) | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| 公共文件上传 | 公共文件上传 | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging（日志库） | commons-logging（日志库） | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | 空气压缩机 | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | 指标-健康检查 | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | 指标-JMX | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | 指标-JVM | 4.1.1 |
| io.dropwizard.metrics | 指标-Servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | 简单客户端通用 | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 激活 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | 交易接口 (transaction-api) | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.razorvine | 辉岩 | 4.30 |
| net.sf.jpam | 杰潘 | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc（远程调用协议库） | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate (字符串模板) | 3.2.1 |
| org.apache.ant | 蚂蚁 | 1.9.2 |
| org.apache.ant | ant-jsch（Java的SSH库） | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | 箭头内存核心 | 2.0.0 |
| org.apache.arrow | 箭头内存网状系统 | 2.0.0 |
| org.apache.arrow | 箭头向量 | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | 策展人与客户 | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | 策展人食谱 | 2.7.1 |
| org.apache.derby | 德比 | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | Hadoop客户端 | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | Hadoop 分布式文件系统 (Hadoop-HDFS) | 2.7.4 |
| org.apache.hadoop | Hadoop MapReduce 客户端应用 | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-客户端-通用 | 2.7.4 |
| org.apache.hadoop | Hadoop-MapReduce-客户端-核心 | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | Hadoop-YARN客户端 | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | Hive 元数据存储器 | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-垫片 | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0 孵化 |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | 常春藤 | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| \ org.apache.orc | orc-core | 1.5.12 |
| \ org.apache.orc | orc-mapreduce | 1.5.12 |
| \ org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | Parquet 编码 | 1.10.1-databricks9 |
| org.apache.parquet | Parquet格式 | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | 速度 | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | 听众批注 | 0.5.0 |
| org.apache.zookeeper | 动物园管理员 | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl (Jackson核心库 - ASL) | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | 杰克逊映射器-ASL | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler（通用编译器） | 3.0.16 |
| org.codehaus.janino | 雅尼诺 | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | Jetty-HTTP | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | 码头安全 | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server（Jetty服务器） | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util（Jetty工具库） | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | Jetty 网页应用 | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-定位器 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator (OSGi 资源定位器) | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | Jersey容器Servlet核心 | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb (Jersey 媒体库 - JAXB) | 2.30 |
| org.hibernate.validator | Hibernate验证器 | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss 日志 | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.0 |
| org.roaringbitmap | 垫片 | 0.9.0 |
| .rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | 测试界面 | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.springframework | spring-core (Spring核心模块) | 4.1.4.RELEASE |
| org.springframework | 春季测试 | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | 机床工_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | WildFly-OpenSSL | 1.0.7.最终版 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| 斯塔克斯 | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |