注意
对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。
Databricks 于 2020 年 9 月发布此版本。 2020 年 10 月为其声明了长期支持 (LTS)。
以下发行说明提供了由 Apache Spark 3.0 提供支持的 Databricks Runtime 7.3 LTS 的相关信息。
有关从 Databricks Runtime 6.x 进行迁移的帮助信息，请参阅 Databricks Runtime 7.x 迁移指南 (EoS)。
新功能
Delta Lake 新增功能和改进
此版本提供以下 Delta Lake 新功能和改进：
本节内容
Delta Lake 性能优化大大减少了开销
此版本可实现一系列优化，从而将 Delta Lake 操作的开销从几秒钟减少到数十毫秒。 若要启用这些优化，必须将所有写入和读取 Delta 表的群集升级到 Databricks Runtime 7.3 LTS 或更高版本。
现在支持克隆指标
现在会记录克隆操作指标，并可以在运行 DESCRIBE HISTORY 时查看。 有关详细信息，请参阅使用 describe detail 查看 Delta Lake 表详细信息。
Delta Lake MERGE INTO 改进
- 合并现在支持任意数量的
MATCHED和NOT MATCHED子句。 - 将匹配行以无条件方式删除的合并查询不会在多个匹配项上引发错误。
指定 Delta Lake 结构化流式处理源的初始位置
Delta Lake 结构化流式处理连接器现在支持 startingVersion 和 startingTimestamp 选项，以便指定流式处理查询的起点，而无需处理整个表。 有关详细信息，请参阅指定初始位置。
自适应查询执行
自适应查询执行 (AQE) 是一个查询重新优化框架，可以根据收集到的运行时统计信息在执行过程中动态调整查询计划。 AQE 在 Databricks Runtime 7.3 LTS 中已默认启用。 现在，可以尝试使用所有 AQE 功能。 有关详细信息，请参阅自适应查询执行。
改进
自动加载程序
- 现在目录列表模式下支持 Azure Data Lake Storage Gen1
- 如果文件格式为
text或binaryFile，则不再需要提供架构。 由于这两种文件格式具有固定的架构，Auto Loader 可以自动使用固定的架构。
新的 Azure Synapse Analytics 连接器列长度控件
现在，可以使用新参数 maxbinlength 来控制 BinaryType 列的列长。 此参数会转换为 VARBINARY(maxbinlength)。
先前的（不可配置的）默认值为 VARBINARY(MAX)，这在创建包含二进制列和默认索引架构的表时会引发问题。 具体来说，表创建将失败，因为默认的列存储索引不支持字符串和二进制列中的 MAX。
pandas 到 Spark DataFrame 的转换已简化
若要启用以下改进，请设置 Spark 配置 spark.databricks.execution.pandasZeroConfConversion.enabled：
-
createDataFrame(pandas_df)已在 Azure Databricks 上进行了优化。 - 如果无法有效地完成转换或无法进行转换，系统会显示警告。
maxResultSize 调用中的新 toPandas()
使用新的配置设置 (spark.databricks.driver.localMaxResultSize)，可以控制 maxResultSize 调用的 df.toPandas()。 此限制暂时更改为 max（spark.driver.maxResultSize、spark.databricks.driver.localMaxResultSize）。 配置设置的默认值为物理内存大小除以 4。
如果 df.toPandas() 结果大小大于 spark.driver.maxResultSize，但又小于 spark.databricks.driver.localMaxResultSize，则会显示警告。
此配置设置仅影响 df.toPandas() 调用创建的 DataFrame。
注意
spark.databricks.driver.localMaxResultSize 仅在 spark.databricks.execution.pandasZeroConfConversion.enabled 为 true 时才有效。
Pandas 和 PySpark UDF 的可调试性
对于 Pandas 或 PySpark UDF 在 Azure Databricks 笔记本中失败的情况，相应的错误消息现在包括代码失败所在的行号以及有关根本原因的信息。
库升级
- 升级了 Python 库：
- koalas 已从 1.1.0 升级到 1.2.0。
- pyarrow 已从 0.15.1 升级到 1.0.1。
- 升级了多个已安装的 R 库。 请参阅已安装的 R 库。
- OpenJDK 8 版本从 Ubuntu OpenJDK 8 更改为 Zulu OpenJDK 8 。
Apache Spark
Databricks Runtime 7.3 LTS 包括 Apache Spark 3.0.1。 此版本包括 Databricks Runtime 7.2 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下缺陷修复和改进：
- [SPARK-32302][SPARK-28169] [SQL] 通过联接/分区部分下推转折谓词
- [SPARK-32337] [SQL] 在 AQE 计划树字符串中显示初始计划
- [SPARK-30662] 重置 HasBlockSize 的 API 更改
- [SPARK-32620] [SQL] 启用 DPP 后重置 numPartitions 指标
- [SPARK-32646] [SQL] ORC 谓词下推应与不区分大小写的分析一起使用
- [SPARK-32676] [ML] 修复 KMeans/BiKMeans 中的双重缓存问题
- [SPARK-32092] [ ML][pyspark] 删除了 foldCol 相关代码
-
[SPARK-32594] [SQL] 替代
get()，并在DaysWritable中使用儒略日 - [SPARK-32608] [SQL] 脚本转换 ROW FORMAT DELIMIT 值应对值执行格式化
- [SPARK-32092] [ ML][pyspark] 修复了在 CrossValidatorModel.copy（）、 read（） 和 write（） 中未复制的参数
- [SPARK-32672] [SQL] 修复布尔位集压缩中的数据损坏问题
- [SPARK-32663] [CORE] 避免单独关闭共用的 TransportClients（必须通过池关闭）
- [SPARK-32621] [SQL] 路径的选项在推断 CSV/JSON 数据源中的架构时可能会导致问题
- [SPARK-28863] [SQL] 不要重复使用物理计划
- [SPARK-32608] [SQL] 脚本转换 ROW FORMAT DELIMIT 值应对值执行格式化
- [SPARK-28863] [SQL] 引入 AlreadyPlanned，防止对 V1FallbackWriters 进行重新分析
- [SPARK-32451] [R] 支持 Apache Arrow 1.0.0
- [SPARK-32652] [SQL] RowEncoder 的 ObjectSerializerPruning 失败
- [SPARK-32518] [CORE] CoarseGrainedSchedulerBackend.maxNumConcurrentTasks 应考虑全部种类的资源
- [SPARK-32559] [SQL] 修复 UTF8String.toInt/toLong 中的剪裁逻辑没有正确处理非 ASCII 字符的问题
- [SPARK-32625] [SQL] 回退到解释器模式时记录错误消息
- [SPARK-32543] [R] 删除 SparkR 中的 arrow::as_tibble 用法
- [SPARK-31703] [SQL] 未正确读取大型 endian 平台上的 Parquet RLE 浮动/双精度
- [SPARK-32586] [SQL] 修复启用 ANSI 后出现 NumberFormatException 错误消息的问题
- [SPARK-32456] [SS] 通过将其视为结构化流式处理的聚合来检查区别
-
[SPARK-32576] [SQL] 支持 PostgreSQL
bpchar类型和字符类型数组 - [SPARK-32559] [SQL] 修复 UTF8String.toInt/toLong 中的剪裁逻辑没有正确处理非 ASCII 字符的问题
- [SPARK-32560] [SQL] 改进执行 InsertIntoHiveTable.processInsert 时出现的异常消息
- [SPARK-32546] [SQL] 直接从 Hive 表获取表名称
- [SPARK-32529] [CORE] 修复 Historyserver 日志扫描因应用程序状态更改而中止的问题
- [SPARK-32003] [CORE] 使用外部随机播放服务时，在执行程序丢失后发生获取失败时，注销执行程序的输出
- [SPARK-32160] [ CORE][pyspark] 更改配置名称以在执行器中切换允许/禁止 SparkContext
- [SPARK-32160] [ CORE][pyspark] 添加配置以切换允许/禁止在执行器中创建 SparkContext
- [SPARK-32083] [SQL] AQE 不应合并 SinglePartition 的分区
- [SPARK-32509] [SQL] 忽略标准化化中未使用的 DPP True 筛选器
- [SPARK-32332] [SQL] 支持纵览交换
- [SPARK-32227] 使用 Spark 3.0.0 修复 load-spark-env.cmd 中的回归 bug
- [SPARK-32478] [ R][sql] 错误消息，显示在gapply中使用Arrow矢量化时的架构不匹配
- [SPARK-32030] [SQL] 在 SQL 解析器中支持无限制的 MATCHED 和 NOT MATCHED 子句
- [SPARK-32175] [CORE] 修正 ExecutorPlugin 初始化与启动检测信号线程之间的顺序
- [SPARK-32283] [CORE] Kryo 应支持多个用户注册者
- [SPARK-32424] [SQL] 如果发生溢出，请修复静态数据更改以进行时间戳解析
- [SPARK-32430] [SQL] 扩展 SparkSessionExtensions，将规则注入 AQE 查询阶段准备
- [SPARK-32310] [ ML][pyspark] ML 参数默认值一致性
- [SPARK-32237] [SQL] 解析 CTE 中的提示
- [SPARK-32280][SPARK-32372] [SQL] ResolveReferences.dedupRight 只应重写冲突计划的上级节点的属性
- [SPARK-32364] [SQL] 添加 toMap 以返回 originalMap 和文档
- [SPARK-32364] [SQL] 将 CaseInsensitiveMap 用于 DataFrameReader/Writer 选项
- [SPARK-32377] [SQL] CaseInsensitiveMap 应确定为加法
- [SPARK-32365] [SQL] 在 regexp_extract 中为负值索引添加边界条件
- [SPARK-32368] [SQL] pathGlobFilter、recursiveFileLookup 和 basePath 不应区分大小写
- [SPARK-32344] [SQL] 在不同的聚合中，无效 expr 设置为 FIRST/LAST ignoreNullsExpr
- [SPARK-32234] [SQL] Spark sql 命令在选择 Orc 表时失败
维护更新
请参阅 Databricks Runtime 7.3 LTS 维护更新。
系统环境
- 操作系统：Ubuntu 18.04.5 LTS
- Java：Zulu 8.48.0.53-CA-linux64（内部版本 1.8.0_265-b11）
- Scala：2.12.10
- Python：3.7.5
- R：R 版本 3.6.3 (2020-02-29)
- Delta Lake 0.7.0
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | 回调 | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certifi | 2020.6.20 | cffi | 1.14.0 |
| chardet | 3.0.4 | 密码系统 | 2.8 | 骑行者 | 0.10.0 |
| Cython | 0.29.15 | 装饰师 | 4.4.1 | docutils | 0.15.2 |
| 入口点 | 0.3 | IDNA | 2.8 | ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils（IPython通用工具） | 0.2.0 | jedi | 0.14.1 |
| jmespath | 0.10.0 | joblib | 0.14.1 | Jupyter客户端 | 5.3.4 |
| jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | 考拉 | 1.2.0 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | 熊猫 | 1.0.1 |
| 帕尔索 | 0.5.2 | 替罪羊 | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | 果仁 | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 1.0.1 |
| Python代码解析器 | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| pyzmq | 18.1.1 | 请求 | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn | 0.22.1 | scipy | 1.4.1 | seaborn | 0.10.0 |
| setuptools | 45.2.0 | 6 | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | 龙卷风 | 6.0.3 | Traitlets | 4.3.3 |
| 无人参与升级 | 0.1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | 轮子 | 0.34.2 |
已安装的 R 库
R 库安装自 2020-07-14 的 Microsoft CRAN 快照。
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | 回移补丁 | 1.1.8 |
| 基础 | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| 位 | 1.1-15.2 | bit64 | 0.9-7 | 团状物 | 1.2.1 |
| 启动 | 1.3-25 | 酿造/冲泡 | 1.0-6 | 扫帚 | 0.7.0 |
| 调用方 | 3.4.3 | 插入符号 | 6.0-86 | cellranger (细胞测序工具) | 1.1.0 |
| chron | 2.3-55 | 班级 | 7.3-17 | cli | 2.0.2 |
| 剪辑器 | 0.7.0 | 集群 | 2.1.0 | codetools | 0.2-16 |
| 色彩空间 | 1.4-1 | commonmark | 1.7 | 编译器 | 3.6.3 |
| 配置 | 0.3 | covr | 3.5.0 | 蜡笔 | 1.3.4 |
| 相声 | 1.1.0.1 | 卷曲 | 4.3 | 数据表 (data.table) | 1.12.8 |
| 数据集 | 3.6.3 | DBI | 1.1.0 | dbplyr | 1.4.4 |
| desc | 1.2.0 | devtools | 2.3.0 | 摘要 | 0.6.25 |
| dplyr | 0.8.5 | If "DT" is a term that should be translated: 如果“DT”代表一个需要翻译的术语，可以替换为适当的中文术语。 | 0.14 | 省略号 | 0.3.1 |
| 评估 | 0.14 | fansi | 0.4.1 | 颜色 | 2.0.3 |
| 快速映射 | 1.0.1 | forcats | 0.5.0 | foreach | 1.5.0 |
| 外国 | 0.8-76 | 锻造 | 0.2.0 | 文件系统 (if fs stands for "file system") | 1.4.2 |
| 泛 型 | 0.0.2 | ggplot2 | 3.3.2 | gh | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | 全局变量 | 0.12.5 |
| 胶水 | 1.4.1 | gower | 0.2.2 | 图形 | 3.6.3 |
| grDevices | 3.6.3 | “业务流程参数” 网格 | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | 避风港 | 2.3.1 |
| 更高 | 0.8 | 赫姆斯 | 0.5.3 | HTML工具 | 0.5.0 |
| HTML小插件 | 1.5.1 | httpuv | 1.5.4 | httr | 1.4.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.2 | 迭代器 | 1.0.12 |
| jsonlite | 1.7.0 | KernSmooth | 2.23-17 | 针织器 | 1.29 |
| 标记 | 0.3 | 稍后 | 1.1.0.1 | 格子 | 0.20-41 |
| 熔岩 | 1.6.7 | lazyeval | 0.2.2 | 生命周期 | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | markdown | 1.1 |
| 质量 | 7.3-52 | 矩阵 | 1.2-18 | 缓存 | 1.1.0 |
| 方法 | 3.6.3 | mgcv | 1.8-32 | 默剧 | 0.9 |
| ModelMetrics | 1.2.2.2 | modelr | 0.1.8 | 蒙塞尔 | 0.5.0 |
| nlme | 3.1-149 | nnet | 7.3-14 | numDeriv | 2016年8月至1月1日 |
| openssl（开放SSL） | 1.4.2 | 平行 | 3.6.3 | 柱子 | 1.4.6 |
| pkgbuild (软件包构建工具) | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| 普洛格 | 0.2.0 | 普莱尔 | 1.8.6 | 赞美 | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.16.2 | processx | 3.4.3 |
| prodlim | 2019.11.13 | 进度 | 1.2.2 | 承诺 | 1.1.1 |
| 原型 (proto) | 1.0.0 | 附注 (ps) | 1.3.3 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.4.1 | 随机森林 (randomForest) | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | readr（阅读器） | 1.3.1 | readxl | 1.3.1 |
| 食谱 | 0.1.13 | 重赛 | 1.0.1 | rematch2 | 2.1.2 |
| 遥控器 | 2.1.1 | 可复现示例 | 0.3.0 | reshape2 | 1.4.4 |
| 雷克斯 | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.7 |
| rmarkdown（R语言动态文档生成工具） | 2.3 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.0 | rstudioapi | 0.11 | rversions | 2.0.2 |
| rvest | 0.3.5 | 磅秤 | 1.1.1 | selectr | 0.4-2 |
| 会话信息 | 1.1.1 | 形状 | 1.4.4 | 光亮 | 1.5.0 |
| sourcetools | 0.1.7 | sparklyr | 1.3.1 | SparkR | 3.0.0 |
| 空间 | 7.3-11 | 样 条 | 3.6.3 | sqldf（R环境中的数据库操作软件包） | 0.4-11 |
| SQUAREM | 2020.3 | 统计数据 | 3.6.3 | 统计数据4 | 3.6.3 |
| 字符串 | 1.4.6 | stringr | 1.4.0 | 生存 | 3.1-12 |
| sys | 3.3 | tcltk | 3.6.3 | 教学演示 | 2.10 |
| testthat | 2.3.2 | tibble | 3.0.3 | tidyr | 1.1.0 |
| tidyselect | 1.1.0 | tidyverse（数据分析工具包） | 1.3.0 | 时间日期 | 3043.102 |
| tinytex | 0.24 | 工具 | 3.6.3 | usethis | 1.6.1 |
| utf8 | 1.1.4 | 实用工具 | 3.6.3 | UUID（通用唯一识别码） | 0.1-4 |
| vctrs | 0.3.1 | viridisLite | 0.3.0 | 晶 须 | 0.4 |
| 无改动（具体含义和背景需要更多信息） | 2.2.0 | xfun | 0.15 | xml2 | 1.3.2 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.2.1 |
已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis 客户端 | 1.12.0 |
| com.amazonaws | AWS Java SDK 自动扩展 | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | AWS Java SDK CloudFront | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-云HSM | 1.11.655 |
| com.amazonaws | AWS Java SDK 云搜索 | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config（AWS Java SDK 配置） | 1.11.655 |
| com.amazonaws | aws-java-sdk-core (AWS Java软件开发工具包核心) | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | AWS Java SDK Direct Connect（直连） | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） | 1.11.655 |
| com.amazonaws | aws-java-sdk-弹性负载均衡 | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | AWS Java SDK Glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | AWS Java SDK 导入导出 (aws-java-sdk-importexport) | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | AWS Java 软件开发工具包 - KMS | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs（AWS Java开发包日志） | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-机器学习 | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | AWS Java SDK 存储网关 | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | AWS Java SDK支持 | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-SWF-库 | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | 流 (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同学 | 1.3.4 |
| com.fasterxml.jackson.core | Jackson注解 | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor（Jackson的CBOR数据格式） | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda（杰克逊数据类型-Joda） | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.咖啡因 | 咖啡因 | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | 原生系统-Java | 1.1 |
| com.github.fommil.netlib | native_system-Java原生代码 | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | 番石榴 | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | 分析器 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | 源代码_2.12 | 0.1.9 |
| com.microsoft.azure | Azure 数据湖存储 SDK | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | 镜头_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | 配置 | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers解析器 | 2.8.3 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec（公共编解码器） | commons-codec（公共编解码器） | 1.10 |
| commons-collections (通用集合库) | commons-collections (通用集合库) | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| 公共文件上传 | 公共文件上传 | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging（日志库） | commons-logging（日志库） | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | 空气压缩机 | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | 指标-健康检查 | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | 指标-JMX | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | 指标-JVM | 4.1.1 |
| io.dropwizard.metrics | 指标-Servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.最终版 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 激活 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | 交易接口 (transaction-api) | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | 辉岩 | 4.30 |
| net.sf.jpam | 杰潘 | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc（远程调用协议库） | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | stringtemplate (字符串模板) | 3.2.1 |
| org.apache.ant | 蚂蚁 | 1.9.2 |
| org.apache.ant | ant-jsch（Java的SSH库） | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.15.1 |
| org.apache.arrow | 箭头内存 | 0.15.1 |
| org.apache.arrow | 箭头向量 | 0.15.1 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | 策展人与客户 | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | 策展人食谱 | 2.7.1 |
| org.apache.derby | 德比 | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | Hadoop客户端 | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | Hadoop 分布式文件系统 (Hadoop-HDFS) | 2.7.4 |
| org.apache.hadoop | Hadoop MapReduce 客户端应用 | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-客户端-通用 | 2.7.4 |
| org.apache.hadoop | Hadoop-MapReduce-客户端-核心 | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | Hadoop-YARN客户端 | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | Hive 元数据存储器 | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-垫片 | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0 孵化 |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | 常春藤 | 2.4.0 |
| \ org.apache.orc | orc-core | 1.5.10 |
| \ org.apache.orc | orc-mapreduce | 1.5.10 |
| \ org.apache.orc | orc-shims | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1-databricks6 |
| org.apache.parquet | parquet-common | 1.10.1-databricks6 |
| org.apache.parquet | Parquet 编码 | 1.10.1-databricks6 |
| org.apache.parquet | Parquet格式 | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | 速度 | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | 听众批注 | 0.5.0 |
| org.apache.zookeeper | 动物园管理员 | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl (Jackson核心库 - ASL) | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | 杰克逊映射器-ASL | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler（通用编译器） | 3.0.16 |
| org.codehaus.janino | 雅尼诺 | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-continuation | 9.4.18.v20190429 |
| org.eclipse.jetty | Jetty-HTTP | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | 码头安全 | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-server（Jetty服务器） | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util（Jetty工具库） | 9.4.18.v20190429 |
| org.eclipse.jetty | Jetty 网页应用 | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-定位器 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator (OSGi 资源定位器) | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | Jersey容器Servlet核心 | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb (Jersey 媒体库 - JAXB) | 2.30 |
| org.hibernate.validator | Hibernate验证器 | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss 日志 | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | 垫片 | 0.7.45 |
| .rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | 测试界面 | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.springframework | spring-core (Spring核心模块) | 4.1.4.RELEASE |
| org.springframework | 春季测试 | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | 机床工_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| 斯塔克斯 | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |