注意
对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。
Databricks 于 2021 年 2 月发布了此版本。
以下发行说明提供了由 Apache Spark 3.0 提供支持的 Databricks Runtime 7.6 的相关信息。
有关从 Databricks Runtime 6.x 进行迁移的帮助信息，请参阅 Databricks Runtime 7.x 迁移指南 (EoS)。
新功能
提升了自动加载程序中的 JSON 架构演变处理能力
加载 JSON 数据时，默认行为是将不属于原始架构的字段以静默方式删除。 而现在，你可以使用自动加载程序设置 JSON 选项 unparsedDataColumn 来指定列名，该列用于将所有新字段存储为 JSON 字符串。
例如，通过设置
.option("unparsedDataColumn", "_unparsed_data")
结果将包含一个 _unparsed_data 列，其中新字段存储为 JSON 字符串。 稍后可以分析这些新字段，以便进行进一步处理。 如果没有新字段，则列值为 null。
支持在自动加载程序中读取覆盖的文件
你现在可以对流进行配置，以允许通过更改输入目录文件来覆盖现有数据。 设置 .option("cloudFiles.allowOverwrites", "true")。 有关详细信息，请参阅什么是自动加载程序？。
改进
通过 OPTIMIZE ZORDER 实现更好的多维聚类分析和数据跳过性能
OPTIMIZE ZORDER 操作现在默认使用 Hilbert 空间填充曲线。 此方法以更高的维度提供比 Z 排序更好的聚类分析特性。 对于将 OPTIMIZE ZORDER 用于许多列的 Delta 表，Hilbert 曲线可以比 Z 排序跳过更多的数据，从而加快读取查询的速度。 有关详细信息，请参阅 Delta Lake 的跳过数据。
某些仅包含 MERGE 子句的 MATCHED 操作的性能改进
在仅包含 MERGE 子句及子句条件的 MATCHED 操作中，你可以获得更好的性能。
自动优化 MERGE 密集型 Delta 表的文件大小（公共预览版）
执行重复的 MERGE 操作（例如，行级变更数据的持续 upsert）的 Delta 表会重复地重写文件以更新数据。 这种表可能会因其文件小于数据布局操作（例如 OPTIMIZE、优化的写入和自动压缩）默认生成的文件而受益。 使用 Databricks Runtime 7.6，你可以自动检测 MERGE 密集型表并优化文件大小。 若要详细了解如何启用此功能，请联系 Databricks 支持人员或你的 Azure Databricks 客户团队。
库升级
- 升级了 Python 库：
- certifi 已从 2020.6.20 升级到 2020.12.5。
- koalas 已从 1.4.0 升级到 1.5.0。
- python-apt 已从 1.6.5+ubuntu0.3 升级到 1.6.5+ubuntu0.4。
- 升级了 R 库：
- nlme，从 3.1-150 升级到了 3.1-151。
- 升级了 Java 库：
- azure-data-lake-store-sdk 已从 2.3.8 升级到 2.3.9。
- OpenJDK 8 内部版本已升级到 Zulu 8.50.0.51-CA-linux64（内部版本 1.8.0_275-b01）。
Apache Spark
Databricks Runtime 7.6 包括 Apache Spark 3.0.1。 此版本包括 Databricks Runtime 7.5 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：
- [SPARK-33740] [SQL] hive-site.xml 中的 hadoop 配置可能会替代预先存在的 hadoop 配置
-
[SPARK-33822] [SQL] 使用 HashJoin 中的
CastSupport.cast方法 - [SPARK-33398] 修复 Spark 3.0 之前的加载树模型
- [SPARK-33029] [CORE][webui] 修复 UI 执行程序页面错误地将驱动程序标记为已列入阻止列表的问题
-
[SPARK-34012] [SQL] 当配置
spark.sqllegacy.parser.havingWithoutGroupByAsWhere为 true 时使行为与迁移指南保持一致 - [SPARK-33635] [SS] 调整 KafkaTokenUtil.needTokenUpdate 中的检查顺序以对性能倒退的情况进行补救
- [SPARK-33900] [WEBUI] 只有在 remotebytesread 可用时才会正确显示随机读取大小/记录数
- [SPARK-33593] [SQL] 矢量读取器得到含有二进制分区值的不正确数据
- [SPARK-31170] [SQL] Spark SQL Cli 应遵循 hive-site.xml 和 spark.sql.warehouse.dir 的要求
- [SPARK-33853] [ SQL] EXPLAIN CODEGEN 和 BenchmarkQueryTest 不显示子查询代码
- [SPARK-33786] [SQL] 更改表名时，应当考虑缓存的存储级别。
- [SPARK-33841] [CORE] 修复高负载下 SHS 中作业间歇性消失的问题
- [SPARK-33480] [SQL] 不要在错误消息中公开用户数据
- [SPARK-33756] [SQL] 使 BytesToBytesMap 的 MapIterator 成为幂等的
- [SPARK-33774] [UI][core]“返回主节点”在独立集群中返回500错误
- [SPARK-33733] [SQL] PullOutNondeterministic 应当检查并收集确定性的字段
- [SPARK-33670] [SQL] 在 v1 SHOW TABLE EXTENDED 中验证分区提供程序是否为 Hive
- [SPARK-33788] [SQL][3.1][2.4] 从 HiveExternalCatalog.dropPartitions() 引发 NoSuchPartitionsException
-
[SPARK-33819] [CORE] SingleFileEventLogFileReader/RollingEventLogFilesFileReader 应当为
package private - [SPARK-33742] [SQL] 从 HiveExternalCatalog.createPartitions() 引发 PartitionsAlreadyExistException
- [SPARK-32110] [SQL] 在 HyperLogLog++ 中规范化特殊浮点数
- [SPARK-33071][SPARK-33536] [SQL] 不要更改 Alias 构造函数以防破坏 Snowflake 连接器
- [SPARK-32680] [SQL] 不要预处理包含未解析查询的 V2 CTAS
- [SPARK-33520] [ML][pyspark] 挑拣：使 CrossValidator/TrainValidateSplit/OneVsRest 读取器/写入器支持 Python 后端估算器/计算器
- [SPARK-33592] [ ML][python]估算器ParamMaps 中的 Pyspark ML 验证器参数在保存和重新加载后可能会丢失
-
[SPARK-33667] [SQL] 在 v1
spark.sql.caseSensitive中解析分区规范时遵循SHOW PARTITIONS配置 - [SPARK-33141] [SQL] 在创建永久视图时捕获 SQL 配置
- [SPARK-33636] [ PYTHON][ml] 将 labelsArray 添加到 PySpark StringIndexer
- [SPARK-33629] [PYTHON] 使 spark.buffer.size 配置在驱动程序端可见
- [SPARK-33389] [SQL] 使 SparkSession 的内部类始终使用活动 SQLConf
- [SPARK-33071][SPARK-33536] [SQL] 避免在 join() 中更改 LogicalPlan 的 dataset_id，以免破坏 DetectAmbiguousSelfJoin
- [SPARK-33551] [SQL] 不要使用自定义随机读取器进行重新分区
- [SPARK-33432] [SQL] SQL 分析程序应使用活动 SQLConf
-
[SPARK-33588] [SQL] 在 v1
spark.sql.caseSensitive中解析分区规范时遵循SHOW TABLE EXTENDED配置 - [SPARK-33440] [CORE] 当令牌的颁发日期未正确设置时，请在 HadoopFSDelegationTokenProvider 的警告日志中使用当前时间戳
- [SPARK-33494] [SQL][aqe] 不要使用本地随机读取器进行重新分区
维护更新
请参阅 Databricks Runtime 7.6 维护更新。
系统环境
- 操作系统：Ubuntu 18.04.5 LTS
- Java：Zulu 8.50.0.51-CA-linux64（内部版本 1.8.0_275-b01）
- Scala：2.12.10
- Python：3.7.5
- R：R 版本 3.6.3 (2020-02-29)
- Delta Lake 0.7.0
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | 回调 | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certifi | 2020.12.5 | cffi | 1.14.0 |
| chardet | 3.0.4 | 密码系统 | 2.8 | 骑行者 | 0.10.0 |
| Cython | 0.29.15 | 装饰师 | 4.4.1 | docutils | 0.15.2 |
| 入口点 | 0.3 | IDNA | 2.8 | ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils（IPython通用工具） | 0.2.0 | jedi | 0.17.2 |
| jmespath | 0.10.0 | joblib | 0.14.1 | Jupyter客户端 | 5.3.4 |
| jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | 考拉 | 1.5.0 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | 熊猫 | 1.0.1 |
| 帕尔索 | 0.7.0 | 替罪羊 | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | 果仁 | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 1.0.1 |
| Python代码解析器 | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.4 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| pyzmq | 18.1.1 | 请求 | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn | 0.22.1 | scipy | 1.4.1 | seaborn | 0.10.0 |
| setuptools | 45.2.0 | 6 | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | 龙卷风 | 6.0.3 | Traitlets | 4.3.3 |
| 无人参与升级 | 0.1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | 轮子 | 0.34.2 |
已安装的 R 库
R 库安装自 2020-11-02 的 Microsoft CRAN 快照。
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | 回移补丁 | 1.1.10 |
| 基础 | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| 位 | 4.0.4 | bit64 | 4.0.5 | 团状物 | 1.2.1 |
| 启动 | 1.3-25 | 酿造/冲泡 | 1.0-6 | 活力 | 1.1.0 |
| 扫帚 | 0.7.2 | 调用方 | 3.5.1 | 插入符号 | 6.0-86 |
| cellranger (细胞测序工具) | 1.1.0 | chron | 2.3-56 | 班级 | 7.3-17 |
| cli | 2.1.0 | 剪辑器 | 0.7.1 | 集群 | 2.1.0 |
| codetools | 0.2-18 | 色彩空间 | 1.4-1 | commonmark | 1.7 |
| 编译器 | 3.6.3 | 配置 | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.3 | 蜡笔 | 1.3.4 | 相声 | 1.1.0.1 |
| 卷曲 | 4.3 | 数据表 (data.table) | 1.13.2 | 数据集 | 3.6.3 |
| DBI | 1.1.0 | dbplyr | 1.4.4 | desc | 1.2.0 |
| devtools | 2.3.2 | diffobj | 0.3.2 | 摘要 | 0.6.27 |
| dplyr | 0.8.5 | If "DT" is a term that should be translated: 如果“DT”代表一个需要翻译的术语，可以替换为适当的中文术语。 | 0.16 | 省略号 | 0.3.1 |
| 评估 | 0.14 | fansi | 0.4.1 | 颜色 | 2.0.3 |
| 快速映射 | 1.0.1 | forcats | 0.5.0 | foreach | 1.5.1 |
| 外国 | 0.8-76 | 锻造 | 0.2.0 | 文件系统 (if fs stands for "file system") | 1.5.0 |
| 泛 型 | 0.1.0 | ggplot2 | 3.3.2 | gh | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | 全局变量 | 0.13.1 |
| 胶水 | 1.4.2 | gower | 0.2.2 | 图形 | 3.6.3 |
| grDevices | 3.6.3 | “业务流程参数” 网格 | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | 避风港 | 2.3.1 |
| 更高 | 0.8 | 赫姆斯 | 0.5.3 | HTML工具 | 0.5.0 |
| HTML小插件 | 1.5.2 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.2 | 迭代器 | 1.0.13 |
| jsonlite | 1.7.1 | KernSmooth | 2.23-18 | 针织器 | 1.30 |
| 标记 | 0.4.2 | 稍后 | 1.1.0.1 | 格子 | 0.20-41 |
| 熔岩 | 1.6.8 | lazyeval | 0.2.2 | 生命周期 | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | markdown | 1.1 |
| 质量 | 7.3-53 | 矩阵 | 1.2-18 | 缓存 | 1.1.0 |
| 方法 | 3.6.3 | mgcv | 1.8-33 | 默剧 | 0.9 |
| ModelMetrics | 1.2.2.2 | modelr | 0.1.8 | 蒙塞尔 | 0.5.0 |
| nlme | 3.1-151 | nnet | 7.3-14 | numDeriv | 2016年8月至1月1日 |
| openssl（开放SSL） | 1.4.3 | 平行 | 3.6.3 | 柱子 | 1.4.6 |
| pkgbuild (软件包构建工具) | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| 普洛格 | 0.2.0 | 普莱尔 | 1.8.6 | 赞美 | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.16.2 | processx | 3.4.4 |
| prodlim | 2019.11.13 | 进度 | 1.2.2 | 承诺 | 1.1.1 |
| 原型 (proto) | 1.0.0 | 附注 (ps) | 1.4.0 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.5.0 | 随机森林 (randomForest) | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | readr（阅读器） | 1.4.0 | readxl | 1.3.1 |
| 食谱 | 0.1.14 | 重赛 | 1.0.1 | rematch2 | 2.1.2 |
| 遥控器 | 2.2.0 | 可复现示例 | 0.3.0 | reshape2 | 1.4.4 |
| 雷克斯 | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.8 |
| rmarkdown（R语言动态文档生成工具） | 2.5 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.1 | rstudioapi | 0.11 | rversions | 2.0.2 |
| rvest | 0.3.6 | 磅秤 | 1.1.1 | selectr | 0.4-2 |
| 会话信息 | 1.1.1 | 形状 | 1.4.4 | 光亮 | 1.5.0 |
| sourcetools | 0.1.7 | sparklyr | 1.4.0 | SparkR | 3.0.0 |
| 空间 | 7.3-11 | 样 条 | 3.6.3 | sqldf（R环境中的数据库操作软件包） | 0.4-11 |
| SQUAREM | 2020.5 | 统计数据 | 3.6.3 | 统计数据4 | 3.6.3 |
| 字符串 | 1.5.3 | stringr | 1.4.0 | 生存 | 3.2-7 |
| sys | 3.4 | tcltk | 3.6.3 | 教学演示 | 2.10 |
| testthat | 3.0.0 | tibble | 3.0.4 | tidyr | 1.1.2 |
| tidyselect | 1.1.0 | tidyverse（数据分析工具包） | 1.3.0 | 时间日期 | 3043.102 |
| tinytex | 0.27 | 工具 | 3.6.3 | usethis | 1.6.3 |
| utf8 | 1.1.4 | 实用工具 | 3.6.3 | UUID（通用唯一识别码） | 0.1-4 |
| vctrs | 0.3.4 | viridisLite | 0.3.0 | 瓦尔多 | 0.2.2 |
| 晶 须 | 0.4 | 无改动（具体含义和背景需要更多信息） | 2.3.0 | xfun | 0.19 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.2.1 |
已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis 客户端 | 1.12.0 |
| com.amazonaws | AWS Java SDK 自动扩展 | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | AWS Java SDK CloudFront | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-云HSM | 1.11.655 |
| com.amazonaws | AWS Java SDK 云搜索 | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config（AWS Java SDK 配置） | 1.11.655 |
| com.amazonaws | aws-java-sdk-core (AWS Java软件开发工具包核心) | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | AWS Java SDK Direct Connect（直连） | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） | 1.11.655 |
| com.amazonaws | aws-java-sdk-弹性负载均衡 | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | AWS Java SDK Glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | AWS Java SDK 导入导出 (aws-java-sdk-importexport) | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | AWS Java 软件开发工具包 - KMS | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs（AWS Java开发包日志） | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-机器学习 | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | AWS Java SDK 存储网关 | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | AWS Java SDK支持 | 1.11.655 |
| com.amazonaws | AWS-Java-SDK-SWF-库 | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | 流 (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同学 | 1.3.4 |
| com.fasterxml.jackson.core | Jackson注解 | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor（Jackson的CBOR数据格式） | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda（杰克逊数据类型-Joda） | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.咖啡因 | 咖啡因 | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | 原生系统-Java | 1.1 |
| com.github.fommil.netlib | native_system-Java原生代码 | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | 番石榴 | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | 分析器 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | 源代码_2.12 | 0.1.9 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.microsoft.azure | Azure 数据湖存储 SDK | 2.3.9 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | 镜头_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | 配置 | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers解析器 | 2.9.0 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec（公共编解码器） | commons-codec（公共编解码器） | 1.10 |
| commons-collections (通用集合库) | commons-collections (通用集合库) | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| 公共文件上传 | 公共文件上传 | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging（日志库） | commons-logging（日志库） | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | 空气压缩机 | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | 指标-健康检查 | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | 指标-JMX | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | 指标-JVM | 4.1.1 |
| io.dropwizard.metrics | 指标-Servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.最终版 |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | 简单客户端通用 | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 激活 | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | 交易接口 (transaction-api) | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | 辉岩 | 4.30 |
| net.sf.jpam | 杰潘 | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc（远程调用协议库） | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | stringtemplate (字符串模板) | 3.2.1 |
| org.apache.ant | 蚂蚁 | 1.9.2 |
| org.apache.ant | ant-jsch（Java的SSH库） | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.15.1 |
| org.apache.arrow | 箭头内存 | 0.15.1 |
| org.apache.arrow | 箭头向量 | 0.15.1 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | 策展人与客户 | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | 策展人食谱 | 2.7.1 |
| org.apache.derby | 德比 | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | Hadoop客户端 | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | Hadoop 分布式文件系统 (Hadoop-HDFS) | 2.7.4 |
| org.apache.hadoop | Hadoop MapReduce 客户端应用 | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-客户端-通用 | 2.7.4 |
| org.apache.hadoop | Hadoop-MapReduce-客户端-核心 | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | Hadoop-YARN客户端 | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | Hive 元数据存储器 | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-垫片 | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0 孵化 |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | 常春藤 | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| \ org.apache.orc | orc-core | 1.5.10 |
| \ org.apache.orc | orc-mapreduce | 1.5.10 |
| \ org.apache.orc | orc-shims | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1-databricks6 |
| org.apache.parquet | parquet-common | 1.10.1-databricks6 |
| org.apache.parquet | Parquet 编码 | 1.10.1-databricks6 |
| org.apache.parquet | Parquet格式 | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | 速度 | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | 听众批注 | 0.5.0 |
| org.apache.zookeeper | 动物园管理员 | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl (Jackson核心库 - ASL) | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | 杰克逊映射器-ASL | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler（通用编译器） | 3.0.16 |
| org.codehaus.janino | 雅尼诺 | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-continuation | 9.4.18.v20190429 |
| org.eclipse.jetty | Jetty-HTTP | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | 码头安全 | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-server（Jetty服务器） | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util（Jetty工具库） | 9.4.18.v20190429 |
| org.eclipse.jetty | Jetty 网页应用 | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-定位器 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator (OSGi 资源定位器) | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | Jersey容器Servlet核心 | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb (Jersey 媒体库 - JAXB) | 2.30 |
| org.hibernate.validator | Hibernate验证器 | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss 日志 | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | 垫片 | 0.7.45 |
| .rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | 测试界面 | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.springframework | spring-core (Spring核心模块) | 4.1.4.RELEASE |
| org.springframework | 春季测试 | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | 机床工_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | WildFly-OpenSSL | 1.0.7.最终版 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| 斯塔克斯 | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |