注意
对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。
Databricks 于 2019 年 10 月发布此版本。
以下发行说明提供了由 Apache Spark 支持的 Databricks Runtime 6.1 的相关信息。
新增功能
Delta Lake 增强功能
适用于 Delta 表的 Python API（公共预览版）
现在可以使用 Python API 在 Delta 表中删除和更新插入数据、清理表并获取表历史记录。
有关详细信息，请参阅 什么是 Azure Databricks 中的 Delta Lake？。
默认情况下已启用的动态文件修剪 (DFP)
DFP 使用 Delta 表元数据（例如，文件中的最小/最大列统计信息），通过跳过列值超出范围的文件，大大提高了许多查询的性能。 与动态分区修剪 (DPP) 不同，DFP 也适用于非分区列。 对于在非分区键上进行联接的工作负荷，DFP 可能非常有用。
通过 Databricks 容器服务使用自己的容器映像配置群集
Databricks 容器服务允许你使用你自己的容器映像配置群集。 可以将复杂环境预打包在容器中，将其发布到常用容器注册表，如 ACR、ECR 或 Docker Hub，然后让 Databricks 拉取映像以构建群集。 一些示例用例包括：
- 库自定义 - 你可以完全控制你要安装的系统库
- 黄金容器环境 - 你的 Docker 映像是锁定的环境，永远不会更改
- Docker CI/CD 集成 - 可以将 Azure Databricks 与 Docker CI/CD 管道集成
还有许多其他用例，涵盖从“指定配置”到“安装机器学习包”等许多方面。
有关详细信息，请参阅使用 Databricks 容器服务自定义容器。
Spark 配置属性和环境变量引用的机密（公共预览版）
自 Databricks Runtime 6.1 的 11 月 7 日维护更新起，在 Spark 配置属性或环境变量中引用机密的功能以公开预览版提供。 有关详细信息，请参阅使用 Spark 配置属性或环境变量中的机密。
Ganglia 指标现已在具有表 ACL 和凭据直通验证功能的群集上提供
启用了表访问控制或凭据直通身份验证的群集以前不支持 Ganglia 指标。 现在它们已经可用。
改进
- 已将 netty-all 从 4.1.17.Final 升级到 4.1.39.Final
- 已将 Snowflake 连接器从 2.4.10 升级到 2.5.3
凭据直通身份验证
- Microsoft Entra ID 凭据现在会在使用
dbutils.notebook.run()运行的笔记本中传播。 - 所有 PySpark ML 类现在都受支持。
- Ganglia UI 现已可用。
有关详细信息，请参阅“使用 Microsoft Entra ID 凭据直通访问 Azure Data Lake Storage（旧版）”。
Apache Spark
Databricks Runtime 6.1 包括 Apache Spark 2.4.4。 此版本包括 Databricks Runtime 6.0 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：
- [SPARK-28782][SQL] 聚合表达式中的生成器支持
- [SPARK-19147][CORE] 在执行程序停止后正确处理任务中的错误
- [SPARK-26003][SQL] 提高 SQLAppStatusListener.aggregateMetrics 性能
- [SPARK-29101][SQL] 修复了在 DROPMALFORMED 模式处于选中状态时用于 csv 文件的计数 API
- [SPARK-29042][CORE] 带有无序输入的基于采样的 RDD 应是不确定的
- [SPARK-29124][CORE] 使用 MurmurHash3 bytesHash(data, seed)，而不是 bytesHash(data)
- [SPARK-26713][CORE] 任务完成时在 PipedRDD 内中断管道 IO 线程
- [SPARK-29046][SQL] 修复了当活动 SparkContext 正在停止时 SQLConf.get 中的 NPE。
- [SPARK-28483] 修复了在终止任务时 barrier() 上的屏障模式任务挂起
- [SPARK-29087][CORE] [STREAMING] 使用 DelegatingServletContextHandler 来避免 CCE
- [SPARK-27122][CORE] Jetty 类不得在 org.apache.spark.ui.WebUI 中通过 getter 返回
- [SPARK-11150][SQL] 动态分区修剪
- [SPARK-27592][SQL] 正确设置通过 bucket 存储的数据源表 SerDe
- [SPARK-23519][SQL] Create view 应从具有重复输出列的查询中运行
- [SPARK-29011][BUILD] 将 netty-all 从 4.1.17-Final 升级到 4.1.39-Final
- [SPARK-28912] 修复了 getCheckpointFiles() 中的 MatchError
- [SPARK-26046][SS] 添加了 StreamingQueryManager.listListeners()
- [SPARK-3137][CORE] 将全局 TorrentBroadcast 锁替换为精细的 KeyLock (6.x)
- [SPARK-28709][DSTREAMS] 通过 Streaming 修复 StreamingContext 泄漏
- [SPARK-22955][DSTREAMS] - 正常关机不应导致作业 gen…
- [SPARK-28730][SPARK-28495] 引入用于表插入的 ANSI 存储分配策略
- [SPARK-27992][SPARK-28881][PYTHON] 允许 Python 与连接线程联接以传播错误
- [SPARK-28025][SS] 修复了泄露 crc 文件的 FileContextBasedCheckpointFileManager
- [SPARK-28699][CORE] 修复了中止不确定阶段的个别案例
- [SPARK-28780][ML] 弃用了 LinearSVCModel.setWeightCol
- [SPARK-28844][SQL] 修复了 SQLConf FILE_COMRESSION_FACTOR 中的拼写错误
- [SPARK-26895][CORE] 应为代理用户在 doAs 中调用 prepareSubmitEnvironment
维护更新
请参阅 Databricks Runtime 6.1 维护更新。
系统环境
- 操作系统：Ubuntu 16.04.6 LTS
- Java：1.8.0_232
- Scala：2.11.12
- Python：3.7.3
- R：R 版本 3.6.1 (2019-07-05)
- Delta Lake：0.4.0
注意
尽管 Scala 2.12 已作为实验性功能在 Apache Spark 2.4 中提供，但 Databricks Runtime 6.1 不支持此功能。
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| asn1crypto | 0.24.0 | 回调 | 0.1.0 | 博托 | 2.49.0 |
| boto3 | 1.9.162 | botocore | 1.12.163 | certifi | 2019年3月9日 |
| cffi | 1.12.2 | chardet | 3.0.4 | 密码系统 | 2.6.1 |
| 骑行者 | 0.10.0 | Cython | 0.29.6 | 装饰师 | 4.4.0 |
| docutils | 0.14 | IDNA | 2.8 | ipython | 7.4.0 |
| ipython-genutils（IPython通用工具） | 0.2.0 | jedi | 0.13.3 | jmespath | 0.9.4 |
| kiwisolver | 1.1.0 | matplotlib | 3.0.3 | numpy | 1.16.2 |
| 熊猫 | 0.24.2 | 帕尔索 | 0.3.4 | 替罪羊 | 0.5.1 |
| pexpect | 4.6.0 | pickleshare | 0.7.5 | 果仁 | 19.0.3 |
| prompt-toolkit | 2.0.9 | psycopg2 | 2.7.6.1 | ptyprocess | 0.6.0 |
| pyarrow | 0.13.0 | Python代码解析器 | 2.19 | pycurl | 7.43.0 |
| Pygments | 2.3.1 | PyGObject | 3.20.0 | pyOpenSSL | 19.0.0 |
| pyparsing | 2.4.2 | PySocks | 1.6.8 | python-apt | 1.1.0.b1+ubuntu0.16.04.5 |
| python-dateutil | 2.8.0 | pytz | 2018.9 | 请求 | 2.21.0 |
| s3transfer | 0.2.1 | scikit-learn | 0.20.3 | scipy | 1.2.1 |
| seaborn | 0.9.0 | setuptools | 40.8.0 | 6 | 1.12.0 |
| ssh-import-id | 5.5 | statsmodels | 0.9.0 | Traitlets | 4.3.2 |
| 无人参与升级 | 0.1 | urllib3 | 1.24.1 | virtualenv | 16.4.1 |
| wcwidth | 0.1.7 | 轮子 | 0.33.1 |
已安装的 R 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1.1 | assertthat | 0.2.1 |
| 回移补丁 | 1.1.3 | 基础 | 3.6.1 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | 位 | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | 团状物 | 1.1.1 | 启动 | 1.3-23 |
| 酿造/冲泡 | 1.0-6 | Callr | 3.2.0 | 汽车 | 3.0-2 |
| 汽车数据 | 3.0-2 | 插入符号 | 6.0-82 | cellranger (细胞测序工具) | 1.1.0 |
| chron | 2.3-53 | 班级 | 7.3-15 | cli | 1.1.0 |
| 剪辑器 | 0.5.0 | clisymbols | 1.2.0 | 集群 | 2.1.0 |
| codetools | 0.2-16 | 色彩空间 | 1.4-1 | commonmark | 1.7 |
| 编译器 | 3.6.1 | 配置 | 0.3 | 蜡笔 | 1.3.4 |
| 卷曲 | 3.3 | data.table（数据表） | 1.12.0 | 数据集 | 3.6.1 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | desc | 1.2.0 |
| devtools | 2.0.1 | 摘要 | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | 省略号 | 0.1.0 | fansi | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | 外国 | 0.8-72 |
| 锻造 | 0.2.0 | 文件系统 (if fs stands for "file system") | 1.2.7 | gbm | 2.1.5 |
| 泛 型 | 0.0.2 | ggplot2 | 3.1.0 | gh | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | 胶水 | 1.3.1 |
| 戈尔 | 0.2.0 | 图形 | 3.6.1 | grDevices | 3.6.1 |
| “业务流程参数” 网格 | 3.6.1 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.0 | H₂O | 3.22.1.1 | 避风港 | 2.1.0 |
| 赫姆斯 | 0.4.2 | HTML工具 | 0.3.6 | HTML小插件 | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | 迭代器 | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | 标记 | 0.3 |
| 格子 | 0.20-38 | 熔岩 | 1.6.5 | lazyeval | 0.2.2 |
| 更小 | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | 地图 | 3.3.0 |
| maptools | 0.9-5 | 质量 | 7.3-51.4 | 矩阵 | 1.2-17 |
| MatrixModels | 0.4-1 | 缓存 | 1.1.0 | 方法 | 3.6.1 |
| mgcv | 1.8-29 | 默剧 | 0.6 | 明卡 | 1.2.4 |
| ModelMetrics | 1.2.2 | 蒙塞尔 | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-141 | nloptr | 1.2.1 | nnet（神经网络） | 7.3-12 |
| numDeriv | 2016.8-1 | openssl（开放SSL） | 1.3 | openxlsx | 4.1.0 |
| 平行 | 3.6.1 | pbkrtest | 0.4-7 | 柱子 | 1.3.1 |
| pkgbuild (软件包构建工具) | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | 普洛格 | 0.2.0 | 普莱尔 | 1.8.4 |
| 赞美 | 1.0.0 | prettyunits | 1.0.2 | pROC | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | 进度 | 1.2.0 |
| 原型 (proto) | 1.0.0 | 附注 (ps) | 1.3.0 | purrr | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| 随机森林 (randomForest) | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | readr（阅读器） | 1.3.1 |
| readxl | 1.3.1 | 食谱 | 0.1.5 | 重赛 | 1.0.1 |
| 遥控器 | 2.0.2 | reshape2 | 1.4.3 | 里约 | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | 磅秤 | 1.0.0 |
| 会话信息 | 1.1.1 | sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.5 | 稀疏M | 1.77 | 空间 | 7.3-11 |
| 样 条 | 3.6.1 | sqldf（R环境中的数据库操作软件包） | 0.4-11 | SQUAREM | 2017年10月-1日 |
| statmod | 1.4.30 | 统计数据 | 3.6.1 | 统计数据4 | 3.6.1 |
| 字符串 | 1.4.3 | stringr | 1.4.0 | 生存 | 2.44-1.1 |
| sys | 3.1 | tcltk | 3.6.1 | 教学演示 | 2.10 |
| testthat | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | 时间日期 | 3043.102 | 工具 | 3.6.1 |
| usethis | 1.4.0 | utf8 | 1.1.4 | 实用工具 | 3.6.1 |
| viridisLite | 0.3.0 | 晶 须 | 0.3-2 | 无改动（具体含义和背景需要更多信息） | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| 压缩包 | 2.0.1 |
已安装的 Java 库和 Scala 库（Scala 2.11 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis 客户端 | 1.8.10 |
| com.amazonaws | AWS Java SDK 自动扩展 | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.595 |
| com.amazonaws | AWS Java SDK CloudFront | 1.11.595 |
| com.amazonaws | AWS-Java-SDK-云HSM | 1.11.595 |
| com.amazonaws | AWS Java SDK 云搜索 | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.595 |
| com.amazonaws | AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.595 |
| com.amazonaws | aws-java-sdk-config（AWS Java SDK 配置） | 1.11.595 |
| com.amazonaws | aws-java-sdk-core (AWS Java软件开发工具包核心) | 1.11.595 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.595 |
| com.amazonaws | AWS Java SDK Direct Connect（直连） | 1.11.595 |
| com.amazonaws | aws-java-sdk-directory | 1.11.595 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.595 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.595 |
| com.amazonaws | aws-java-sdk-efs | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） | 1.11.595 |
| com.amazonaws | aws-java-sdk-弹性负载均衡 | 1.11.595 |
| com.amazonaws | aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） | 1.11.595 |
| com.amazonaws | aws-java-sdk-emr | 1.11.595 |
| com.amazonaws | AWS Java SDK Glacier | 1.11.595 |
| com.amazonaws | AWS Java SDK Glue | 1.11.595 |
| com.amazonaws | aws-java-sdk-iam | 1.11.595 |
| com.amazonaws | AWS Java SDK 导入导出 (aws-java-sdk-importexport) | 1.11.595 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.595 |
| com.amazonaws | AWS Java 软件开发工具包 - KMS | 1.11.595 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.595 |
| com.amazonaws | aws-java-sdk-logs（AWS Java开发包日志） | 1.11.595 |
| com.amazonaws | AWS-Java-SDK-机器学习 | 1.11.595 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.595 |
| com.amazonaws | aws-java-sdk-rds | 1.11.595 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.595 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.595 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ses | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.595 |
| com.amazonaws | aws-java-sdk-sns | 1.11.595 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.595 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.595 |
| com.amazonaws | AWS Java SDK 存储网关 | 1.11.595 |
| com.amazonaws | aws-java-sdk-sts | 1.11.595 |
| com.amazonaws | AWS Java SDK支持 | 1.11.595 |
| com.amazonaws | AWS-Java-SDK-SWF-库 | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.595 |
| com.amazonaws | jmespath-java | 1.11.595 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | 流 (stream) | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同学 | 1.0.0 |
| com.fasterxml.jackson.core | Jackson注解 | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor（Jackson的CBOR数据格式） | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda（杰克逊数据类型-Joda） | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | 原生系统-Java | 1.1 |
| com.github.fommil.netlib | native_system-Java原生代码 | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | 番石榴 | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | Azure 数据湖存储 SDK | 2.2.8 |
| com.microsoft.azure | Azure 存储 | 7.0.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | 压缩-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | 镜片_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | Parquet-Hadoop数据包 | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | 配置 | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11（Scala日志库） | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers解析器 | 2.7.3 |
| com.vlkan | FlatBuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec（公共编解码器） | commons-codec（公共编解码器） | 1.10 |
| commons-collections (通用集合库) | commons-collections (通用集合库) | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging（日志库） | commons-logging（日志库） | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | 空气压缩机 | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | 指标-健康检查 | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | 指标-JVM | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | 指标-Servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.39.Final |
| javax.activation | 激活 | 1.1.1 |
| javax.annotation | javax.annotation-api (Java中的注解API) | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| junit | junit | 4.12 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-属性 | 1.1.5 |
| net.razorvine | 辉岩 | 4.13 |
| net.sf.jpam | 杰潘 | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.0 |
| net.snowflake | spark-snowflake_2.11 | 2.5.9-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate (字符串模板) | 3.2.1 |
| org.apache.ant | 蚂蚁 | 1.9.2 |
| org.apache.ant | ant-jsch（Java的SSH库） | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | 箭头格式 | 0.10.0 |
| org.apache.arrow | 箭头内存 | 0.10.0 |
| org.apache.arrow | 箭头向量 | 0.10.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0（孵化中） |
| org.apache.calcite | 如果没有标准的中文翻译且是专有名称，“calcite-core”可以保持不变。根据具体情况和语境决定是否需要翻译该术语。 | 1.2.0（孵化中） |
| org.apache.calcite | calcite-linq4j | 1.2.0（孵化中） |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | 策展人与客户 | 2.7.1 |
| org.apache.curator | curator-framework (ZooKeeper客户端库) | 2.7.1 |
| org.apache.curator | 策展人食谱 | 2.7.1 |
| org.apache.derby | 德比 | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | Hadoop客户端 | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | Hadoop 分布式文件系统 (Hadoop-HDFS) | 2.7.3 |
| org.apache.hadoop | Hadoop MapReduce 客户端应用 | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-客户端-通用 | 2.7.3 |
| org.apache.hadoop | Hadoop-MapReduce-客户端-核心 | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | Hadoop-YARN客户端 | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0 孵化 |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.10 |
| org.apache.ivy | 常春藤 | 2.4.0 |
| \ org.apache.orc | orc-core-nohive | 1.5.5 |
| \ org.apache.orc | orc-mapreduce-nohive | 1.5.5 |
| \ org.apache.orc | orc-shims | 1.5.5 |
| org.apache.parquet | parquet-column | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-common | 1.10.1.2-databricks4 |
| org.apache.parquet | Parquet 编码 | 1.10.1.2-databricks4 |
| org.apache.parquet | Parquet格式 | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-jackson | 1.10.1.2-databricks4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | 动物园管理员 | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl (Jackson核心库 - ASL) | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | 杰克逊映射器-ASL | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler（通用编译器） | 3.0.10 |
| org.codehaus.janino | 雅尼诺 | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-continuation | 9.3.27.v20190418 |
| org.eclipse.jetty | Jetty-HTTP | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-io | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-jndi | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-plus | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-proxy | 9.3.27.v20190418 |
| org.eclipse.jetty | 码头安全 | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-server（Jetty服务器） | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlet | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlets | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-util（Jetty工具库） | 9.3.27.v20190418 |
| org.eclipse.jetty | Jetty 网页应用 | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-xml | 9.3.27.v20190418 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-定位器 | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator (OSGi 资源定位器) | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | Jersey容器Servlet | 2.22.2 |
| org.glassfish.jersey.containers | Jersey容器Servlet核心 | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb (Jersey 媒体库 - JAXB) | 2.22.2 |
| org.hamcrest | hamcrest-core | 1.3 |
| org.hamcrest | hamcrest-library | 1.3 |
| org.hibernate | Hibernate验证器 | 5.1.1.Final |
| org.iq80.snappy | 活泼 | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss 日志 | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-core | 1.10.19 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | 垫片 | 0.7.45 |
| .rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | 测试界面 | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | Hive 元数据存储器 | 1.2.1.spark2 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core (Spring核心模块) | 4.1.4.RELEASE |
| org.springframework | 春季测试 | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | 机械师_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| 斯塔克斯 | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |