注意
对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。
Databricks 于 2019 年 7 月发布此版本。 2019 年 8 月为其声明了长期支持 (LTS)。 支持已于 2021 年 7 月 27 日结束。 Databricks Runtime 5.5 外延支持 (EoS) 于 2021 年 7 月 8 日发布，并将 5.5 支持延长至 2021 年 12 月。 它使用 Ubuntu 18.04.5 LTS，而不是原始 Databricks Runtime 5.5 LTS 中使用的 Ubuntu 16.04.6 LTS 发行版（已弃用）。 Ubuntu 16.04.6 LTS 支持已于 2021 年 4 月 1 日终止。
以下发行说明提供了由 Apache Spark 支持的 Databricks Runtime 5.5 的相关信息。
新增功能
Azure Databricks 上的 Delta Lake 自动优化
现在，将数据写入云存储时，你需要压缩文件以获得最佳 I/O 性能。 你必须考虑正确的文件大小、压缩文件的频率、要使用的群集的大小，等等。 为了解决此类问题，我们非常高兴地宣布，通过 Azure Databricks 上的 Delta Lake 进行自动优化的功能正式发布。 每次写入 Delta 表时，我们都会自动找出正确的文件大小和压缩文件，这样就不必担心优化存储布局。 在写入期间，如果 auto-optimize 选项为 true，Azure Databricks 会自动确定是否需要优化，并优化小文件。 有关详细信息，请参阅配置 Delta Lake 以控制数据文件大小。
Azure Databricks 上的 Delta Lake 提升了最小值、最大值和计数聚合查询性能
通过减少读取的数据量，Azure Databricks 上 Delta Lake 的最小、最大值和计数聚合查询的性能显著提高。 这些查询现在使用元数据中的统计信息和分区值来运行，而不是通过扫描数据来这样做。
处理速度更快的模型推理管道以及经过优化的二进制文件数据源和标量迭代器 pandas UDF（公共预览版）
机器学习任务，尤其是在图像和视频域中，通常需要对大量文件进行操作。 我们在 Databricks Runtime 5.4 中提供了二进制文件数据源，用于将任意文件（例如图像）ETL 到 Spark 表中。 在 Databricks Runtime 5.5 中，我们添加了选项 recursiveFileLookup，用于以递归方式从嵌套的输入目录加载文件。 请参阅二进制文件。
有了二进制文件数据源，就可以使用标量 pandas UDF 从 Spark 表并行运行模型推理任务。 但是，你可能必须为每个记录批初始化模型，这会增加额外的开销。 在 Databricks Runtime 5.5 中，我们从 Apache Spark 主节点向后移植了一个新的称为“标量迭代器”的 pandas UDF 类型。 使用此方法，只需对模型进行一次初始化，并将模型应用于多个输入批，这可能会使模型（例如 ResNet50）加速 2-3 倍。 请参阅序列到标量 UDF。
R 笔记本中的机密 API
使用机密 API，你可以将机密注入到笔记本中，无需对其进行硬编码。 除了现有的针对 Python 和 Scala 笔记本的支持，此 API 现在还可在 R 笔记本中使用。 可以使用 dbutils.secrets.get 函数获取机密。 在将机密输出到笔记本单元格之前，会对其进行修正。
改进
- 支持在 Python
foreachBatch中运行 Delta Lake SQL 操作：我们已修复了不能从 Python 中定义的结构化流式处理查询的foreachBatch内部写入到 Delta 表的已知限制。 这在常见的 Python 流式处理工作负荷中很有用，例如，使用 MERGE 和 foreachBatch 在更新模式下编写流式处理聚合。 - 存储在 Azure Data Lake Gen2 中的 Delta 表的性能：检查 ADLS 上的 Delta 表的最新版本现在仅检查事务日志的末尾，而不是列出所有可用版本。 此优化使
UPDATE成为时间恒定的操作，并显著改进了延迟情况。 - 优化
ZORDER BY的可伸缩性：对于非常大的 Delta 表，Z 排序现在使用较小的工作单元，这些单元由高级许可控制管理。 此功能可以提高此操作的稳定性，且不会牺牲群集利用率。 - 改进了 DML 命令在包含大量列的表上的性能：在扫描
UPDATE、DELETE和MERGE命令中的匹配数据时，我们现在可以更好地执行列修剪。 - 支持在 Spark - Synapse Analytics 连接器中安装 VNet + 服务终结点：我们将 ADL Gen2 路径作为临时数据位置 (
.option("tempDir", "abfss://...") 添加到了允许列表，并添加了一个名为useAzureMSI的新选项。如果你的forward_spark_azure_storage_credentials，则将使用该选项而非 。 - 磁盘缓存自动失效：磁盘缓存现在会自动检测缓存后修改或覆盖的文件。 所有过时项都将自动失效，并从缓存中逐出。 请参阅通过 Azure Databricks 上的缓存优化性能。
- 已将 Python 库轮从 0.33.3 升级到 0.33.4。
- 已将 R 库 nlme 从 3.1-139 升级到 3.1-140。
错误修复
- 修复了对不运行 Spark 作业的 R 命令的取消操作。 以前，不运行 Spark 作业的 R 命令可能会被取消，但笔记本的状态将丢失;命令现在可以取消，而不会丢失笔记本状态。
- 删除或移动托管表现在会使缓存的 Delta Lake 日志失效。
- 修复了写入 Delta Lake 检查点可能因
FileAlreadyExistsException而失败的 bug。 - Scala REPL 现在会设置正确的
-target:jvm-1.8标志，以支持调用那些使用 Java 8 功能的 Java 方法。
Apache Spark
Databricks Runtime 5.5 包括 Apache Spark 2.4.3。 此版本包括 Databricks Runtime 5.4 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：
- [SPARK-24695] 允许 UDF 返回 CalendarInterval
- [SPARK-28056] 为 SCALAR_ITER pandas UDF 添加 docstring/doctest
- [SPARK-28185] 当 Python UDF 提前停止时关闭生成器
- [SPARK-24703] 对区间乘法的支持
- [SPARK-27018][CORE] 修复 PeriodicCheckpointer 中检查点文件的不正确删除
- [SPARK-28127][SQL] TreeNode 的 mapChildren 方法上的微优化
- [SPARK-26038] 对 long 类型中容纳不下的十进制数字使用 Decimal toScalaBigInt/toJavaBigInteger
- [SPARK-26555][SQL] 使 ScalaReflection 子类型检查线程安全
- [SPARK-28081][ML] 处理 word2vec 中的大型 vocab 计数
- [SPARK-21882][CORE] OutputMetrics 不会在 saveAsHadoopDataset 函数中正确计算写入的字节数
- [SPARK-28030] 将 filePath 转换为二进制文件数据源中的 URI
- [SPARK-27803][SQL] [PYTHON] 修复 Python UDF 的列修剪
- [SPARK-27917][SQL] CaseWhen 对象的规范形式不正确
- [SPARK-27798][SQL] from_avro在转换为本地关系时不应生成相同的值
- [SPARK-27873][SQL] 禁用 enforceSchema 时，不应使用 CSV 标题中的列名称核对 columnNameOfCorruptRecord
- [SPARK-27907][SQL] 在 0 行的情况下，HiveUDAF 应返回 NULL
- [SPARK-27699][SQL] 部分下推 Parquet/ORC 中的析取谓词
- [SPARK-27868][CORE] 套接字服务器积压的更好的默认值和文档。
- [SPARK-27869][CORE] 从 UI 中编辑系统属性中的敏感信息
- [SPARK-27863][SQL] [BACKPORT-2.4] 元数据文件和临时文件不应计为数据文件
- [SPARK-27657][ML] 修复 ml.util.Instrumentation.logFai… 的日志格式。
- [SPARK-27858][SQL] 修复针对联合类型（具有多个非 null 类型）的 Avro 反序列化
- [SPARK-27711][CORE] 在任务结束时清除 InputFileBlockHolder
- [SPARK-27351][SQL] 对仅包含 null 值的列执行 AggregateEstimation 后出现错误的 outputRows 估计值
- [SPARK-27539][SQL] 修复了对包含 null 值的列进行的不准确的聚合 outputRows 估计
- [SPARK-27800][SQL] 修复 BitwiseXor 测试用例的错误答案
- [SPARK-27639][SQL] InMemoryTableScan 在 UI 上显示表名称（如果可能）
- [SPARK-27726][CORE] 修复在高负载下使用 InMemoryStore 时 ElementTrackingStore 删除操作的性能
- [SPARK-27771][SQL] 为分组函数（cube、rollup、grouping 和 grouping_id）添加 SQL 说明
- [SPARK-27735][SS] 分析间隔字符串的操作在 SS 中应当不区分大小写
- [SPARK-26856][PYSPARK] Python 对 from_avro 和 to_avro API 的支持
- [SPARK-26870][SQL] 由于 Java 兼容性，因此可以将 to_avro/from_avro 移到函数对象中
- [SPARK-26812][SQL] 为联合中的复杂数据类型报告正确的为 Null 性
- [SPARK-27671][SQL] 修复从结构中的嵌套 null 进行强制转换时的错误
-
[SPARK-27673][SQL] 将
since信息添加到随机表达式、正则表达式和 null 表达式 -
[SPARK-27672][SQL] 将
since信息添加到字符串表达式 - [SPARK-25139][SPARK-18406][CORE] 避免 NonFatals 在 PythonRunner 中终止执行程序
- [SPARK-27624][CORE] 修复 CalendarInterval 以正确显示空的间隔
- [SPARK-27577][MLLIB] 更正 BinaryClassificationMetrics 中的 downsampled 阈值
- [SPARK-27621][ML] 线性回归 - 仅在拟合阶段验证与训练相关的参数，例如损失函数。
- [SPARK-26048][SPARK-24530] 将所有缺失的提交 Cherrypick 到 2.4 发布脚本
- [SPARK-24935][SQL] 在 Hive UDAF 适配器中支持 INIT ->UPDATE -> MERGE -> FINISH
维护更新
请参阅 Databricks Runtime 5.5 维护更新。
系统环境
- 操作系统：Ubuntu 16.04.6 LTS
- Java：1.8.0_252
- Scala：2.11.12
- Python：2.7.12（面向 Python 2 群集）和 3.5.2（面向 Python 3 群集）。
- R：R 版本 3.6.0 (2019-04-26)
-
GPU 群集：安装了以下 NVIDIA GPU 库：
- Tesla 驱动程序 375.66
- CUDA 9.0
- cuDNN 7.0
注意
尽管 Apache Spark 2.4 支持 Scala 2.12，但 Databricks Runtime 5.5 不支持它。
本节内容：
已安装的 Python 库
| 图书馆 | 版本 | 图书馆 | 版本 | 图书馆 | 版本 |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| 博托 | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| 密码系统 | 1.5 | 骑行者 | 0.10.0 | Cython | 0.24.1 |
| 装饰师 | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| ET-XML文件 | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | 期货 | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | IDNA | 2.1 | IP地址 | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils（IPython通用工具） | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | LLVMlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| 麻木 | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| 熊猫 | 0.19.2 | pathlib2 | 2.1.0 | 替罪羊 | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | 枕头 | 3.3.1 |
| 果仁 | 19.1.1 | 层数 | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | Python代码解析器 | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python语言 | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash (Python的地理哈希库) | 0.8.5 | pytz | 2016年6月1日 |
| 请求 | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | 搜寻 | 0.32 | seaborn | 0.7.1 |
| setuptools | 41.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch（单一派发） | 3.4.0.3 | 6 | 1.10.0 | statsmodels | 0.6.1 |
| 龙卷风 | 5.1.1 | Traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | 轮子 | 0.33.4 |
| wsgiref | 0.1.2 |
已安装的 R 库
| 图书馆 | 版本 | 图书馆 | 版本 | 图书馆 | 版本 |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1.1 | assertthat | 0.2.1 |
| 回移补丁 | 1.1.3 | 基础 | 3.6.0 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | 位 | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | 块状物 | 1.1.1 | 靴子 | 1.3-20 |
| 酿造/冲泡 | 1.0-6 | 调用方 | 3.2.0 | 汽车 | 3.0-2 |
| 汽车数据 | 3.0-2 | 插入符号 | 6.0-82 | cellranger (细胞测序工具) | 1.1.0 |
| chron | 2.3-53 | 班级 | 7.3-15 | cli | 1.1.0 |
| 剪辑器 | 0.5.0 | clisymbols | 1.2.0 | 集群 | 2.0.8 |
| codetools | 0.2-16 | 色彩空间 | 1.4-1 | commonmark | 1.7 |
| 编译器 | 3.6.0 | 配置 | 0.3 | 蜡笔 | 1.3.4 |
| 卷曲 | 3.3 | 数据表 (data.table) | 1.12.0 | 数据集 | 3.6.0 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | desc | 1.2.0 |
| devtools | 2.0.1 | 摘要 | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | 省略号 | 0.1.0 | fansi | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | 外国 | 0.8-71 |
| 锻造 | 0.2.0 | 文件系统 (if fs stands for "file system") | 1.2.7 | gbm | 2.1.5 |
| 泛 型 | 0.0.2 | ggplot2 | 3.1.0 | gh | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | 胶水 | 1.3.1 |
| gower | 0.2.0 | 图形 | 3.6.0 | grDevices | 3.6.0 |
| “业务流程参数” 网格 | 3.6.0 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.0 | H₂O | 3.22.1.1 | 避风港 | 2.1.0 |
| 赫姆斯 | 0.4.2 | HTML工具 | 0.3.6 | HTML小插件 | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | 迭代器 | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | 标记 | 0.3 |
| 格子 | 0.20-38 | 熔岩 | 1.6.5 | lazyeval | 0.2.2 |
| 更小 | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | 地图 | 3.3.0 |
| maptools | 0.9-5 | 质量 | 7.3-51.1 | 矩阵 | 1.2-17 |
| MatrixModels | 0.4-1 | 缓存 | 1.1.0 | 方法 | 3.6.0 |
| mgcv | 1.8-28 | 默剧 | 0.6 | 明卡 | 1.2.4 |
| ModelMetrics | 1.2.2 | 蒙塞尔 | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-140 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl（开放SSL） | 1.3 | openxlsx | 4.1.0 |
| 平行 | 3.6.0 | pbkrtest | 0.4-7 | 柱子 | 1.3.1 |
| pkgbuild (软件包构建工具) | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | 普洛格 | 0.2.0 | 普莱尔 | 1.8.4 |
| 赞美 | 1.0.0 | prettyunits | 1.0.2 | pROC | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | 进度 | 1.2.0 |
| 原型 (proto) | 1.0.0 | 附注 (ps) | 1.3.0 | purrr | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| 随机森林 (randomForest) | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | readr（阅读器） | 1.3.1 |
| readxl | 1.3.1 | 食谱 | 0.1.5 | 重赛 | 1.0.1 |
| 遥控器 | 2.0.2 | reshape2 | 1.4.3 | 里约 | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | 磅秤 | 1.0.0 |
| 会话信息 | 1.1.1 | sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.4 | 稀疏M | 1.77 | 空间 | 7.3-11 |
| 样 条 | 3.6.0 | sqldf（R环境中的数据库操作软件包） | 0.4-11 | SQUAREM | 2017年10月-1日 |
| statmod | 1.4.30 | 统计数据 | 3.6.0 | 统计数据4 | 3.6.0 |
| 字符串 | 1.4.3 | stringr | 1.4.0 | 生存 | 2.43-3 |
| sys | 3.1 | tcltk | 3.6.0 | 教学演示 | 2.10 |
| testthat | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | 时间日期 | 3043.102 | 工具 | 3.6.0 |
| usethis | 1.4.0 | utf8 | 1.1.4 | 实用工具 | 3.6.0 |
| viridisLite | 0.3.0 | 晶 须 | 0.3-2 | 无改动（具体含义和背景需要更多信息） | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| 压缩包 | 2.0.1 |
已安装的 Java 库和 Scala 库（Scala 2.11 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis 客户端 | 1.8.10 |
| com.amazonaws | AWS Java SDK 自动扩展 | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | AWS Java SDK CloudFront | 1.11.313 |
| com.amazonaws | AWS-Java-SDK-云HSM | 1.11.313 |
| com.amazonaws | AWS Java SDK 云搜索 | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config（AWS Java SDK 配置） | 1.11.313 |
| com.amazonaws | aws-java-sdk-core (AWS Java软件开发工具包核心) | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | AWS Java SDK Direct Connect（直连） | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） | 1.11.313 |
| com.amazonaws | aws-java-sdk-弹性负载均衡 | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | AWS Java SDK Glacier | 1.11.313 |
| com.amazonaws | AWS Java SDK Glue | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | AWS Java SDK 导入导出 (aws-java-sdk-importexport) | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | AWS Java 软件开发工具包 - KMS | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs（AWS Java开发包日志） | 1.11.313 |
| com.amazonaws | AWS-Java-SDK-机器学习 | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | AWS Java SDK 存储网关 | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | AWS Java SDK支持 | 1.11.313 |
| com.amazonaws | AWS-Java-SDK-SWF-库 | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | 溪流 | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | 同学 | 1.0.0 |
| com.fasterxml.jackson.core | Jackson注解 | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor（Jackson的CBOR数据格式） | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda（杰克逊数据类型-Joda） | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | 原生系统-Java | 1.1 |
| com.github.fommil.netlib | native_system-Java原生代码 | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | 番石榴 | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | Azure 数据湖存储 SDK | 2.2.8 |
| com.microsoft.azure | azure-storage | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | 镜片_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | Parquet-Hadoop数据包 | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | 配置 | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11（Scala日志库） | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers解析器 | 2.7.3 |
| com.vlkan | FlatBuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec（公共编解码器） | commons-codec（公共编解码器） | 1.10 |
| commons-collections (通用集合库) | commons-collections (通用集合库) | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging（日志库） | commons-logging（日志库） | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | 空气压缩机 | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | 指标-健康检查 | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | 指标-JVM | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | 指标-Servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| javax.activation | 激活 | 1.1.1 |
| javax.annotation | javax.annotation-api (Java中的注解API) | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | Hive执行与Glue | hive-12679-patch_deploy |
| maven-trees | Hive执行与Glue | hive-exec_shaded |
| net.hydromatic | eigenbase-属性 | 1.1.5 |
| net.razorvine | 辉岩 | 4.13 |
| net.sf.jpam | 杰潘 | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate (字符串模板) | 3.2.1 |
| org.apache.ant | 蚂蚁 | 1.9.2 |
| org.apache.ant | ant-jsch（Java的SSH库） | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.10.0 |
| org.apache.arrow | 箭头内存 | 0.10.0 |
| org.apache.arrow | 箭头向量 | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0（孵化中） |
| org.apache.calcite | 如果没有标准的中文翻译且是专有名称，“calcite-core”可以保持不变。根据具体情况和语境决定是否需要翻译该术语。 | 1.2.0（孵化中） |
| org.apache.calcite | calcite-linq4j | 1.2.0（孵化中） |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | 策展人与客户 | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | 策展人食谱 | 2.7.1 |
| org.apache.derby | 德比 | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | Hadoop 客户端 (hadoop-client) | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | Hadoop 分布式文件系统 (Hadoop-HDFS) | 2.7.3 |
| org.apache.hadoop | Hadoop MapReduce 客户端应用 | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-客户端-通用 | 2.7.3 |
| org.apache.hadoop | Hadoop-MapReduce-客户端-核心 | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | Hadoop-YARN客户端 | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0 孵化 |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | 常春藤 | 2.4.0 |
| \ org.apache.orc | orc-core-nohive | 1.5.2 |
| \ org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| \ org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | Parquet 编码 | 1.10.1.1-databricks3 |
| org.apache.parquet | Parquet格式 | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | 动物园管理员 | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl (Jackson核心库 - ASL) | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | 杰克逊映射器-ASL | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler（通用编译器） | 3.0.10 |
| org.codehaus.janino | 雅尼诺 | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | Jetty-HTTP | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | 码头安全 | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server（Jetty服务器） | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util（Jetty工具库） | 9.3.20.v20170531 |
| org.eclipse.jetty | Jetty 网页应用 | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-定位器 | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator (OSGi 资源定位器) | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | Jersey容器Servlet核心 | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb (Jersey 媒体库 - JAXB) | 2.22.2 |
| org.hibernate | Hibernate验证器 | 5.1.1.Final |
| org.iq80.snappy | 活泼 | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss 日志 | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | 垫片 | 0.7.45 |
| .rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | 测试界面 | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | Hive 元数据存储器 | 1.2.1.spark2 |
| org.spark-project.spark | 不使用 | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core (Spring核心模块) | 4.1.4.RELEASE |
| org.springframework | 春季测试 | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | 机械师_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| 斯塔克斯 | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |