通过

Databricks Runtime 6.3 （EoS）

注意

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。

Databricks 于 2020 年 1 月发布此版本。

以下发行说明提供了由 Apache Spark 支持的 Databricks Runtime 6.3 的相关信息。

新增功能

Delta Lake

此版本引入了增强的并发处理能力。 关键功能包括：

  • 增强了所有 Delta Lake 操作的并发性 - 你现在可以同时运行更多 Delta Lake 操作。 Delta Lake 的乐观并发控制通过更细化的冲突检测得到了改进。 这样可以更轻松地在 Delta 表上运行复杂的工作流。 例如：

    • 在追加更新的分区时，在较旧的分区上同时运行删除（例如 GDPR 合规性）。
    • 在不相接的分区集上同时运行更新和合并。
    • 同时运行文件压缩和追加。

    请参阅 Azure Databricks 上的隔离级别和写入冲突。

  • 改进了对文件压缩的支持 - 现在可以通过将 DataFrameWriter 选项 dataChange 设置为 false 来重写文件，以压缩它们。 此选项允许压缩操作与其他批处理和流处理操作同时运行。 有关详细信息，请参阅压缩文件。

  • 改进了仅插入合并的性能 - Delta Lake 现在为只有插入子句且没有更新子句的合并操作提供了更优化的性能。 此外，Delta Lake 可确保来自此类仅插入合并的写入仅将新数据追加到表中。 因此，你现在可以使用结构化流和仅插入合并来连续进行重复数据删除（例如日志）。 请参阅写入 Delta 表时进行重复数据删除获取详细信息。

启用进程隔离时将其他端口列入允许列表

注意

本文包含对术语“白名单”的引用，Azure Databricks 不再使用该术语。 在从软件中删除该术语后，我们会将其从本文中删除。

在群集上启用安全功能（如表 ACL 或凭据传递）时，现在可以通过将 Spark 配置spark.databricks.pyspark.iptable.outbound.whitelisted.ports 设置为列入允许列表的端口，来指定希望 Python 进程能够访问的其他出站端口。 支持的配置值格式为 [port[:port][,port[:port]]...]，例如：21,22,9000:9999。 端口必须位于有效范围内，即 0-65535。

禁用 Scala 作业的作业输出

作业输出（如发送到 stdout 的日志输出）的大小限制为 20MB。 可以通过将 spark.databricks.driver.disableScalaOutput Spark 配置设置为 true 来阻止 stdout 从驱动程序返回到 Azure Databricks。 该标志可控制 Scala JAR 作业和 Scala 笔记本的单元格输出。 请参阅 JAR 作业的输出大小限制。

Azure Databricks 笔记本中现已支持内嵌 Matplotlib 图形（公开预览）

现在，你可以自动显示 Matplotlib 图形，而无需将图形传递给 display 方法。 有关详细信息，请参阅 Matplotlib。

已将新参数添加到 Azure Synapse Analytics

参数 applicationName 默认设置为 Databricks-User-Query。 默认值可防止 Azure DB 监视工具针对查询引发虚假 SQL 注入警报。 如果未指定此项，或者值为空字符串，则会将标记的默认值添加到 JDBC URL。 请参阅 Azure Databricks Synapse 连接器选项参考。

改进

  • shutil.copytree 现在为 /dbfs 工作。
  • 在高并发模式群集上运行结构化流式处理生产作业时，作业的重启偶尔会失败，因为以前运行的作业未正确终止。 若要确保以前的运行停止，请在群集上设置 SQL 配置 spark.sql.streaming.stopActiveRunOnRestart true。 如果流无法正确停止，则会在 15 秒内引发超时异常。 在这种情况下，建议重启群集。
  • 升级了多个已安装的 R 库。 请参阅已安装的 R 库。

Apache Spark

Databricks Runtime 6.3 包括 Apache Spark 2.4.4。 此版本包括 Databricks Runtime 6.2 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：

  • [SPARK-30198][CORE] BytesToBytesMap 未按预期增加内部长数组
  • [SPARK-29918][SQL] RecordBinaryComparator 应在比较长度时查看字节顺序
  • [SPARK-30274][CORE] 在保存达到最大容量的密钥时，请避免 BytesToBytesMap 查找永久挂起
  • [SPARK-25392][CORE][WEBUI] 从历史服务器访问池页面时防止出现错误页面
  • [SPARK-30263][CORE] 不要记录 spark-submit 中忽略的非 Spark 属性的潜在敏感值
  • [SPARK-28637][SQL] Thriftserver 支持间隔类型
  • [SPARK-30238][SQL] 配置单元分区修剪仅支持字符串和整数类型
  • [SPARK-30198][CORE] BytesToBytesMap 未按预期增加内部长数组
  • [SPARK-24666][ML] 在 numIterations 为大时修复由 Word2Vec 生成的无穷大向量
  • [SPARK-30129][CORE] 成功身份验证后在 TransportClient 中设置客户端 ID
  • [SPARK-30050][SQL] 分析表和重命名表不应擦除配置单元表存储桶信息
  • [SPARK-28152][SQL] 将 ShortType 映射到 SMALLINT，将 FloatType 映射到 REAL for MsSqlServerDialect
  • [SPARK-29971][CORE] 修复 TransportFrameDecoder/TransportCipher 中的缓冲泄漏
  • [SPARK-29970][WEBUI] 保持 Timelineview 的打开/关闭状态
  • [SPARK-29949][SQL] 修复 JSON/CSV 数据源的时间戳格式
  • [SPARK-27558][CORE] 在任务失败并出现 OOM 异常时正常清理任务
  • [SPARK-29758][SQL] 修复 json_tuple 中请求的字符串字段的截断
  • [SPARK-29949][SQL] 修复 JSON/CSV 数据源的时间戳格式
  • [SPARK-29936][R] 修复 SparkR lint 的错误并添加 lint-r GitHub Action
  • [SPARK-29904][SQL] 通过 JSON/CSV 数据源以微秒精度解析时间戳
  • [SPARK-29904][SQL] 通过 JSON/CSV 数据源以微秒精度解析时间戳
  • [SPARK-26499][SQL] JdbcUtils.makeGetter 不处理 ByteType
  • [SPARK-29682][SQL] 正确解决扩展中的冲突属性
  • [SPARK-29875][PYTHON][SQL] 避免在 Spark 2.4.x 中使用已弃用的 pyarrow.open_stream API
  • [SPARK-29850][SQL] 排序-合并-联接空表时不应发生内存泄漏
  • [SPARK-28939][SQL] 传播 toRdd 执行的计划的 SQLConf

维护更新

请参阅 Databricks Runtime 6.3 维护更新。

系统环境

  • 操作系统：Ubuntu 16.04.6 LTS
  • Java：1.8.0_252
  • Scala：2.11.12
  • Python：3.7.3
  • R：R 版本 3.6.2 (2019-12-12)
  • Delta Lake：0.5.0

注意

尽管 Scala 2.12 可作为 Apache Spark 2.4 中的实验性功能提供，但 Databricks Runtime 6.3 不支持此功能。

本节内容：

已安装的 Python 库

图书馆 版本 图书馆 版本 图书馆 版本
asn1crypto 0.24.0 回调 0.1.0 博托 2.49.0
boto3 1.9.162 botocore 1.12.163 certifi 2019年3月9日
cffi 1.12.2 chardet 3.0.4 密码系统 2.6.1
骑行者 0.10.0 Cython 0.29.6 装修师 4.4.0
docutils 0.14 IDNA 2.8 ipykernel 5.1.0
ipython 7.4.0 ipython-genutils（IPython通用工具） 0.2.0 jedi 0.13.3
jmespath 0.9.4 Jupyter客户端 5.2.4 jupyter-core 4.4.0
kiwisolver 1.1.0 matplotlib 3.0.3 numpy 1.16.2
熊猫 0.24.2 帕尔索 0.3.4 替罪羊 0.5.1
pexpect 4.6.0 pickleshare 0.7.5 果仁 19.0.3
prompt-toolkit 2.0.9 psycopg2 2.7.6.1 ptyprocess 0.6.0
pyarrow 0.13.0 Python代码解析器 2.19 pycurl 7.43.0
Pygments 2.3.1 PyGObject 3.20.0 pyOpenSSL 19.0.0
pyparsing 2.4.6 PySocks 1.6.8 python-apt 1.1.0.b1+ubuntu0.16.04.5
python-dateutil 2.8.0 pytz 2018.9 pyzmq 18.0.0
请求 2.21.0 s3transfer 0.2.1 scikit-learn 0.20.3
scipy 1.2.1 seaborn 0.9.0 setuptools 40.8.0
6 1.12.0 ssh-import-id 5.5 statsmodels 0.9.0
龙卷风 6.0.2 Traitlets 4.3.2 无人参与升级 0.1
urllib3 1.24.1 virtualenv 16.4.1 wcwidth 0.1.7
轮子 0.33.1

已安装的 R 库

图书馆 版本 图书馆 版本 图书馆 版本
abind 1.4-5 askpass 1.1 assertthat 0.2.1
回移补丁 1.1.5 基础 3.6.2 base64enc 0.1-3
BH 1.69.0-1 位 1.1-14 bit64 0.9-7
bitops 1.0-6 团状物 1.2.0 启动 1.3-23
酿造/冲泡 1.0-6 调用方 3.3.2 汽车 3.0-4
汽车数据 3.0-2 插入符号 6.0-84 cellranger (细胞测序工具) 1.1.0
chron 2.3-54 班级 7.3-15 cli 1.1.0
剪辑器 0.7.0 clisymbols 1.2.0 集群 2.1.0
codetools 0.2-16 色彩空间 1.4-1 commonmark 1.7
编译器 3.6.2 配置 0.3 covr 3.3.2
蜡笔 1.3.4 相声 1.0.0 卷曲 4.2
数据表 (data.table) 1.12.6 数据集 3.6.2 DBI 1.0.0
dbplyr 1.4.2 desc 1.2.0 devtools 2.2.1
摘要 0.6.22 doMC 1.3.6 dplyr 0.8.3
If "DT" is a term that should be translated: 如果“DT”代表一个需要翻译的术语，可以替换为适当的中文术语。 0.9 省略号 0.3.0 评价 0.14
fansi 0.4.0 快速映射 1.0.1 forcats 0.4.0
foreach 1.4.7 外国 0.8-74 锻造 0.2.0
文件系统 (if fs stands for "file system") 1.3.1 gbm 2.1.5 泛 型 0.0.2
ggplot2 3.2.1 gh 1.0.1 git2r 0.26.1
glmnet 2.0-18 胶水 1.3.1 gower 0.2.1
图形 3.6.2 grDevices 3.6.2 “业务流程参数” 网格 3.6.2
gridExtra 2.3 gsubfn 0.7 gtable 0.3.0
H₂O 3.26.0.2 避风港 2.1.1 赫姆斯 0.5.1
HTML工具 0.4.0 HTML小插件 1.5.1 httpuv 1.5.2
httr 1.4.1 hwriter 1.3.2 hwriterPlus 1.0-3
ini 0.3.1 ipred 0.9-9 迭代器 1.0.12
jsonlite 1.6 KernSmooth 2.23-16 标记 0.3
稍后 1.0.0 格子 0.20-38 熔岩 1.6.6
lazyeval 0.2.2 生命周期 0.1.0 更小 0.3.9
lme4 1.1-21 lubridate 1.7.4 magrittr 1.5
mapproj 1.2.6 地图 3.3.0 maptools 0.9-8
质量 7.3-51.5 矩阵 1.2-18 MatrixModels 0.4-1
缓存 1.1.0 方法 3.6.2 mgcv 1.8-31
默剧 0.7 明卡 1.2.4 ModelMetrics 1.2.2
蒙塞尔 0.5.0 mvtnorm 1.0-11 nlme 3.1-143
nloptr 1.2.1 nnet 7.3-12 numDeriv 2016年8月-2017年1月1日
openssl（开放SSL） 1.4.1 openxlsx 4.1.2 平行 3.6.2
pbkrtest 0.4-7 支柱 1.4.2 pkgbuild (软件包构建工具) 1.0.6
pkgconfig 2.0.3 pkgKitten 0.1.5 pkgload 1.0.2
普洛格 0.2.0 普莱尔 1.8.4 赞美 1.0.0
prettyunits 1.0.2 pROC 1.15.3 processx 3.4.1
prodlim 2018.04.18 进度 1.2.2 承诺 1.1.0
原型 (proto) 1.0.0 附注 (ps) 1.3.0 purrr 0.3.3
quantreg 5.51 R.methodsS3 1.7.1 R.oo 1.22.0
R.utils 2.9.0 r2d3 0.2.3 R6 2.4.0
随机森林 (randomForest) 4.6-14 rappdirs 0.3.1 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.2 RcppEigen 0.3.3.5.0
RCurl 1.95-4.12 readr（阅读器） 1.3.1 readxl 1.3.1
食谱 0.1.7 重赛 1.0.1 遥控器 2.1.0
reshape2 1.4.3 雷克斯 1.1.2 里约 0.5.16
rlang 0.4.1 RODBC 1.3-16 roxygen2 6.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-6
RSQLite 2.1.2 rstudioapi 0.10 rversions 2.0.0
磅秤 1.0.0 会话信息 1.1.1 光亮 1.4.0
sourcetools 0.1.7 sp 1.3-1 sparklyr 1.0.4
SparkR 2.4.5 稀疏M 1.77 空间 7.3-11
样 条 3.6.2 sqldf（R环境中的数据库操作软件包） 0.4-11 SQUAREM 2017年10月-1日
statmod 1.4.32 统计数据 3.6.2 统计数据4 3.6.2
字符串 1.4.3 stringr 1.4.0 生存 2.44-1.1
sys 3.3 tcltk 3.6.2 教学演示 2.10
testthat 2.2.1 tibble 2.1.3 tidyr 1.0.0
tidyselect 0.2.5 时间日期 3043.102 工具 3.6.2
usethis 1.5.1 utf8 1.1.4 实用工具 3.6.2
vctrs 0.2.0 viridisLite 0.3.0 晶 须 0.4
无改动（具体含义和背景需要更多信息） 2.1.2 xml2 1.2.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.0 zeallot 0.1.0
压缩包 2.0.4

已安装的 Java 库和 Scala 库（Scala 2.11 群集版本）

群组标识符 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis 客户端 1.8.10
com.amazonaws AWS Java SDK 自动扩展 1.11.595
com.amazonaws aws-java-sdk-cloudformation 1.11.595
com.amazonaws AWS Java SDK CloudFront 1.11.595
com.amazonaws AWS-Java-SDK-云HSM 1.11.595
com.amazonaws aws-java-sdk-cloudsearch（AWS Java 软件开发工具包 - 云搜索） 1.11.595
com.amazonaws aws-java-sdk-cloudtrail 1.11.595
com.amazonaws aws-java-sdk-cloudwatch 1.11.595
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.595
com.amazonaws AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） 1.11.595
com.amazonaws aws-java-sdk-cognitoidentity 1.11.595
com.amazonaws aws-java-sdk-cognitosync 1.11.595
com.amazonaws aws-java-sdk-config（AWS Java SDK 配置） 1.11.595
com.amazonaws aws-java-sdk-core (AWS Java软件开发工具包核心) 1.11.595
com.amazonaws aws-java-sdk-datapipeline 1.11.595
com.amazonaws AWS Java SDK Direct Connect（直连） 1.11.595
com.amazonaws aws-java-sdk-directory 1.11.595
com.amazonaws aws-java-sdk-dynamodb 1.11.595
com.amazonaws aws-java-sdk-ec2 1.11.595
com.amazonaws aws-java-sdk-ecs 1.11.595
com.amazonaws aws-java-sdk-efs 1.11.595
com.amazonaws aws-java-sdk-elasticache 1.11.595
com.amazonaws aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） 1.11.595
com.amazonaws aws-java-sdk-弹性负载均衡 1.11.595
com.amazonaws aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） 1.11.595
com.amazonaws aws-java-sdk-emr 1.11.595
com.amazonaws AWS Java SDK Glacier 1.11.595
com.amazonaws AWS Java SDK Glue 1.11.595
com.amazonaws aws-java-sdk-iam 1.11.595
com.amazonaws AWS Java SDK 导入导出 (aws-java-sdk-importexport) 1.11.595
com.amazonaws aws-java-sdk-kinesis 1.11.595
com.amazonaws AWS Java 软件开发工具包 - KMS 1.11.595
com.amazonaws aws-java-sdk-lambda 1.11.595
com.amazonaws aws-java-sdk-logs（AWS Java开发包日志） 1.11.595
com.amazonaws AWS-Java-SDK-机器学习 1.11.595
com.amazonaws aws-java-sdk-opsworks 1.11.595
com.amazonaws aws-java-sdk-rds 1.11.595
com.amazonaws aws-java-sdk-redshift 1.11.595
com.amazonaws aws-java-sdk-route53 1.11.595
com.amazonaws aws-java-sdk-s3 1.11.595
com.amazonaws aws-java-sdk-ses 1.11.595
com.amazonaws aws-java-sdk-simpledb 1.11.595
com.amazonaws aws-java-sdk-simpleworkflow 1.11.595
com.amazonaws aws-java-sdk-sns 1.11.595
com.amazonaws aws-java-sdk-sqs 1.11.595
com.amazonaws aws-java-sdk-ssm 1.11.595
com.amazonaws AWS Java SDK 存储网关 1.11.595
com.amazonaws aws-java-sdk-sts 1.11.595
com.amazonaws AWS Java SDK支持 1.11.595
com.amazonaws AWS-Java-SDK-SWF-库 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.595
com.amazonaws jmespath-java 1.11.595
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics 溪流 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.5.0-db8-spark2.4
com.databricks dbml-local_2.11-tests 0.5.0-db8-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.0.0
com.fasterxml.jackson.core Jackson注解 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor（Jackson的CBOR数据格式） 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda（杰克逊数据类型-Joda） 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib 原生系统-Java 1.1
com.github.fommil.netlib native_system-Java原生代码 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava 番石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.microsoft.azure Azure 数据湖存储 SDK 2.2.8
com.microsoft.azure azure-storage 7.0.0
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses 镜片_2.11 0.3
com.twitter chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter Parquet-Hadoop数据包 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe 配置 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11（Scala日志库） 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers解析器 2.7.3
com.vlkan FlatBuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec（公共编解码器） commons-codec（公共编解码器） 1.10
commons-collections (通用集合库) commons-collections (通用集合库) 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging（日志库） commons-logging（日志库） 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift 空气压缩机 0.10
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics 指标-健康检查 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics 指标-JVM 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics 指标-Servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.42.Final
javax.activation 激活 1.1.1
javax.annotation javax.annotation-api (Java中的注解API) 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.9.3
junit junit 4.12
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-属性 1.1.5
net.razorvine 辉岩 4.13
net.sf.jpam 杰潘 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.0
net.snowflake spark-snowflake_2.11 2.5.9-spark_2.4
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr 字符串模板 3.2.1
org.apache.ant 蚂蚁 1.9.2
org.apache.ant ant-jsch（Java的SSH库） 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.10.0
org.apache.arrow 箭头内存 0.10.0
org.apache.arrow 箭头向量 0.10.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0（孵化中）
org.apache.calcite 如果没有标准的中文翻译且是专有名称，“calcite-core”可以保持不变。根据具体情况和语境决定是否需要翻译该术语。 1.2.0（孵化中）
org.apache.calcite calcite-linq4j 1.2.0（孵化中）
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator 策展人与客户 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator 策展人食谱 2.7.1
org.apache.derby 德比 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop客户端 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop Hadoop 分布式文件系统 (Hadoop-HDFS) 2.7.3
org.apache.hadoop Hadoop MapReduce 客户端应用 2.7.3
org.apache.hadoop hadoop-mapreduce-客户端-通用 2.7.3
org.apache.hadoop Hadoop-MapReduce-客户端-核心 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop Hadoop-YARN客户端 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.htrace htrace-core 3.1.0 孵化
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.10
org.apache.ivy 常春藤 2.4.0
\ org.apache.orc orc-core-nohive 1.5.5
\ org.apache.orc orc-mapreduce-nohive 1.5.5
\ org.apache.orc orc-shims 1.5.5
org.apache.parquet parquet-column 1.10.1.2-databricks4
org.apache.parquet parquet-common 1.10.1.2-databricks4
org.apache.parquet Parquet 编码 1.10.1.2-databricks4
org.apache.parquet Parquet格式 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.2-databricks4
org.apache.parquet parquet-jackson 1.10.1.2-databricks4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-shaded 4.8
org.apache.zookeeper 动物园管理员 3.4.6
org.codehaus.jackson jackson-core-asl (Jackson核心库 - ASL) 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson 杰克逊映射器-ASL 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino 公共编译器 3.0.10
org.codehaus.janino 雅尼诺 3.0.10
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.27.v20190418
org.eclipse.jetty jetty-continuation 9.3.27.v20190418
org.eclipse.jetty Jetty-HTTP 9.3.27.v20190418
org.eclipse.jetty jetty-io 9.3.27.v20190418
org.eclipse.jetty jetty-jndi 9.3.27.v20190418
org.eclipse.jetty jetty-plus 9.3.27.v20190418
org.eclipse.jetty jetty-proxy 9.3.27.v20190418
org.eclipse.jetty jetty-security（码头安全） 9.3.27.v20190418
org.eclipse.jetty Jetty服务器 9.3.27.v20190418
org.eclipse.jetty jetty-servlet 9.3.27.v20190418
org.eclipse.jetty jetty-servlets 9.3.27.v20190418
org.eclipse.jetty jetty-util（Jetty工具库） 9.3.27.v20190418
org.eclipse.jetty Jetty 网页应用 9.3.27.v20190418
org.eclipse.jetty jetty-xml 9.3.27.v20190418
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-定位器 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator (OSGi 资源定位器) 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers Jersey容器Servlet核心 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb (Jersey 媒体库 - JAXB) 2.22.2
org.hamcrest hamcrest-core 1.3
org.hamcrest hamcrest-library 1.3
org.hibernate Hibernate验证器 5.1.1.Final
org.iq80.snappy 活泼 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss 日志 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s json4s-core_2.11 3.5.3
org.json4s json4s-jackson_2.11 3.5.3
org.json4s json4s-scalap_2.11 3.5.3
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-core 1.10.19
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap 垫片 0.7.45
.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.12
org.scala-lang scala-library_2.11 2.11.12
org.scala-lang scala-reflect_2.11 2.11.12
org.scala-lang.modules scala-parser-combinators_2.11 1.1.0
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt 测试接口 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive Hive 元数据存储器 1.2.1.spark2
org.spark-project.spark 未使用 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core (Spring核心模块) 4.1.4.RELEASE
org.springframework 春季测试 4.1.4.RELEASE
org.tukaani xz 1.5
org.typelevel 机械师_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.3
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
斯塔克斯 stax-api 1.0.1
xmlenc xmlenc 0.52