Databricks Runtime 5.0 (EoS)

注意

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期,请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本,请参阅 Databricks Runtime 发行说明版本和兼容性

Databricks 于 2018 年 11 月发布此版本。

以下发行说明提供了由 Apache Spark 支持的 Databricks Runtime 5.0 的相关信息。

新功能

  • Delta Lake
    • 现在,WHERE 子句中支持子查询,以支持 DELETEUPDATE 命令。
    • MERGE 命令的新的可缩放实现。
  • 结构化流式处理
    • 基于 Azure Blob 存储文件通知的流式处理源。 当对 Azure Blob 存储中的文件运行结构化流式处理查询时,这可以显著降低列表成本。 无需使用列表来查找要处理的新文件,此流式处理源可以直接读取文件事件通知以查找新文件。 请参阅具有 Azure 队列存储(旧版)的 Azure Blob 存储文件源
  • 添加了对 TensorBoard 的支持,用于监视深度学习作业。 请参阅 TensorBoard

改进

  • Delta Lake
    • OPTIMIZE 性能和稳定性。
      • OPTIMIZE 命令将尽快提交批处理,而不是在结束时提交。
      • 减小 OPTIMIZE 并行运行的线程的默认数目。 对于大型表,这是一种严格的性能提升。
      • 通过在写入已分区表时避免对数据进行不必要的排序,加速 OPTIMIZE 写入。
      • 通过使其递增来加速 OPTIMIZE ZORDER BY。 这意味着该命令现在可以避免重写已按相同列进行 Z 排序的数据文件。 请参阅 Delta Lake 的数据跳过
    • 查询 Delta 表时的快照隔离。 任何具有对 Delta 表的多个引用的查询(例如自联接)都从同一个表快照读取,即使该表存在并发更新。
    • 通过在驱动程序上缓存元数据,改善了从小型(< 2000 文件)Delta 表中进行读取时的查询延迟。
  • 改进了 MLlib 逻辑回归性能。
  • 改进了 MLlib 树算法性能。
  • 升级了几个 Java 库和 Scala 库。 请参阅已安装的 Java 库和 Scala 库(Scala 2.11 群集版本)
  • 升级了一些已安装的 Python 库:
    • pip:10.0.1 到 18.0
    • setuptools:39.2.0 到 40.4.1
    • tornado:5.0.2 到 5.1.1
  • 升级了多个已安装的 R 库。 请参阅已安装的 R 库

缺陷修复

  • Delta Lake
    • 现在,在 SQL 配置中设置的配置可以正确地应用于最初加载到其他笔记本中的 Delta Lake 操作。
    • 修复了 DELETE 命令中的 bug,该 bug 会错误地删除条件评估为 null 的行。
    • 尝试从检查点恢复时,花费两天以上的时间来处理初始批处理的流(即,流启动时表中的数据)不再因 FileNotFoundException 而失败。
    • 避免在加载新表时会导致 NoClassDefError 的争用条件。
    • 修复了VACUUM操作可能因断言错误而失败的问题,该错误指出:“不应在此处删除任何绝对路径。”
    • 修复了 SHOW CREATE TABLE 命令以不包括 Hive 生成的存储属性。
  • 现在会自动重启引发内部 Spark 类出现许多 NoClassDefFoundError 错误的执行程序,以解决此问题。

已知问题

  • 即使启用了不区分大小写(默认设置),在 Delta Lake 中 replaceWhere 模式的 overwrite 选项中指定的列名也是区分大小写的。
  • Databricks Runtime 5.0 的 Snowflake 连接器处于预览版。
  • 如果取消了附加到 Databricks Runtime 5.0 群集的笔记本中正在运行的流式处理单元,则无法在笔记本中运行任何后续命令,除非清除笔记本状态或重启该群集。 有关解决方法,请参阅知识库

Apache Spark

Databricks Runtime 5.0 包括 Apache Spark 2.4.0。

Core 和 Spark SQL

注意

本文包含对术语“从属”的引用,Azure Databricks 不再使用该术语。 在从软件中删除该术语后,我们会将其从本文中删除。

主要功能

  • 屏障执行模式:[SPARK-24374] 支持计划程序中的屏障执行模式,以更好地与深度学习框架集成。
  • Scala 2.12 支持:[SPARK-14220] 添加实验性 Scala 2.12 支持。 现在,可以通过 Scala 2.12 构建 Spark,并在 Scala 2.12 中编写 Spark 应用程序。
  • 高阶函数:[SPARK-23899] 添加许多新的内置函数(包括高阶函数),以便更轻松地处理复杂数据类型。 请参阅 Apache Spark 内置函数
  • 内置 Avro 数据源:[SPARK-24768] 具有逻辑类型支持、更好的性能和可用性的内联 Spark-Avro 包。

应用程序接口

性能和稳定性

连接器

PySpark

其他值得注意的更改

结构化流式处理

主要功能

  • [SPARK-24565] 使用 foreachBatch(Python、Scala 和 Java)以数据帧的形式公开每个微批处理的输出行
  • [SPARK-24396] 为 foreach 和 ForeachWriter 添加了 Python API
  • [SPARK-25005] 支持“kafka.isolation.level”以仅读取使用事务生成器编写的 Kafka 主题中的已提交记录。

其他值得注意的更改

  • [SPARK-24662] 支持 LIMIT 运算符用于 Append 或 Complete 模式下的流
  • [SPARK-24763] 从流式处理聚合的值中删除冗余的密钥数据
  • [SPARK-24156] 当输入流中没有数据时,使用状态操作(mapGroupsWithState、流-流联接、流式处理聚合、流式处理 dropDuplicates)可以更快地生成输出结果和/或清理状态。
  • [SPARK-24730] 支持在查询中存在多个输入流时选择最小或最大的水印
  • [SPARK-25399] 修复了在重用来自连续处理的执行线程以进行微批处理流式处理可能会导致准确性问题的 bug
  • [SPARK-18057] 将 Kafka 客户端版本从 0.10.0.1 升级到 2.0.0

MLlib

主要功能

其他值得注意的更改

SparkR

GraphX

  • [SPARK-25268] 运行并行个性化 PageRank 引发序列化异常

弃用

行为变更

已知问题

  • [SPARK-25793] BisectingKMeans模型中的加载bug
  • [SPARK-25271] 具有 Hive parquet 表的 CTAS 应利用本机 parquet 源
  • [SPARK-24935] 从 Spark 2.2 开始,执行 Hive UDAF 时出现的问题

维护更新

请参阅 Databricks Runtime 5.0 维护更新

系统环境

  • 操作系统:Ubuntu 16.04.5 LTS
  • Java:1.8.0_162
  • Scala:2.11.8
  • Python:2.7.12 适用于 Python 2 群集,3.5.2 适用于 Python 3 群集。
  • R:R 版本 3.4.4 (2018-03-15)
  • GPU 群集:安装了以下 NVIDIA GPU 库:
    • Tesla 驱动程序 375.66
    • CUDA 9.0
    • cuDNN 7.0

注意

尽管 Apache Spark 2.4 支持 Scala 2.12,但 Databricks Runtime 5.0 不支持。

已安装的 Python 库

图书馆 版本 图书馆 版本 图书馆 版本
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
博托 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
密码系统 1.5 骑行者 0.10.0 Cython 0.24.1
装饰师 4.0.10 docutils 0.14 enum34 1.1.6
ET-XML文件 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 期货 3.2.0 ggplot 0.6.8
html5lib 0.999 IDNA 2.1 IP地址 1.0.16
ipython 2.2.0 ipython-genutils(IPython通用工具) 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 LLVMlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
麻木 0.28.1 numpy 1.11.1 openpyxl 2.3.2
熊猫 0.19.2 pathlib2 2.1.0 替罪羊 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 枕头 3.3.1
果仁 18.0 层数 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 Python代码解析器 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python语言 2.7.12
python-dateutil 2.5.3 python-geohash (Python的地理哈希库) 0.8.5 pytz 2016年6月1日
请求 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 搜寻 0.32 seaborn 0.7.1
setuptools 40.4.1 simplejson 3.8.2 simples3 1.0
singledispatch(单一派发) 3.4.0.3 6 1.10.0 statsmodels 0.6.1
龙卷风 5.1.1 Traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 轮子 0.31.1
wsgiref 0.1.2

已安装的 R 库

图书馆 版本 图书馆 版本 图书馆 版本
abind 1.4-5 assertthat 0.2.0 回移补丁 1.1.2
基础 3.4.4 base64enc 0.1-3 BH 1.66.0-1
bindr 0.1.1 bindrcpp 0.2.2 1.1-14
bit64 0.9-7 bitops 1.0-6 团状物 1.1.1
启动 1.3-20 酿造/冲泡 1.0-6 扫帚 0.5.0
调用方 3.0.0 汽车 3.0-2 汽车数据 3.0-1
插入符号 6.0-80 cellranger (细胞测序工具) 1.1.0 chron 2.3-52
班级 7.3-14 cli 1.0.0 集群 2.0.7-1
codetools 0.2-15 色彩空间 1.3-2 commonmark 1.5
编译器 3.4.4 蜡笔 1.3.4 卷曲 3.2
CVST(脑静脉窦血栓形成) 0.2-2 数据表 (data.table) 1.11.4 数据集 3.4.4
DBI 1.0.0 ddalpha 1.3.4 DEoptimR 1.0-8
desc 1.2.0 devtools 1.13.6 摘要 0.6.16
dimRed 0.1.0 doMC 1.3.5 dplyr 0.7.6
DRR 0.0.3 fansi 0.3.0 forcats 0.3.0
foreach 1.4.4 外国 0.8-70 gbm 2.1.3
几何 0.3-6 ggplot2 3.0.0 git2r 0.23.0
glmnet 2.0-16 胶水 1.3.0 gower 0.1.2
图形 3.4.4 grDevices 3.4.4 “业务流程参数” 网格 3.4.4
gsubfn 0.7 gtable 0.2.0 H₂O 3.20.0.2
避风港 1.1.2 赫姆斯 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-7
迭代器 1.0.10 jsonlite 1.5 kernlab 0.9-27
KernSmooth 2.23-15 标记 0.3 格子 0.20-35
熔岩 1.6.3 lazyeval 0.2.1 更小 0.3.4
lme4 1.1-18-1 lubridate 1.7.4 魔法 1.5-8
magrittr 1.5 mapproj 1.2.6 地图 3.3.0
maptools 0.9-3 质量 7.3-50 矩阵 1.2-14
MatrixModels 0.4-1 缓存 1.1.0 方法 3.4.4
mgcv 1.8-24 默剧 0.5 明卡 1.2.4
ModelMetrics 1.2.0 蒙塞尔 0.5.0 mvtnorm 1.0-8
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl(开放SSL) 1.0.2 openxlsx 4.1.0
平行 3.4.4 pbkrtest 0.4-7 支柱 1.3.0
pkgbuild (软件包构建工具) 1.0.0 pkgconfig 2.0.2 pkgKitten 0.1.4
pkgload 1.0.0 普洛格 0.2.0 2.7-0
普莱尔 1.8.4 赞美 1.0.0 prettyunits 1.0.2
pROC 1.12.1 processx 3.2.0 prodlim 2018.04.18
原型 (proto) 1.0.0 附注 (ps) 1.1.0 purrr 0.2.5
quantreg 5.36 R.methodsS3 1.7.1 R.oo 1.22.0
R.utils 2.7.0 R6 2.2.2 随机森林 (randomForest) 4.6-14
RColorBrewer 1.1-2 Rcpp 0.12.18 RcppEigen 0.3.3.4.0
RcppRoll 0.3.0 RCurl 1.95-4.11 readr(阅读器) 1.1.1
readxl 1.1.0 食谱 0.1.3 重赛 1.0.1
reshape2 1.4.3 里约 0.5.10 rlang 0.2.2
robustbase 0.93-2 RODBC 1.3-15 roxygen2 6.1.0
rpart 4.1-13 rprojroot 1.3-2 Rserve 1.7-3
RSQLite 2.1.1 rstudioapi 0.7 磅秤 1.0.0
sfsmisc 1.1-2 sp 1.3-1 SparkR 2.4.0
稀疏M 1.77 空间 7.3-11 样 条 3.4.4
sqldf(R环境中的数据库操作软件包) 0.4-11 SQUAREM 2017年10月-1日 statmod 1.4.30
统计数据 3.4.4 统计数据4 3.4.4 字符串 1.2.4
stringr 1.3.1 生存 2.42-6 tcltk 3.4.4
教学演示 2.10 testthat 2.0.0 tibble 1.4.2
tidyr 0.8.1 tidyselect 0.2.4 时间日期 3043.102
工具 3.4.4 utf8 1.1.4 实用工具 3.4.4
viridisLite 0.3.0 晶 须 0.3-2 无改动(具体含义和背景需要更多信息) 2.1.2
xml2 1.2.0 压缩包 1.0.0

已安装的 Java 库和 Scala 库(Scala 2.11 群集版本)

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis 客户端 1.8.10
com.amazonaws AWS Java SDK 自动扩展 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws AWS Java SDK CloudFront 1.11.313
com.amazonaws AWS-Java-SDK-云HSM 1.11.313
com.amazonaws AWS Java SDK 云搜索 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws AWS Java SDK CodeDeploy(AWS Java 软件开发工具包 CodeDeploy) 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config(AWS Java SDK 配置) 1.11.313
com.amazonaws aws-java-sdk-core (AWS Java软件开发工具包核心) 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws AWS Java SDK Direct Connect(直连) 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk(AWS Java 开发工具包 - Elastic Beanstalk) 1.11.313
com.amazonaws aws-java-sdk-弹性负载均衡 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder(AWS Java SDK弹性转码器) 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws AWS Java SDK Glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws AWS Java SDK 导入导出 (aws-java-sdk-importexport) 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws AWS Java 软件开发工具包 - KMS 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs(AWS Java开发包日志) 1.11.313
com.amazonaws AWS-Java-SDK-机器学习 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws AWS Java SDK 存储网关 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws AWS Java SDK支持 1.11.313
com.amazonaws AWS-Java-SDK-SWF-库 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics 溪流 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.5.0-db7-spark2.4
com.databricks dbml-local_2.11-tests 0.5.0-db7-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.0.0
com.fasterxml.jackson.core Jackson注解 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor(Jackson的CBOR数据格式) 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda(杰克逊数据类型-Joda) 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib 原生系统-Java 1.1
com.github.fommil.netlib native_system-Java原生代码 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava 番石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure Azure 数据湖存储 SDK 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses 镜片_2.11 0.3
com.twitter chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter Parquet-Hadoop数据包 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe 配置 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11(Scala日志库) 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers解析器 2.7.3
com.vlkan FlatBuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec(公共编解码器) commons-codec(公共编解码器) 1.10
commons-collections (通用集合库) commons-collections (通用集合库) 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging(日志库) commons-logging(日志库) 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift 空气压缩机 0.10
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics 指标-健康检查 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics 指标-JVM 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics 指标-Servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus 简单客户端通用 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx 收集器 0.7
javax.activation 激活 1.1.1
javax.annotation javax.annotation-api (Java中的注解API) 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-属性 1.1.5
net.razorvine 辉岩 4.13
net.sf.jpam 杰潘 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.4.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate (字符串模板) 3.2.1
org.apache.ant 蚂蚁 1.9.2
org.apache.ant ant-jsch(Java的SSH库) 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.10.0
org.apache.arrow 箭头内存 0.10.0
org.apache.arrow 箭头向量 0.10.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0(孵化中)
org.apache.calcite 如果没有标准的中文翻译且是专有名称,“calcite-core”可以保持不变。根据具体情况和语境决定是否需要翻译该术语。 1.2.0(孵化中)
org.apache.calcite calcite-linq4j 1.2.0(孵化中)
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator 策展人与客户 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator 策展人食谱 2.7.1
org.apache.derby 德比 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop客户端 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop Hadoop 分布式文件系统 (Hadoop-HDFS) 2.7.3
org.apache.hadoop Hadoop MapReduce 客户端应用 2.7.3
org.apache.hadoop hadoop-mapreduce-客户端-通用 2.7.3
org.apache.hadoop Hadoop-MapReduce-客户端-核心 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop Hadoop-YARN客户端 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.htrace htrace-core 3.1.0 孵化
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy 常春藤 2.4.0
\ org.apache.orc orc-core-nohive 1.5.2
\ org.apache.orc orc-mapreduce-nohive 1.5.2
\ org.apache.orc orc-shims 1.5.2
org.apache.parquet parquet-column 1.10.1-databricks2
org.apache.parquet parquet-common 1.10.1-databricks2
org.apache.parquet Parquet 编码 1.10.1-databricks2
org.apache.parquet Parquet格式 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks2
org.apache.parquet parquet-jackson 1.10.1-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-shaded 4.8
org.apache.zookeeper 动物园管理员 3.4.6
org.codehaus.jackson jackson-core-asl (Jackson核心库 - ASL) 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson 杰克逊映射器-ASL 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler(公共编译器) 3.0.9
org.codehaus.janino 雅尼诺 3.0.9
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty Jetty-HTTP 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty 码头安全 9.3.20.v20170531
org.eclipse.jetty Jetty服务器 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util(Jetty工具库) 9.3.20.v20170531
org.eclipse.jetty Jetty 网页应用 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-定位器 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator (OSGi 资源定位器) 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers Jersey容器Servlet核心 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb (Jersey 媒体库 - JAXB) 2.22.2
org.hibernate Hibernate验证器 5.1.1.Final
org.iq80.snappy 活泼 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss 日志 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s json4s-core_2.11 3.5.3
org.json4s json4s-jackson_2.11 3.5.3
org.json4s json4s-scalap_2.11 3.5.3
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt 测试界面 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive Hive 元数据存储器 1.2.1.spark2
org.spark-project.spark 不使用 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core (Spring核心模块) 4.1.4.RELEASE
org.springframework 春季测试 4.1.4.RELEASE
org.tukaani xz 1.5
org.typelevel 机械师_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.1
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
斯塔克斯 stax-api 1.0.1
xmlenc xmlenc 0.52