注意
对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期,请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本,请参阅 Databricks Runtime 发行说明版本和兼容性。
Databricks 于 2020 年 7 月发布此版本。
以下发行说明提供了由 Apache Spark 3.0 支持的 Databricks Runtime 7.1 的相关信息。
新增功能
Databricks Runtime 7.1 包括以下新功能:
Delta Lake
现在可以在 Delta 操作所进行的每个提交中设置用户定义的元数据。 有关详细信息,请参阅使用自定义元数据扩充 Delta Lake 表。
现在可以查询 SQL 配置
spark.databricks.delta.lastCommitVersionInSession
,以获取当前SparkSession
编写的最后一个提交的版本。如果
SparkSession
未进行任何提交,则查询该键时将返回空值。 此功能在流式处理或多线程情况下不受支持。CONVERT TO DELTA
现在可以使用在_spark_metadata
文件夹中找到的事务日志来转换通过结构化流式处理功能创建的 Parquet 表。 这可以防止未通过流式处理查询提交的文件被视为在 Delta 表中。 然后,你可以继续使用相同的检查点位置运行流。注意
在转换过程完成后,有较小的可能性会将上一微批中的数据再次提交到表。
此版本包含针对只有匹配子句的
MERGE INTO
操作的性能改进。 也就是说,它们仅有UPDATE
和DELETE
操作,而没有INSERT
操作。
用于支持范笔记本范围内的 Python 库的 pip 命令
从 Databricks Runtime 7.1 开始,可使用 %pip
命令来管理笔记本会话中安装的 Python 库。
有关详细信息,请参阅笔记本范围内的 Python 库。
改进
- 将
display
方法添加到 PySpark、pandas 和 Koalas 数据帧,这样你现在就可以运行df.display()
来更轻松地进行探索性的数据分析。 请参阅创建新的可视化效果。 - Koalas 现已安装。
Apache Spark
Databricks Runtime 7.1 包括 Apache Spark 3.0.0。 此版本包括 Databricks Runtime 7.0 (EoS) 中包含的所有 Spark 修复和改进,以及对 Spark 进行的以下其他缺陷修复和改进:
- [SPARK-32057] ExecuteStatement:cancel 和 close 不应会出现暂时性的错误
- [SPARK-32167] [SQL] 修复了 GetArrayStructFields 以共同遵守内部字段的为 Null 性
- [SPARK-31935] Hadoop 文件系统配置应在数据源选项中有效
- [SPARK-32038] [SQL] NormalizeFloatingNumbers 还应在不同的聚合上起作用
- [SPARK-31705] [SQL] 通过 CNF 转换,利用 Join 推送更多可能的谓词
- [SPARK-31945] [ SQL][pyspark] 为同一 Python 函数启用缓存
- [SPARK-8981] [CORE] 在执行程序中添加了 MDC 支持
- [SPARK-31986] [SQL] 修复了重叠本地时间戳的儒略历-公历 micros 变基
- [SPARK-31959] [SQL] 修复了在切换标准时区偏移量时的儒略历-公历 micros 变基
- [SPARK-26905] [SQL] 遵循 SQL:2016 保留关键字
- [SPARK-31990] [SS] 在 Dataset.dropDuplicates 中使用 toSet.toSeq
- [SPARK-31992] [SQL] 为 EXCEPTION 变基模式添加了基准
- [SPARK-31983] [WEBUI] 修复了“结构化流式处理”选项卡中的“持续时间”列的排序功能
- [SPARK-31593] [SS] 删除不必要的流式处理查询进度更新
- [SPARK-31968] [SQL] 写入数据时进行重复分区列检查
- [SPARK-31632] [ CORE][webui] 当应用程序摘要不可用时扩充异常消息
- [SPARK-31916] [SQL] StringConcat 可能导致 StringIndexOutOfBoundsException
- [SPARK-31935] [SQL] Hadoop 文件系统配置应在数据源选项中有效
- [SPARK-31954] [SQL] 删除 HiveQuerySuite 中的重复测试用例
- [SPARK-28199] [SS] 删除 sql.execution 包内的类/对象中的 package private
- [SPARK-31956] [SQL] 如果没有明确的自联接,则不会失败
- [SPARK-31941] [CORE] 对于 AppStatusStore 中的 applicationInfo,将 SparkException 替换为 NoSuchElementException
-
[SPARK-26905] [SQL] 在 ANSI 非保留列表中添加了
TYPE
- [SPARK-31921] [CORE] 修复了错误的警告:“应用 app-xxx 需要的资源多于任何辅助角色可能具有的资源”
- [SPARK-31220] [SQL] 在 adaptiveExecutionEnabled 时,重新分区服从 initialPartitionNum
- [SPARK-29295] [SQL] 从分区路径分析的动态分区映射应区分大小写
- [SPARK-31849] [ PYTHON][sql] 更正 Python UDF 异常消息中的错误信息
- [SPARK-31923] [CORE] 忽略使用无法识别的类型的内部累加器,而不是崩溃
- [SPARK-31849] [PYTHON][sql] 在 Python 异常处理中去重并重用 Utils.exceptionString
维护更新
请参阅 Databricks Runtime 7.1 维护更新。
系统环境
- 操作系统:Ubuntu 18.04.4 LTS
- Java:1.8.0_252
- Scala:2.12.10
- Python:3.7.5
- R:R 版本 3.6.3 (2020-02-29)
- Delta Lake 0.7.0
已安装的 Python 库
库 | 版本 | 库 | 版本 | 库 | 版本 |
---|---|---|---|---|---|
asn1crypto | 1.3.0 | 回调 | 0.1.0 | boto3 | 1.12.0 |
botocore | 1.15.0 | certifi | 2020.6.20 | cffi | 1.14.0 |
chardet | 3.0.4 | 密码系统 | 2.8 | 骑行者 | 0.10.0 |
Cython | 0.29.15 | 装饰师 | 4.4.1 | docutils | 0.15.2 |
入口点 | 0.3 | IDNA | 2.8 | ipykernel | 5.1.4 |
ipython | 7.12.0 | ipython-genutils(IPython通用工具) | 0.2.0 | jedi | 0.14.1 |
jmespath | 0.9.4 | joblib | 0.14.1 | Jupyter客户端 | 5.3.4 |
jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | 考拉 | 1.0.1 |
matplotlib | 3.1.3 | numpy | 1.18.1 | 熊猫 | 1.0.1 |
帕尔索 | 0.5.2 | 替罪羊 | 0.5.1 | pexpect | 4.8.0 |
pickleshare | 0.7.5 | 果仁 | 20.0.2 | prompt-toolkit | 3.0.3 |
psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 0.15.1 |
Python代码解析器 | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | PySocks | 1.7.1 |
python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | pytz | 2019.3 |
pyzmq | 18.1.1 | 请求 | 2.22.0 | s3transfer | 0.3.3 |
scikit-learn | 0.22.1 | scipy | 1.4.1 | seaborn | 0.10.0 |
setuptools | 45.2.0 | 6 | 1.14.0 | ssh-import-id | 5.7 |
statsmodels | 0.11.0 | 龙卷风 | 6.0.3 | Traitlets | 4.3.3 |
无人参与升级 | 0.1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
wcwidth | 0.1.8 | 轮子 | 0.34.2 |
已安装的 R 库
R 库安装自 2020-04-22 的 Microsoft CRAN 快照。
库 | 版本 | 库 | 版本 | 库 | 版本 |
---|---|---|---|---|---|
askpass | 1.1 | assertthat | 0.2.1 | 回移补丁 | 1.1.6 |
基础 | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
位 | 1.1-15.2 | bit64 | 0.9-7 | 团状物 | 1.2.1 |
启动 | 1.3-25 | 酿造/冲泡 | 1.0-6 | 扫帚 | 0.5.6 |
调用方 | 3.4.3 | 插入符号 | 6.0-86 | cellranger | 1.1.0 |
chron | 2.3-55 | 班级 | 7.3-17 | cli | 2.0.2 |
剪辑器 | 0.7.0 | 集群 | 2.1.0 | codetools | 0.2-16 |
色彩空间 | 1.4-1 | commonmark | 1.7 | 编译器 | 3.6.3 |
配置 | 0.3 | covr | 3.5.0 | 蜡笔 | 1.3.4 |
相声 | 1.1.0.1 | 卷曲 | 4.3 | data.table | 1.12.8 |
数据集 | 3.6.3 | DBI | 1.1.0 | dbplyr | 1.4.3 |
desc | 1.2.0 | devtools | 2.3.0 | 摘要 | 0.6.25 |
dplyr | 0.8.5 | DT | 0.13 | 省略号 | 0.3.0 |
评估 | 0.14 | fansi | 0.4.1 | 颜色 | 2.0.3 |
快速映射 | 1.0.1 | 猫咪 | 0.5.0 | foreach | 1.5.0 |
外国 | 0.8-76 | 锻造 | 0.2.0 | 文件系统 (if fs stands for "file system") | 1.4.1 |
泛 型 | 0.0.2 | ggplot2 | 3.3.0 | gh | 1.1.0 |
git2r | 0.26.1 | glmnet | 3.0-2 | 全局变量 | 0.12.5 |
胶水 | 1.4.0 | 高尔 | 0.2.1 | 图形 | 3.6.3 |
grDevices | 3.6.3 | “业务流程参数” 网格 | 3.6.3 | gridExtra | 2.3 |
gsubfn | 0.7 | gtable | 0.3.0 | 避风港 | 2.2.0 |
更高 | 0.8 | 赫姆斯 | 0.5.3 | HTML工具 | 0.4.0 |
HTML小插件 | 1.5.1 | httpuv | 1.5.2 | httr | 1.4.1 |
hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
ipred | 0.9-9 | isoband | 0.2.1 | 迭代器 | 1.0.12 |
jsonlite | 1.6.1 | KernSmooth | 2.23-17 | 针织器 | 1.28 |
标记 | 0.3 | 稍后 | 1.0.0 | 格子 | 0.20-41 |
熔岩 | 1.6.7 | lazyeval | 0.2.2 | 生命周期 | 0.2.0 |
lubridate | 1.7.8 | magrittr | 1.5 | markdown | 1.1 |
质量 | 7.3-51.6 | 矩阵 | 1.2-18 | 缓存 | 1.1.0 |
方法 | 3.6.3 | mgcv | 1.8-31 | 默剧 | 0.9 |
ModelMetrics | 1.2.2.2 | modelr | 0.1.6 | 蒙塞尔 | 0.5.0 |
nlme | 3.1-147 | nnet | 7.3-14 | numDeriv | 2016年8月至1月1日 |
openssl(开放SSL) | 1.4.1 | 平行 | 3.6.3 | 柱子 | 1.4.3 |
pkgbuild (软件包构建工具) | 1.0.6 | pkgconfig | 2.0.3 | pkgload | 1.0.2 |
普洛格 | 0.2.0 | 普莱尔 | 1.8.6 | 赞美 | 1.0.0 |
prettyunits | 1.1.1 | pROC | 1.16.2 | processx | 3.4.2 |
prodlim | 2019.11.13 | 进度 | 1.2.2 | 承诺 | 1.1.0 |
原型 (proto) | 1.0.0 | 附注 (ps) | 1.3.2 | purrr | 0.3.4 |
r2d3 | 0.2.3 | R6 | 2.4.1 | 随机森林 (randomForest) | 4.6-14 |
rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
Rcpp | 1.0.4.6 | readr | 1.3.1 | readxl | 1.3.1 |
食谱 | 0.1.10 | 重赛 | 1.0.1 | rematch2 | 2.1.1 |
遥控器 | 2.1.1 | 可复现示例 | 0.3.0 | reshape2 | 1.4.4 |
雷克斯 | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.5 |
rmarkdown | 2.1 | RODBC | 1.3-16 | roxygen2 | 7.1.0 |
rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
RSQLite | 2.2.0 | rstudioapi | 0.11 | rversions | 2.0.1 |
rvest | 0.3.5 | 磅秤 | 1.1.0 | selectr | 0.4-2 |
会话信息 | 1.1.1 | 形状 | 1.4.4 | 光亮 | 1.4.0.2 |
sourcetools | 0.1.7 | sparklyr | 1.2.0 | SparkR | 3.0.0 |
空间 | 7.3-11 | 样 条 | 3.6.3 | sqldf | 0.4-11 |
SQUAREM | 2020.2 | 统计数据 | 3.6.3 | 统计数据4 | 3.6.3 |
字符串 | 1.4.6 | stringr | 1.4.0 | 生存 | 3.1-12 |
sys | 3.3 | tcltk | 3.6.3 | 教学演示 | 2.10 |
testthat | 2.3.2 | tibble | 3.0.1 | tidyr | 1.0.2 |
tidyselect | 1.0.0 | tidyverse | 1.3.0 | 时间日期 | 3043.102 |
tinytex | 0.22 | 工具 | 3.6.3 | usethis | 1.6.0 |
utf8 | 1.1.4 | 实用工具 | 3.6.3 | vctrs | 0.2.4 |
viridisLite | 0.3.0 | 晶 须 | 0.4 | 无改动(具体含义和背景需要更多信息) | 2.2.0 |
xfun | 0.13 | xml2 | 1.3.1 | xopen | 1.0.0 |
xtable | 1.8-4 | yaml | 2.2.1 |
已安装的 Java 库和 Scala 库(Scala 2.12 群集版本)
组 ID | 项目 ID | 版本 |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | Amazon Kinesis 客户端 | 1.12.0 |
com.amazonaws | AWS Java SDK 自动扩展 | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
com.amazonaws | AWS Java SDK CloudFront | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
com.amazonaws | AWS Java SDK 云搜索 | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
com.amazonaws | AWS Java SDK CodeDeploy(AWS Java 软件开发工具包 CodeDeploy) | 1.11.655 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
com.amazonaws | aws-java-sdk-config(AWS Java SDK 配置) | 1.11.655 |
com.amazonaws | aws-java-sdk-core (AWS Java软件开发工具包核心) | 1.11.655 |
com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
com.amazonaws | AWS Java SDK Direct Connect(直连) | 1.11.655 |
com.amazonaws | aws-java-sdk-directory | 1.11.655 |
com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
com.amazonaws | aws-java-sdk-efs | 1.11.655 |
com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
com.amazonaws | aws-java-sdk-elasticbeanstalk(AWS Java 开发工具包 - Elastic Beanstalk) | 1.11.655 |
com.amazonaws | aws-java-sdk-弹性负载均衡 | 1.11.655 |
com.amazonaws | aws-java-sdk-elastictranscoder(AWS Java SDK弹性转码器) | 1.11.655 |
com.amazonaws | aws-java-sdk-emr | 1.11.655 |
com.amazonaws | AWS Java SDK Glacier | 1.11.655 |
com.amazonaws | aws-java-sdk-iam | 1.11.655 |
com.amazonaws | AWS Java SDK 导入导出 (aws-java-sdk-importexport) | 1.11.655 |
com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
com.amazonaws | AWS Java 软件开发工具包 - KMS | 1.11.655 |
com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
com.amazonaws | aws-java-sdk-logs(AWS Java开发包日志) | 1.11.655 |
com.amazonaws | AWS-Java-SDK-机器学习 | 1.11.655 |
com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
com.amazonaws | aws-java-sdk-rds | 1.11.655 |
com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
com.amazonaws | aws-java-sdk-ses | 1.11.655 |
com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
com.amazonaws | aws-java-sdk-sns | 1.11.655 |
com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
com.amazonaws | AWS Java SDK 存储网关 | 1.11.655 |
com.amazonaws | aws-java-sdk-sts | 1.11.655 |
com.amazonaws | AWS Java SDK支持 | 1.11.655 |
com.amazonaws | AWS-Java-SDK-SWF-库 | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
com.amazonaws | jmespath-java | 1.11.655 |
com.chuusai | shapeless_2.12 | 2.3.3 |
com.clearspring.analytics | 流 (stream) | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | 请参阅当前使用说明以确定"kryo-shaded"的中文翻译如果有区别。 | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | 同学 | 1.3.4 |
com.fasterxml.jackson.core | Jackson注解 | 2.10.0 |
com.fasterxml.jackson.core | jackson-core | 2.10.0 |
com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor(Jackson的CBOR数据格式) | 2.10.0 |
com.fasterxml.jackson.datatype | jackson-datatype-joda(杰克逊数据类型-Joda) | 2.10.0 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
com.github.ben-manes.caffeine | 咖啡因 | 2.3.4 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | 核心 | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-natives | 1.1 |
com.github.fommil.netlib | 原生系统-Java | 1.1 |
com.github.fommil.netlib | native_system-Java原生代码 | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
com.github.luben | zstd-jni | 1.4.4-3 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.2.4 |
com.google.flatbuffers | flatbuffers-java | 1.9.0 |
com.google.guava | 番石榴 | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 1.4.195 |
com.helger | 分析器 | 1.1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | 源代码_2.12 | 0.1.9 |
com.microsoft.azure | Azure 数据湖存储 SDK | 2.2.8 |
com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
com.ning | compress-lzf | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | 镜头_2.12 | 0.4.12 |
com.twitter | chill-java | 0.9.5 |
com.twitter | chill_2.12 | 0.9.5 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | 配置 | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.univocity | univocity-parsers解析器 | 2.8.3 |
com.zaxxer | HikariCP | 3.1.0 |
commons-beanutils | commons-beanutils | 1.9.4 |
commons-cli | commons-cli | 1.2 |
commons-codec(公共编解码器) | commons-codec(公共编解码器) | 1.10 |
commons-collections (通用集合库) | commons-collections (通用集合库) | 3.2.2 |
commons-configuration | commons-configuration | 1.6 |
commons-dbcp | commons-dbcp | 1.4 |
commons-digester | commons-digester | 1.8 |
公共文件上传 | 公共文件上传 | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.4 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-net | commons-net | 3.1 |
commons-pool | commons-pool | 1.5.4 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | 空气压缩机 | 0.10 |
io.dropwizard.metrics | 度量核心 | 4.1.1 |
io.dropwizard.metrics | metrics-graphite | 4.1.1 |
io.dropwizard.metrics | 指标-健康检查 | 4.1.1 |
io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
io.dropwizard.metrics | 指标-JMX | 4.1.1 |
io.dropwizard.metrics | 指标-json | 4.1.1 |
io.dropwizard.metrics | 指标-JVM | 4.1.1 |
io.dropwizard.metrics | 指标-Servlets | 4.1.1 |
io.netty | netty-all | 4.1.47.最终版 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | 激活 | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | jsp-api | 2.1 |
javax.transaction | jta | 1.1 |
javax.transaction | 交易接口 (transaction-api) | 1.1 |
javax.xml.bind | jaxb-api | 2.2.2 |
javax.xml.stream | stax-api | 1.0-2 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.10.5 |
log4j | apache-log4j-extras | 1.2.17 |
log4j | log4j | 1.2.17 |
net.razorvine | 辉岩 | 4.30 |
net.sf.jpam | 杰潘 | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | Snowflake 数据导入 SDK | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.12.0 |
net.snowflake | spark-snowflake_2.12 | 2.5.9-spark_2.4 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.7.1 |
org.antlr | stringtemplate (字符串模板) | 3.2.1 |
org.apache.ant | 蚂蚁 | 1.9.2 |
org.apache.ant | ant-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.arrow | 箭头格式 | 0.15.1 |
org.apache.arrow | 箭头内存 | 0.15.1 |
org.apache.arrow | 箭头向量 | 0.15.1 |
org.apache.avro | avro | 1.8.2 |
org.apache.avro | avro-ipc | 1.8.2 |
org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
org.apache.commons | commons-compress | 1.8.1 |
org.apache.commons | commons-crypto | 1.0.0 |
org.apache.commons | commons-lang3 | 3.9 |
org.apache.commons | commons-math3 | 3.4.1 |
org.apache.commons | commons-text | 1.6 |
org.apache.curator | 策展人与客户 | 2.7.1 |
org.apache.curator | Curator框架 | 2.7.1 |
org.apache.curator | 策展人食谱 | 2.7.1 |
org.apache.derby | 德比 | 10.12.1.1 |
org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
org.apache.directory.api | api-util | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop | hadoop-annotations | 2.7.4 |
org.apache.hadoop | hadoop-auth | 2.7.4 |
org.apache.hadoop | Hadoop客户端 | 2.7.4 |
org.apache.hadoop | Hadoop通用组件 | 2.7.4 |
org.apache.hadoop | Hadoop 分布式文件系统 (Hadoop-HDFS) | 2.7.4 |
org.apache.hadoop | Hadoop MapReduce 客户端应用 | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
org.apache.hadoop | Hadoop-YARN客户端 | 2.7.4 |
org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
org.apache.hive | hive-beeline | 2.3.7 |
org.apache.hive | hive-cli | 2.3.7 |
org.apache.hive | hive-common | 2.3.7 |
org.apache.hive | hive-exec-core | 2.3.7 |
org.apache.hive | hive-jdbc | 2.3.7 |
org.apache.hive | hive-llap-client | 2.3.7 |
org.apache.hive | hive-llap-common | 2.3.7 |
org.apache.hive | Hive 元数据存储器 | 2.3.7 |
org.apache.hive | hive-serde | 2.3.7 |
org.apache.hive | hive-垫片 | 2.3.7 |
org.apache.hive | 蜂巢存储API | 2.7.1 |
org.apache.hive | hive-vector-code-gen | 2.3.7 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
org.apache.hive.shims | hive-shims-common | 2.3.7 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
org.apache.htrace | htrace-core | 3.1.0 孵化 |
org.apache.httpcomponents | httpclient | 4.5.6 |
org.apache.httpcomponents | httpcore | 4.4.12 |
org.apache.ivy | 常春藤 | 2.4.0 |
org.apache.orc | orc-core | 1.5.10 |
org.apache.orc | orc-mapreduce | 1.5.10 |
org.apache.orc | orc-shims | 1.5.10 |
org.apache.parquet | Parquet列 | 1.10.1.2-databricks4 |
org.apache.parquet | parquet-common | 1.10.1.2-databricks4 |
org.apache.parquet | Parquet 编码 | 1.10.1.2-databricks4 |
org.apache.parquet | Parquet格式 | 2.4.0 |
org.apache.parquet | parquet-hadoop | 1.10.1.2-databricks4 |
org.apache.parquet | parquet-jackson | 1.10.1.2-databricks4 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.velocity | 速度 | 1.5 |
org.apache.xbean | xbean-asm7-shaded | 4.15 |
org.apache.yetus | 听众批注 | 0.5.0 |
org.apache.zookeeper | 动物园管理员 | 3.4.14 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
org.codehaus.jackson | 杰克逊映射器-ASL | 1.9.13 |
org.codehaus.jackson | jackson-xc | 1.9.13 |
org.codehaus.janino | commons-compiler(通用编译器) | 3.0.16 |
org.codehaus.janino | 雅尼诺 | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
org.eclipse.jetty | jetty-continuation | 9.4.18.v20190429 |
org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
org.eclipse.jetty | 码头安全 | 9.4.18.v20190429 |
org.eclipse.jetty | jetty-server(Jetty服务器) | 9.4.18.v20190429 |
org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
org.eclipse.jetty | jetty-util(Jetty工具库) | 9.4.18.v20190429 |
org.eclipse.jetty | Jetty 网页应用 | 9.4.18.v20190429 |
org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-定位器 | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator (OSGi 资源定位器) | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
org.glassfish.jersey.containers | Jersey容器Servlet核心 | 2.30 |
org.glassfish.jersey.core | jersey-client | 2.30 |
org.glassfish.jersey.core | jersey-common | 2.30 |
org.glassfish.jersey.core | jersey-server | 2.30 |
org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
org.glassfish.jersey.media | jersey-media-jaxb (Jersey 媒体库 - JAXB) | 2.30 |
org.hibernate.validator | Hibernate验证器 | 6.1.0.Final |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.6.6 |
org.json4s | json4s-core_2.12 | 3.6.6 |
org.json4s | json4s-jackson_2.12 | 3.6.6 |
org.json4s | json4s-scalap_2.12 | 3.6.6 |
org.lz4 | lz4-java | 1.7.1 |
org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.1.4 |
org.roaringbitmap | RoaringBitmap | 0.7.45 |
org.roaringbitmap | 垫片 | 0.7.45 |
.rocksdb | rocksdbjni | 6.2.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.10 |
org.scala-lang | scala-library_2.12 | 2.12.10 |
org.scala-lang | scala-reflect_2.12 | 2.12.10 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | 测试界面 | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 1.0 |
org.scalanlp | breeze_2.12 | 1.0 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.30 |
org.slf4j | jul-to-slf4j | 1.7.30 |
org.slf4j | slf4j-api | 1.7.30 |
org.slf4j | slf4j-log4j12 | 1.7.30 |
org.spark-project.spark | 未使用 | 1.0.0 |
org.springframework | spring-core | 4.1.4.RELEASE |
org.springframework | 春季测试 | 4.1.4.RELEASE |
org.threeten | threeten-extra | 1.5.0 |
org.tukaani | xz | 1.5 |
org.typelevel | algebra_2.12 | 2.0.0-M2 |
org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
org.typelevel | 机床工_2.12 | 0.6.8 |
org.typelevel | macro-compat_2.12 | 1.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
org.typelevel | spire-util_2.12 | 0.17.0-M1 |
org.typelevel | spire_2.12 | 0.17.0-M1 |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.7.5 |
org.yaml | snakeyaml | 1.24 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.ion | ion-java | 1.0.2 |
斯塔克斯 | stax-api | 1.0.1 |
xmlenc | xmlenc | 0.52 |