Azure Databricks 提供专用基元来操作 Apache Spark SQL 中的数组。 这些基元使处理数组更加简单明了,并且不需要大量的样板代码。 基元围绕两个函数式编程构造:高阶函数和匿名 (lambda) 函数。 这两种函数协同工作,让你能够定义在 SQL 中操作数组的函数。
介绍
高阶函数采用数组,实现该数组的处理方式,并决定计算结果。 它委托 lambda 函数处理数组中的每一项。
以下笔记本将介绍这些函数。
高阶函数教程 Python 笔记本
高阶函数笔记本简介
Apache Spark 内置函数
Apache Spark 具有用于处理复杂类型的内置函数,例如数组类型和高阶函数。
以下笔记本说明了 Apache Spark 内置函数。