Microsoft Fabric 环境是所有硬件和软件设置的合并项。 在一个环境中,可以选择不同的 Spark 运行时、配置计算资源,以及从公共存储库或本地目录等安装库。
本教程概述了如何创建、配置和使用环境。
创建环境
可通过多个入口点来创建新环境。
标准入口点
在工作区的创建中心或“新建”部分,可以找到创建新环境(如其他 Fabric 项)的选项。
在选择期间创建
为笔记本、Spark 作业定义和工作区默认值选择环境时,可找到创建新环境的选项。
配置环境
环境中有三个主要组件,即 Spark 计算(包括 Spark 运行时)、库和资源。 发布需要 Spark 计算和库配置才能生效,而资源是可实时更改的共享存储。 有关更多详细信息,请参阅保存和发布更改部分。
配置 Spark 计算
对于环境,有各种 Spark 运行时可供选择,每个都有其自己的默认设置和预安装的包。 若要查看可用的运行时,请导航到环境的“主页”选项卡,然后选择“运行时”。 选择最适合需求的运行时。
重要
- 如果要使用现有配置或库来更新环境的运行时,则必须根据更新的运行时版本重新发布内容。
- 如果现有配置或库与最新更新的运行时版本不兼容,发布将失败。 必须移除不兼容的配置或库,然后再次发布环境。
Microsoft Fabric Spark 计算在 Spark 上运行速度极快,效率极高,还能提供针对需求定制的体验。 在环境中,可以从工作区管理员和容量管理员创建的各种池中进行选择。 可以进一步调整配置并管理 Spark 属性,以在 Spark 会话中生效。 有关详细信息,请参阅 Fabric 环境中的 Spark 计算配置设置。
管理库
除了每个 Spark 运行时提供的内置库外,Fabric 环境允许你从公共源中安装库,或是上传你或组织生成的自定义库。 成功安装这些库后,它们即可在 Spark 会话中使用。 有关详细信息,请参阅 Fabric 环境中的库管理。 还可以找到在 Microsoft Fabric 中管理库的最佳做法。在 Microsoft Fabric 中管理 Apache Spark 库
资源
环境中的“资源”部分有助于在开发阶段对小型资源进行管理。 上传到环境的文件在附加后可跨笔记本访问。 有关详细信息,请参阅在 Fabric 环境中管理资源
保存和发布更改
在环境功能区的“主文件夹”选项卡中,可以轻松找到两个名为“保存”和“发布”的按钮。 当库和 Spark 计算部分中存在未保存或未发布的挂起的更改时,将激活这些更改。
当“库”和“Spark 计算”部分中存在挂起的更改时,还将看到一个提示这两个按钮的横幅,它们的功能与功能区中的按钮相同。
- 刷新浏览器或使其保持打开状态时,未保存的更改将丢失。 选择“保存”按钮,以确保在离开之前记录更改。 保存不会应用配置,而是将其缓存在系统中。
- 选择“发布”以将更改应用到库和 Spark 计算。 在发布之前,“挂起的更改”页将显示供最终审查。 接下来,选择“发布所有”,以在 Fabric 环境中启动配置。 此过程可能需要一些时间,尤其是在涉及库的更改时。
- 若要取消发布过程,请选择横幅中的“查看进度”和“取消”操作。
- 发布完成后会出现一条通知。 如果在过程中出现任何问题,将出现错误通知。
注意
环境一次只接受一个发布。 在持续发布期间,无法对库或 Spark 计算部分作进一步更改。 发布不会影响在“资源”部分中添加、删除或编辑文件和文件夹。 用于管理资源的操作是实时的,而发布不会阻止资源部分中的更改。
共享现有环境
Microsoft Fabric 支持共享具有不同权限级别的项。
共享环境项时,收件人会自动获得读取权限。 通过此权限,收件人可以浏览环境的配置,并将其附加到笔记本或 Spark 作业。 若要顺利执行代码,请确保在共享笔记本和 Spark 作业定义时,为附加环境授予读取权限。
此外,还可以使用“共享”和“编辑”权限共享环境。 具有共享权限的用户可以继续与他人共享环境。 同时,具有编辑权限的收件人可以更新环境的内容。
附加环境
可以将 Microsoft Fabric 环境附加到数据工程/科学工作区或者笔记本和 Spark 作业定义。
将环境附加为工作区默认值
重要
一旦选定某个环境作为工作区默认环境,只有工作区管理员可以更新默认环境的内容。
选择“工作区设置”“数据工程/科学”“Spark 设置”即可找到“环境”选项卡。>>
工作区管理员可以定义整个工作区的默认工作负载。 此处配置的值的有效范围是附加到“工作区设置”的笔记本和 Spark 作业定义。
“设置默认环境”开关可以增强用户体验。 默认情况下,此开关设置为“关闭”。 如果不需要默认的 Spark 属性或库作为工作区默认值,管理员可以在这种情况下定义 Spark 运行时。 但是,如果管理员想要为工作区准备默认的 Spark 计算和库,他们可以打开开关,并轻松地将环境附加为工作区默认值。 此选项会使环境中的所有配置都像工作区设置一样有效。
将环境附加到笔记本或 Spark 作业定义
“环境”会同时显示在笔记本和 Spark 作业定义的“主页”选项卡中。 附加到环境使笔记本和 Spark 作业定义访问其库、计算配置和资源。 资源管理器将列出所有可用的环境,包括与你共享的环境、来自当前工作区的环境以及你有权访问的其他工作区的环境。
注意
如果在活动会话期间切换到其他环境,则新选择的环境在下一个会话之前不会生效。 从其他工作区附加环境时,两个工作区必须具有相同的容量和网络安全设置。 尽管可以选择来自具有不同容量或网络安全设置的工作区的环境,但会话将无法启动。 从其他工作区附加环境时,该环境中的计算配置将被忽略。 相反,池和计算配置将默认为当前工作区的设置。