马赛克 AI 是一个平台，用于 生成、 评估、 部署和 监视 生成式 AI 应用程序（第 1 代 AI 应用）。 它汇集了一套工具，用于应对 开发企业级 AI 应用的挑战。 马赛克 AI 与常用的开源框架集成，添加了企业级治理、可观测性和运营工具，统称为 LLMOps。
马赛克 AI 组件的概述
模型服务 可帮助你：
- 使用统一接口部署和查询 Gen AI 应用程序和模型
- 治理和监视部署
代理评估 可帮助您：
- 通过迅速迭代在开发循环中实现高质量。
- 在生产期间监视和修复质量。
- 从有关第一代 AI 应用质量的主题专家那里收集输入和反馈。
- 管理评估数据集以定义和度量质量。
使用代理框架 可以：
- 使用单行代码将生成式 AI 应用代码和配置（已记录为 MLflow 模型）部署到生产环境准备好的服务端点。
MLflow 提供以下功能：
- 配置您的生成式 AI 应用以提供可观测性和遥测。
- 记录 Gen AI 应用的代码和配置，以管理其生命周期。
- 使用各种框架创作代理，包括 langchain、langgraph、crewAI、OpenAI SDK。
启用数据智能
Databricks Data Intelligence 平台 了解数据，并使用该见解来帮助你，同时仍提供强大的治理和安全性：
- 在线表：访问生成式人工智能应用中的实时功能。
Mosaic AI 如何推动生成式 AI 应用开发
马赛克 AI 可帮助你解决第一代 AI 应用开发的一些挑战。
跨数据和 AI 的端到端治理
与 Unity 目录紧密集成，为数据和 AI 治理提供单一事实来源：
- Unity 目录函数：针对代理系统的 SQL 和基于 Python 的工具进行治理。
- Unity 目录模型：代理系统代码和配置的治理。
- Unity 目录连接：对代理系统使用的内部和外部 API 进行治理。
跨所有在 Databricks 内外部署的生成式 AI 应用程序的统一遥测和可观测性。
Lakeguard 提供 沙盒代码执行环境 ，以便工具尊重 Unity 目录治理和 ACL。
生产质量可交付结果
与主题专家（SME）轻松协作，收集输入，以定义质量标准。
- 代理评估 提供内置 UI，使主题专家能够标记评估/训练数据，并提供有关第一代 AI 应用输出 的反馈 。
- 监视 UI 有助于分析 SME 交互并将有价值的反馈转换为结构化评估数据，以便持续改进。
- 无论是在 Databricks 上还是其他地方部署应用，都可以利用马赛克 AI 的评估和监视功能。
在开发和生产过程中，对部署在 Databricks 内部及外部的生成式人工智能应用进行准确、快速和高质量的测量。
- 使用 代理评估：
缩短开发时间的快速开发工具
- 代理评估
- 代理框架：使用一行代码将生成式 AI 应用的代码和配置（记录为 MLflow 模型）部署到托管在模型服务上的生产级服务 API。
- AI Playground：用于与已部署的应用交互的 沙盒 UI 。
马赛克 AI 中的开源支持
借助 Mosaic AI，您可以扩展生成式人工智能应用以供企业使用，无论您从哪个开源框架开始。
马赛克 AI 补充但不取代现有的开源生成 AI 库和 SDK，例如：
- 开放人工智能
- LangChain
- LangGraph
- AutoGen
- LlamaIndex
- CrewAI
- 语义内核
- DSPy
如果想要从头开始构建 Gen AI 应用，则马赛克 AI 支持自定义仅限 Python 的解决方案，无需框架。