Mosaic AI 模型服务提供高级工具，用于监视模型及其部署的质量和运行状况。 下表概述了可用的每个监视工具。
| 工具 | 描述 | 用途 | 访问 |
|---|---|---|---|
| 服务日志 | 从模型服务终结点捕获 stdout 和 stderr 流。 |
对模型部署期间的调试很有用。 使用 print(..., flush=true) 可立即在日志中显示。 |
可以使用 Serving UI 中的“日志”选项卡进行访问。 日志会实时流式传输，且可以通过 API 导出。 |
| 生成日志 | 显示来自会自动为模型服务终结点创建生产就绪型 Python 环境的进程的输出。 | 对诊断模型部署和依赖项问题很有用。 | 当模型服务生成完成时，显示在“日志”选项卡中的“生成日志”下。日志可以通过 API 导出。 |
| 终结点运行状况指标 | 有助于深入了解延迟、请求率、错误率、CPU 使用情况和内存使用情况等基础结构指标。 | 对于了解 Serving 基础结构的性能和运行状况有重要影响。 | 过去 14 天在 Serving UI 中默认可用。 还可以实时将数据流式传输到可观测性工具。 |
| 推理表 | 自动将用于自定义模型的联机预测请求和响应记录到由 Unity Catalog 管理的 Delta 表中。 | 使用此工具监视和调试模型质量或响应、生成训练数据集或执行合规性审核。 | 可以使用服务 UI 中的一次单击或以编程方式使用服务 API 为现有和新模型服务终结点启用。 |
| 已启用 AI 网关的推理表 | 自动将在线预测请求和响应记录到由 Unity Catalog 管理的 Delta 表中，用于为外部模型或预配的吞吐量工作负荷提供服务的服务端点。 | 使用此工具监视和调试模型质量或响应、生成训练数据集或执行合规性审核。 | 通过 Serving UI 或 REST API 启用 AI 网关功能时，该选项可同时应用于现有及新增的模型服务终结点。 |