按照这些快速入门指南开始为 GenAI 应用使用 MLflow。
1.设置环境
按照 环境设置快速入门 安装 MLflow 并将开发环境连接到 MLflow 试验。
2.使用 MLflow 跟踪检测应用程序
MLflow 跟踪通过捕获整个执行流(包括提示、检索和工具调用)来帮助调试和迭代 GenAI 应用程序。 这样,就可以监视和提高应用程序的质量、成本和延迟。
根据您的开发环境,请遵循以下适当的快速入门指南:
2.评估应用程序的质量
通过直接将评估嵌入开发工作流,MLflow 使你能够迭代地提高 GenAI 应用程序的质量。 使用 LLM 和自定义评分器系统地测试对提示、模型或应用程序逻辑 mlflow.genai.evaluate()
的更改。
3. 收集人工反馈
通过捕获域专家和最终用户反馈来整合人类见解,以了解所需的应用程序行为,并将自定义 LLM 判断指标与专家判断保持一致。
后续步骤
继续您的旅程,并参考这些推荐的行动和教程。
参考指南
浏览本指南中提到的概念和功能的详细文档。
- 跟踪概念 - 了解 MLflow 跟踪的基础知识
- 评估概念 - 了解评分员、评委和评估方法
- MLflow 数据模型 - 深入探索实验、追踪和运行