Azure AI Foundry 门户中的模型排行榜（预览版）

使用 Azure AI Foundry 门户中的模型排行榜（预览版），可以简化 Azure AI Foundry 模型目录中的模型选择过程。 由行业标准基准支持的模型排行榜可以帮助你找到自定义 AI 解决方案的最佳模型。 在模型目录的“模型排行榜”部分中，可以 浏览排行榜 以比较可用模型，如下所示：

• 质量、成本和性能排行榜 ，用于快速识别单个指标（质量、成本或吞吐量）的模型领导者：
• 折衷图表 以查看模型对一个指标的表现，例如质量与成本;
• 按方案排序的排行榜 ，以查找最适合方案的最佳排行榜。

每当找到喜欢的模型时，都可以将其选中，并放大模型目录中模型 的详细基准测试结果 。 如果对模型感到满意，可以部署模型，在沙盒中试用该模型，或对您的数据进行评估。 排行榜支持跨文本语言模型（大型语言模型（LLM）和小型语言模型（SLM）和嵌入模型进行基准测试。

模型基准通过以下类别评估 LLM 和 SLM：质量、性能和成本。 此外，我们还使用标准基准评估嵌入模型的质量。 随着更多更合理的不饱和基准的加入以及新模型添加到模型目录，排行榜会定期更新。

语言模型的质量基准

Azure AI 通过使用标准的、全面的基准数据集中的准确性评分来评估 LLM 和 SLM 的质量，这些数据集测量模型在推理、知识、问答、数学和编程等方面的能力。

质量指数在零到一的范围内提供。 质量指数值越高越好。 质量索引中包含的数据集包括：

查看准确性分数的更多详细信息：

准确性分数是在零到一的范围内提供的。 值越大越好。

语言模型的性能基准

性能指标根据每天发送的 24 条跟踪（每条跟踪两个请求，每条跟踪间隔 1 小时）在 14 天内进行汇总计算得出的。 以下默认参数用于向模型终结点发出的每个请求：

LLM 和 SLM 的性能通过以下指标进行评估：

Azure AI 还显示延迟和吞吐量的性能指数，如下所示：

对于延迟或吞吐量等性能指标，生成首个令牌的时间和每秒生成的令牌数可以更全面地反映模型的典型性能和行为。 我们定期刷新性能指标。

语言模型的成本基准

成本计算是使用托管在 Azure AI 平台上的 LLM 或 SLM 模型终结点的估计成本。 Azure AI 支持显示标准部署和 Azure OpenAI 模型的成本。 由于这些成本可能会更改，因此我们会定期刷新成本计算。

LLM 和 SLM 的成本通过以下指标进行评估：

Azure AI 还按如下所示显示成本指数：

嵌入模型的质量基准

嵌入模型的质量索引定义为面向信息检索、文档聚类分析和摘要任务的综合标准基准数据集的平均准确度分数。

查看特定于每个数据集的准确性分数定义的更多详细信息：

分数的计算

个人得分

基准检验结果源自常用于语言模型评估的公共数据集。 在大多数情况下，数据托管在由数据创建者或管护者维护的 GitHub 存储库中。 Azure AI 评估管道从原始源下载数据，从每个示例行中提取提示，生成模型响应，然后计算相关的准确度指标。

提示构造遵循每个数据集的最佳做法，这些做法由介绍数据集和行业标准的论文定义。 在大多数情况下，每个提示都包含几个样本，即完整问题和答案的示例，以便为任务模型打好基础。 评估管道通过从评估中保留的部分数据对问题和答案进行采样来创建样本。

相关内容

• 使用 Azure AI Foundry 门户中的模型排行榜比较和选择模型
• Azure AI Foundry 门户中的模型目录和集合