Azure AI Foundry ポータルのモデル ランキング (プレビュー)

Azure AI Foundry ポータルのモデル ランキング (プレビュー) を使用すると、Azure AI Foundry モデル カタログのモデル選択プロセスを合理化できます。 業界標準のベンチマークに基づくモデル ランキングは、カスタム AI ソリューションに最適なモデルを見つけるのに役立ちます。 モデル カタログの [モデル ランキング] セクションから、 ランキングを参照 して、使用可能なモデルを次のように比較できます。

• 品質、安全性、コスト、パフォーマンスのランキング を使用して、単一のメトリック (品質、安全性、コスト、またはスループット) に沿ってモデル リーダーをすばやく特定します。
• 品質とコストなど、あるメトリックと別のメトリックでモデルがどのように動作するかを確認するためのトレードオフのグラフ。
• シナリオに 合った最適なランキングを見つけるためのシナリオ別のランキング。

好みに合わせてモデルを見つけたら、それを選択して、モデル カタログ内のモデルの 詳細ベンチマーク結果 にズームすることができます。 モデルに満足している場合は、モデルをデプロイするか、プレイグラウンドで試すか、データで評価することができます。 ランキングでは、テキスト言語モデル (大きな言語モデル (LLM) と小さな言語モデル (SMM) 間のベンチマークと埋め込みモデルがサポートされます。

モデル ベンチマークは、品質、安全性、コスト、スループットというカテゴリの LLM と SLB を評価します。 さらに、標準ベンチマークを使用して埋め込みモデルの品質を評価します。 ランキングは、より優れた不飽和ベンチマークがオンボードされ、新しいモデルがモデル カタログに追加されると、定期的に更新されます。

言語モデルの品質ベンチマーク

Azure AI は、推論、知識、質問の回答、数学、コーディングなどのモデル機能を測定する標準の包括的なベンチマーク データセットの精度スコアを使用して、LLM と SLB の品質を評価します。

品質インデックスは、0 から 1 のスケールで提供されます。 品質インデックスは値が大きいほど優れています。 品質インデックスに含まれるデータセットは次のとおりです。

精度スコアの詳細を参照してください。

精度スコアは、0 から 1 のスケールで提供されます。 大きいほど、良い値です。

言語モデルの安全性ベンチマーク

評価のための安全ベンチマークの選択をガイドするために、関連性と厳格さの両方を確保するように設計された構造化されたフィルタリングと検証プロセスを適用します。 ベンチマークは、優先度の高いリスクに対処する場合、オンボードの対象となります。 安全ランキングについては、安全性に関連する特定のトピックに関するいくつかのシグナルを提供するのに十分な信頼性があると考えられるさまざまなベンチマークを検討します。 プロキシ モデルの安全性には HarmBench を選択し、シナリオ のランキングを次のように整理します。

有害な動作をモデル化する

HarmBench ベンチマークは、モデルの有害な動作を測定し、モデルから有害な動作を違法にするよう促すプロンプトを含みます。 安全性に関するベンチマークでは、動作の 7 つのセマンティック カテゴリについて説明します。

• サイバー犯罪と不正侵入
• 化学・生物兵器・医薬品
• 著作権違反
• 誤った情報と情報漏えい
• 嫌がらせといじめ
• 違法なアクティビティ
• 一般的な損害

これら 7 つのカテゴリは、3 つの機能カテゴリにまとめることができます

• 標準的な有害な動作
• コンテキストに有害な動作
• 著作権違反

各機能カテゴリは、個別のシナリオ ランキングで紹介されています。 攻撃成功率 (ASR) を計算するには、HarmBench (攻撃なし) と HarmBench エバリュエーターからの直接プロンプトを使用します。 ASR 値が小さいほど、モデルの安全性が高くなります。 評価のための攻撃戦略については説明しません。モデル ベンチマークは、Azure AI コンテンツ セーフティ フィルターをオフにして実行されます。

有毒なコンテンツを検出するモデル機能

Toxigen は、敵対的および暗黙的なヘイト音声検出用の大規模なマシン生成データセットです。 13の少数派グループに言及する暗黙的に有毒で良性の文が含まれています。 評価には Toxigen の注釈付きサンプルを使用し、F1 スコアを計算して分類のパフォーマンスを測定します。 このデータセットでスコアを高くすることは、モデルが有毒なコンテンツを検出する方が優れていることを意味します。 モデル ベンチマークは、Azure AI Content Safety Filter がオフになっている状態で実行されます。

機密性の高いドメインのモデル知識

大量破壊兵器プロキシ (WMDP) ベンチマークは、バイオセキュリティ、サイバーセキュリティ、化学セキュリティなど、機密性の高い領域でのモデル知識を測定します。 ランキングでは、サイバーセキュリティ、バイオセキュリティ、化学セキュリティ全体の平均精度スコアが使用されます。 WMDP 精度スコアが高いほど、危険な機能に関するより多くの知識が示されます (安全性の観点から悪い動作)。 モデル ベンチマークは、既定の Azure AI Content Safety フィルターを使用して実行されます。 これらの安全フィルターは、暴力、自傷行為、性的、嫌悪、不公平に関するコンテンツの損害を検出してブロックしますが、サイバーセキュリティ、バイオセキュリティ、化学セキュリティのカテゴリは対象としません。

安全ベンチマークの制限事項

私たちは、安全性が複雑なトピックであり、いくつかの次元があることを理解し、認めます。 異なるシナリオでシステムの完全な安全性をテストまたは表すことができる、現在のオープンソース ベンチマークは 1 つもありません。 さらに、これらのベンチマークのほとんどは、飽和またはベンチマーク設計とリスク定義の間の不整合に苦しむ可能性があり、ターゲット リスクの概念化と運用化の方法に関する明確なドキュメントが不足しているため、ベンチマークがリスクの微妙な部分を正確に把握しているかどうかを評価することが困難になる可能性があります。 この制限により、実際の安全シナリオでモデルのパフォーマンスを過大評価または過小評価する可能性があります。

言語モデルのパフォーマンス ベンチマーク

パフォーマンス メトリックは、各証跡が 1 時間間隔で毎日送信される 24 の証跡 (証跡ごとに 2 つの要求) に基づいて、14 日間の集計として計算されます。 モデル エンドポイントへの要求ごとに、次の既定パラメーターが使用されます。

LLM と SLB のパフォーマンスは、次のメトリックで評価されます。

Azure AI には、待ち時間とスループットに関するパフォーマンス インデックスも次のように表示されます。

待ち時間やスループットなどのパフォーマンス メトリックでは、最初のトークンまでの時間と 1 秒あたりの生成トークン数によって、モデルの一般的なパフォーマンスと動作をより全体的に把握できます。 パフォーマンス数値は定期的に更新されます。

言語モデルのコスト ベンチマーク

コスト計算は、Azure AI プラットフォームでホストされている LLM または SLM モデル エンドポイントを使用する場合の見積もりです。 Azure AI では、標準デプロイと Azure OpenAI モデルのコストの表示がサポートされています。 これらのコストは変更される可能性があるため、コスト計算は定期的に更新されます。

LLM と SLB のコストは、次のメトリックで評価されます。

Azure AI では、コスト インデックスも次のように表示されます。

埋め込みモデルの品質ベンチマーク

埋め込みモデルの品質インデックスは、情報取得、ドキュメント クラスタリング、および要約タスクを対象とする一連の標準ベンチマーク データセットの平均精度スコアとして定義されます。

各データセットに固有の精度スコア定義の詳細を参照してください。

スコアの計算

個別のスコア

ベンチマーク結果は、言語モデルの評価に一般的に使用される公開データセットに由来します。 ほとんどの場合、データは、データの作成者またはキュレーターによって管理されている GitHub リポジトリにホストされています。 Azure AI 評価パイプラインは、元のソースからデータをダウンロードし、各例の行からプロンプトを抽出し、モデルの応答を生成してから、関連する正確性メトリックを計算します。

プロンプトの構築は、データセットを紹介した論文や業界標準によって指定された、各データセットのベスト プラクティスに従います。 ほとんどの場合、各プロンプトには複数の "ショット"、つまりタスクのモデルを準備するための完全な質問と回答の例がいくつか含まれています。 評価パイプラインは、評価から除外されたデータの一部から質問と回答をサンプリングしてショットを作成します。

関連コンテンツ

• Azure AI Foundry ポータルでモデル ランキングを使用してモデルを比較して選択する
• Azure AI Foundry ポータルのモデルカタログとコレクション