NIM模型使用指引

阿里云人工智能平台PAINVIDIA授权的中国NIM合作伙伴。

NIM是英伟达推出的一套易于使用的预构建容器工具,目的是帮助企业客户在云、数据中心和工作站上安全、可靠的部署高性能的Al模型推理。NIM模型是通过NIM优化工具加工的性能优化后模型,相比原始开源模型有显著的推理性能提升。

PAI-Model Gallery中提供了多个NIM模型(可通过在模型广场的左侧筛选栏选择“模型来源”为“NIM”来获取),支持2种使用方式:

支持的NIM模型列表

当前在人工智能平台PAI-Model Gallery中可直接部署的NIM模型如下:

模型名称

Model Gallery模型页面

NIM推理优化支持的机型

qwen2.5-7b-instruct-NIM

qwen2.5-7b-instruct-NIM

ecs.gn7e系列

ecs.gn8is系列

MolMIM

MolMIM

通用GPU机型

Earth-2 FourCastNet

FourCastNet

通用GPU机型

NVIDIA Retrieval QA Mistral 7B Embedding v2

NV-EmbedQA-Mistral-7b-v2

ecs.gn7e系列

Eye Contact

eyecontact

通用GPU机型

NV-CLIP

nvclip

ecs.gn7e系列

ecs.gn7i系列

AlphaFold2-Multimer

AlphaFold2-Multimer

通用GPU机型

Snowflake Arctic Embed Large Embedding

Arctic-embed-l

ecs.gn7e系列

ecs.gn7i系列

NVIDIA Retrieval QA Mistral 4B Reranking v3

NV-RerankQA-Mistral-4B-v3

ecs.gn7e系列

ecs.gn7i系列

NVIDIA Retrieval QA E5 Embedding v5

NV-EmbedQA-E5-v5

ecs.gn7e系列

ecs.gn7i系列

Parakeet CTC Riva 1.1b

Parakeet-CTC-1.1b-asr

通用GPU机型

FastPitch HifiGAN Riva

FastPitchHifi-GAN

通用GPU机型

VISTA-3D

Vista-3D

通用GPU机型

AlphaFold2

AlphaFold2

通用GPU机型

ProteinMPNN

ProteinMPNN

通用GPU机型

megatron-1b-nmt

megatron-1b-nmt

通用GPU机型

PAI-Model Gallery中一键部署使用

  1. 进入PAI Model Gallery

  2. 在模型广场的左侧筛选栏选择“模型来源”为“NIM”,找到NIM模型

    image

  3. 选择NIM模型进入模型详情页,点击右上角部署按钮即可进入部署页面。请注意,在PAI中部署NIM模型需要您已经是 NVIDIA AI Enterprise 用户或 NVIDIA Developer Program 用户。

    image

  4. 配置运行资源等信息后,点击部署按钮即可拉起NIM模型在线服务。调用方式请参考模型介绍。

    image.png

本地部署使用

NIM模型允许用户下载镜像和模型,在本地部署使用。(需要您已经是 NVIDIA AI Enterprise 用户或 NVIDIA Developer Program 用户)

  1. 配置环境。详情请参见Getting Started

  2. NIM模型的模型详情页点击「下载地址」,确认NIM下载条款许可声明,获取镜像和模型地址。

  3. 通过以下命令拉取镜像(请替换 ${镜像地址} 为实际的镜像地址)

    docker pull ${镜像地址}
  4. 使用阿里云ossutil工具下载模型文件。

  5. 使用命令启动容器(以模型文件保存在您本地的/local/model/目录下为例;请替换 ${模型挂载路径} 和 ${镜像地址} 为实际的模型挂载路径和镜像地址)

    docker run --rm \
    --runtime=nvidia \
    --gpus all \
    -u $(id -u) \
    -v /local/model/:${模型挂载路径} ${镜像地址}

附录:首次使用PAI平台开通流程

对于未注册/未登录阿里云的用户,首次使用PAI-Model Gallery可参考以下流程:

  1. 访问阿里云,单击右上角登录,输入账号和密码进行登录(或注册新用户)。

    image.png

  2. 登录成功并且实名认证后,访问人工智能平台PAI

    如果您是首次使用PAI平台,需要先完成实名认证以及授权,所有选项保持默认,确认后等待十几秒钟即可完成创建,即可前往默认工作空间进行部署使用。

    image.png