模型管理

登录至VastTrain,在“控制台”页面的左侧导航树选择“模型管理”,进入模型管理页面,可查看平台预置的大模型列表。平台预置了多款大模型供用户直接使用,如在线体验、零代码微调、Notebook微调等。页面如图 50所示。

../../_images/model_management_total.png

图 50 模型管理

查看预置模型详情

在“模型管理”页面单击预置的模型,进入预置模型详情页面,如图 51所示。

../../_images/model_management_detail.png

图 51 模型详情

在模型详情页,用户可以进行如下操作。

  • 在“算法模型介绍”页签查看该模型的详细说明,包括模型介绍、Benchmark、声明与协议,如图 51所示。

  • 在“模型文件”页签下载预置的模型文件,如图 52所示。

../../_images/model_management_detail_file.png

图 52 模型文件

在线体验

VastTrain 平台提供在线体验功能,可以让用户在线体验平台支持的模型的精确性和反应效果。

在线体验支持选择内置的服务或已部署的服务进行参数配置,输入内容或引用Prompt模板进行输入,完成体验。

登录至VastTrain,在“控制台 > 模型管理”页面对应的模型单击“在线体验”,进入在线体验页面,如图 53所示,支持参数配置和Prompt引用。参数配置说明如表 9所示。

备注

当前在线体验的服务可以选择1~2个。

../../_images/online_experience_chat.png

图 53 在线体验

表 9 参数说明

参数

说明

Temperature

模型输出的温度系数。取值范围:[0.0,1.0]。。

Top_p

选择累加概率值小于等于p的若干个Token进行概率随机采样。取值范围:(0.0,1.0]。

Max_tokens

模型输出的最大Token数量。取值范围:[128,2048]。

Prompt 影响模型生成的内容质量,VastTrain 平台提供Prompt模板,可供用户直接选择,也可自定义Prompt,详细说明可参考Prompt 工程

../../_images/select_prompt.png

图 54 选择 Prompt

在线体验对话示例如图 55所示。

../../_images/chat_eg.png

图 55 选择 Prompt

服务API文档

敬请期待…