模型管理
登录至VastTrain,在“控制台”页面的左侧导航树选择“模型管理”,进入模型管理页面,可查看平台预置的大模型列表。平台预置了多款大模型供用户直接使用,如在线体验、零代码微调、Notebook微调等。页面如图 50所示。

图 50 模型管理
查看预置模型详情
在“模型管理”页面单击预置的模型,进入预置模型详情页面,如图 51所示。

图 51 模型详情
在模型详情页,用户可以进行如下操作。

图 52 模型文件
在线体验
VastTrain 平台提供在线体验功能,可以让用户在线体验平台支持的模型的精确性和反应效果。
在线体验支持选择内置的服务或已部署的服务进行参数配置,输入内容或引用Prompt模板进行输入,完成体验。
登录至VastTrain,在“控制台 > 模型管理”页面对应的模型单击“在线体验”,进入在线体验页面,如图 53所示,支持参数配置和Prompt引用。参数配置说明如表 9所示。
备注
当前在线体验的服务可以选择1~2个。

图 53 在线体验
参数 |
说明 |
---|---|
Temperature |
模型输出的温度系数。取值范围:[0.0,1.0]。。 |
Top_p |
选择累加概率值小于等于p的若干个Token进行概率随机采样。取值范围:(0.0,1.0]。 |
Max_tokens |
模型输出的最大Token数量。取值范围:[128,2048]。 |
Prompt 影响模型生成的内容质量,VastTrain 平台提供Prompt模板,可供用户直接选择,也可自定义Prompt,详细说明可参考Prompt 工程。

图 54 选择 Prompt
在线体验对话示例如图 55所示。

图 55 选择 Prompt
服务API文档
敬请期待…