大模型配置
更新时间: 2026-09-09 20:22:22
阅读 52
1. 概述
支持第三方大模型接入配置,支持填写模型显示名称、接口域名、APIKey、模型标识、最大 Token 等基础对接信息,同时可配置温度、结构化输出、多模态能力开关,还支持通过 JSON 自定义请求参数,完成参数确认后即可将外部大模型接入平台供 AI 能力调用。域管理员可根据模型特性和业务使用需求,调整模型回复长度、回复随机性、结构化输出、工具调用能力,并通过测试确认模型是否可正常使用。
2. 大模型接入
2.1 基础信息
- 显示名称:支持自定义大模型的页面显示名称
- 类型:选中模型类型,平台可支持 Azure GPT、星火大模型、DeepSeek、OpenAI 兼容、通义千问、AIGW 以及自定义大模型 API
- 域名:大模型域名信息
- APIKey:大模型信息
- 模型:大模型版本
- 最大 Token:用于设置模型单次回复的最大 token 数。默认值为 8192,不同模型支持的最大 token 上限不同,如填写的 token 数超过模型上限,连通测试时会提示异常
2.2 参数设置
- 温度参数:用于控制模型回复的随机性
- 开关默认开启,默认值为 0
- 支持填写范围为 0~1,步长为 0.1,数值越大,模型回复越随机
- 结构化输出:用于控制模型是否以 JSON 格式输出。默认开启,模型以 JSON 格式输出
- 多模态配置:开启后,当前大模型可支持多模态理解(请确认所选模型类型是否支持视觉理解)
- 自定义参数:用于补充模型调用时的自定义配置
- 支持输入自定义参数,输入框支持拉高
- 字数上限为 1000 字,超出字数限制时,系统会截断展示
2.3 连通与调试
多模态连通测试:连通测试用于验证当前模型配置是否可以正常调用。
- 连通测试会带上最大 token、温度参数、结构化输出、自定义参数一起测试
- 连通测试会同时检查 docker 沙箱状态;若沙箱异常,系统将自动降级完成测试并给出提示,此时建议联系技术支持检查部署环境
- 测试文案支持自定义,输入框最多支持 10000 字
- 支持查看详情和查看日志,点击【查看日志】可跳转后台查看日志
工具调用测试:用于验证当前模型是否支持工具调用能力。
- 确认【工具调用】开关已开启,确认输入框中有文本
- 系统会通过内置测试技能验证模型工具调用是否正常
- 测试文案支持自定义,输入框最多支持 10000 字
- 支持查看详情和查看日志,点击【查看日志】可跳转后台查看日志
2.4 配置保存
- 所有测试和校验均通过才可以保存。
- 连通测试与工具调用测试会尽量按真实问答场景校验(带上实际参数、检查工具调用与沙箱状态),以减少"测试通过但实际问答调用失败"的情况。测试通过后再保存,可降低配置完成后实际不可用的风险。


文档反馈
以上内容对您是否有帮助?