模型配置

模型配置规定应用可以调用的模型范围,并集中管理 IP 访问控制和报文记录设置。例如,当某个应用只需要两个模型时,可以创建一份仅包含这两个模型的配置,再关联应用的 API 令牌。应用使用该令牌和统一 Base URL 发起请求时,就只能调用配置中的模型。

多个应用需要相同的模型和规则时,可以共用一份配置;模型范围、请求来源或报文记录要求不同时,则应分别配置。

选择模型和配置

先根据应用任务确定所需模型。尚未选定时,可通过模型广场比较模型能力和使用限制,再决定复用已有配置还是新建。

复用配置时,除了模型范围,还应确认 IP 规则和报文记录设置适合应用。配置变更保存后立即作用于关联令牌,无需另行部署。因此,修改共用配置前,应通过 关联令牌 了解影响范围;若只有部分应用需要不同设置,为它们创建单独的配置更合适。

新建模型配置

在控制台进入 模型配置,选择 新建模型配置。

  1. 填写名称和描述。 模型配置名称 需全平台唯一,创建后不可修改。名称为 2–128 个字符,以小写字母开头,支持小写字母、数字、中划线和下划线;中划线与下划线不能位于首尾或连续使用。建议按团队、应用和环境命名,例如 yourteam-support-production-01。如果名称已被使用,请更换名称。描述 最多 200 个字符,可补充用途和负责人,之后仍可修改。
  2. 选择模型。 创建时默认选中全部已上架模型,请按应用需要调整。只需要少量模型时,可先 清空已选,再按 模型应用 或模型名称、ID 查找并勾选。提交前通过 已选 查看完整选择,至少保留一个模型。全选 作用于当前筛选结果,更换筛选条件不会清空此前选择。
  3. 点击 确认 完成创建。之后可通过配置名称或 ID 搜索,点击名称进入详情,查看 模型管理 中的模型范围。

查看和管理配置分别需要相应权限;无法操作时,请联系主账号管理员。如果配置数量已达上限,可按本文末尾的流程清理不再使用的配置。

应用令牌关联前,应先按下面的说明设置 IP 规则和报文记录方式。对于已在使用的令牌,先准备好新配置,再切换关联,可以避免应用受到尚未完成的规则影响。

设置 IP 访问控制

IP访问控制 默认关闭,开启后可限制请求来源。规则作用于所有关联令牌,配置时应包含各应用仍需使用的来源地址。

控制目标 模式 效果
只允许指定地址或网段调用。 白名单 允许列表中未被排除的来源,拒绝其他来源。
拒绝特定地址或网段调用。 黑名单 拦截列表中未被排除的来源。

排除IP/IP段 用于从规则范围中移除例外地址。例如,黑名单填写 192.0.2.0/24、排除项填写 192.0.2.10,表示拦截该网段,但不通过这条规则拦截其中的 192.0.2.10。白名单中的排除项则不再属于允许范围。请求仍需满足令牌自身 IP 白名单等其他适用限制。

  1. 打开目标配置,进入 高级配置 > IP访问控制。开启开关以添加规则,或选择 编辑 修改已有规则。
  2. 选择 白名单 或 黑名单,在 IP/IP段 中逐行填写地址或网段。支持 IPv4、IPv6 和 CIDR 格式,最多 50 条。
  3. 如需例外,在 排除IP/IP段 中逐行填写,最多 50 条,然后点击 确认。上述示例地址仅用于说明格式,请使用应用实际的请求来源地址。

关闭 IP访问控制 会清空这份配置的规则;之后还需使用的地址范围,应提前保留记录。令牌自身的 IP 白名单等其他限制仍然生效。

设置完整报文记录

系统始终记录请求 ID、状态码和耗时等基础调用信息,可用于排查失败或缓慢的请求。如果还需要查看应用发送的内容和模型返回的内容,可以开启 记录完整报文,额外保留完整请求体和响应体。两者同时记录或同时不记录,不能分别设置。

在目标配置的 高级配置 > 日志管理 中选择 记录完整报文 的值。该功能仅对具备相应权限的账号显示,选择后立即保存,无需另点保存按钮。

选项 记录方式
默认 系统默认不记录任何请求体和响应体。
否 只保留基础调用信息,不记录请求体和响应体。
是 在基础信息之外,同时记录完整请求体和响应体。

这项设置适用于使用该配置的所有应用。请求体和响应体可能包含个人信息或敏感业务数据,开启前应确认相关内容、访问权限和保存要求。客户输入、模型输出与基础调用信息的保存期限可能不同,详见日志内容与保存期限。

报文下载链接在有效期内无需额外鉴权,请按报文下载与链接处理中的说明妥善保管。安全防护功能的检测或脱敏设置不能替代对日志内容处理方式的确认。应用开始调用后,可在 请求日志 查看基础信息及已记录的报文。

关联应用令牌

一个令牌可以关联一份模型配置,多枚令牌可以共用同一份配置。在 令牌管理 中新建或编辑令牌,选择已准备好的模型配置,再完成其他设置并点击 确认。有效期、来源 IP、限额和密钥获取方式见令牌管理指南。

修改令牌关联的模型配置后,可以继续使用原凭证。关联完成后,应用还需使用统一 Base URL,具体请求准备方式见下一节。

在配置的 配置详情 > 关联令牌 中,可以查看哪些令牌正在使用这份配置,作为变更或删除前的参考。展开相应令牌组后,可通过 令牌管理 调整关联,或通过 数据看板 查看用量。组和组内令牌分别分页,查看完整范围时应留意后续页面。列表中的 令牌ID 用于识别记录,不能代替调用时使用的密钥。

准备 API 请求

应用调用需要目标模型 ID、关联令牌,以及模型支持的请求格式和地址。协议决定请求体和认证头的格式,服务端点则对应具体操作,例如 /responses 或 /chat/completions。应先确认目标模型支持所需的协议和端点,再选择对应示例。

  1. 在 配置详情 > 模型管理 中找到目标模型并复制模型 ID。服务端点 列中,协议旁的数字表示支持的端点数量;将鼠标移到该区域,可查看和复制具体路径。
  2. 进入 基础信息,在 API示例 中选择该模型支持的协议、服务端点和代码语言,例如 curl,再复制示例。这里展示的是配置级模板,不能据此认为配置内每个模型都支持所有选项。
  3. 将 ${AIGATEWAY_TOKEN} 等凭证占位符替换为应用的令牌密钥,将模型占位符替换为目标模型 ID,再修改示例输入。保留模板中配套的完整 URL、认证头和请求体格式;OpenAI 格式通常将模型 ID 放在请求体中,Gemini 则放在 URL 中。
  4. 通过 API示例 旁的 API文档 查看参数和响应格式,再将请求接入应用。

模型配置 ID 只用于管理这份配置,不能代替模型 ID 或令牌密钥。

选择协议和调用地址

配置的 基础信息 提供统一 Base URL。实际请求还需包含所选协议和操作的路径,可以从目标模型的 API示例 获取完整 URL。以支持以下组合的模型为例:

模式 /chat/completions 的完整请求 URL 客户端自行追加 /chat/completions 时使用的 Base URL
OpenAI协议兼容模式 https://api.tokencube.net/v2/llm/chat/completions https://api.tokencube.net/v2/llm
OpenAI协议 https://api.tokencube.net/v2/llm/openai/chat/completions https://api.tokencube.net/v2/llm/openai

快速入门中的首次聊天请求采用 OpenAI协议兼容模式。应用使用其他协议或专属接口时,应先确认目标模型支持相应端点和参数,再使用配套示例。

curl 使用完整请求 URL;如果 SDK 或客户端会自动追加操作路径,base_url 中应省略该路径,避免重复拼接。上表两种模式的前缀不同,请勿混用。Anthropic、Gemini 格式还应保留其模板的认证头和模型 ID 位置,不能直接套用上表路径或 Bearer 认证头。

调整模型范围或描述

应用需求变化后,可以增减配置中的模型,或更新用途说明。修改共用配置前,先查看 关联令牌,确认变更适用于所有关联应用;仅部分应用需要调整时,可为它们创建单独配置。

添加模型

在配置的 模型管理 中选择 添加模型,勾选所需模型并点击 确认。已关联模型在添加表单中保持选中,不能在此取消;需要移除时使用列表中的移除操作。

新增模型会扩展配置的可调用范围,无需更换关联令牌。应用仍通过请求中的模型 ID 选择实际调用哪个模型。

移除模型

应用不再需要某个模型时,可在 模型管理 中使用该行的删除图标,或勾选多行后选择 批量删除,核对范围后确认。每份配置至少保留一个模型。

移除后,所有使用这份配置的应用都不能再通过它调用该模型,因此应先确认相关应用已完成调整。此操作只改变配置范围,模型本身仍保留在模型广场中。

更新描述

在 基础信息 中编辑 描述,可更新用途、负责人或适用应用,最多 200 个字符。模型配置名称和 ID 不可修改。

删除不再使用的配置

删除配置前,必须先解除全部令牌关联。应用仍需调用时,应先准备包含所需模型、IP 规则和日志设置的替代配置,再迁移令牌。

  1. 在 配置详情 > 关联令牌 中查看完整关联范围,包括后续分页中的组和令牌。
  2. 到 令牌管理 将仍在使用的令牌关联到替代配置。不再使用的令牌可直接按令牌管理指南删除。
  3. 解除全部关联后,返回 模型配置 列表,使用目标配置的删除操作,核对名称并确认。

配置删除后不可恢复,请确保关联应用已完成迁移或停用。