模型网关:模型自己选,账自己管

GestaWorks 的网关层集中注册模型条目与供应商适配,服务端统一做选路、预算硬护栏、语义缓存与灰度回滚,密钥与配额在这里收口。用量按模型、按日、按团队成员聚合,可从原始记录重建。

这一页覆盖的能力

模型注册表

集中登记模型条目、供应商适配与能力位(视觉、工具调用、结构化输出、思考档位等),远端注册表可热更新。

服务端集中网关

选路、预算硬护栏、语义缓存与灰度回滚都在服务端完成,客户端不直接持有供应商密钥。

用量与成本

按模型、按日、按团队成员聚合次数与 token,可从原始记录重建,不只给一个总账单。

调用追踪

每次调用可追踪到用户、主机、所用工具与耗时,便于定位是模型问题还是上下文问题。

典型场景

  • 多家供应商并行使用,密钥不该散落在各个客户端;
  • 需要给不同部门设置预算上限,并在超限时真正拦住;
  • 要回答「哪个模型更贵、更慢、用得更多」,需要按维度拆开的用量数据。

边界与前提

  • 网关解决的是调用治理,不改变模型本身的能力上限;输出质量仍取决于模型与上下文。
  • 语义缓存命中依赖请求相似度,不同场景的收益差异较大,上线前应实测。
  • 接入新供应商需要适配与能力位登记,不是改一个地址即可。

常见问题

能同时接多家模型供应商吗?
可以。模型在注册表里集中登记,网关按配置选路;供应商适配与能力位集中维护。
预算超了会怎样?
预算护栏在服务端硬拦,超出配置的上限时调用会被拒绝,而不是只在账单上体现。
用量能拆到多细?
按模型、按日、按团队成员聚合,包含调用次数、输入输出 token、缓存命中与耗时。

产品能力的完整口径见首页能力一览;取舍与差异见差异化对比。