API 网关

文章/答案/技术大牛

发布

首页标签API 网关

#API 网关

API 全生命周期托管服务

大模型项目成本治理：通过 API 网关做好 Token 消耗管控

用户12696949 4小时前2026-09-29 16:51:14

随着大模型项目从 demo 走向正式落地，成本管控变成不可回避的课题。不管是业务系统调用，还是大模型微调过程中的批量推理、数据集过滤，都会产生大量 token ...

500

大模型微调训练过程中，API 中转网关容易被忽略的工程价值

用户12696949 6小时前2026-09-29 15:09:14

很多开发者在做大模型 SFT 微调、RLHF 对齐训练时，更多聚焦数据集清洗、参数调优、LoRA 权重配置，却容易忽略推理阶段的 API 网关架构。微调完成之后...

400

构建企业级 LLM 网关：计价、路由、治理的五级演进

dongdonglog 10小时前2026-09-29 10:59:19

传统软件的成本治理单位是"实例"和"席位"，AI 时代变成了 token——而且它按请求实时计量，一次 agent 工作流的成本可能超过一个月的 seat 费用...

2010

不用消息队列也能做事件驱动：路由失效的 Outbox 实践

孟斯特 12小时前2026-09-29 08:55:47

《micro-one-api 拆解》第 13 篇代码基线：develop（v0.26.x）

1300

从部署到发布：流量切换与版本回退

用户12781682 1天前2026-09-28 10:09:10

　　应用部署到 Kubernetes，并由网关控制流量后，副本更新和流量切换可以分开处理。新版本可以先部署到生产环境，用户请求仍由旧版本处理，等到发布窗口再逐步...

8910

三级缓存：缓存鉴权不等于授权，以及两个失效函数的真实代价

孟斯特 1天前2026-09-28 09:24:07

《micro-one-api 拆解》第 12 篇代码基线：develop（v0.26.x）

4110

额度查询接口：为什么"没订阅"要返回 200 而不是 404

孟斯特 2天前2026-09-27 08:37:40

《micro-one-api 拆解》第 11 篇代码基线：develop（v0.26.x）

8110

OctaFuse Gateway 2.12.0：供应商账号管理、路由工作区与多模态入口发现

程序猿DD 2天前2026-09-26 22:49:13

接入的模型和供应商多了，日常维护常常要在几个地方来回查：哪个账号还有额度，某个模型走了哪些路由，新模型应该用哪个接口。出门没带电脑时，临时处理配置也不方便。

10100

从 QPS 到 Token：模型服务接入后的流量治理

用户12781682 3天前2026-09-26 21:31:57

　　模型服务接入 Gateway 后，入口侧仍然是 Request 和 QPS，限流、配额、灰度这些机制也都还能继续用。

14710

订阅账务：续费、退款、冲正，以及"已售出的套餐被改了"怎么办

孟斯特 3天前2026-09-26 10:06:04

《micro-one-api 拆解》第 10 篇代码基线：develop（v0.26.x）

7910

#API 网关

大模型项目成本治理：通过 API 网关做好 Token 消耗管控

大模型微调训练过程中，API 中转网关容易被忽略的工程价值

构建企业级 LLM 网关：计价、路由、治理的五级演进

不用消息队列也能做事件驱动：路由失效的 Outbox 实践

从部署到发布：流量切换与版本回退

三级缓存：缓存鉴权不等于授权，以及两个失效函数的真实代价

额度查询接口：为什么"没订阅"要返回 200 而不是 404

OctaFuse Gateway 2.12.0：供应商账号管理、路由工作区与多模态入口发现

从 QPS 到 Token：模型服务接入后的流量治理

订阅账务：续费、退款、冲正，以及"已售出的套餐被改了"怎么办

相关产品

热门专栏

腾讯云开发者社区头条

腾讯云中间件的专栏

Andy的技术专栏

黄希彤的专栏

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐