腾讯云 EdgeOne：Open Edge AI 网关功能介绍

一、 什么是 Open Edge？

Open Edge 是腾讯云 EdgeOne 为广大开发者打造的技术开放共创平台。

我们将遍布世界各地的边缘节点能力进一步开放，您可以在这里与我们一起探索和构建新一代的 Serverless 应用，期待您加入 Open Edge， 用技术改变世界！

加入 Open Edge 您将享受如下权益：

● 0 费用开通。

● 目前已开放 AI 网关给开发者申请免费试用，AI 网关可实现对大语言模型（LLM ）的访问进行管控，已支持 Open AI、Minimax、Moonshot AI 、Gemini AI 、腾讯混元、百度千帆、阿里通义千问和字节豆包等大模型服务商。

二、 AI 网关介绍

1. 功能简介

腾讯云 EdgeOne  AI 网关实现了对大语言模型（ LLM）服务商访问的安全性、可见性和请求行为控制管理。

目前已支持配置缓存等能力，正开发中的能力：速率限制、请求重试、LLM 模型回退和虚拟秘钥等，能力的组合使用可有效保证访问 LLM 服务商的安全性和稳定性，同时可降低访问成本。

📢 注意：目前为 Beta 版本，我们不建议您用于生产业务环境，如果您想尝试用于您生产业务，请您充分考虑业务风险后，再谨慎使用。

2. 适用场景

● 企业办公：适用于企业管理者通过在员工和 LLM 服务商的访问中间搭建 AI 网关，管控员工对 LLM 服务商的安全访问和成本控制。

● 个人开发：适用于AIGC 个人开发者通过在消费者用户和 LLM 服务商访问的中间搭建 AI 网关，管控消费者用户的请求行为。

3. 功能优势

● 降低成本：利用缓存技术，针对重复的 Prompt 请求，将直接从缓存中提供响应，无需再次调用 LLM 服务商，有效避免不必要的重复费用，从而显著降低您的运营成本。

● 配置灵活：通过配置请求重试、速率限制、LLM 模型回退等能力可应对各种异常和复杂的场景，确保服务的可用。

● 数据监控：通过数据大盘，您可以获得关于AI网关请求的详尽统计信息。这些数据将帮助您洞察流量模式，优化业务流程，并做出更加精准的业务决策。

● 高安全性：采用虚拟秘钥技术，为您提供了一层额外的安全保障。此机制可确保您 LLM 服务商的访问密钥不会被泄露，从而保护了您的数据安全和商业隐私。

📢 注意：上述能力目前并未全部就绪，如果您对某部分能力很关注，请反馈给产品方。

4. LLM 服务商

已支持 Open AI、Minimax、Moonshot AI 、Gemini AI 、腾讯混元、百度千帆、阿里通义千问和字节豆包。

三、 操作指南

1. 开通 Open Edge

腾讯云控制台 进入到 边缘安全加速平台 EO  在左侧菜单栏，单击 Open Edge，如您之前未申请开通，则需先申请开通使用权限，请点击 立即开通

📢 注意：因当前执行分批限量用户测试，如您当前申请未通过，请耐心等待，感谢您的理解。

2. 新建 AI 网关

开通成功后，在 AI 网关列表页，单击新建，根据弹窗提示完成名称和描述的输入

● 名称：必填，创建后无法修改，仅包含数字、大小写字母、中划线、下划线字符；名称不允许重复。

● 描述：非必填，最长为60个字符。

3. 配置 AI 网关

AI 网关新建成功后，在 AI 网关列表页，单击详情或具体的 AI 网关实例 ID 进入到网关的详情页，当前支持配置缓存

● 启用/禁用：打开开关，则启用缓存，针对相同的 Prompt 请求则可直接从网关的缓存响应，无需请求 LLM 服务商；关闭开关，则禁用缓存，每次请求由 LLM 服务商响应。 

● 设置缓存时长：支持配置的缓存时长为 2分钟、5分钟、1小时、1天、1周、1月，超过设置时长后，将自动清除缓存。

4. API Endpoint

AI 网关后端的对应的 Endpoint 即为大语言模型（LLM）服务商，当前已支持 Open AI、Minimax、Moonshot AI 、Gemini AI 、腾讯混元、百度千帆、阿里通义千问和字节豆包。

您可参照示例将 Bear 的 xxxxxxxxxxxxxxxxxxxxxxxx 替换为服务商的访问秘钥即可，如：Open AI 的 Endpoint

四、案例演示

通过 AI 网关访问 Open AI

操作场景：AI 网关禁用缓存，通过 AI 网关访问 Open AI

AI 网关启用缓存，再次访问

响应头 OE-Cache-Status 返回为 HIT 则说明已命中缓存。

通过 AI 网关访问其他 LLM 服务商同理可参考上述操作。

五、常见 FAQ

1. AI 网关是否收费？

AI 网关当前为免费能力，您可放心使用。

2. 如何快速创建并配置 AI 网关？

请参见操作指南。

3. AI 网关是否可支持更多LLM 服务商？

如当前 LLM 服务商不满足您的诉求，您可反馈给产品方进行评估。