至此,wisemodel社区已经完全具备了开源大模型在线推理服务的全部功能和能力,期待各类大模型应用开发合作伙伴来wisemodel社区在线部署模型服务,或将自己微调的大模型API服务托管到wisemodel社区API服务板块。此外,欢迎各类算力供应合作伙伴一起合作,特别是愿意提供算力资源联合运营的伙伴,为wisemodel社区用户提供算力支撑。
为感谢社区用户对wisemodel社区的持续支持,GLM4-9B-Chat和Yi-1.5-9B-Chat两个模型即日起1个月内免费调用,欢迎大家尝试和体验。如果使用过程中遇到任何问题也可以随时联系社区运营助手wisemodel。由于算力限制暂时只能直接在线部署20B以下的模型,若需要部署更大模型的模型可以先联系社区运营助手wisemodel(文末“关于wisemodel更多”有wisemodel的微信二维码)。
后续我们将继续支持多模态模型、文生图等更多类型的模型以及RAG和Agent服务等,不久之后将进一步上线开源大模型的在线微调功能和GPU算力灵活调用等能力,欢迎大家继续关注wisemodel的持续更新动态。欢迎更多的志愿者《加入wisemodel开源共创计划》,一起共建中立、开放的AI开源社区平台,一起践行让AI更简单的使命。
1、API服务入口
“API服务”子板块
2、API服务详情
从API服务板块点击进入运行中的API服务项目时,可以进入API服务详情页面,在详情页面的左侧可以直接进行在线体验,右侧则是API服务的调用说明文档,根据右侧的API服务调用说明,获取API key之后即可在自己的应用中应用wisemodel上的API服务。
API服务详情
API调用时请先点击“获取API Key”按钮,或者从“用户中心-token与key”处获取API调用时的key,如果还没有API key的可以直接点击“添加新的API Key”。
API Key获取及创建
3、API服务创建
在wisemodel社区进行API服务创建,只需两步即可完成,无需任何代码开发,任何人都可以在线创建专属的API服务。
在“应用”模块页面的“新建API服务”按钮,以及“可在线体验模型”的模型详情页面的“在线部署-API部署”按钮
“新建API服务”按钮
“在线部署-API部署”按钮
点击“新建API服务”或“在线部署-API部署”按钮之后,弹出API部署的窗口,第一步是填写基础信息,选择需要部署的模型镜像,设置配置的类型,选择硬件配置,填写中英文名称,选择好类型和发布者,并设置公开/私有的属性(私有API服务创建成功之后,前往“用户中心-我的资源-API服务”获取),然后直接点击“下一步”进入确认订单环节。
基础信息环节
确认订单环节
API服务启动中
点击提交订单之后提示创建成功,并跳转到了API服务板块页面,刚创建的API服务会是启动中的状态,通常启动中会持续1分钟左右,启动后状态自动调整为运行中,此时就可以点击进入API服务详情页面,可以开始调用API服务了。
4、API服务调用
API调用参考API服务详情页右侧的调用示例代码,平台上给出了Python和Node的调用示例,以及openAI兼容模式的调用示例代码。其他语言的调用也类似,可以参与已有的示例代码,若遇到什么问题可以联系社区运营助手wisemodel(文末“关于wisemodel更多”有wisemodel的微信二维码)。
5、API服务停止
6、应用开发合作伙伴
各类基于开源大模型进行应用开发的合作伙伴,欢迎直接来wisemodel上在线部署API服务。基于常见开源大模型微调之后的领域模型(非开源),也可以私有模型和私有API服务的方式托管在wisemodel平台上,降低模型部署和运维方面的成本。非开源模型的部署需求,请先联系社区运营助手wisemodel(文末“关于wisemodel更多”有wisemodel的微信二维码)。
7、算力供应合作伙伴
wisemodel社区始终坚持“中立、开放、共建、共创、合作”五项基本原则,我们希望跟各类合作伙伴共同建设和打造AI开源社区。欢迎更多科研院所、企业等从事开源工作的朋友,将开源的模型、代码、和数据集等开源成果都发布到wisemodel社区。欢迎扫码持续关注wisemodel社区发展:
扫码持续关注
----- END -----
wisemodel相关
系统升级
关于wisemodel更多
1
欢迎持续关注和支持
2
欢迎加盟wisemodel开源社区
3
欢迎投稿优质内容
4
关于wisemodel开源社区
向上滑动查看
更多
领取专属 10元无门槛券
私享最新 技术干货