首页
学习
活动
专区
圈层
工具
发布

蓝耘科技申请大语言模型多用户高并发高吞吐推理方法及系统专利,响应速度极快

国家知识产权局信息显示,蓝耘科技集团股份有限公司申请一项名为“大语言模型多用户高并发高吞吐推理方法及系统”的专利,公开号 CN 120598065 A,申请日期为 2025 年 08 月。

专利摘要显示,本发明涉及大模型调度技术领域,具体公开了一种大语言模型多用户高并发高吞吐推理方法及系统,所述方法包括对每一采集时段内的所有用户信息进行识别,提取并统计字词,得到字词库;根据所述字词库确定宏观限制边界;以每个用户为索引,统计用户信息对应的字词,得到每个用户的字词变化信息,根据所述字词变化信息在宏观限制边界中确定微观限制边界;对任一用户,根据微观限制边界蒸馏得到子模型,基于所述子模型构建交互信道;本发明为每个用户蒸馏出单独的子模型,用于完成其大部分交互需求,响应速度极快,并且蒸馏出的子模型一般是本地模型,不占用大模型的实时资源,优化了任务处理架构。

天眼查资料显示,蓝耘科技集团股份有限公司,成立于2004年,位于北京市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本9232.7874万人民币。通过天眼查大数据分析,蓝耘科技集团股份有限公司共对外投资了24家企业,参与招投标项目285次,财产线索方面有商标信息17条,专利信息31条,此外企业还拥有行政许可3个。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

来源:市场资讯

  • 发表于:
  • 原文链接https://page.om.qq.com/page/Oaqh8p1-5vcNXc0vepmZxICA0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券