首页
学习
活动
专区
圈层
工具
发布
首页标签大模型部署

#大模型部署

Grok-4.1 深度拆解:马斯克的“叛逆”AI怎么接入?xAI Grok API Key 获取及开发攻略

网名重要么

Grok-4.1 不仅仅是一次版本更新,它是 xAI 针对“AI 幻觉”与“机械感”的一次暴力美学式反击。本文深度剖析其独创的“双变体”架构与“智能体奖励模型”...

92320

大模型微调有必要做吗?全参数微调、LoRA还是RAG?看完这篇你就懂了

架构师李哲

在人工智能迅猛发展的今天,大型语言模型已成为解决各类问题的强大工具。但当您想要打造一个真正理解所在行业、掌握专业知识的大模型时,总会面临一个关键问题:如何用最小...

10920

vLLM中如何实现大模型推理加速技术?

aaronwjzhao

输入三个prompt,token长度分别是:31、29、30,vllm会concat成一个长度为90个token的输入,一次跑完prefill。

16721

2025年互联网技术热点与大模型部署全景解析

用户8589624

2025年已经过半,互联网技术领域依然保持着高速发展的态势。从人工智能的突破性进展到开源生态的蓬勃发展,从新兴编程语言的崛起到大模型部署工具的百花齐放,每一个技...

14610

超全汇总!大模型备案政策/流程/材料一篇搞定

专业AI大模型算法备案指导

根据《暂行办法》规定,面向公众提供生成式人工智能服务前,必须完成备案手续。备案主体包括所有在中国境内运营、或向境内用户提供服务的大模型研发及运营企业。特别需要注...

14610

大模型备案焦虑?大模型“躺赢”攻略在此!

专业AI大模型算法备案指导

很多人一听到“备案”,第一反应是监管、是限制,是又多了一道繁琐的流程。这种焦虑可以理解,但我们必须看清备案的深层含义。主管部门推动备案,核心目的并非扼杀创新,而...

8810

算法备案对企业有多重要?

专业AI大模型算法备案指导

忽视这一合规要求的企业,可能面临业务受限甚至行政处罚的风险。那么,算法备案对企业究竟意味着什么?又该如何准备?本文将为你详细解析。

7010

LMArena中文榜大洗牌:国产大模型包揽前列,GPT-4 Turbo跌出百名开外

架构师李哲

就在百度世界大会前夕,全球最具影响力的大模型评测平台LMArena发布的最新排名,让海外开发者社区发出了"Baidu is back?"的惊叹。这份发布于202...

36710

大模型备案指南:从技术视角解读合规性设计

专业AI大模型算法备案指导

交互日志系统:记录关键对话的完整上下文,留存不少于180天 模型版本管理:每次迭代保留完整的模型快照、训练配置和测试结果 风险评估报告:定期进行红队测试,输出安...

9700

算法备案:给网络技术服务装上“规则说明书”

全国算法备案指导

清晨打开手机,新闻App推送的是你常关注的国际局势;午休刷短视频,首页全是感兴趣的科普内容;下班用打车软件,系统秒匹配最近且评价高的司机……这些看似“懂你”的服...

7400

数据不够怎么办?新加坡国立大学揭秘扩散语言模型的“秘密武器”

架构师李哲

当大模型陷入“数据饥渴”,我们是否只能无止境地堆砌算力与语料?新加坡国立大学的最新研究给出了否定答案。本期将深入解读其提出的扩散语言模型(DLM),揭示它如何在...

9510

55_大模型部署:从云端到边缘的全场景实践

安全风信子

随着大型语言模型(LLM)技术的飞速发展,从实验室走向产业化应用已成为必然趋势。2025年,大模型部署不再局限于传统的云端集中式架构,而是向云端-边缘协同的分布...

26910

2025年大模型部署新突破:推理加速技术全解析

安全风信子

随着大语言模型(LLMs)在各行各业的广泛应用,如何在保持模型性能的同时,提高推理效率、降低资源消耗,成为了2025年大模型技术发展的核心挑战之一。大模型推理加...

35710

算法备案:让网络技术服务“有章可循”

全国算法备案指导

当你打开短视频App,首页推送的总是你感兴趣的内容;用打车软件时,系统总能快速匹配最近的司机;在电商平台浏览商品,底部总会“恰好”出现相关推荐……这些日常便捷体...

9700

算法备案:互联网时代的数字身份证

算法备案十九

想象一下,如果抖音不知道你喜欢看什么,淘宝猜不到你想买什么,滴滴找不到离你最近的车...这些背后都是算法在运作。但当算法拥有了影响我们思考和行动的能力时,它需要...

9010
领券