暂无搜索历史
【引】收到图灵寄来的两本书《大模型应用开发极简入门》和《从零构建大模型》,重新点燃了自己深入理解大模型内部机制的热情,不能只知其然而不知其所以然,于是重温大模型...
Mesh 是一种网络技术,其核心特点是节点之间可以动态互联,通过多跳路由实现数据的高效传输。Mesh 网络中的每个节点既能发送/接收数据,也能为其他节点转发数据...
对大模型应用的能力分级就像给学生打分一样,能让我们更清楚它的本事有多大。能力分级能帮我们设定目标,知道AI现在能干什么,未来还要学什么。有了统一的分级方式,大家...
随着生成式人工智能(GenAI)的蓬勃发展,基于大型模型的应用已经悄然融入我们的日常工作和生活,它们在诸多领域中显著提升了生产力和工作效率。为了更便捷地构建这些...
数据曾被誉为新的石油,但这种说法正在演变。随着人工智能的兴起,算力已经成为企业推动创新和成功的关键资源。生成式人工智能所涉及到知识工作和创造性工作的领域 ,如果...
开源的LLM已经成为程序员、爱好者和希望在日常工作中使用生成式AI并保持隐私的用户的最佳选择,对于企业的私有化部署而言也是如此。这些模型提供了优秀的性能,有时在...
在软件工程领域,任何脱离实际业务需求的架构设计都是一种不负责任的行为,甚至可以称之为"技术层面的形式主义"。这种设计倾向往往表现为过度追求技术新颖性、盲目采用复...
DeepSeek-R1 并不是从零开始训练的。它从一个比较强大LLM (DeepSeek-V3-base)开始,进而成为一个推理大模型。为了做到这一点,使用了强...
【引子】近来,大家一直在谈论 DeepSeek R1,即 671B 的参数巨兽。如果得到这样的一个大模型,到底花费了600 万美元还是2.48 亿美元呢?到底用...
在过去近三十年的职业生涯里,有几年专注于运行时环境的开发与实现。在runtime中,动态加载技术是其中的基石之一。动态加载技术是指在系统运行过程中,根据需要把程...
速率限制是一种关键的控制机制,用于管理 API 的请求流,非常类似于调节器。速率限制不仅仅是控制请求的总数,它还关系到如何以及在哪里应用这些限制。根据 API ...
如果我们的预期是将网络延时从10ms 降低到1ms,那么应该先分析这些时延的具体构成,很有可能瓶颈并不是网络传输;如果目标是将网络延时降低到微秒级或者百微秒级,...
ChatGPT 从正式发布到拥有1亿用户仅仅用了5天的时间,基于大型语言模型(简称大模型,或基础模型)的应用给软件行业乃至整个社会带来巨大的影响。作为一名软件系
【引子】在IT领域中,DevOps 是软件工程效能的重要方法论以及工具集, 在人工智能领域同样如此。
【引】有人迷恋使用大模型生成各种有趣的内容, 有人沉醉于大模型相关技术的探索,没有对错,只在于你的乐趣所在。
【引】人们经常用“具体问题具体分析”来适应不确定性,工匠的思维是对问题进行分类,然后尝试是否存在通用的解法,可能不是最优的解,但肯定是一个可用的解。 对于大模型...
【引】如果希望从文献途径了解一个新的领域,该领域的相关survey 论文可能是一个较好的切入点,对于日新月异的AI领域尤其如此。”Small Language ...
RAG 结合了大型语言模型和信息检索模型的力量,允许它们用从大量文本数据中提取的相关事实和细节来补充生成的响应。事实证明,这种方法在提高模型输出的实际准确性和总...
【引子】在上周发布了《大模型应用系列:从Ranking到Reranking》之后, 有AI 产品经理问我,如何评估Ranking 系统的性能呢? 再进一步,如何...
【引子】Ranking 和Reranking又是一个NLP 处理中的传统技术, 那么在大模型应用中又起到怎样的作用呢?