- 综合排序
- 最热优先
- 最新优先
- 来自专栏贾志刚-OpenCV学堂
YOLOv9 官方模型推理性能实测
前言 自从YOLOv9出来以后，很多人都问我是不是从此以后YOLOv9就是YOLO系列最厉害的了，我其实很难从正面给出答案，毕竟没有调查权就发言权。 今天我就斗胆稍微扒一扒YOLOv9的模型跟推理。 mAP指标如下： 我尝试下载YOLOv9-T、YOLOv9-S、YOLOv9-M三种模型均以失败而告终，只能下载YOLOv9-C这个模型，此外YOLOv9-E也可以下载，下载以后发现YOLOv9-C大小为 导出与推理测试 用官方的命令行然后直接推理这个模型，看一下耗时（GPU3050ti） 再导出ONNX格式模型 发现第一是导出ONNX格式模型巨大无比、这种肯定不能随便就实时，必须得好卡；第二是里面导出信息居然还有 虽然速度感人，说它是YOLOv8结构的魔改谁会不信，但是 是不是真涨点了我不敢乱说，而且这个魔改以后模型变得更大了，推理耗时更多了，就这一帮人跟后面吹，真是世风日下，人心不古！
98610编辑于 2024-03-22 - 来自专栏小七的各种胡思乱想
解密Prompt系列9. 模型复杂推理-思维链基础和进阶玩法
思维链的核心是为了提高模型解决复杂推理问题的能力，包括但不限于符号推理，数学问题，决策规划等等，Chain-of-Thought让模型在得到结果前，模拟人类思考推理的过程生成中间的推理步骤。 核心逻辑很Simple\&Naive 通过在Few-shot样本中加入推理过程，可以引导模型在解码过程中，先给出推理过程，再得到最终答案 类似中间推理过程的加入，可以显著提高模型在常识推理，数学问题，符号推理等复杂推理问题上的模型表现 由题意可知，两汽车相遇时，它们已经行驶了 500 千米，所以有：$40x + 60x = 500$解得 $x=50/9$，即两汽车相时，摩托车行驶了 50/9 小时。 因此，摩托车共行驶了：$80 \times (50/9) = 400$ 论文尝试了先给出答案再进行推理的prompt模板，发现效果显著变差。说明few-shot-COT只是激活模型给出推理，推理过程本身才是模型效果提升的核心。
7.7K63编辑于 2023-07-15 - 来自专栏AI科技评论
40种语言、9项推理任务，谷歌发布新的NLP基准测试XTREME
这篇研究涵盖了40种类型多样的语言（涵盖12种语系），还包括9项需要共同对不同级别的句法或语义进行推理的任务。 2 XTREME任务一览 XTREME包含9个任务，共有4个类别，可以在不同的意义层次上进行推理。任务概述如上表所示。 针对在其他语言中也有标注数据的任务，作者也比较了模型在这些语言上进行微调后的性能，最终获得了 9 个XTREME任务的zero-shot得分，得出了综合分数。
1.2K10发布于 2020-04-20 - 来自专栏大数据文摘
40种语言、9项推理任务，谷歌发布新的NLP基准测试Xtreme
谷歌今天发布了一个自然语言处理系统基准测试Xtreme，其中包括对12种语言家族和40种语言进行的9项推理任务。 Xtreme的9项任务涵盖了一系列基本范式，包括句子分类（即将一个句子分配给一个或多个类）和结构化预测(预测实体和词类等对象) ，以及句子检索（对一组记录进行查询匹配）和高效的问答。 ?
87420发布于 2020-04-16 - 来自专栏人人都是架构师
HugggingFace 推理 API、推理端点和推理空间使用介绍
本文将介绍 HuggingFace 的推理 API、推理端点和推理空间的使用方法。 页面小组件 推理 API 有两种使用方式，一种是在模型页面的右侧找到推理 API 的小组件页面，初始界面如下图所示： 我们可以在这个页面中上传图片，然后就可以看到模型进行推理运行，等一会后推理结果就出来了 (Endpoint) 推理 API 虽然方便，但推理 API 一般用于测试和验证，由于速率限制，官方不推荐在生产环境中使用，而且也不是所有模型都有提供推理 API。 信息确认无误后点击Create Endpoint按钮创建推理端点，创建成功后可以进入推理端点的详情页面看到如下信息： 其中Endpoint URL就是部署好的推理端点地址，我们可以跟调用推理 API 总结 本文介绍了 HuggingFace 的推理 API、推理端点和推理空间的使用方法，推理 API 是免费的，使用 HuggingFace 自建的 API 服务，推理端点是部署自己专属的 API 服务
4.1K40编辑于 2023-09-17 - 来自专栏CreateAMind
因果推理比概率推理更难吗？
统计和因果推理中的许多任务可以被解释为合适的形式语言中的蕴含问题。我们问，从计算的角度来看，对于因果概率语言来说，这些问题是否比纯概率（或“关联”）语言更困难。 尽管从多种意义上讲，因果推理确实更复杂——无论是表达上的还是推理上的——我们表明因果蕴涵（或可满足性）问题可以系统地、稳健地简化为纯粹的概率问题。因此，计算复杂性不会增加。 毫无争议的是，因果推理比纯粹的概率或统计推理更困难。后者似乎已经足够困难了：估计概率、根据过去的观察预测未来事件、确定统计显着性、在统计假设之间做出裁决——这些已经是艰巨的任务，长期陷入争议。 因果推理问题似乎只会让我们的任务变得更加困难。推断因果效应、预测干预结果、确定因果方向、学习因果模型——这些问题通常需要统计推理，但也对研究者提出更多要求。 从推理的角度来看，概率信息远远不能确定因果信息。 统计推断和因果推断的一个共同特征是，每种方法最突出的方法都可以（至少部分地）理解为试图将归纳问题转化为演绎问题。
24810编辑于 2024-03-25 - 来自专栏GiantPandaCV
《PytorchConference2023 翻译系列》9，在PyTorch 2.X中使用TensorRT加速推理
9- Accelerated Inference in PyTorch 2.X with Torch tensorrt 大纲 Torch TensorRT介绍 JIT编译与AOT编译方法 两种方法的异同点 Torch TensorRT介绍 Torch TensorRT是一个优化PyTorch模型推理性能的工具 它结合了PyTorch和NVIDIA的TensorRT 2. 而TensorRT则是NVIDIA的高性能深度学习推理软件工具包。Torch TensorRT就是这两者的结合。我们所做的是以一种有效且易于使用的方式将这两个框架结合起来，可以适用于各种用例和模型。 这样做的好处是，如果输入形状在提供的范围内发生更改，您无需重新编译即可进行推理。静态是序列化的主要好处之一。 Torch TensorRT在PyTorch框架中以两个关键路径提供了优化的推理方式。
81811编辑于 2024-01-11 - 来自专栏bit哲学院
知识推理
参考链接： 从列表中移除满足Java中给定谓词元素 目录 本体知识推理简介与任务分类 OWL本体语言 知识推理任务 OWL本体推理 实例化(materialization)的一个例子: OWL本体推理:不一致性检测 OWL本体非标准推理:计算辩解 本体推理方法与工具介绍 基于Tableaux运算的方法 Tableaux运算的正确性 相关工具简介 基于逻辑编程改写的方法 本体推理的局限: (1) 仅支持预定义的本体公理上的推理(无法针对自定义的词汇支持灵活推理) (2) 用户无法定义自己的推理过程 引入规则推理 (1) 可以根据特定的场景定制规则,以实现用户自定义的推理过程 上下位推理 查询的同时已经做出了推理! 查询触发推理 查询输入类别s和o之间有无上下位关系 添加推理机 OWL推理: 构建OWL推理机 构建一个含OWL推理功能的Model Model myMod = ModelFactory.createDefaultModel
2K00发布于 2020-12-13 - 来自专栏机器之心
只花9美元，推理能力暴涨20%！小模型Tina震撼登场，成本缩减260倍
高昂的计算成本和复杂的硬件需求一直是制约 AI 推理技术广泛应用的瓶颈。 你是否想过，如何在资源有限的情况下，让语言模型拥有强大的推理能力呢？ Tina（通过 LoRA 的微型推理模型）系列模型不仅拥有高效强化学习推理的惊人效果，还可以快速推理格式适应假说、使强化学习推理更具普适性。 值得注意的是，复现表现最佳的 Tina 模型检查点的成本仅为 9 美元，而从头开始复现研究的所有实验以及本文中展示的全部内容的成本为 526 美元。 通过在 15 亿参数的基础模型上结合 LoRA 和强化学习，实现了与大得多的模型相媲美的推理性能，而这一切仅在约 9 美元的计算预算内完成。 推理任务范围：评估主要集中在数学和形式逻辑推理基准测试（AIME、AMC、MATH、GPQA、Minerva）上。所学推理技能在其他领域（如编码）的有效性和可迁移性，还有待进一步研究。
19500编辑于 2025-05-01 - 来自专栏野生AI架构师
推理与统计：推理的来源是什么？
有文章提到chatgpt已经具备了复杂的推理能力，按照自己以前对这些大模型的了解，是不太相信的，那不过就是从训练数据提炼出来的观点，本质是一种统计的运算。 这时，我们能说他具备推理能力了吗，也许他只是记住了答案。 网文说，chatgpt的推理能力很可能是来源于代码的学习，代码确实可能是学习逻辑的最佳训练集了，如果他从海量的代码里，学习到了逻辑运算的模式，再加上大模型本身所学到的知识，如果融合在一起，是不是就是产生推理能力了呢 好像是这么回事，不过这个归纳推理，难道不也是从训练集统计而来的吗？如果这么看，那我们个人的推理能力是不是也是这么来的？ 话又说回来，推理的来源是不是也是统计？这么理解是不是也是可行的。
32010编辑于 2023-08-26 - 来自专栏新智元
只要9美元！LoRA+强化学习，DeepSeek 1.5B推理性能暴涨20%
新智元报道 编辑：KingHZ 【新智元导读】南加州大学团队只用9美元，就能在数学基准测试AIME 24上实现超过20%的推理性能提升，效果好得离谱！ 只用9美元，在数学基准测试AIME 24上，实现了超过20%的推理性能提升！ 9美元！ 开源推理模型时间线：开源「推理复制品」（reasonging replicas）旨在复现高级推理模型的性能 效果好得邪门！ 在六个推理任务上，Tina模型与相应的全参数训练的最先进(SOTA)模型之间的性能比较 而且，复现表现最佳Tina检查点只需花费9美元，若从头开始复现实验的全部过程，成本也仅为526美元！
26510编辑于 2025-05-04 - 来自专栏CreateAMind
因果推理和概率推理难度一样？
其他参考： 最新Tractability易处理的因果推理 80PPT 概率编程with Fast Exact Symbolic Inference 快速准确符号推理 小数据大任务 实现框架开源 再发：迄今为止
49320编辑于 2022-11-22 - 来自专栏全栈程序员必看
复合命题及其推理答案_基本复合命题及其推理
推理规则为：否定一部分选言支，必须肯定其余选言支；肯定一部分选言支，不能肯定或否定其余支 2、不相容选言推理 （1）否定肯定不相容选言推理 指通过否定不相容选言命题的一部分选言支，进而肯定其余选言支的推理 （2）肯定否定不相容选言推理 指通过肯定不相容选言命题的一部分选言支，进而否定其余选言支的推理。 不相容选言推理的规则：肯定一部分选言支，必须否定其余选言支；否定一部分选言支，必肯定其余支。 互相的） 二、假言推理 假言推理是前提之一为假言命题，并根据假言命题的逻辑性进行推演的复合命题推演。包括假言（条件）直言推理、假言换位推理、假言连锁推理三种。 1、假言直言推理 假言直言推理是前提之一为假言命题，另一前提和结论为直言命题（性质命题）的推理。 2、假言换位推理 即以某种类型的假言命题为前提，通过其前后件的换位而得出另一假言命题推理。 （1）充分条件换位推理 其形式为：如果p，那么q，所以，只有q，才p。
81710编辑于 2022-09-20 LLM推理中 KVCache 提示推理效率的几点应用
LLM推理中KVCache提示推理效率的几点应用这是基于2025AICon大会的马腾的演讲整理而成通过kvCache的优化提升效率，如模型算法优化减少KVCache产生量，KVCache压缩，KVCache 复用，KVCache共享，前言在大模型应用的浪潮中，有一个问题始终困扰着从业者：如何在保证服务质量的同时，降低推理成本、提高吞吐效率？ 在分布式推理场景下，KVCache需要在不同的GPU甚至不同的服务器之间传输，带宽成为重要的瓶颈。管理复杂性也不可小觑。 分离指的是将KVCache从模型推理过程中分离出来，形成独立的服务。模型推理节点不再负责KVCache的存储和管理，而是专注于计算任务。 这种分离带来了几个好处：推理节点可以更专注于计算，提高资源利用率；KVCache服务可以独立扩展，适应不同的负载特征；不同推理节点之间可以共享KVCache，减少重复计算。
17210编辑于 2026-01-14- 来自专栏DeepHub IMBA
解决推理能力瓶颈，用因果推理提升LLM智能决策
因果AI能够影响智能体AI生命周期的多个环节，特别是推理、可观察性和可解释性这几个方面。 LLM推理能力的现实困境 苹果最近的研究（论文1）深入分析了LLM的推理局限性。 LLM看起来无法进行真正的逻辑推理，只是在模仿训练数据中观察到的推理步骤。 要让AI真正具备推理和问题解决能力，它必须在算法层面理解因果关系。 像howso这样的公司正在通过集成因果AI、数据水印和归因推理来创建新的推理模型，目标是降低风险并提升准确性。 内省机制增强推理过程 从LLM训练转到推理阶段，我们来看看如何通过添加"内省"步骤来进一步改善智能体推理。 智能体AI的核心架构 一个完整的智能体AI平台包含几个关键模块。 ），推理不一致（特别是日期偏移推理，比如"上个月"这种表达），过早结束任务、重复调用工具、多步组合失败等。
33910编辑于 2025-11-15 - 来自专栏GiantPandaCV
VLLM推理流程解析
前言 本文在对VLLM进行解析时只关注单卡情况，忽略基于ray做分布式推理的所有代码。 0x1. 运行流程梳理 先从使用VLLM调用opt-125M模型进行推理的脚本看起： from vllm import LLM, SamplingParams # Sample prompts. prompts
2.2K32编辑于 2023-08-22 - 来自专栏AI系统
【AI系统】推理参数
一个 GFLOPS（GigaFLOPS）等于每秒十亿（=10^{9} ）次浮点运算。一个 TFLOPS（TeraFLOPS）等于每秒一万亿（=10^{12} ）次浮点运算。
86410编辑于 2024-12-02 - 来自专栏li_wait
打印9*9乘法口诀
j = 1; j <=i; j++) { printf("%d*%d=%d ", j, i, i * j); } printf("\n"); } return 0; } 打印9* 9乘法口诀表： 从图中看出第四排和第五排没有对齐，要想对齐，可以考虑 printf限定占位符的最小宽度（https://blog.csdn.net/wait___wait/article /details/135287228） 9*9乘法口诀表中最大位数是2，因此设最小宽度为2。
42110编辑于 2024-10-23 - 来自专栏技术杂记
9
服务端 /var/log/messages 中会出现类似的日志Aug 25 00:26:02 pptp-server pptpd[10177]: CTRL: Client 103.240.124.15 control connection startedAug 25 00:26:02 pptp-server pptpd[10177]: CTRL: Starting call (launching pppd, opening GRE)Aug 25 00:26:02 pptp-server pppd[10178
96920编辑于 2022-06-30 - 来自专栏CreateAMind
实现抽象视觉推理
抽象： 视觉推理对于构建理解世界并执行超越感知的问题解决的智能代理是必不可少的。可微分正向推理已经被开发来将推理与基于梯度的机器学习范例相结合。 此外,人类可以从少量的经验中学习[7,8],但 dnn 如 transformers[9–13]需要大量的数据集才能在特定任务中取得良好的性能[14]。 记忆高效的推理和计算高效的学习使 NEUMANN 能够解决抽象的视觉推理,其中代理需要通过在不同场景中使用抽象概念的类比来执行推理。 这项任务要求特工们学习抽象的歌剧基于视觉场景的小数据推理和基于非观察场景的推理来回答问题。 因此,对于这些推理器来说,通过以可扩展的方式使用 GPU 来计算推理需要付出不小的努力。 6 结论 我们提出了 NEUMANN,一个内存高效的可微分正向推理机,它在推理图上传递消息。
46020编辑于 2023-09-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号