开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

在使用ONNX推理会话时，如何通过传递“标签”来获得语言建模损失？

在使用ONNX推理会话时，可以通过传递"标签"来获得语言建模损失。具体步骤如下：

首先，需要加载已训练好的语言建模模型，并创建ONNX推理会话。可以使用ONNX Runtime库来加载和运行ONNX模型。
在准备输入数据时，除了传递文本数据外，还需传递"标签"信息。标签是指所要预测的文本序列的下一个单词或字符。可以根据具体任务定义标签。
在传递输入数据给模型进行推理时，将标签作为输入数据的一部分传递给模型。通常可以将标签作为特殊的标记或字符加入到输入数据序列的末尾。
在模型推理过程中，模型将基于输入数据和标签生成对应的预测结果。
获得推理结果后，可以使用语言建模损失函数来计算模型的预测与实际标签之间的差异。常用的语言建模损失函数包括交叉熵损失函数、均方误差损失函数等。

通过传递"标签"来获得语言建模损失可以用于评估模型在语言建模任务上的性能，并进行模型的优化和改进。

对于腾讯云相关产品和产品介绍链接地址，我将提供一些与云计算和AI相关的产品：

腾讯云AI开放平台：提供丰富的AI能力和API，包括自然语言处理、图像识别、语音识别等领域。详情请参考：https://cloud.tencent.com/product/ai
腾讯云容器服务 Tencent Kubernetes Engine (TKE)：提供弹性扩展的容器集群管理服务，方便部署和管理容器化应用。详情请参考：https://cloud.tencent.com/product/tke
腾讯云数据库 TencentDB：提供多种数据库类型，如云数据库 MySQL、云数据库 PostgreSQL、云数据库 Redis等，支持自动备份、高可用等特性。详情请参考：https://cloud.tencent.com/product/cdb
腾讯云CDN：内容分发网络服务，可以加速网站访问、提升用户体验。详情请参考：https://cloud.tencent.com/product/cdn

请注意，这仅是腾讯云部分产品的介绍，实际上腾讯云有更多的产品和服务可供选择，具体根据用户需求进行选择。

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

NVIDIA Jetson ZOO 将提供ONNX runtime，以实现高性能推理

微软和NVIDIA已经合作为NVIDIA Jetson平台构建、验证和发布ONNX runtime Python包和Docker容器，现在可以在Jetson Zoo上使用。

02

ONNX模型部署利器ONNXRUNTIME框架

ONNX格式模型部署兼容性最强的框架 ONNXRUNTIME，基本上不会有算子不支持跟不兼容的情况出现，只要能导出ONNX格式模型，它基本上都能成功加载，成功推理。虽然在CPU速度不及OpenVINO、GPU上速度不及TensorRT，但是胜在兼容性强，支持不同硬件上推理部署包括：ARM、CPU、GPU、AMD等，

03

PyText简介 - Facebook自然语言处理框架

自然语言处理(NLP)在现代深度学习生态中越来越常见。从流行的深度学习框架到云端API的支持，例如Google云、Azure、AWS或Bluemix，NLP是深度学习平台不可或缺的部分。尽管已经取得了令人难以置信的进步，但构建大规模的NLP应用依然还有极大的挑战，在学习研究和生产部署之间还存在很多摩擦。作为当前市场上最大的会话环境之一，Facebook已经面对构建大规模NLP应用的挑战有一些年头了，最近，Facebook的工程团队开源了第一个版本的Pytext，一个基于PyTorch的NLP框架，可以用来构建高效的NLP解决方案。

01

Transformers 4.37 中文文档（七）

🤗 Transformers 中有几个多语言模型，它们的推理用法与单语模型不同。不过，并非所有多语言模型的用法都不同。一些模型，如bert-base-multilingual-uncased，可以像单语模型一样使用。本指南将向您展示如何使用推理中用法不同的多语言模型。

01

Facebook开源NLP建模框架PyText

Facebook AI Research宣布推出PyText的开源版本，PyText是一个NLP建模框架，每天为Facebook及其应用程序系列用户提供超过10亿次预测。

02

Facebook开源多款AI工具，支持游戏、翻译等

近日，Facebook 在年度开发者大会 F8 上宣布开源多款 AI 工具，除了 PyTorch、Caffe 等深度学习框架之外，此次开源的还包括 DensePose（可用于人体姿态估计）、Translate（可翻译 48 种语言）、ELF（可通过游戏来教机器推理）等诸多 Facebook 内部使用的库和模型。

01

TensorRT重磅更新！10亿参数大模型实时运行，GPT推理加速21倍

12月2日，英伟达发布了最新的TensorRT 8.2版本，对10亿级参数的NLP模型进行了优化，其中就包括用于翻译和文本生成的T5和GPT-2。

03

Facebook开源NLP建模框架PyText，从论文到产品部署只需数天

Yann LeCun 对此介绍道，「PyText 是一个工业级的开源 NLP 工具包，可用于在 PyTorch 中开发 NLP 模型，并通过 ONNX 部署。其预训练模型包括文本分类、序列标注等。」

05

自编码器AE全方位探析：构建、训练、推理与多平台部署

自编码器（Autoencoder, AE）是一种数据的压缩算法，其中压缩和解压缩函数是数据相关的、有损的、从样本中自动学习的。自编码器通常用于学习高效的编码，在神经网络的形式下，自编码器可以用于降维和特征学习。

02

使用ONNX将GPT Neo（或其他）投入生产

https://github.com/oborchers/Medium_Repo/blob/master/Putting%20GPT-Neo%20into%20Production%20using%C2%A0ONNX/ONNX-Export.ipynb

03

【NLP】把BERT的推断速度提升17倍

微软刚刚开源了Transformer的突破性优化，大大提升了CPU和GPU上的推理速度。

01

当大模型不是问题时，如何应对 LLM 的工程化落地挑战？

几个月前，在 Thoughtworks 的内部 AIGC 研讨会里，我们一直达成了一系列一致观点，诸如于：如果没有 “开源模型” 降低企业应用 LLM 的成本，那么 LLM 会很快消亡。所以，我们相信开源 LLM + LoRA 微调会成为企业的一种主流方式。现今，我们可以看到 LLaMA 2、Code LLaMA 2 等模型在不断刷新这种可能性。

02

一行代码12倍加速Bert推理，OpenAI编程语言加持的引擎火了

一行代码的威力到底有多大？今天我们要介绍的这个 Kernl 库，用户只需一行代码，在 GPU 上就能以快几倍的速度运行 Pytorch transformer 模型，从而极大的加快了模型的推理速度。

02

基于TensorRT完成NanoDet模型部署

【导语】本文为大家介绍了一个TensorRT int8 量化部署 NanoDet 模型的教程，并开源了全部代码。主要是教你如何搭建tensorrt环境，对pytorch模型做onnx格式转换，onnx模型做tensorrt int8量化，及对量化后的模型做推理，实测在1070显卡做到了2ms一帧！

01

PyTorch 人工智能基础知识：6~8

生成对抗网络（GAN）是一种机器学习技术，其中同时训练两种模型：一种专门用于创建伪造数据，另一种专门用于区分真实数据和伪造数据。真实数据。术语生成反映了以下事实：这些神经网络用于创建新数据，而术语对抗来自以下事实：两个模型相互竞争，从而提高了生成的数据的质量。

01

了解机器学习/深度学习常用的框架、工具

scikit-learn 官方文档：https://scikit-learn.org/stable/#

00

LLM 应用参考架构：ArchGuard Co-mate 实践示例

随着，对于 LLM 应用于架构领域探索的进一步深入，以及 ArchGuard Co-mate 开发进入深入区，我们发现越来越多的通用模式。

03

【AI模型】AI模型部署概述

在AI深度学习模型的训练中，一般会用Python语言实现，原因是其灵活、可读性强。但在AI模型实际部署中，主要会用到C++，原因在于其语言自身的高效性。

01

Pytorch转TensorRT实践

导语：TensorRT立项之初的名字叫做GPU Inference Engine(简称GIE)，是NVIDIA 推出的一款基于CUDA和cudnn的神经网络推断加速引擎，TensorRT现已支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。

08

Q&A特辑 | 关于模型开发与部署

这里有一份标准答案11月24日，顶象业务安全大讲堂系列课程之《智能模型平台》正式开讲，顶象人工智能总监无常从从模型平台的现状与需求出发，带大家了解了模型平台的开发环境与部署环境，并且就顶象的Xintell 模型平台为大家做了演示。

01

GitHub超1.5万星NLP团队热播教程：使用迁移学习构建顶尖会话AI

了解NLP的读者应该对Hugging Face这个名字非常熟悉了。他们制作了Transformers（GitHub超1.5万星）、neuralcoref、pytorch-pretrained-BigGAN等非常流行的模型。

02

onnx实现对pytorch模型推理加速

微软宣布将多平台通用ONNX机器学习引擎开源，此举将让机器学习框架，向着机器学习框架的标准化和性能优化方向迈进了一大步。

03

使用ONNX搭建NLP Transformers pipelines

大数据文摘授权转载自数据派THU 作者：Thomas Chaigneau 翻译：欧阳锦校对：和中华 ONNX是一种用于神经网络的机器学习格式。它是可移植的，开源的，并且在不牺牲准确性的情况下提高推理速度，真的很厉害。我发现了很多关于ONNX基准的文章，但没有一篇文章介绍将其用于真实世界NLP任务的简便方法。我还在Hugging Face的discord server上回答了很多关于ONNX以及将其用于NLP的最佳方式的问题。这就是我决定写这篇博文的原因。我想帮助你使用ONNX与超强的Transform

03

PRM 与 HRM 双剑合璧 | 增量式 Vision Transformer 的参数有效跨任务提示！

深度模型已经在解决各种单独的机器学习任务上取得了卓越的性能。然而，在实际应用中，训练数据通常是顺序接收的，而不是一次性全部可用。因此，为深度模型装备在动态环境中学习的能力是深度学习（DL）的一个长期目标。增量学习（IL）涉及跨不同任务动态学习深度模型，并且经常遭受对先前学习任务性能下降的问题，这被称为灾难性遗忘（CF）。最近，基于排练的方法可以通过在固定内存缓冲区中保留一些旧任务的代表性样本（即示例）有效地减轻IL中的遗忘。然而，在严格保护隐私和内存严重受限的情况下，这些方法无法奏效，因为旧任务的样本不可用，且内存缓冲区有限。在本文中，作者专注于无需示例和内存严重受限的增量学习（RFMCIL）的策略，该策略无需示例并且在内存严重受限的情况下训练深度模型。

01

Facebook如何运用机器学习进行亿级用户数据处理

编译 | 刘畅、尚岩奇、林椿眄审校 | reason_W 2017年末，Facebook应用机器学习组发布最新论文，对整个Facebook的机器学习软硬件架构进行了介绍。纵览全文，我们也可以从中对Facebook各产品的机器学习策略一窥究竟。论文中涉及到机器学习在全球规模(上亿级数据处理)上的全新挑战，并给出了Facebook的应对策略和解决思路，对相关行业和研究极其有意义。摘要机器学习在Facebook的众多产品和服务中都有着举足轻重的地位。本文将详细介绍Facebook在机器学习方面的软硬件

05

超简单的pyTorch训练->onnx模型->C++ OpenCV DNN推理（附源码地址）

很早就想学习深度学习了，因为平时都是自学，业余时间也有限，看过几个pyTorch的入门，都是一些碎片化的东西，始终串不起来。最近也是正好赶的疫情，出差少了，也是在B站看pyTorch视频时有评论说刘二大人的《pyTorch深度学习实践》讲的好，整个教程看下来后，确实是深入浅出，感觉就是宛然打通自己任督二脉，算是入门了。

02

YOLO家族系列模型的演变：从v1到v8（下）

昨天的文章中，我们回顾了 YOLO 家族的前 9 个架构。本文中将继续总结最后3个框架，还有本月最新发布的YOLO V8.

06

YOLO界再起波澜！mAP 51.4，149FPS，目标检测，一个就够了

机器之心发布作者：百度飞桨团队百度飞桨团队发布了 PP-YOLOE，与其他 YOLO 系列算法相比，其具有更强的性能、更丰富灵活的配置方案以及更全硬件支持三大优势。此前，机器之心报道过的 PaddleDetection 项目再次升级，发布了全新进化版 YOLO 模型——PP-YOLOE，并再次以极佳的性能表现刷新业界性能榜单指标，在目标检测领域引起了广泛关注。论文地址：https://arxiv.org/abs/2203.16250 项目地址：https://github.com/PaddleP

01

OpenVINO与TensorRT部署YOLOv10对象检测

如果不指明opset=11或者12，默认opset=10导出的模型推理时候会非常的慢。指定opset=11以后，导出的模型结构如下：

01

Pytoorch轻松学 – RetinaNet自定义对象检测

2017发布，实现了一阶段网络首次在精度方面超过二阶段网络的经典网络，作者最大的一个创新就是在训练损失函数方面，论文比较了CE、BCE、以及论文提出感知损失函数（FL），最后说明感知损失可以有效解决一阶段网络训练中的样本不平衡现象，从而取得更佳的训练效果。论文中提出的感知损失函数如下：

02

基于生成模型的推荐系统综述 (Gen-RecSys)

TLDR: 本篇综述旨在调研生成式推荐模型(Gen-RecSys)的主要进展，包括：交互驱动生成模型的基本概述；大型语言模型(LLM)在生成式推荐、检索和会话推荐中的应用；推荐系统中处理和生成图像视频内容的多模态模型的整合。本文以整体视角讨论了Gen-RecSys的影响和危害，并指出了其面临的挑战。

01

独家 | 使用ONNX搭建NLP Transformers pipelines

作者：Thomas Chaigneau 翻译：欧阳锦校对：和中华本文约3000字，建议阅读7分钟本文介绍了如何使用ONNX构建真实世界的NLP应用。如何用ONNX构建真实世界的NLP应用，而不仅仅是为了张量做基准测试。图片源自网络 ONNX是一种用于神经网络的机器学习格式。它是可移植的，开源的，并且在不牺牲准确性的情况下提高推理速度，真的很厉害。我发现了很多关于ONNX基准的文章，但没有一篇文章介绍将其用于真实世界NLP任务的简便方法。我还在Hugging Face的discord server

01

使用Wolfram语言在你的iOS设备上部署神经网络——识别毒蘑菇

如今的手持设备足够强大，可以在本地运行神经网络，而不需要云服务器的连接，这在您外出时是一个很大的便利。不过，在您的手机或平板电脑上部署和运行一个自定义的神经网络并不简单，而且这个过程取决于机器的操作系统。在这篇文章中，我将专注于iOS设备，并指导您完成所有必要的步骤，使用Wolfram语言训练一个自定义的图像分类器神经网络模型，通过ONNX（12.2版中的新功能）导出，将其转换为Core ML（苹果的机器学习框架，用于iOS应用程序），最后将其部署到您的iPhone或iPad。

03

如何提升深度学习算法效率，谷歌有这些绝招

选自谷歌博客机器之心编译编辑：铭怿大型机器学习模型在多个领域展现出具有变革性的结果，但在现实世界中，训练和推理效率正在成为关键需求。Google Research 一直在通过开发新的基础技术来提高大型 ML 模型的效率。本文中，谷歌以「提升模型效率」为主题，介绍如何使 ML 模型更加强韧、高效。十年前，深度学习崛起的部分原因在于新算法和架构的融合、数据的显著增加以及计算能力方面的提升。过去 10 年里，AI 和 ML 模型更加深入、复杂、有了更多的参数和训练数据，也因而变得更大、更繁琐，这也为机器

02

PyTorch 深度学习实用指南：6~8

生成网络得到了加州理工学院理工学院本科物理学教授理查德·费曼（Richard Feynman）和诺贝尔奖获得者的名言的支持：“我无法创造，就无法理解”。生成网络是拥有可以理解世界并在其中存储知识的系统的最有前途的方法之一。顾名思义，生成网络学习真实数据分布的模式，并尝试生成看起来像来自此真实数据分布的样本的新样本。

02

Transformer的上下文学习能力是哪来的？

为什么 transformer 性能这么好？它给众多大语言模型带来的上下文学习 (In-Context Learning) 能力是从何而来？在人工智能领域里，transformer 已成为深度学习中的主导模型，但人们对于它卓越性能的理论基础却一直研究不足。

04

构建基于事件的GenAI应用

我从事人工智能工作近 20 年，应用的技术涵盖预测建模、知识工程和符号推理。AI 的巨大潜力一直感觉十分明显，但其广泛应用似乎总是还有几年才能到来。然而，以当前的生成式 AI(GenAI)技术作为体现，这一次感觉不同。

01

知识蒸馏——深度学习的简化之道！！

在深度学习的世界里，大型神经网络因其出色的性能和准确性而备受青睐。然而，这些网络通常包含数百万甚至数十亿个参数，使得它们在资源受限的环境下（如移动设备和嵌入式系统）运行变得不切实际。知识蒸馏（Knowledge Distillation）技术应运而生，旨在解决这一挑战，通过将大型网络的知识“蒸馏”到更小、更高效的模型中，以实现类似的性能，但以更低的计算成本。

01

【ACL 2022】用于多标签文本分类的对比学习增强最近邻机制

论文地址：https://aclanthology.org/2022.acl-short.75.pdf

03

Align and Prompt：Salesforce&ANU提出ALPRO，进行细粒度的视频文本对齐！代码已开源！

本文分享论文『Align and Prompt: Video-and-Language Pre-training with Entity Prompts』，由 Salesforce&ANU 提出ALPRO，进行细粒度的视频文本对齐！代码已开源！

01

选中自然语言处理任务的连续表达 | 微软IJCAI2016演讲PPT

微软研究院在IJCAI2016的Tutorial上讲述了自己将深度学习、深度神经网络应用于不同场景的情况，之前第二部分提到了深度学习在统计机器翻译和会话中的应用，本文为第三部分—选中自然语言处理任务的

05

YOLOv5永不缺席 | YOLO-Pose带来实时性高且易部署的姿态估计模型！！！

YOLO-Pose与其他Bottom-up的方法一样，也是一种Single Shot的方法。然而，它并不使用 Heatmaps。相反，YOLO-Pose将一个人的所有关键点与Anchor联系起来。

02

TensorFlow中的那些高级API

摘要：在这篇文章中，我们将看到一个使用了最新高级构件的例子，包括Estimator（估算器）、Experiment（实验）和Dataset（数据集）。值得注意的是，你可以独立地使用Experiment和Dataset。不妨进来看看作者是如何玩转这些高级API的。 TensorFlow拥有很多库，比如Keras、TFLearn和Sonnet，对于模型训练来说，使用这些库比使用低级功能更简单。尽管Keras的API目前正在添加到TensorFlow中去，但TensorFlow本身就提供了一些高级构件，而且

05

Pytorch的API总览

torch包包含多维张量的数据结构，并定义了多维张量的数学运算。此外，它还提供了许多实用程序来高效地序列化张量和任意类型，以及其他有用的实用程序。它有一个CUDA的副本，可以让你运行你的张量计算在一个NVIDIA GPU，并且计算能力>= 3.0。

01

Transformers 4.37 中文文档（九十）

LiLT 模型在Jiapeng Wang, Lianwen Jin, Kai Ding 撰写的《LiLT: A Simple yet Effective Language-Independent Layout Transformer for Structured Document Understanding》中提出。LiLT 允许将任何预训练的 RoBERTa 文本编码器与轻量级的 Layout Transformer 结合起来，以实现多种语言的 LayoutLM 类似文档理解。

01

2020 年最具潜力 44 个顶级开源项目，涵盖 11 类 AI 学习框架、平台（值得收藏）

就在最近，一个基于 javascript 的可视化库 D3js（treemap 可视化）对 json 文件生成的技术图，给开发者提供了详细的各领域工具清单，内容涵盖了 11 种极具潜力的 AI 工具类型，我们将其整理如下，强烈建议大家收藏~

02

2020 年最具潜力 44 个顶级开源项目，涵盖 11 类 AI 学习框架、平台（值得收藏）

工欲善其事必先利其器，这也是大部分开发者在日常工作中最重要开发原则。选择与开发内容相匹配的工具，常常会使我们事半功倍。但面对人工智能的多个领域，如：机器学习、深度学习、NLP等等，多样的工具有时也让我们也无从选择。

01

2020 年最具潜力 44 个顶级开源项目，涵盖 11 类 AI 学习框架、平台（值得收藏）

工欲善其事必先利其器，这也是大部分开发者在日常工作中最重要开发原则。选择与开发内容相匹配的工具，常常会使我们事半功倍。但面对人工智能的多个领域，如：机器学习、深度学习、NLP等等，多样的工具有时也让我们也无从选择。

01

GPU推理服务性能优化之路｜得物技术

随着CV算法在业务场景中使用越来越多，给我们带来了新的挑战，需要提升Python推理服务的性能以降低生产环境成本。为此我们深入去研究Python GPU推理服务的工作原理，推理模型优化的方法。最终通过两项关键的技术: 1.Python的GPU与CPU进程分离，2.使用TensorRT对模型进行加速，使得线上大部分模型服务QPS提升5-10倍左右，大量节约了线上GPU推理服务的成本。

05

GPU推理服务性能优化之路｜得物技术

随着CV算法在业务场景中使用越来越多，给我们带来了新的挑战，需要提升Python推理服务的性能以降低生产环境成本。为此我们深入去研究Python GPU推理服务的工作原理，推理模型优化的方法。最终通过两项关键的技术: 1.Python的GPU与CPU进程分离，2.使用TensorRT对模型进行加速，使得线上大部分模型服务QPS提升5-10倍左右，大量节约了线上GPU推理服务的成本。

02

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭