双12工业 AI 训练系统推荐 - 腾讯云开发者社区

7143 0

【推荐系统篇】--推荐系统之训练模型

一、前述经过之前的训练数据的构建可以得到所有特征值为1的模型文件，本文将继续构建训练数据特征并构建模型。二、详细流程 ?...将处理完成后的训练数据导出用做线下训练的源数据（可以用Spark_Sql对数据进行处理） insert overwrite local directory '/opt/data/traindata' row...这里是方便演示真正的生产环境是直接用脚本提交spark任务，从hdfs取数据结果仍然在hdfs，再用ETL工具将训练的模型结果文件输出到web项目的文件目录下，用来做新的模型，web项目设置了定时更新模型文件...org.apache.spark.{ SparkContext, SparkConf } import scala.collection.Map /** * Created by root on 2016/5/12...trainSet") // la.sample(true, 0.001).saveAsTextFile("testSet") // println("done") //逻辑回归训练

1.3K1 0

您找到你想要的搜索结果了吗？

是的

没有找到

首次揭秘双11双12背后的云数据库技术！| Q推荐

从 2009 年到 2021 年，从千万交易额到千亿交易额，双 11 已经开展了 12 年。如今，每年的双 11 以及一个月后的双 12，已经成为真正意义上的全民购物狂欢节。...是什么样的数据库撑起了 2021 年的双 11 双 12 的稳定进行？...《数据 Cool 谈》第三期，阿里巴巴大淘宝技术部双 12 队长朱成、阿里巴巴业务平台双 11 队长徐培德、阿里巴巴数据库双 11 队长陈锦赋与 InfoQ 主编王一鹏，一同揭秘了双 11 双 12 背后的数据库技术...淘宝开始考虑通过加入排队能力，解决系统秒挂的情况，但在用户侧会看到页面在转圈圈后显示抢购结果，体验感并不好。在双 11 双 12，这种方式的弊端会被进一步放大。...在 2021 年双 11 双 12 中，有一种无所不在的技术力保证了整体系统的稳定，如 PolarDB 具备的极致弹性、海量存储和高并发 HTAP 访问的产品特性。

31.8K5 0

【AI系统】并行训练基本介绍

分布式训练是一种模型训练模式，它将训练工作量分散到多个工作节点上，从而大大提高了训练速度和模型准确性。虽然分布式训练可用于任何类型的 AI 模型训练，但将其用于大模型和计算要求较高的任务最为有利。...（Hybrid Parallel），可扩展的分布式训练组件，如：设备网格（Device Mesh）、RPC 分布式训练以及自定义扩展等。...具体来说，这些功能的实现可以分为三个主要组件：分布式数据并行训练（DDP）是一种广泛采用的单程序多数据训练范式。在 DDP 中，模型会在每个进程上复制，每个模型副本将接收不同的输入数据样本。...基于 RPC 的分布式训练（RPC）支持无法适应数据并行训练的通用训练结构，例如分布式流水线并行、参数服务器范式以及 DDP 与其他训练范式的组合。...通过充分利用这些分布式训练组件，开发人员可以在各种计算要求和硬件配置下高效地训练大模型，实现更快的训练速度和更高的模型准确性。

1181 0

【AI系统】感知量化训练 QAT

本文将会介绍感知量化训练（QAT）流程，这是一种在训练期间模拟量化操作的方法，用于减少将神经网络模型从 FP32 精度量化到 INT8 时的精度损失。...感知量化训练流程传统的训练后量化将模型从 FP32 量化到 INT8 精度时会产生较大的数值精度损失。...QAT 的流程如下图所示，首先基于预训练好的模型获取计算图，对计算图插入伪量化算子。准备好训练数据进行训练或者微调，在训练过程中最小化量化误差，最终得到 QAT 之后对神经网络模型。...微调时间为原始训练计划的 10% 感知量化训练不需要像原始训练那样耗时，因为模型已经相对较好地训练过，只需要调整到较低的精度。一般来说，微调时间为原始训练计划的 10% 是一个不错的经验法则。...QAT 和 PTQ 对比 PTQ QAT 通常较快较慢无需重新训练模型需要训练/微调模型量化方案即插即用量化方案即插即用（需要重新训练）对模型最终精度控制较少对最终精度控制更多，因为量化参数是在训练过程中学习到的

1601 0

华为 | ReLoop：自纠正地训练推荐系统

导读目前的模型训练过程只获取用户的反馈作为标签，而没有考虑到之前推荐中的错误。本文为推荐系统构建一个自纠正学习循环（称为 ReLoop），从而从之前的推荐错误中学习知识。...构建自定义损失来鼓励每个新模型版本在训练期间减少对先前模型版本的预测误差。核心：利用前一次训练的预测结果来约束当前轮次训练的性能不能差于前一次，简单有效。 2....方法 image.png 2.1 生产中的训练循环推荐模型的训练循环如图 1(a) 所示。首先，从用户对曝光商品的隐式反馈中收集训练数据，即点击商品作为正样本，未点击商品作为负样本。...最后，在线曝光和点击事件将被记录在用户行为日志中，进而触发新的一段时间的训练。可以发现相邻训练程序之间的联系非常松散，因为每个程序都独立地训练自己的模型。...除了上述损失函数还需要正常的推荐模型训练，此处采用交叉熵损失， \mathcal{L}_{c e}=-y \log \hat{y}-(1-y) \log (1-\hat{y}) 因此总损失为 L=\

3712 0

【推荐系统篇】--推荐系统之之特征工程部分---构建训练集流程

一、前述根据前文中架构，本文我们讨论线下部分构建训练集部分。因为我们离线部分模型的选择是逻辑回归，所以我们数据必须有x和y. 二、具体流程 1.从数据库中分离出我们需要的数据。 ...2.构建训练集中的关联特征 ? 流程： ? 2.构建训练集中的基本特征 ? 总结：注意特征名离散化因为如果特征不离散化会造成数据之间有关系。...local inpath '/opt/sxt/recommender/script/sample.txt' into table dw_rcm_hitop_sample2learn_dm; 3、构建训练数据...IF (file_size <= 8*1024*1024,8, IF (file_size <= 10*1024*1024,10, IF (file_size 12...*1024*1024,12, IF (file_size <= 14*1024*1024,14, IF (file_size <= 16*1024*1024,16,

7471 0

腾讯云工业质检训练平台TI-AOI升级发布，成立工业AI质检生态联盟

7月19日，腾讯云在工业质检合作伙伴沙龙暨生态联盟发布会上，宣布升级发布工业质检训练平台TI-AOI 2.3版本，并携手首批合作伙伴成立工业AI质检生态联盟，共同推动人工智能技术与实体产业深度融合，助力行业加快发展新质生产力...腾讯云副总裁、腾讯云智能产研负责人吴永坚表示，腾讯云在工业质检领域深耕多年，现已构建起包括工业质检训练平台TI-AOI、腾讯云TI平台等在内的AI视觉检测产品矩阵。...此次升级发布的工业质检训练平台TI-AOI，是面向工业视觉质量检测场景推出的零代码开发和交付工具，它以深度学习检测为核心，构建起一个高效、稳定的数据处理和工作流程。...做好工业AI质检项目，需要“光、机、电、软、算”软硬件一体化的系统工程能力。...此次成立工业AI质检生态联盟，是腾讯云工业AI质检生态的进一步深化。

3921 0

转载:【AI系统】并行训练基本介绍

621 0

【AI系统】训练后量化与部署

本文将会重点介绍训练后量化技术的两种方式：动态和静态方法，将模型权重和激活从浮点数转换为整数，以减少模型大小和加速推理。并以 KL 散度作为例子讲解校准方法和量化粒度控制来平衡模型精度和性能。...训练后量化的方式训练后量化的方式主要分为动态和静态两种。...相比量化训练，静态离线量化不需要重新训练，可以快速得到量化模型。...静态离线量化的步骤如下：加载预训练的 FP32 模型，配置用于校准的数据加载器；读取小批量样本数据，执行模型的前向推理，保存更新待量化算子的量化 scale 等信息；将 FP32 模型转成 INT8...通过替换块分别量化残差连接残差连接是许多神经网络模型（如 ResNet）中的重要组成部分，因为它们有助于减轻训练期间可能出现的梯度消失问题。然而，在量化过程中，残差连接可能会带来挑战。

1321 0

2023年4月的12篇AI论文推荐

本月的论文推荐除了GPT-4以外还包括、语言模型的应用、扩散模型、计算机视觉、视频生成、推荐系统和神经辐射场。...现在他又开始折腾推荐系统了。可微分搜索索引使用transformer 来记忆文档id，并根据查询自回归地生成它们，消除了对传统索引的需要。...基于这一想法，研究人员提出了TIGER，一种基于生成检索的推荐模型。TIGER为每件商品分配唯一的语义ID，然后训练检索模型来预测用户将使用之前商品ID的下一件商品的语义ID。...尽管与DSI相关的缺点(向预训练的模型中添加新项目并不容易)，但这种新的生成式检索范式确实提供了一些优势，例如推荐不常见的项目(改善冷启动问题)，并通过调整生成的温度来生成多样化的推荐。...1）AI自己建立了记忆体系并定期进行深层次反思，从而获得对新鲜事物的见解； 2）AI之间建立了关系并记住了彼此； 3）AI之间学会了相互协调； 4）AI之间学会了共享信息； 5）AI具备了定制和修改计划的能力

5172 1

【GNN】PinSAGE：GCN 在工业级推荐系统中的应用

这篇论文是 GraphSage 一次成功的应用，也是 GCN 在大规模工业级网络中的一个经典案例，为基于 GCN 结构的新一代 Web 级推荐系统铺平了道路。...GCN 在工业中应用的主要挑战在于如何在数十亿节点和数百亿边的网络中高效完成训练，对此论文提出了以下几种改进措施：「动态卷积」：通过对节点的领域进行采样构建计算图来执行高效局部卷积，从而减轻训练期间对整个图进行操作的需要...「多 GPU 训练」：为了能够在单台机器上充分利用多个 GPU 进行训练，作者以多塔（Mulit-tower）的方式训练前向和反向传播。...2.4 Efficient nearest-neighbor lookups 作者主要通过计算 query 和 item 的 Embedding 向量的 k-近邻来进行推荐。...除了保证高度可扩展性外，作者还引入 Importance Pooling 和 Curriculum Learning 的技术大大提高了模型的性能和收敛速度，从实验结果表明 PinSAGE 显著了提升了推荐系统的效果

2.2K2 0

详解工业级推荐系统从0到1的构建

由于近些年深度学习技术的飞速发展，大力加速推动了AI在互联网以及传统各个行业的商业化落地，其中，推荐系统、计算广告等领域彰显的尤为明显。...但是，这里存在几个问题，很多欲从事推荐系统的同学大多数学习的方式是自学，1、往往是学了很多的推荐算法模型，了解些推荐里常用的算法，如：协同过滤、FM、deepFM等，但是却不清楚这些模型在工业界推荐系统中是如何串联...范式二：多模型融合范式三：联合训练、ESMM，MMOE框架，ESM2等 ESMM的实现第四部分：实时召回策略与前沿推荐技术 Week12-13: 工业界新闻推荐系统中冷启动与热点文章实时召回人群分桶...强化学习在推荐场景中的应用 Week15: 项目总结，部署以职业规划工业界项目的部署推荐系统岗位的面试要点大厂的面试攻略如何准备简历、包装自己职业规划课程其他的细节可以联系课程顾问来获取...新闻推荐项目目前业界最主流的推荐系统使用 “多路召回 + 精排” 的方式，本项目中，带你掌握这种工业界最流行的推荐方式，你将使用MF、双塔等深度网络进算法对用户和物品进行表达，并基于ANN检索的方式实现召回

9674 0

【AI系统】谷歌 TPUv2 训练芯片

通常来说训练过程通过设计合适 AI 模型结构以及损失函数和优化算法，将数据集以 mini-batch 反复进行前向计算并计算损失，反向计算梯度利用优化函数来更新模型，使得损失函数最小从而使得模型收敛。...每个子通道配备一个双发射 32 位 ALU，并连接到一个 32 深度的寄存器文件。...TPUv1 是一种单芯片系统，作为协处理器用于推理。如果在单个芯片上训练谷歌的生产模型，需要数月时间。...直接连接简化了机架级别的部署，但在多机架系统中，机架必须是相邻的。...芯片架构平面图下面是 TPU v2 的平面布局图，我们可以看到大部分区域都是用于蓝色的计算核心，内存系统和互连占据了剩下的一大半。

1221 0

面试官：为什么在系统中不推荐双写?

其实这篇文章所探讨的数据同步策略并不限于某两种固定的存储系统之间，而想去探讨一种通用的数据同步策略。...主要分为以下三个部分 (1)背景介绍 (2)双写缺点 (3)改良方案基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序，支持...可是某a国际电商公司在产品韩的领导下，业务增长迅速，阿雄发现了数据库越来越慢，于是乎阿雄加入了一些缓存，如redis来缓存一些数据，提高系统的响应能力。...阿雄在网上发现，现在业内都用一些elasticsearch做一些全文检索的操作，于是乎阿雄将一些需要全文检索的数据放入elasticsearch,提高了系统的搜索能力！...那么，双写会带来什么坏处呢？OK，继续往下看！双写缺点一致性问题打个比方我们现在有两个client，同时往两个DataSouce写数据。

2.4K1 0

检修盒面板AI视觉检测系统，赋能工业发展！

制造业是中国工业化的源头，也是工业生产大国。任何一步的质量都可能影响生产过程的变化。表面缺陷不仅影响产品的美观和舒适性，还会对其性能产生不良影响。因此，制造商对产品的表面缺陷检测非常重视。...对于一些重要的按钮，尤其是停机和上下键安装错误，很容易导致严重事故，因此迫切需要使用人工智能检测手段，引入机器视觉检测，配合AI智能化算法，有效控制产品质量，从而消除或减少缺陷产品的产生，提高生产效率。...图片一、系统架构AI视觉检测系统主要通过光源和图像传感器(工业相机)获取产品的表面图像，利用图像处理算法提取图像的特征信息，然后根据特征信息对表面缺陷的定位、识别、分类等判定与统计，通过图像采集、图像校正...二、系统功能图像采集：500万像素8帧/秒定焦定高工业相机，由算法自动处理，面板高度不同带来的对焦可调整;图像预处理：预处理算法消除每个面板的长、宽、高均不相同，模板制作的好坏、视差的高低所带来的影响。...可扩展性：该系统可不仅仅局限于检修盒面板的检测，所有可以用模板匹配方法解决的问题，都可以无缝采用该软件系统。三、系统软件检验窗口：支持查看待检设备及模板图像、检验结果等，设置系统初始化配置。

1.4K4 0

AI 训练加速原理解析与工程实践分享 | Q推荐

今天的分享，主要包括三个部分：首先介绍我们为什么需要做 AI 训练加速，也就是整体背景和出发点是什么；第二部分我们会系统性的分析实际训练过程中的可能会遇到的性能瓶颈问题，然后针对这些问题，介绍目前主要的加速方案...为什么需要 AI 训练加速？在 AI 系统中，一个模型从生产到应用，一般包括离线训练和推理部署两大阶段。...、以及专为 AI 设计的高性能并行文件系统 PFS； AI 加速层，包括数据湖存储加速套件 RapidFS，AI 训练加速套件 AIAK-Training，AI 推理加速套件 AIAK-Inference...由上可知，数据并行相比单卡训练，主要增加了额外的通信开销。通过前述分析，我们知道加速AI 训练不单是某一方面的工作，需要从数据加载、模型计算、分布式通信等系统维度综合考虑。...从存储系统上，我们可以使用更高性能的存储介质，或者基于这些高速存储介质组成的并行文件系统，或者说一些缓存加速系统。前面介绍到的，百度百舸也提供了相应的存储系统方案，比如 PFS、RapidFS 等。

7361 1

TensorFlow在推荐系统中的分布式训练优化实践

2 大规模训练优化挑战 2.1 业务迭代带来的挑战随着美团业务的发展，推荐系统模型的规模和复杂度也在快速增长，具体表现如下：训练数据：训练样本从到百亿增长到千亿，增长了近10倍。...图2 自动化实验框架 2.2.2 业务视角的负载分析在推荐系统场景中，我们使用了TensorFlow Parameter Server[3]（简称PS）异步训练模式来支持业务分布式训练需求。...然后我们会暂停训练的进程，启动Allocator的构造过程，包括MR的创建以及通信双端的信息同步。...5 总结与展望 TensorFlow在大规模推荐系统中被广泛使用，但由于缺乏大规模稀疏的大规模分布式训练能力，阻碍了业务的发展。...美团推荐系统场景的模型训练，目前主要运行在CPU上，但随着业务的发展，有些模型变得越来越复杂，CPU上已经很难有优化空间（优化后的Worker CPU使用率在90%以上）。

1.1K1 0

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

浅谈工业级推荐系统

【推荐系统篇】--推荐系统之训练模型

首次揭秘双11双12背后的云数据库技术！| Q推荐

【AI系统】并行训练基本介绍

【AI系统】感知量化训练 QAT

华为 | ReLoop：自纠正地训练推荐系统

【推荐系统篇】--推荐系统之之特征工程部分---构建训练集流程

腾讯云工业质检训练平台TI-AOI升级发布，成立工业AI质检生态联盟

转载:【AI系统】并行训练基本介绍

【AI系统】训练后量化与部署

2023年4月的12篇AI论文推荐

【GNN】PinSAGE：GCN 在工业级推荐系统中的应用

详解工业级推荐系统从0到1的构建

【AI系统】谷歌 TPUv2 训练芯片

面试官：为什么在系统中不推荐双写?

检修盒面板AI视觉检测系统，赋能工业发展！

AI 训练加速原理解析与工程实践分享 | Q推荐

推荐系统通用用户表征预训练研究进展

TensorFlow在推荐系统中的分布式训练优化实践

推荐系统中模型训练及使用流程的标准化

扫码

相关资讯

热门标签

活动推荐

运营活动

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐