- 综合排序
- 最热优先
- 最新优先
- 来自专栏Kubernetes
如何在Kubernetes集群中利用GPU进行AI训练
因为一块PU价格是很昂贵的，一个训练进程通常是无法完全利用满一块GPU的，这势必会造成GPU资源的浪费。 让kubelet发现GPU资源并可被调度 请确认Kubernetes集群中的GPU服务器已经安装和加载了NVIDIA Drivers，可以使用nvidia-docker-plugin来确认是否已加载Drivers number，通过在container的resources.limits中设置alpha.kubernetes.io/nvidia-gpu为你想要使用的GPU数，通过设置为1就已经足够了，应该没多少训练场景一个 参考如何落地TensorFlow on Kubernetes将TensorFlow跑在Kubernetes集群中，并且能创建Distributed TensorFlow集群启动训练。 /device:GPU:1, /device:GPU:2, ...进行加速训练了。
3.4K70发布于 2018-04-16 - 来自专栏技术杂记
etcd 集群5
简单测试 [root@h104 ~]# curl http://127.0.0.1:2379/v2/keys/message -XPUT -d value="set by h104" {"action":"set","node":{"key":"/message","value":"set by h104","modifiedIndex":11,"createdIndex":11},"prevNode":{"key":"/message","value":"abc","modifiedIndex":10,"
31720编辑于 2022-01-19 - 来自专栏技术杂记
ZooKeeper 集群5
拷贝目录 [root@h101 zk]# rsync -av zookeeper-3.4.6-real root@192.168.100.102:/root/zk/zookeeper-3.4.6-real/ root@192.168.100.102's password: sending incremental file list created directory /root/zk/zookeeper-3.4.6-real zookeeper-3.4.6-real/ zookeeper-3.4.6-r
29330编辑于 2022-03-25 - 来自专栏技术杂记
Consul 集群5
脱离集群 可以使用 Ctrl-C 来平滑地退出，也可以强行Kill退出，区别是主动告知其它节点自己的离开，和被其它节点标记为失效，被发现离开 ---- 健康检查 健康检查对于避免将请求发送给运行不正常的服务是一个相当关键的机制
56120编辑于 2021-12-01 - 来自专栏新智元
单机《星际争霸2》AI，不用GPU集群，支持多种训练环境
上周结束的 AI Challenger 星际争霸竞赛，让 AI 挑战星际争霸这个议题又稍稍火了一把。虽然这届冠军使用的仍然是硬编码方法，但从其他解决方案中不难看出，AI 算法的占比在不断提升。 今天，塔尔图大学的 Roman Ring 在 Github 上开源了他倾力投入一年半的成果，一个名叫 Reaver 的《星际争霸 II》AI，可用于训练《星际争霸 II》的各种基本任务。 Reaver 对于不具备 GPU 集群的人非常友好，正如作者在 Github 库里介绍所说， “虽然开发是研究驱动的，但 Reaver API 背后的理念类似于《星际争霸II》游戏本身——新手可以用，领域专家也能从中获得东西 单机友好，可用于训练星际争霸II各种任务 Roman Ring 列出了 Reaver 在《星际争霸 II》各种小型游戏上与其他 AI 的性能对比。 ： 综上，就算 DefeatRoaches 花了 150 小时，但考虑到硬件只是一台笔记本（英特尔酷睿 i5-7300HQ，4核 + GTX 1050 GPU），这个结果已经算很不错。
1.2K31发布于 2018-12-21 - 来自专栏云云众生s
用于训练多模态AI模型的5个有用数据集
译自 5 Useful Datasets for Training Multimodal AI Models，作者 Kimberley Mok。 例如，图像字幕任务需要一个结合图像和相关描述性文本的训练数据集，这可以用来训练AI模型。训练过程结束后，就可以部署AI模型，利用自然语言处理和计算机视觉技术识别新图像的内容并生成相关的文本。 5. MINT-1T MINT-1T是一个庞大的开源数据集，来自Salesforce AI Research，包含一万亿文本标记和34亿张图像——几乎是下一个最大的开源数据集的十倍。 根据研究团队的说法，目标是创建一个包含“图像和文本的自由形式交错序列”的数据集，适合训练大型多模态AI模型。 有如此多的选择，找到合适的训练AI模型的数据集相对容易。更多信息，请查看我们关于构建多模态AI应用程序的工具的帖子，以及一些开源和小型多模态AI模型。
1.6K10编辑于 2025-01-17 - 来自专栏自然语言处理
MMsegmentation教程 5: 训练技巧
在线难样本挖掘 (Online Hard Example Mining, OHEM) 对于训练时采样，我们在 这里 做了像素采样器。 如下例子是使用 PSPNet 训练并采用 OHEM 策略的配置： _base_ = '. 同时使用多种损失函数 (Multiple Losses) 对于训练时损失函数的计算，我们目前支持多个损失函数同时使用。 /fcn_unet_s5-d16_64x64_40k_drive.py' model = dict( decode_head=dict(loss_decode=[dict(type='CrossEntropyLoss loss_weight 和在训练日志里的名字 loss_name。
1.5K41编辑于 2022-03-04 - 来自专栏叶子的开发者社区
【yolov5目标检测】使用yolov5训练自己的训练集
到GitHub上下载整个项目的压缩包zip下来 下来解压zip，把我们刚刚的数据集也放进去 再下载一个yolov5的预训练模型，我这里选择yolov5n.pt，下下来也放到解压文件夹中 然后用pycharm 打开这个文件夹，看看哪里标红还差什么软件包没安装给安装上 配置yaml 先配置一下yolov5预训练模型的yaml，我下载的是yolov5n.pt模型，因此需要配置一下yolov5n.yaml，修改nc (P3, P4, P5) ] 然后开始配置数据集的yaml，可以复制coco128.yaml的内容进行修改，新建一个xxx.yaml，修改path为数据集路径，train为训练集的相对路径，val为验证机的相对路径 然后准备开始训练，打开train.py，修改它的参数，主要是这三行代码需要修改，修改预训练模型文件的路径，配置文件的路径以及数据集配置文件的路径 parser.add_argument('-- 运行完了会生成一个runs文件夹，里面有训练出来的best.pt，和训练过程的记录 然后开始目标检测，准备好运行detect.py的参数，最基本的就是运行的权重文件，就是我们train出来的best.pt
1.9K20编辑于 2023-10-23 - 来自专栏技术杂记
RabbitMQ集群II5
内存节点集群 内存node是将所有元数据保存在内存中的node，是以一定安全风险为代价交换性能的选择，由于不保存数据到硬盘，所以断电或重启后数据将会丢失，也正因为不必与硬盘打交道，所以速度会非常快 一般使用它来动态地扩展集群性能 (只使用RAM node的集群是脆弱的) RAM nodes keep their metadata only in memory.
30720编辑于 2022-05-03 - 来自专栏AI
AI训练师入行指南（四）：模型训练
——从璞玉到珍宝：数据雕刻师的终极修炼 一、开篇在《指南（三）》中，我们根据场景选择了合适的AI模型——就像选定了雕刻和田玉的工具与技法。 现在，我们正式进入训练阶段：用特定数据集将模型从粗坯打磨成传世珍宝。 “用翡翠原石雕佛像，用和田玉刻印章——特定数据集就是AI模型的专属玉料。” 数据集的核心价值领域适配性：用医疗影像数据训练的模型，能识别癌症结节；用电商评论训练的模型，能感知用户情绪波动。 质量决定上限：标注精准的1000条数据，胜过混乱的10万条噪声数据。 成熟AI模型案例解析(1) DeepSeek-Chat（深度求索）数据燃料：千万级高质量中文对话数据（含代码、百科、小说） 训练成果：能生成符合中文语境的代码注释，甚至写出“鲁迅风格”的段子。 真正的AI匠人懂得：用正则化约束过拟合野马，以混合精度在有限资源中雕琢精品——这不是塑料玩具的组装，而是用数据刻刀打磨智能传世珠宝。
71710编辑于 2025-03-31 - 来自专栏FreeBuf
AI领域的预训练与自训练
最近一年，AI领域出现了很多迁移学习(transfer learning)和自学习(self-learning)方面的文章，比较有名的有MoCo，MoCo v2，SimCLR等。 自训练可以分为5个步骤： 使用少量带有标签的数据训练模型 使用步骤1中得到的模型对未标记数据进行预测，预测结果作为伪标签 将标记数据和未标记数据结合标签和伪标签一起训练模型 在测试集上评估模型 重复1- 01 使用监督学习获得预训练模型 作为实验，研究者首先在Imagenet上训练分类网络作为预训练模型，之后监督得到的预训练模型作为骨干网络在COCO数据集上进行训练。 不同数据增强模式下基线、监督式预训练、自训练式预训练下的目标检测结果对比 ? 不同数据增强模式下基线、监督式预训练、自训练式预训练下的目标检测结果对比 ? 统一实验条件下三种预监督方法对比 作为与监督预训练与无监督预训练的对比，对照实验表明使用自训练方法得到的预训练模型在各种数据增强模式，不同主任务训练集尺寸的情况下都能获得明显受益，且显著优于基线(不使用预训练模型
1.8K10发布于 2020-11-16 - 来自专栏技术杂记
RabbitMQ集群I5
加入集群 rabbitmqctl join_cluster rabbit@h101 [root@h102 ~]# rabbitmqctl join_cluster rabbit@h101 Clustering
27610编辑于 2022-05-04 - 来自专栏PaddlePaddle
【FAQ】集群训练与预测相关问题汇总
在使用指南的最后一部分，我们汇总了使用PaddlePaddle过程中的常见问题，本部分推文目录如下： 2.22：【FAQ】模型配置相关问题汇总 2.23：【FAQ】参数设置相关问题汇总 2.24：【FAQ】本地训练与预测相关问题汇总 2.25：【FAQ】集群训练与预测相关问题汇总 2.26：如何贡献代码 2.27：如何贡献文档 集群训练与预测相关问题汇总 |1.集群多节点训练，日志中保存均为网络通信类错误 集群多节点训练，日志报错为网络通信类错误 此类报错通常是由于某一个节点的错误导致这个节点的训练进程退出，从而引发其他节点无法连接导致，可以参考下面的步骤排查： 从 train.log ， server.log 找到最早报错的地方，查看是否是其他错误引发的报错 如果当前MPI集群并不支持任务独占模式，可以联系OP是否可以更换集群或升级当前集群。 |PS 集群训练与预测相关FAQ较少，点击导语推文目录查看其它部分FAQ，点击阅读原文访问Github Issue。 为了方便大家问题的跟进解决，我们采用Github Issue来采集信息和追踪进度。
89170发布于 2018-03-15 - 来自专栏Python绿色通道
Scrapy实战5：Xpath实战训练
win32stdio.py", line , in <module> import win32api ModuleNotFoundError: No module named 'win32api' (5) (5)在jobbole.py中的的parse函数中加一个断点，然后Debug模式运行测试文件main.py 断点设置： ? 断点设置debug结果分析： ? (5)我们继续获取其他数据（复习巩固一下Xpath的用法） 为了快速、有效率的调式数据，给大家推荐一种方法： # cmd 虚拟环境中输入: scrapy shell 你要调试的网址 scrapy shell
1K20发布于 2020-02-12 - 来自专栏罗西的思考
Facebook如何训练超大模型--- (5)
[源码分析] Facebook如何训练超大模型--- (5) 目录 [源码分析] Facebook如何训练超大模型--- (5) 0x00 摘要 0x01 背景 0x02 思路 2.1 学习建议 2.2 之前文章之中我们谈到了FSDP支持混合精度训练，本篇来看看 Activation recomputation。 分布式训练 Parameter Sharding 之 Google Weight Sharding [源码分析] Facebook如何训练超大模型---(1) [源码分析] Facebook如何训练超大模型 --- (2) [源码分析] Facebook如何训练超大模型 --- (3) [源码分析] Facebook如何训练超大模型---(4) 0x01 背景 激活重新计算（Activation recomputation 0xFF https://arxiv.org/pdf/2101.06840.pdf https://www.deepspeed.ai/tutorials/zero-offload/ DeepSpeed:
1.6K10编辑于 2022-11-28 - 来自专栏大数据文摘
OpenAI Dota2 5v5模式击败人类，AI每天训练量抵人类180年
大数据文摘编辑组出品 今天凌晨，OpenAI通过官方博客宣布了其在Dota对抗上的新进展——由五个神经网络组成的团战AI团队，在5v5中击败了业余人类玩家，并表示，将有望挑战顶级专业团队。 OpenAI也给了这个能力x5的AI一个简单易懂的名字——OpenAI Five！ 戳这里看5v5比赛视频? ? 它使用在256个GPU和128,000个CPU内核上运行的扩展版近端策略优化进行训练，这是OpenAI去年发布的1v1 Dota AI的更大规模版本。 Dota 2是一款实时战略游戏，有两支队伍，每队5个玩家，每个玩家控制一个称为“英雄”的角色。玩Dota的AI必须掌握以下几点： 1.长时间。 AI经过训练可以通过指数衰减因子γ进行加权，从而最大化指数衰减的未来奖励总和。
1K41发布于 2018-07-31 - 来自专栏Java开发者
Redis 5 集群选举原理分析
Redis 5 集群选举原理分析 Redis系统介绍： Redis的基础介绍与安装使用步骤：https://www.jianshu.com/p/2a23257af57b Redis的基础数据结构与使用 ：https://www.jianshu.com/p/c95c8450c5b6 Redis核心原理：https://www.jianshu.com/p/4e6b7809e10a Redis 5 之后版本的高可用集群搭建 ：https://www.jianshu.com/p/8045b92fafb2 Redis 5 版本的高可用集群的水平扩展：https://www.jianshu.com/p/6355d0827aea Redis 5 集群选举原理分析：https://www.jianshu.com/p/e6894713a6d5 Redis 5 通信协议解析以及手写一个Jedis客户端：https://www.jianshu.com 超过半数后变成新Master 6.广播Pong通知其他集群节点。
1.3K21发布于 2019-04-11 - 来自专栏John Wong's Blog
Redis5.x集群搭建
Ssl 14:20 0:13 /usr/local/redis/bin/redis-server *:6380 [cluster] 5、查看集群信息 进入Redis客户端，-p 参数是指定实例的启动端口 ，redis会读取保留集群信息的文件恢复集群关系。 如果配置yes则开启集群功能，此redis实例作为集群的一个节点，否则，它是一个普通的单一的redis实例。 #虽然此配置的名字叫"集群配置文件"，但是此配置文件不能人工编辑，它是集群节点自动维护的文件， #主要用于记录集群中有哪些节点、他们的状态以及一些持久化参数等，方便在重启时恢复这些状态。 #注意，如果此参数配置为非0，将可能出现由于某主节点失联却没有从节点能顶上的情况，从而导致集群不能正常工作， #在这种情况下，只有等到原来的主节点重新回归到集群，集群才恢复运作。
91620编辑于 2021-12-23 - 来自专栏人人都是极客
5.训练模型之利用训练的模型识别物体
接下来我们开始训练，这里要做三件事： 将训练数据上传到训练服务器，开始训练。 将训练过程可视化。 导出训练结果导出为可用作推导的模型文件。 num_steps: 20000 最后将训练迭代的次数调整到 20000 次。最终的训练目录是这样的： ? 然后将训练目录打包上传到训练服务器，按照第三课时的内容运行训练脚本。 可视化训练过程 将训练过程可视化是一个很重要的步骤，这样可以随时检查学习的效果，对后期的模型调优有很大的指导意义。 整个训练的时间大概在 6 个小时左右，如果我们从 SSH 登录训练主机的终端直接运行训练代码，那么假设网络出现问题导致 SSH 断开连接的话，训练也会终止，这可不是我们希望看到的。 现在可以根据业务需求自行的进行训练并应用训练结果了，鼓掌！ 可能有人会问，我们用一个可以识别很多其他物体的模型做转移学习，训练出来了一个可以识别熊猫的模型，那么训练出来模型是不是也可以识别其他物体呢。
2.1K40发布于 2018-04-08 - 来自专栏编程杂记
【YOLOV5模型训练】-模型训练需要改动的几个地方
需要修改的几个地方 1.编写.yaml文件 yaml待修改的参数特别重要一定要核对准确，直接影响模型训练成功与否 2.修改代码部分 1.编写.yaml文件 下载完源码后需要重新编写一个.yaml文件，用了训练自己的模型 /my_dataset/images/train/ #训练集images val: .. 验证集 images # 标签个数 nc: 3 # class names names: [ 'l1', 'l2', 'l3' ] #类别的命名 yaml待修改的参数特别重要一定要核对准确，直接影响模型训练成功与否 2.修改代码部分 打开源码里面的train.py文件 第一个地方改为自己新建的数据集 第二个地方改为自己想要到训练迭代次数 python3 train.py 即可运行
48010编辑于 2024-01-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号