Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >来自“非洲”的树可视化工具包

来自“非洲”的树可视化工具包

作者头像
炼丹笔记
发布于 2022-04-06 11:14:24
发布于 2022-04-06 11:14:24
71900
代码可运行
举报
文章被收录于专栏:炼丹笔记炼丹笔记
运行总次数:0
代码可运行

简介

目前已经存在非常多可视化树模型的策略,此处我们给出另外一种最新的树模型可视化工具包--pybaobabdt,该工具包提供了可视化分析方法的双重示例。可以通过交互和可视化来增强机器学习方法。

pybaobabdt的名字由来来源于:Adansonia digitata或非洲猴面包树African baobab,因为它与树的结构惊人地相似。

代码

  • 代码摘自:https://medium.com/towards-data-science/visualizing-decision-trees-with-pybaobabdt-f8eb5b3d0d17
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# pip install pybaobabdt 
# pip install pygraphviz

from sklearn.tree import DecisionTreeClassifier
import pandas as pd
import pybaobabdt
df       = pd.read_csv('./data/penguins_classification.csv') 
y        = list(df['Species'])
features = list(df.columns)
target   = df['Species']
features.remove('Species')
X        = df.loc[:, features]
clf      = DecisionTreeClassifier().fit(X,y)
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
ax = pybaobabdt.drawTree(clf, size=10, dpi=300, features=features, ratio=0.8,colormap='Set1')

除了上述的基本功能之外,pybaobabdt还支持很多自定义的功能,例如Colormaps等。

小结

pybaobabdt软件包提供了一个新的可视化视角。它包含了在可视化工具包所不具有的功能,通过有意义的可视化帮助用户理解和解释树。如果有希望这类树的可视化的朋友可以尝试一下。

参考文献

  1. Visualizing Decision Trees with Pybaobabdt
  2. https://gitlab.tue.nl/20040367/pybaobab/-/tree/main
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-03-01,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 炼丹笔记 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
[源码解析] 模型并行分布式训练 Megatron (3) ---模型并行实现
NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架,用来训练超大Transformer语言模型,其通过综合应用了数据并行,Tensor并行和Pipeline并行来复现 GPT3,值得我们深入分析其背后机理。
罗西的思考
2022/11/28
2.3K0
[源码解析] 模型并行分布式训练 Megatron (3) ---模型并行实现
大模型训练:Megatron-Core中的通信优化
来源丨https://zhuanlan.zhihu.com/p/694877232
BBuf
2024/06/03
1.2K0
大模型训练:Megatron-Core中的通信优化
[源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础
NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架,用来训练超大Transformer语言模型,其通过综合应用了数据并行,Tensor并行和Pipeline并行来复现 GPT3,值得我们深入分析其背后机理。
罗西的思考
2022/05/09
3.4K0
[源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础
Megatron-LM 分布式执行调研
Created by: strint Created time: May 31, 2023 6:02 PM
BBuf
2023/08/22
2.2K0
Megatron-LM 分布式执行调研
[源码解析] 模型并行分布式训练Megatron (5) --Pipedream Flush
NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架,用来训练超大Transformer语言模型,其通过综合应用了数据并行,Tensor并行和Pipeline并行来复现 GPT3,值得我们深入分析其背后机理。本系列有 5 篇文章,通过论文和源码和大家一起学习研究。本文将看看 Megatron 如何给流水线各个阶段安排执行执行序列。
罗西的思考
2022/05/09
1.8K0
[源码解析] 模型并行分布式训练Megatron (5) --Pipedream Flush
以 GPT-175B 为例,聊聊大语言模型分布式训练的最佳实践
导读本文分享主题为大语言模型分布式训练的相关技术及量化分析,并以GPT-175B 为例,介绍相关技术的最佳实践。
NewBeeNLP
2023/12/20
1.8K0
以 GPT-175B 为例,聊聊大语言模型分布式训练的最佳实践
AI智算中心,大模型训练背后的网络流量“奥秘”
前言:自2017年起,AI模型的规模每半年翻一番,从初代Transformer的6500万增长到GPT-4的1.76万亿,预计下一代大语言模型将达到10万亿规模。另一方面,用于模型训练的数据量持续增长,如C4数据集,原始数据量累计超过9.5PB,每月新增200-300TB,目前经过清洗加工后的数据集大小约38.5 TB,训练样本数364.6M。进一步,随着多模态大模型的兴起,训练数据从单一的文本过渡到图像和视频乃至3D点云,数据规模将是文本数据的1万倍以上。
星融元Asterfusion
2024/07/24
6420
AI智算中心,大模型训练背后的网络流量“奥秘”
DeepSeek组网的演进与效率提升
近年来,千亿至万亿参数规模的大语言模型(LLM)训练已成为人工智能领域的核心战场。随着模型复杂度的指数级增长, 并行计算与网络拓扑的协同设计逐渐成为突破算力瓶颈的关键挑战。
星融元Asterfusion
2025/03/24
1730
让训练更长序列模型成为可能-Sequence Parallelism
自注意力机制是Transformer中的一个关键部件,但其占用显存大小和序列长度呈平方关系,导致我们实际并不能用很长的序列(如BERT是固定为512)。在这篇工作里,我们提出了序列并行(Sequence Parallelism),将序列切分成一个个小块,放置在每一个计算设备上。计算注意力需要将Query和全局的Key交互,受启发于Ring-Allreduce算法,我们以类似的方式实现注意力计算,并称为Ring Self Attention。该并行方式能够与现有的数据并行,模型并行,流水线并行一起使用,实现4D并行
BBuf
2021/12/22
7.2K2
让训练更长序列模型成为可能-Sequence Parallelism
Facebook推出数据并行训练算法FSDP:采用更少的GPU,更高效地训练更大数量级的模型
作者 | Facebook工程团队 译者 | 王强 策划 | 刘燕 大规模训练 AI 模型并非易事。 除了需要大量算力和资源外,训练非常大的模型背后也有着相当大的工程复杂性。在 Facebook AI Research(FAIR)Engineering,我们一直在努力构建各种工具和基础设施,让大型 AI 模型训练起来更加轻松。 我们最近的一部分成果包括了 层内模型并行、流水线模型并行、优化器状态 + 梯度分片 和 多专家模型 等领域的工作,旨在提升为任意数量的任务训练高级 AI 模型的效率。 完全分片数据
深度学习与Python
2023/04/01
1.2K0
Facebook推出数据并行训练算法FSDP:采用更少的GPU,更高效地训练更大数量级的模型
【AI系统】完全分片数据并行 FSDP
上一篇文章内容介绍了通用的数据并行和分布式数据并行,主要是对神经网络模型的输入数据 mini-batch 进行分布式处理。并且讨论了同步数据并行和异步数据并行的差异点,深入到 PyTorch AI 框架的弹性数据并行是如何实现与处理的。在本文内容中,将会重点关注 AI 框架中如何实现针对权重数据、优化器数据和梯度数据进行分布式并行,并在 PyTorch 框架的具体实现方案。
用户11307734
2024/12/09
4110
[源码分析] Facebook如何训练超大模型---(1)
我们在前文介绍过,微软 ZeRO 可以对一个万亿参数模型可以使用 8 路模型并行、64 路管道并行和 8 路数据并行在 4,096 个 NVIDIA A100 GPU 上进行扩展。
罗西的思考
2022/05/09
2K0
[源码分析] Facebook如何训练超大模型---(1)
[源码解析] 模型并行分布式训练 Megatron (4) --- 如何设置各种并行
NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架,用来训练超大Transformer语言模型,其通过综合应用了数据并行,Tensor并行和Pipeline并行来复现 GPT3,值得我们深入分析其背后机理。
罗西的思考
2022/05/09
2.5K0
[源码解析] 模型并行分布式训练 Megatron (4) --- 如何设置各种并行
[论文翻译] 分布式训练 Parameter Sharding 之 Google Weight Sharding
本系列会以5~6篇文章,介绍parameter sharding。Parameter sharding 就是把模型参数等切分到各个GPU之上。我们会以 Google,微软和Facebook的论文,博客以及代码来进行分析。
罗西的思考
2022/05/09
1.1K0
[论文翻译] 分布式训练 Parameter Sharding 之 Google Weight Sharding
大语言模型--流水线并行原理及实现
Google 2019年发表的论文GPipe: Easy Scaling with Micro-Batch Pipeline Parallelism,1811.06965 (arxiv.org)
aaronwjzhao
2024/05/11
1.1K0
【AI系统】混合并行
混合并行(HybridParallel)是一种用于分布式计算的高级策略,它结合了数据并行和模型并行的优势,以更高效地利用计算资源,解决深度学习中的大模型训练问题。混合并行不仅能提高计算效率,还能在有限的硬件资源下处理更大的模型和数据集。在深度学习中,数据并行和模型并行各自有其适用的场景和局限性。数据并行适用于训练样本较多而模型较小的情况,通过将数据集分割成多个子集并在不同的设备上同时训练来提高训练速度。而模型并行则适用于模型较大无法单独放入一个设备内存的情况,通过将模型切分成不同的部分分别在多个设备上进行计算。混合并行通过将这两种并行方式结合,加速计算和处理超大模型,从而在各种硬件条件下实现高效的神经网络模型训练。现主流的混合并行为 3D 混合并行,但由于他们一般都在大规模分布式深度学习训练框架中使用,如:Deepspeed 和 Colossal AI,而不是 AI 框架,因此只进行简单讨论。
用户11307734
2024/12/09
2450
炼丹知识点:模型训练里的Tricks
大规模模型训练其实就是在和计算、存储和通信玩的过程,所以我列一下跟这些相关的文章。
炼丹笔记
2022/05/23
1.5K0
炼丹知识点:模型训练里的Tricks
[源码分析] Facebook如何训练超大模型 --- (2)
我们在前文介绍过,微软 ZeRO 可以对一个万亿参数模型可以使用 8 路模型并行、64 路管道并行和 8 路数据并行在 4,096 个 NVIDIA A100 GPU 上进行扩展。
罗西的思考
2022/05/09
2K0
[源码分析] Facebook如何训练超大模型 --- (2)
AI Infra论文阅读之将流水线并行气泡几乎降到零(附基于Meagtron-LM的ZB-H1开源代码实现解读)
这篇论文对应的链接为:https://openreview.net/pdf?id=tuzTN0eIO5 ,最近被ICLR 2024接收,但不少AI Infra的同行已经发现了这个工作的价值,并且已经开源在 https://github.com/sail-sg/zero-bubble-pipeline-parallelism ,在一些AI Infra相关的地方也存在一些讨论和介绍。比如 https://www.zhihu.com/question/637480969/answer/3354692418
BBuf
2024/02/22
2.5K0
AI Infra论文阅读之将流水线并行气泡几乎降到零(附基于Meagtron-LM的ZB-H1开源代码实现解读)
LLM 学习笔记-Deepspeed-MoE 论文
论文 DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale
marsggbo
2023/12/08
1.5K0
推荐阅读
相关推荐
[源码解析] 模型并行分布式训练 Megatron (3) ---模型并行实现
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验