腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

如何找到最佳分裂点的几个想法

文章目录 1 问题定义 2 关联方法 2.1 决策树来找分裂点 2.2 有/无监督分箱（等比/等宽-卡方/决策树） 2.3 离散回归模型（比较好的一种） 2.4 shap值 1 问题定义一类问题：这个可以看成是一个有监督的寻找合理分裂点的过程，这里就抛砖引玉几种可能性决策树来找分裂点有监督分箱（卡方/决策树）离散回归模型（比较好的一种） shap值另一类问题（下次讨论）：张三是一个连锁店的老板 2 关联方法 2.1 决策树来找分裂点盗图来看一下：非常fancy的可视化决策树dtree_viz 这个是比较传统的决策树分裂的图，可以从其中看到重要特征的分裂点：当然还有可视化效果更好的就是无监督分箱那就非常简单了，等比/等宽进行处理单次打开时长后，在每个分区计算用户活跃度的差异，来找到比较比较好的分裂点。依图可以这么划分: 单次打开时长,[0,5.5]，占所有样本的35%，在这里面都是label = 2的样本；单次打开时长[7.1,+ )，占所有样本的8%，这里面 y label的平均值为1.64 这里最佳的分裂点其实是可以

2021-12-07

6330

标签:

分库分表最佳实践

稍有不同的时候需要设计物理分库的数量和物理分表的数量。后面重点首先是介绍这个分库分表的设计，然后是业务SQL如何写最佳。分库分表设计分库分表设计首先要根据业务选择合适的拆分维度以及拆分策略。这里重点说的分多少个库和分多少个表的选择考虑。为什么要拆分？技术上DRDS也支持不做分库分表拆分这种用法，不过这个中间层就显得多余了。分表是存在于分库中，分库在分实例里，多个实例组成了全部的业务数据。 DRDS的内部案例里分表数最多到4096。所以分多少个表此时还没有结论。先往后看。分多少个实例合适？参考阿里云, 分布式数据库DRDS 最佳实践，https://help.aliyun.com/document_detail/51308.html 梦实, 分布式数据库——从线性扩展谈分布式JOIN，

2019-06-19

6K0

标签:

云数据库 SQL Server

TDSQL MySQL 版

构建AI智能体：决策树的核心机制（二）：抽丝剥茧简化专业术语推理最佳分裂点

二、决策树最佳分裂点探索1. 什么是决策树的最佳分裂点决策树的最佳分裂点是指在构建决策树时，算法选择的那个能够最有效区分不同类别的特征值阈值。最佳分裂点的核心原理决策树通过最小化不纯度来找到最佳分类点。最佳分裂点是算法为了实现纯度最大化这个目标，在经过穷举搜索和数学计算后，所选择的必然手段和最优路径。最佳分裂点的探索流程3.1 流程图决策树使用穷举搜索结合不纯度最小化的原则来找到最佳分裂点。验证最佳分裂点的效果print("步骤7: 验证最佳分裂点的效果")left_labels = y_subset[X_subset <= best_threshold]right_labels = y_subset

2025-11-28

3951

标签:

XGBoost 源码阅读笔记 ( 1 ) ：代码逻辑结构

Boost 方式树是串行生成的，所以其在寻找树分裂点时候进行并行计算，加快模型训练速度。在寻找分裂点时候论文中也提到多种方式： 1、基本枚举贪婪搜索算法。该方式将特征按其值排序之后，枚举每个特征值作为其分裂点并计算该分裂点的增益，然后选择最大增益的分裂点 2、近似贪婪搜索算法。该方式在寻找分裂点前会将所有的特征按其对应值进行排序后选择其百分位的点作为候选集合，在执行基本穷举贪婪搜索法。 3、加权分位数法(weighted quantile sketch)。 4、稀疏分裂点查找。可以加快模型对稀疏数据处理。其与 GBDT 不同之一在于其对目标函数进行二阶泰勒展开，使用了二阶导数加快了模型收敛速度。 Class ColMaker 使用的是基本枚举贪婪搜索算法，通过枚举所有的特征来寻找最佳分裂点；Class SkMaker 派生自 BaseMaker，使用近似的 sketch 方法寻找最佳分裂点；Class

2017-08-11

7K2

标签:

【推荐收藏】带你读一遍 XGBoost论文（上）

在增加二阶梯度有更高的精度； XGB的节点划分策略带有进行预排序，利用样本在损失函数上面的二阶梯度作为权值； XGB对稀疏的特征划分方式；在处理特征的粒度上进行多线程的优化；使用近似算法替代每个样本逐个判断最佳分裂点的 Column Subsampling：这种技术出现在RF中，这种做法不仅可以防止过拟合，还能提升一部分训练效率。 ? 4.2 Approximate Algorithm 顾名思义，近似算法就是可能效果或者原理和Exact Greedy Algorithm差不多的算法，它的原理是根据特征分布的百分位数进行采样，选择待分裂点，然后，该算法将连续特征映射到由这些候选点分割的桶中，汇总统计信息并根据汇总的信息找到最佳解决方案，这里选择分裂点的方式有global和local： global：在树构建的初始状态阶段选出所有候选分裂点，后面每层都使用相同的策略选择分裂点。

2019-07-08

2.4K0

标签:

【推荐收藏】带你撸一遍 XGBoost论文

在增加二阶梯度有更高的精度； XGB的节点划分策略带有进行预排序，利用样本在损失函数上面的二阶梯度作为权值； XGB对稀疏的特征划分方式；在处理特征的粒度上进行多线程的优化；使用近似算法替代每个样本逐个判断最佳分裂点的 Column Subsampling：这种技术出现在RF中，这种做法不仅可以防止过拟合，还能提升一部分训练效率。 ? 4.2 Approximate Algorithm 顾名思义，近似算法就是可能效果或者原理和Exact Greedy Algorithm差不多的算法，它的原理是根据特征分布的百分位数进行采样，选择待分裂点，然后，该算法将连续特征映射到由这些候选点分割的桶中，汇总统计信息并根据汇总的信息找到最佳解决方案，这里选择分裂点的方式有global和local： global：在树构建的初始状态阶段选出所有候选分裂点但是这有一个问题，这样做每次都要从外存上读取数据到内存，这将会是十分耗时的操作。因此我们使用预读取（prefetching）将下一块将要读取的数据预先放进内存里面。

2019-07-08

1.5K0

标签:

vr 视频解决方案

XGBoost超详细推导，终于有人讲明白了！

但是，在一个结点分裂时，可能有很多个分裂点，每个分裂点都会产生一个增益，如何才能寻找到最优的分裂点呢？接下来会讲到。 2. 寻找最佳分裂点在分裂一个结点时，我们会有很多个候选分割点，寻找最佳分割点的大致步骤如下：遍历每个结点的每个特征；对每个特征，按特征值大小将特征值排序；线性扫描，找出每个特征的最佳分裂特征值；在所有特征中找出最好的分裂点基于此，XGBoost提出了一系列加快寻找最佳分裂点的方案：特征预排序+缓存：XGBoost在训练之前，预先对每个特征按照特征值大小进行排序，然后保存为block结构，后面的迭代中会重复地使用这个结构分位点近似法：对每个特征按照特征值排序后，采用类似分位点选取的方式，仅仅选出常数个特征值作为该特征的候选分割点，在寻找该特征的最佳分割点时，从候选分割点中选出最优的一个。这涉及到一个超参数:最小样本权重和，是指如果一个叶子节点包含的样本数量太少也会放弃分裂，防止树分的太细，这也是过拟合的一种措施。每个叶子结点的样本权值和计算方式如下： ?

2019-09-25

14.1K2

标签:

图论--二分图最佳完美匹配（KM模板）

#include <iostream> #include <cstring> #include <cstdio> using namespace std; const int MAXN = 305; const int INF = 0x3f3f3f3f; int love[MAXN][MAXN]; // 记录每个妹子和每个男生的好感度 int ex_girl[MAXN]; // 每个妹子的期望值 int ex_boy[MAXN]; // 每个男生的期望值 bool vis_

风骨散人Chiam

2020-10-28

9400

差分隐私文本保护技术获最佳论文奖

技术突破：差分隐私文本保护新方法在佛罗里达人工智能研究学会年会上，某机构的研究团队展示了一种创新性的文本数据噪声校准方法，用于保护自然语言处理模型的训练数据隐私。核心技术原理差分隐私保护机制通过向训练数据添加噪声来实现隐私保护，但传统方法往往以全局平均距离作为噪声添加基准，导致在词汇密集区域添加过多噪声，而在稀疏区域保护不足。相关论文已正式发表并荣获会议最佳论文奖，研究团队正在持续优化该技术方案。

2025-09-28

2800

标签:

自然语言处理

数据安全审计

XGBoost超详细推导，终于有人讲明白了！

但是，在一个结点分裂时，可能有很多个分裂点，每个分裂点都会产生一个增益，如何才能寻找到最优的分裂点呢？接下来会讲到。 2. 寻找最佳分裂点在分裂一个结点时，我们会有很多个候选分割点，寻找最佳分割点的大致步骤如下：遍历每个结点的每个特征；对每个特征，按特征值大小将特征值排序；线性扫描，找出每个特征的最佳分裂特征值；在所有特征中找出最好的分裂点基于此，XGBoost提出了一系列加快寻找最佳分裂点的方案：特征预排序+缓存：XGBoost在训练之前，预先对每个特征按照特征值大小进行排序，然后保存为block结构，后面的迭代中会重复地使用这个结构分位点近似法：对每个特征按照特征值排序后，采用类似分位点选取的方式，仅仅选出常数个特征值作为该特征的候选分割点，在寻找该特征的最佳分割点时，从候选分割点中选出最优的一个。这涉及到一个超参数:最小样本权重和，是指如果一个叶子节点包含的样本数量太少也会放弃分裂，防止树分的太细，这也是过拟合的一种措施。每个叶子结点的样本权值和计算方式如下： ?

2019-09-25

1.6K1

标签: