使用AIF360计算组公平性指标 - 腾讯云开发者社区

文章/答案/技术大牛

发布

机器学习公平性研究，走在正确的道路上吗？

那么如何评估一个机器学习系统的公平性程度呢？目前普遍的方法就是，拿着待评估的系统在一些静态（特别强调）的数据集上跑，然后看误差指标。...事实上，现在有许多测试机器学习公平性的工具包，例如AIF360、Fairlearn、Fairness-Indicators、Fairness-Comparison等。...近日，来自谷歌的数位研究人员针对这一问题，在近期于西班牙举办的ACM FAT 2020会议（关于计算机技术公平性的国际会议）上发表了一篇论文，并基于这篇论文的研究开发了一组模拟组件ML-fairness-gym...二、静态数据集分析的不足之处在机器学习领域中，评估借贷等场景的影响的标准方法就是将一部分数据作为“测试集”，并使用这个测试集来计算相关的性能指标。...然后，通过观察这些性能指标在显著组之间的差异，来评估公平性。

8301 0

使用Torchmetrics快速进行验证指标的计算

，在一个批次前向传递完成后将目标值Y和预测值Y_PRED传递给torchmetrics的度量对象，度量对象会计算批次指标并保存它(在其内部被称为state)。...如果不需要在当前批处理上计算出的度量结果，则优先使用这个方法，因为他不计算最终结果速度会很快。 metric.compute（） - 返回在所有批次上计算的最终结果。...Resetting internal state such that metric is ready for new data metric.reset() MetricCollection 在上面的示例中，使用了单个指标进行计算...，但是使用字典会更加清晰。...self): # final computation return self.correct / self.total 总结就是这样，Torchmetrics为我们指标计算提供了非常简单快速的处理方式

1.6K1 0

您找到你想要的搜索结果了吗？

是的

没有找到

AI伦理与公平性：算法偏见的识别与缓解措施

一、算法偏见的成因算法偏见主要源自以下几个方面：数据偏差：AI模型的性能和决策很大程度上取决于所使用的训练数据。...# 可视化SHAP值，观察特征重要性和影响方向 shap.summary_plot(shap_values, X_test, feature_names=feature_names) 公平性指标评估...：计算一系列公平性指标（如 demographic parity、equalized odds、predictive parity等），量化模型在不同群体间的性能差异。...例如，使用AIF360库评估模型的平等机会（equal opportunity）： from aif360.metrics import BinaryLabelDatasetMetric from...算法与模型选择：选择抗偏见的模型：考虑使用公平性约束的机器学习算法（如公平性感知的梯度提升、神经网络等）。优化目标调整：采用多目标优化，兼顾准确性与公平性，如最大化最小组间性能差距。

7.5K1 1

使用Redis Bitmap简单快速实时计算指标

传统上，度量指标一般由批处理作业执行（每小时运行，每天运行等）。Redis 中的 Bitmap 可以允许我们实时计算指标，并且非常节省空间。...为了计算每日指标，只要用户播放歌曲，我们就会在 play：yyyy-mm-dd 键中将用户对应的 bit 设置为1。...要计算每周或每月度量指标，我们可以简单地计算一周或一个月中所有每日 Bitmap 的并集，然后计算结果 Bitmap 的总体基数。 ? 你还可以非常轻松地提取更复杂的指标。...使用1.28亿用户进行性能比较下表显示了针对1.28亿用户在1天，7天和30天计算的比较。...通过组合每日 Bitmap 计算7日和30日指标：周期耗时 (MS) 每日 50.2 每周 392.0 每月 1624.8 6.

2.3K3 0

Power BI解决多指标批量展示问题：字段参数、计算组以及手工表

通过计算组，100个指标的排名仅需要一行排名公式实现，计算组不指定具体是哪个指标排名，当你需要排名的时候，排名出现。...计算组在Power BI体现为一个表（下图左侧），字段参数也体现为一个表（下图右侧），但是二者机理不同、作用不同。把字段参数和计算组结合，既解决了多指标的显示问题，又解决了多指标的同类计算问题。...本文示例中，矩阵的行为维度，列为计算组，值为字段参数。计算组此处分别展示具体的值和排名。如此操作，既显示了一级指标，又显示了比较指标。随后你遇到一个新的问题：信息密度低。...也不是，我们可以回归最原始的方式，忘记字段参数，忘记计算组，新建一个包含所有指标名称的手工表：如下度量值为手工表的多指标排名：条件格式图标调用该排名：与之需要配套的是，值也需要使用手工表方式切换...综上，在当前的软件条件下，多指标的展示情景中，我建议使用字段参数进行一级指标切换，显示复杂的二级指标使用计算组与字段参数结合，排名这样的简约二级指标使用条件格式图标和字段参数结合。

3.6K5 1

使用Torchmetrics快速进行验证指标的计算（附代码）

来源：DeepHub IMBA 本文约1200字，建议阅读5分钟 Torchmetrics为我们指标计算提供了非常简单快速的处理方式。...，在一个批次前向传递完成后将目标值Y和预测值Y_PRED传递给torchmetrics的度量对象，度量对象会计算批次指标并保存它(在其内部被称为state)。...如果不需要在当前批处理上计算出的度量结果，则优先使用这个方法，因为他不计算最终结果速度会很快。 metric.compute（） - 返回在所有批次上计算的最终结果。...val_acc}") # Resetting internal state such that metric is ready for new data MetricCollection 在上面的示例中，使用了单个指标进行计算...，但是使用字典会更加清晰。

1.2K2 0

技术解码丨Webtrc中RTCP使用及相关指标计算

在 Webrtc 中，通过 RTCP 我们可以实现发送数据/接收数据的反馈，传输控制如丢包重传、关键帧请求，⽹络指标 RTT、丢包率、抖动的计算及反馈，拥塞控制相关的带宽反馈，以及⽤户体验相关的⾳视频同步等等...RTCP 的头部是定⻓的，⽽且在头部有⼀个字段来描述这个 RTCP 数据的⻓度，因此 RTCP 可以被复合成⼀组⼀同发送。 SR: Sender Report RTCP Packet ?...与 SR 相对应，RR 也叫接收者报告，RR 中定义了更多的指标信息，即反应了收包状态，⼜反应了⽹络状态，因此我们有必要了解这些指标都是怎么计算的，来保证反馈的准确性。...RFC3550中定义了相关计算公式。 ? ? DelaySinceLastSR 除了丢包、抖动以外，⽹络中我们最常关注的⼀个指标就是 RTT，常⻅的操作是通过ping命令查看⽹络中的往返延迟。...Chrome 指标查看了解了指标的计算，如何确认指标计算是否正常，反馈是否准确，对于开发者同样重要。

3K4 0

热点 | 近期Github机器学习开源项目...

你可以在以下几种场景使用该框架：在几小时内建立可投入使用的机器学习应用，无需几个月的时间轻松创建机器学习模型，即使你不是机器学习专业的 Ph.D 建立模块化的、可重复利用的机器学习工作流 ?...utm_source=mybridge&utm_medium=blog&utm_campaign=read_more ▌No.4 AIF360：用于检测并去除机器学习模型偏差的开源库这个 AI Fairness...360 Python 库包含一整套用于测量偏差的数据集和模型的指标，全部指标的解释，以及减小偏差的算法。...由于 AIF360 具备一整套功能，所以在面对一个用例时，很可能难以抉择该使用什么指标或算法，为了解决这个问题，开发者为我们提供了可用于参考的使用指南。 ?...项目链接： https://github.com/IBM/AIF360?

8512 0

PowerBI: 使用计算组功能计算不同度量值的同比、环比

文章背景：在进行商业数据分析时，经常需要给不同的度量值（如销售额、销量等）计算同比、环比、YTD（年初至今）等指标，如果给每个指标都写一个以上的时间智能函数，那么会写很多重复的度量值，这些度量值的唯一不同就在于引用的基础度量值...而计算组功能就可以做到这一点。...（10）回到PowerBI desktop界面，对所创建的计算组进行数据刷新。（11）计算组已经创建完毕。...而计算组按照事先定义的两个计算逻辑（环比和同比）进行了计算。...参考资料： [1] Power BI计算组应用(https://www.jianshu.com/p/0f309922c469) [2] PowerBI DAX 计算组基础篇 [3] [通过计算组动态切换指标格式

5.1K2 2

Ubuntu使用教程-更改Samba工作组和计算机名

这是我们前几天收到的问题；如何更改Samba的工作组名和Ubuntu的计算机名称？对于大多数Ubuntu用户，改变他们的计算机名称是极少发生的事情，更别说samba工作组了。...一些进阶使用者可能要学习如何用Ubuntu很简单的做到这一点。当涉及到在Ubuntu中更改计算机名时，我们曾写过一个简单的帖子，可以点击这里找到。...按照这个怎样修改你的计算机名字的简易指南来实现目的。也许还有其他方法来改变你在Ubuntu中的计算机名，但是这是最简单和最快的。...对于那些使用Ubuntu系统的服务器，你可以用vi或vim编辑的主机名和主机文件。那些不了解这些编辑器的人也许很难使用vi或vim。...例如，如果你希望工作组变成UBGP，将WORKGROUP替换成UBGP，并保存该文件。在大多数情况下，你必须重启动计算机以使之生效。以上就是如何在Ubuntu中更改你的计算机名以及工作组的方法。

1.2K1 0

9月机器学习开源项目Top10

你可以在以下几种场景使用该框架：在几小时内建立可投入使用的机器学习应用，无需几个月的时间轻松创建机器学习模型，即使你不是机器学习专业的 Ph.D 建立模块化的、可重复利用的机器学习工作流 ?...utm_source=mybridge&utm_medium=blog&utm_campaign=read_more ▌No.8 AIF360：用于检测并去除机器学习模型偏差的开源库这个 AI Fairness...360 Python 库包含一整套用于测量偏差的数据集和模型的指标，全部指标的解释，以及减小偏差的算法。...由于 AIF360 具备一整套功能，所以在面对一个用例时，很可能难以抉择该使用什么指标或算法，为了解决这个问题，开发者为我们提供了可用于参考的使用指南。 ?...项目链接： https://github.com/IBM/AIF360?

5974 0

系统拆解LLM的核心技术栈，助您掌握从模型选型到部署优化的全流程

这源于自然界的涌现规律——单一组件简单，但整体规模达阈值时，诞生全新属性。工程师需利用规模法则（Scaling Laws），它描述性能随资源增长的幂律关系，指导资源配置（如优先扩大数据集）。...LLM与基础模型常互换使用，但前者强调参数量级（十亿至万亿级），后者侧重通用性。二、模型架构：工程效率的引擎模型架构决定了LLM的性能上限和计算效率。...例如，DeepSeek-V2使用MoE实现万亿参数规模，而计算成本仅等效于百亿级稠密模型。工程中，MoE适合高并发场景（如实时翻译），但需优化专家负载均衡。...高质量预训练（如LLaMA-2使用2T tokens）奠定基础能力，耗时数周至数月，需分布式计算优化。微调是应用落地的桥梁，用少量任务数据（如医疗问答对）调整预训练模型。...缓解方案包括数据脱敏、公平性约束（如AIF360工具包）。对齐（Alignment）确保模型行为符合人类期望，RLHF和红队测试（Red Teaming）是关键手段。

1.5K2 2

牛津研究如何影响AI公平性检测技术

机器学习模型公平性检测的重要突破某中心AWS SageMaker Clarify中的条件人口差异（CDD）指标源自牛津大学互联网研究所（OII）的研究成果。...该指标通过加权计算不同人口亚组的统计差异，帮助开发者检测数据和机器学习模型中的潜在偏差。...该指标定义为"每个亚组人口差异的加权平均值，权重根据各亚组观测值数量比例确定"。技术实现与法律框架的融合研究团队发现，技术领域常用的公平性标准与法律伦理机构的理解存在显著脱节。...CDD成为少数能在法律公平理念与技术实现之间建立桥梁的指标："法律体系中对公平性有特定理想标准，而CDD正是计算机科学领域中与之对应的衡量方法"某中心学者Sanjiv Das在开发Clarify时发现该研究的价值...我们将讨论重点转向在衡量公平性时应该选择哪些正确的特征或变量进行条件限制"该指标现已集成到SageMaker Clarify中，帮助开发者在日常实践中检测算法偏差。

1391 0

使用CRC20算法对IP五元组hash键值计算

本文主要对IP五元组的key值计算进行说明通过对IP五元组计算得出一个int类型的值。...，存储数据2 crc算法介绍crc算法是用来校验使用，可以自行查看crc算法的一些介绍，目前利用此算法进行hash也不少，本方法提出crc20算法来进行hash计算,crc的生成多项式有下：名称生成多项式简记式...+x^8+x^6+11EDC6F413 利用CRC20多项式来计算五元组hash利用CRC20多项式来计算五元组（源IP 源端口目的IP 目的端口协议）的hash，取得计算得来的值的后20位作为key...值：1 假设五元组结构如下：typedef struct pkt_info { unsigned int srcip; unsigned short sport; unsigned...1; if(hi) sum_poly = sum_poly^POLY; } return sum_poly;}void create_crc_table(void) //在使用

9391 0

UCI 信用卡数据集的二元分类分析

公平性的许多方面（例如公正和正当程序）没有通过量化的公平性指标进行捕获。另外，许多量化的公平性指标无法同时得到满足。 Fairlearn 开源包的目标是使人类能够评估不同的影响和缓解策略。...它还支持使用公平性和性能指标对多个模型进行比较。缓解算法：一组用于在二元分类和回归中缓解不公平性的算法。...Fairlearn 开源包支持两类差异指标：模型性能差异：这些指标集计算所选性能指标的值在不同子群体之间的差异。...4.减少机器学习模型中的不公平性 Fairlearn 开源包包括了各种不公平性缓解算法。这些算法支持对预测器行为的一组约束（称为奇偶校验约束或条件）。...计算几个性能和差异指标：从上到下依次为：总体选择率、人口统计学上的均等差异、人口统计学上的奇偶比、总体平衡错误率、平衡误差率差、均衡赔率差、总体AUC、AUC差异作为总体性能指标，我们使用

2.6K2 0

“别让模型坑了人”：数据科学中的那些伦理雷区

数据前先“扫雷”在建模前，先做公平性测试（Fairness Check）：from sklearn.metrics import confusion_matrix# 拿不同群体（如男女）的模型表现做对比...尽量避免使用“ proxy ”特征例如：你不能用“车辆品牌”来决定贷款，虽然它没写“收入”，但其实能推测出“经济能力”。✅ 3....引入公平性算法比如用 AIF360 或 Fairlearn 来主动平衡模型结果：from fairlearn.reductions import ExponentiatedGradient, DemographicParityfrom...五、结语：技术无罪，责任在于“造轮子”的人大数据和 AI 并不坏，问题在于我们如何使用它。正如刀可以救人也能伤人，模型能赋能也能坑爹。技术本身没有价值观，价值观在于你我程序员的选择。

2200 0

Nat. Health | 用AI精准匹配医生与临床试验，提升临床研究效率

该模型同时整合医疗索赔数据、临床试验文本信息以及历史入组关系数据，从而在保证匹配准确性的同时兼顾公平性和运营效率。...最后，将语义特征与结构特征结合计算匹配得分，并通过遗传算法对推荐结果进行多目标优化，使结果在准确性、公平性和试验竞争程度之间取得平衡。...模型性能通过匹配相似度、公平性熵值以及成本预测准确度等指标进行评估。新临床试验上的匹配性能在模拟真实场景的时间划分实验中，测试集包含训练阶段从未见过的新试验和部分新医生。...与只使用文本信息或只使用历史关系的模型相比，完整模型表现更好，说明语义信息和结构信息的结合对于推荐至关重要。公平性与试验竞争控制临床试验推荐不仅需要准确，还需要保证不同地区、族群和人群的公平参与。...结果显示，在不降低匹配准确性的情况下，优化后的模型显著提高了公平性指标。同时，每位医生被分配到的同时进行中的试验数量明显减少，接近于零，从而降低实际操作中的冲突，提高试验执行效率。

901 0

AI公平性合作项目：定义、挑战与公私合作优势

NSF计算机与信息科学与工程部副主任Erwin Gianchandani抽出时间回答了关于该计划的三个问题。1. AI公平性面临哪些挑战？主要有四个方面：首先，是试图理解公平性的真正含义。...如果思考公平性的数学定义，可以观察两种不同的人群类型，并考察当对每个人群运行算法或分类器时的某些统计指标（例如成功率）。一种公平性观念是试图确保该指标在两种人群类型中保持一致。...换言之，这是试图向最终用户展示系统用于得出某个推荐的所有数据，使用户对该推荐拥有一定程度的信心。第三个我们思考的挑战领域是，将公平性问题反过来看：如何利用AI来改善社会的公平与公正？...第一个挑战是制定公平性的定义。我们在这个领域资助的一个项目，旨在为当前难以精确界定公平性指标的场景，开发一个稳健的理论和方法论来评估和确保公平性。...可以为某个任务或领域指定特定的公平性指标，也可以观察一组特定的输入-输出组合，并尝试将公平性特征与之关联。以一个具体用例为例，比如某人是否有经济能力开设银行账户。

1281 0

3.11 PowerBI报告可视化-矩阵：使用计算组改变列小计的计算逻辑及条件格式设置

解决方案虽然可以使用辅助表双层表头和SWITCH度量值（根据表头返回结果）的方案，但是度量值相对复杂。...推荐使用计算组，把汇总列放在列小计上，相对简单还可以复用给别的度量值，而且支持给小计列设置不同的条件格式。举例按上图做一个矩阵，小计列带不同的条件格式。...模型度量值销量 = SUM(Sheet2[销量])操作步骤 STEP 1点击左侧边栏的模型视图，在菜单栏主页下点击计算组，新建计算组，此时可以在数据窗格的模型下可以看到计算组，命名为Dim_YTD，列命名为...SAMEPERIODLASTYEAR(DIM_DATE[DATE]) ) RETURN DIVIDE(_vm_YTD-_vm_YTD_LY,_vm_YTD_LY), BLANK())STEP 2 选中计算组...STEP 4 在画布中添加矩阵视觉对象并拖入字段，把省份放入行，把计算组的YTD字段和年月字段放入列，把销量度量值放入值，双击列中的YTD，重命名为“.”

1.6K1 0

FairSeg10k2024——SLO眼底视杯视盘分割

一、FairSeg10k2024介绍随着人工智能在医学图像诊断中的使用不断增长，确保这些深度学习模型的公平性并深入研究复杂的现实场景中可能出现的隐藏偏差至关重要。...这一挑战促使人们付出巨大努力来调查偏见、维护公平性并在机器学习和计算机视觉领域推出新的数据集。...通过在每个身份组中使用错误上限来明确解决困难情况可能有助于减少模型性能不平等。...为了便于比较不同公平学习模型，提出了公平衡量的绩效指标。更具体地，例如，ES-Dice被计算为总体Dice系数除以总体Dice系数与组Dice系数之间的相对差异之和。...与现有的公平性指标（例如人口统计奇偶差异 (DPD) 和均衡赔率差异 (DEOdds)）相比，这种按权益衡量的细分性能指标提供了更直接的评估，并且更容易被临床医生解释。

5321 0

点击加载更多

机器学习公平性研究，走在正确的道路上吗？

使用Torchmetrics快速进行验证指标的计算

AI伦理与公平性：算法偏见的识别与缓解措施

使用Redis Bitmap简单快速实时计算指标

Power BI解决多指标批量展示问题：字段参数、计算组以及手工表

使用Torchmetrics快速进行验证指标的计算（附代码）

技术解码丨Webtrc中RTCP使用及相关指标计算

热点 | 近期Github机器学习开源项目...

PowerBI: 使用计算组功能计算不同度量值的同比、环比

Ubuntu使用教程-更改Samba工作组和计算机名

9月机器学习开源项目Top10

系统拆解LLM的核心技术栈，助您掌握从模型选型到部署优化的全流程

牛津研究如何影响AI公平性检测技术

使用CRC20算法对IP五元组hash键值计算

UCI 信用卡数据集的二元分类分析

“别让模型坑了人”：数据科学中的那些伦理雷区

Nat. Health | 用AI精准匹配医生与临床试验，提升临床研究效率

AI公平性合作项目：定义、挑战与公私合作优势

3.11 PowerBI报告可视化-矩阵：使用计算组改变列小计的计算逻辑及条件格式设置

FairSeg10k2024——SLO眼底视杯视盘分割

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐