前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >我为什么不用ANOVA?

我为什么不用ANOVA?

作者头像
邓飞
发布于 2019-06-13 12:27:53
发布于 2019-06-13 12:27:53
1.7K0
举报

1. 为什么不用ANOVA?

因为它局限!

ANOVA(Analysis of variance)是Fisher在1918年发明的一种方差分析方法。因为我们多数人在数理统计入门时重点学习过,所以最常使用。ANOVA有三大要求,使用前要逐一检验:

  1. 数据平衡(没有缺失值);
  2. 响应变量服从正态分布;
  3. 方差齐次(处理内不同水平的方差要相等;

编者著, 也有表示为: 独立性, 齐次性, 正态性. 独立性是指不同处理之间是独立的. 动植物育种中, 不独立可以定义关系, 比如系谱构成的A矩阵, 比如基因组构成的G矩阵, 这样可以解决不独立的问题.

一旦不满足条件需要:

  1. 填补缺失值;
  2. 转换以服从正态;
  3. 方差不齐怎么弄(就这么着吧)。

举例,下图中, 前3列是一个处理的3个水平,单独时都服从正态分布,但放在一起(第4列)就不是正态分布,方差不齐很常见,但一般线性模型中, 似乎没有合适的方法来解决。

如果方差分析的3个条件都满足,那么用ANOVA是没有问题的,得到的结果和混合线性模型的是一致的。这里我总结了ANOVA和线性模型的关系(图2)。ANOVA在最小枝,可见有多么局限。

从这张图中, 可以看到, 使用范围最广的是广义线性混合模型(GLMM), 广义线性模型(GLM)可以处理非正态数据, 混合线性模型(LMM)可以处理非齐次和非独立数据, GLM中的一般线性模型包括ANOVA.

2. 为什么要用混合线性模型?

下面说一下线性模型的相对优势,它是怎么解决ANOVA的3大局限的。线性模型一般写成这样:

是响应变量,

是固定效应,

是随机的随机效应和残差;X和Z是固定和随机效应的关联矩阵。

线性模型的条件是

服从均值为0的正态分布。看见没,没有对

有任何限制。针对ANOVA的第2条。

方差不齐怎么办?把效应

结构化。什么意思呢?比如ANOVA要求水平1和水平2的方差相等:

,如果不等的话就用一个对角矩阵

分别估计出每个水平的方差,这就是对效应

的结构化。这样就解决了ANOVA的第3条限制。

这是解决了非齐次的问题, 如果可以定义处理间的关系, 比如通过系谱A矩阵, 基因组G矩阵, 那么也可以处理非独立的情况.

3, 哪些软件能拟合线性模型?

  • SAS
  • ASREML-R
  • R: nlme
  • R: lme4

如发现问题欢迎指正!

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-04-12,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 育种数据分析之放飞自我 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
Il2cpp逆向:global-metadata解密
  关于Il2cpp的资料网上有很多,简而言之,Il2cpp就是unity用来代替原来的基于Mono虚拟机的一种新的打包方式,它先生成IL(中间语言),然后再转换成Cpp文件,提高运行效率的同时增加了安全性。原本基于Mono的打包方式极其容易被逆向,现在市面上的新游戏基本上都是用Il2cpp的方式打包的,当然Il2cpp的逆向教程也很多,但是都是千篇一律,教你用国内大佬写的Il2cppDumper去dump就完事,毫无技术含量。事实上,由于这个工具太过出名,很多游戏厂商都采取了对抗措施,导致就算你照着教程来,大多数情况下也不会成功的。因此打算学习一下Il2cpp相关的攻防技术,于是在网上找了一个Il2cpp的CTF题来练手。题目来源:n1ctf-2018
大A
2023/02/14
15.6K2
r语言中对LASSO回归,Ridge岭回归和弹性网络Elastic Net模型实现|附代码数据
Glmnet是一个通过惩罚最大似然关系拟合广义线性模型的软件包。正则化路径是针对正则化参数λ的值网格处的lasso或Elastic Net(弹性网络)惩罚值计算的 ( 点击文末“阅读原文”获取完整代码数据******** )。
拓端
2022/11/08
3.2K0
R语言使用Rasch模型分析学生答题能力|附代码数据
请注意,item1是V2而不是V1,item29是V30。要获得第一个题目V1的难易程度,只需将题目1到题目29的系数求和,然后乘以-1。
拓端
2022/12/07
5470
行业案例 | 数据分析在银行业应用之欺诈检测
在本文中我们将通过探索一个很常见的用例——欺诈检测,从而了解数据分析在银行业是如何运用的。
CDA数据分析师
2022/04/15
8920
行业案例 | 数据分析在银行业应用之欺诈检测
iOS逆向之人脸识别绕过
达到目的的手段有很多种,也许存在优劣之分,我只是选择了其中一种我认为好玩的方式。人脸识别校验状态存储在服务端,因此即使通过该种方法绕过客户端人脸识别,由于并未获得合法session,因此无任何危害,仅做为IOS逆向学习思路。
FB客服
2020/06/16
2.3K0
[CTF]攻防世界Simple-check-100题解(GDB)
注:本博文记录压缩包中ELF文件flag的获取过程,exe文件flag是乱码,具体过程就不给大家演示了。着重分享GDB的内容。
李鹏华
2024/03/12
2360
[CTF]攻防世界Simple-check-100题解(GDB)
B.机器学习实战系列[一]:工业蒸汽量预测(最新版本上篇)含数据探索特征工程等
火力发电的基本原理是:燃料在燃烧时加热水生成蒸汽,蒸汽压力推动汽轮机旋转,然后汽轮机带动发电机旋转,产生电能。在这一系列的能量转化中,影响发电效率的核心是锅炉的燃烧效率,即燃料燃烧加热水产生高温高压蒸汽。锅炉的燃烧效率的影响因素很多,包括锅炉的可调参数,如燃烧给量,一二次风,引风,返料风,给水水量;以及锅炉的工况,比如锅炉床温、床压,炉膛温度、压力,过热器的温度等。
汀丶人工智能
2023/03/28
6770
B.机器学习实战系列[一]:工业蒸汽量预测(最新版本上篇)含数据探索特征工程等
【攻防世界】REVERSE高手进阶区
然后我们查看一波他的字符串,发现了个fake的flag(一眼丁真),咱们就从这fake入手去分析
YanXia
2023/04/07
6420
【攻防世界】REVERSE高手进阶区
R语言使用Rasch模型分析学生答题能力
几个月以来,我一直对序数回归与项目响应理论(IRT)之间的关系感兴趣。 在这篇文章中,我重点介绍Rasch分析。
拓端
2020/08/14
1.2K0
机器学习——信用卡反欺诈案例
导入类库 1 import numpy as np 2 import pandas as pd 3 from pandas import Series, DataFrame 4 import matplotlib.pyplot as plt 5 from sklearn.preprocessing import StandardScaler 6 from imblearn.over_sampling import SMOTE 7 from sklearn.ensemble import Gra
py3study
2020/01/19
1.3K0
机器学习入门数据集--6.信用卡诈骗预测
欧洲的信用卡持卡人在2013年9月2天时间里的284807笔交易数据,其中有492笔交易是欺诈交易,占比0.172%。数据采用PCA变换映射为V1,V2,...,V28 数值型属性,只有交易时间和金额这两个变量没有经过PCA变换。输出变量为二值变量,1为正常,0为欺诈交易。
birdskyws
2019/03/04
1.6K0
机器学习入门数据集--6.信用卡诈骗预测
(数据科学学习手札24)逻辑回归分类器原理详解&Python与R实现
一、简介   逻辑回归(Logistic Regression),与它的名字恰恰相反,它是一个分类器而非回归方法,在一些文献里它也被称为logit回归、最大熵分类器(MaxEnt)、对数线性分类器等
Feffery
2018/04/17
1.5K0
(数据科学学习手札24)逻辑回归分类器原理详解&Python与R实现
PhpStudy 后门分析
2019/09/20,一则杭州警方通报打击涉网违法犯罪专项行动战果的新闻出现在我的朋友圈,其中通报了警方发现PhpStudy软件被种入后门后进行的侦查和逮捕了犯罪嫌疑人的事情。用PhpStudy的Web狗还挺多的,曾经我还是Web狗的时候也用过几天,不过因为不习惯就卸了。还记得当初会用PhpStudy的原因是在网上自学一些Web方向的课程时,那些课程中就是使用PhpStudy。在拿到样本后,我就对PhpStudy中的后门进行了一波逆向分析。
知道创宇云安全
2019/09/29
2K0
PhpStudy 后门分析
【愚公系列】2021年12月 攻防世界-简单题-MOBILE-010(easy-dex)
APK解包后是没有dex文件的,运行代码使用了NativeActivity的方法封装到了libnative.so 这个文件中。APK实际包含了2个APP,这2个APP的包名一致。一个存放在libnative.so文件中,另一个是解压后的dex文件。APK安装后,的功能是摇晃收集达到一定次数(10秒100次,肯定做不到)然后解压一个dex文件到特定的目录下。flag在通过分析释放出来dex文件得出。
愚公搬代码
2021/12/24
3140
【愚公系列】2021年12月 攻防世界-简单题-MOBILE-010(easy-dex)
【愚公系列】2023年04月 攻防世界-MOBILE(boomshakalaka-3)
Objection是一款移动设备运行时漏洞利用工具,该工具由Frida驱动,可以帮助研究人员访问移动端应用程序,并在无需越狱或root操作的情况下对移动端应用程序的安全进行评估检查。
愚公搬代码
2023/04/28
7250
【愚公系列】2023年04月 攻防世界-MOBILE(boomshakalaka-3)
HITCON2022--ctf驱动逆向题
挺有意思的一道题,这里的关键函数是使用的动态生成执行操作,按照特定参数序列进行解密才能正常执行,否则一定会报错异常
极安御信安全研究院
2022/12/28
7660
HITCON2022--ctf驱动逆向题
漏洞分析丨cve-2012-0003
这次漏洞属于堆溢出漏洞,他是MIDI文件中存在的堆溢出漏洞。在IE6,IE7,IE8中都存在这个漏洞。而这个漏洞是Winmm.dll中产生的。
极安御信安全研究院
2023/03/09
3140
漏洞分析丨cve-2012-0003
一文读懂Python复杂网络分析库networkx | CSDN博文精选
networkx是一个用Python语言开发的图论与复杂网络建模工具,内置了常用的图与复杂网络分析算法,可以方便的进行复杂网络数据分析、仿真建模等工作。
AI科技大本营
2019/10/21
29.7K0
一文读懂Python复杂网络分析库networkx | CSDN博文精选
预后建模绕不开的lasso cox回归
回归我们并不陌生,线性回归和最小二乘法,逻辑回归和最大似然法,这些都是我们耳熟能详的事物,在生物信息学中的应用也比较广泛, 回归中经常出现两类问题,欠拟合和过拟合。
生信修炼手册
2022/06/09
3.5K0
预后建模绕不开的lasso cox回归
反逆向分析
OLLVM(Obfuscator-LLVM)是瑞士西北应用科技大学安全实验室于2010年6月份发起的一个项目,该项目旨在提供一套开源的针对LLVM的代码混淆工具,以增加逆向工程的难度, 只不过Ollvm仅更新到llvm的4.0,2017年开始就没再更新。
i0gan
2021/06/26
2.2K0
推荐阅读
相关推荐
Il2cpp逆向:global-metadata解密
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档