大数据的统计学基础 - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

【2023新书】数据科学基础统计学

来源：专知本文为书籍介绍，建议阅读5分钟本书介绍了读者的基本概率和随机变量，并引导他们在频率论和贝叶斯在几周内相对先进的主题。...ean=9780192867742 数据科学的基本统计学知识:简明速成课程是为那些在没有足够了解统计学知识的情况下进入数据科学专业研究生课程或高等本科教学的学生准备的。...三部分的文本介绍了读者的基本概率和随机变量，并引导他们在频率论和贝叶斯在几周内相对先进的主题。第一部分讨论概率，用概率模型描述数据的生成过程，用统计方法分析数据。...第二部分，统计分析，说明了数据中的未知量即参数在统计干扰中的应用。第三部分，面对不确定性，解释了明确性的重要性，它描述了有多少不确定性是由具有内在科学意义的参数引起的，以及在做决策时如何考虑到它。...数据科学的基本统计:简明速成课程为初学者提供了深入的介绍，同时比典型的本科文本更集中，但仍然比平均研究生文本更轻、更容易理解。

1771 0

统计学常用的数据分析方法大总结！

描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。集中趋势分析集中趋势分析主要靠平均数、中数、众数等统计指标来表示数据的集中趋势。例如被试的平均成绩多少？是正偏分布还是负偏分布？...例如，我们想知道两个教学班的语文成绩中，哪个班级内的成绩分布更分散，就可以用两个班级的四分差或百分点来比较。相关分析相关分析探讨数据之间是否具有统计学上的关联性。...这种关系既包括两个数据之间的单一相关关系——如年龄与个人领域空间之间的关系，也包括多个数据之间的多重相关关系——如年龄、抑郁症发生率、个人领域空间之间的关系；既包括A大B就大(小)，A小B就小(大)的直线相关关系...推论统计推论统计是统计学乃至于心理统计学中较为年轻的一部分内容。它以统计结果为依据，来证明或推翻某个命题。...它是由美国社会心理学家李克特于1932年在原有的总加量表基础上改进而成的。

18.6K6 3

您找到你想要的搜索结果了吗？

是的

没有找到

基础知识：统计学和数据挖掘的区别

统计学有着正统的理论基础（尤其是经过本世纪的发展），而现在又出现了一个新的学科，有新的主人，而且声称要解决统计学家们以前认为是他们领域的问题。这必然会引起关注。...这个保守的观点源于统计学是数学的分支这样一个看法，我是不同意这个观点的。尽管统计学确实以数学为基础（正如物理和工程也以数学为基础，但没有被认为是数学的分支），但它同其它学科还有紧密的联系。...关于信用卡业务的回归模型可能会把收入作为一个独立的变量，因为一般认为高收入会导致大的业务。这可能是一个理论模型（尽管基于一个不牢靠的理论）。...数据挖掘的性质由于统计学基础的建立在计算机的发明和发展之前，所以常用的统计学工具包含很多可以手工实现的方法。因此，对于很多统计学家来说，1000个数据就已经是很大的了。...一个数据分析者，无论他多聪明，也不可能从垃圾中发现宝石。对于大的数据集，尤其是要发现精细的小型或偏离常规的模型的时候，这个问题尤其突出。

1.7K5 0

统计学基础（二）

1，中心极限定理，大数定律：大数定律就以严格的数学形式表现了随机现象的一个性质，平稳结果的稳定性（或者说频率的稳定性）；大数定律从理论上解决：用频率近似代替概率的问题，用样本均值近似代替理论均值...中心极限定理：当样本量N逐渐趋于无穷大时，N个抽样样本的均值的频数逐渐趋于正态分布，其对原总体的分布不做任何要求，意味着无论总体是什么分布，其抽样样本的均值的频数的分布都随着抽样数的增多而趋于正态分布。...2，置信区间：定义：置信区间是指由样本统计量所构造的总体参数的估计区间。在统计学中，一个概率样本的置信区间（Confidence interval）是对这个样本的某个总体参数的区间估计。...置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度，其给出的是被测量参数的测量值的可信程度，即前面所要求的“一个概率”。...置信区间是指由样本统计量所构造的总体参数的估计区间，展现的是这个参数的真实值落在测量值（推测值）的周围的可信程度。

6562 0

统计学基础：Python数据分析中的重要概念

统计学是一门研究数据收集、分析和解释的学科，它在数据分析中起着重要的作用。Python作为一种功能强大的编程语言，在数据分析领域拥有广泛的应用。...本文将介绍Python数据分析中的重要统计学概念，帮助您更好地理解和应用统计学知识。图片1. 数据类型1.1 数值型数据数值型数据是指表示数值或大小的数据类型，包括整数、浮点数和复数等。...在Python中，可以使用datetime库来处理时间型数据，例如进行时间序列分析和日期计算。2. 描述统计描述统计是对数据集进行总结和描述的统计学方法。...结论通过本文的介绍，您了解了Python数据分析中的重要统计学概念，包括数据类型、描述统计、概率分布和假设检验。这些概念为您在数据分析过程中提供了基础理论和方法。...当然，除了本文介绍的内容，统计学还包括更多的知识和技术，需要您持续学习和实践。在实际应用中，请根据您的具体需求和数据特点选择适合的统计学方法和工具。同时，合理地解释和解读统计结果也是很重要的。

5723 1

统计学基础回顾

统计学基础回顾 ---- 1.1 先验概率与后验概率先验概率: 根据以往经验和分析得到的概率,如全概率公式,它往往作为”由因求果” 问题中的”因”出现。...后验概率: 依据得到”结果”信息所计算出的最有可能是那种事件发生,如贝叶斯公式中的,是”执果寻因”问题中的”因”。后验概率可以根据通过贝叶斯公式,用先验概率和似然函数计算出来。...最大似然估计是建立在这样的思想上:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其他小概率的样本,所以干脆就把这个参数作为估计的真实值。...,xn为该总体采用得到的样本。因为x1,x2,......举例:抛硬币统计学基础回顾要点总结要点1 贝叶斯定理与应用要点2 MLE的步骤与使用原文：https://iosdevlog.gitbooks.io/aidevlog/ML/DecisionTreeAndClassification.html

4576 0

统计学基础（三）

1，假设检验的定义：假设检验也叫显著性检验，是以小概率反证法的逻辑推理，判断假设是否成立的统计方法，它首先假设样本对应的总体参数（或分布）与某个已知总体参数（或分布）相同，然后根据统计量的分布规律来分析样本数据...，利用样本信息判断是否支持这种假设，并对检验假设做出取舍抉择，做出的结论是概率性的，不是绝对的肯定或否定。...这就是假设检验： 1），提出假设：说你的硬币是公平的 2），提出要检验你的假设：扔十次，看实验的结果是不是和你的假设相符 2，显著水平： ?...3，P_value: 比如，上面的扔硬币的例子，如果取单侧P值，那么根据我们的计算，如果扔10次出现9次正面： ? 我们可以认为刚开始的假设错的很“显著”，也就是“硬币是不公平的”。...Reference: 统计学假设检验中 p 值的含义具体是什么？ https://www.zhihu.com/question/23149768/answer/282842210

5821 0

数据分析、数据挖掘基础：描述统计学基础知识分享！

Mr-chen | 作者博客园 | 来源 https://www.cnblogs.com/chentianwei/p/12488891.html ---- 描述统计学是数据挖掘的基础。 ?...四分位数（英语：Quartile）是统计学中分位数的一种，即把所有数值由小到大排列，然后按照总数量分成四等份，即每份中的数值的数量相同，处于三个分割点位置的数值就是四分位数。...a数据集的离散程度小于b数据集。均值+/-标准差，这个范围的数据占了整个数据集的大部分，可以说数值大部分在这个范围内波动。阐述：数据集的平均值是m, 大部分在m+/-方差的范围内波动。...所有数据中，至少有24/25（或96%)的数据位于平均数5个标准差范围内。即随机数据集合，只有知道平均数和标准差，就知道这个数据集合的大概分布。...在统计学中，直方图是一种对数据分布情况的图形表示，是一种二维统计图表，它的两个坐标分别是统计样本和该样本对应的某个属性的度量，以长条图的形式具体表现。

1.1K2 1

推荐收藏 | 统计学常用的数据分析方法大总结！

一、描述统计描述统计是通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。...例如，我们想知道两个教学班的语文成绩中，哪个班级内的成绩分布更分散，就可以用两个班级的四分差或百分点来比较。相关分析相关分析探讨数据之间是否具有统计学上的关联性。...这种关系既包括两个数据之间的单一相关关系——如年龄与个人领域空间之间的关系，也包括多个数据之间的多重相关关系——如年龄、抑郁症发生率、个人领域空间之间的关系；既包括A大B就大(小)，A小B就小(大)的直线相关关系...推论统计推论统计是统计学乃至于心理统计学中较为年轻的一部分内容。它以统计结果为依据，来证明或推翻某个命题。...它是由美国社会心理学家李克特于1932年在原有的总加量表基础上改进而成的。

9444 0

统计学常用的数据分析方法大总结，推荐收藏

描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。集中趋势分析集中趋势分析主要靠平均数、中数、众数等统计指标来表示数据的集中趋势。例如被试的平均成绩多少？是正偏分布还是负偏分布？...例如，我们想知道两个教学班的语文成绩中，哪个班级内的成绩分布更分散，就可以用两个班级的四分差或百分点来比较。相关分析相关分析探讨数据之间是否具有统计学上的关联性。...这种关系既包括两个数据之间的单一相关关系——如年龄与个人领域空间之间的关系，也包括多个数据之间的多重相关关系——如年龄、抑郁症发生率、个人领域空间之间的关系；既包括A大B就大(小)，A小B就小(大)的直线相关关系...推论统计推论统计是统计学乃至于心理统计学中较为年轻的一部分内容。它以统计结果为依据，来证明或推翻某个命题。...它是由美国社会心理学家李克特于1932年在原有的总加量表基础上改进而成的。

2.6K3 0

推荐收藏 | 统计学常用的数据分析方法大总结！

描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。集中趋势分析集中趋势分析主要靠平均数、中数、众数等统计指标来表示数据的集中趋势。例如被试的平均成绩多少？是正偏分布还是负偏分布？...例如，我们想知道两个教学班的语文成绩中，哪个班级内的成绩分布更分散，就可以用两个班级的四分差或百分点来比较。相关分析相关分析探讨数据之间是否具有统计学上的关联性。...这种关系既包括两个数据之间的单一相关关系——如年龄与个人领域空间之间的关系，也包括多个数据之间的多重相关关系——如年龄、抑郁症发生率、个人领域空间之间的关系；既包括A大B就大(小)，A小B就小(大)的直线相关关系...推论统计推论统计是统计学乃至于心理统计学中较为年轻的一部分内容。它以统计结果为依据，来证明或推翻某个命题。...它是由美国社会心理学家李克特于1932年在原有的总加量表基础上改进而成的。

1.4K3 0

“小数据”的统计学

过去十年里，处理这类型数据集的基础设施、工具和算法发展得非常迅速，并且得到了不断改善。...三、如何处理以下情况 1-雇一个统计学家我不是在开玩笑！统计学家是原始的数据科学家。当数据更难获取时统计学诞生了，因而统计学家非常清楚如何处理小样本问题。...但雇一个科班出身的统计学家可能是非常好的投资。 2-坚持简单模型更确切地说: 坚持一组有限的假设。预测建模可以看成一个搜索问题。从初始的一批可能模型中，选出那个最适合我们数据的模型。...在某种程度上，每一个我们用来拟合的点会投票，给不倾向于产生这个点的模型投反对票，给倾向于产生这个点的模型投赞成票。当你有一大堆数据时，你能有效地在一大堆模型/假设中搜寻，最终找到适合的那个。...(来源：36大数据) 1、回复“数据分析师”查看数据分析师系列文章 2、回复“案例”查看大数据案例系列文章 3、回复“征信”查看相关征信的系列文章 4、回复“可视化”查看可视化专题系列文章 5、回复“SPPS

9826 0

ABTest中的统计学 - 基础篇

一、ABTest与统计学 ABTest的目的是为了快速验证一个版本是不是比另外一个版本要好。...这里全部用户，我们称之为“总体”;抽样出来的用户，我们称为“样本”。例如总用户数有1个亿，而抽样的用户数是1万。这个1亿就是总体，1万就是样本。此处，统计学出场了。...统计学能告诉我们如何抽样才能具有充分的代表性，以及如何从样本反应出的信息中推测总体状况。...hash算法保证了抽取的随机性。因为互联网数据海量以及获取方便的特点，简单随机抽样是最常用的抽样方法。足够的样本量足够的样本量怎么保证呢？我们在这里先不展开讲样本量如何影响最终结果的。...并通过观测收集（数据上报），得到这些用户当天是否活跃的数据。那问题来了：该如何通过这些样本数据推测全量发布时的用户日均使用时长呢？

2.8K2 0

数据分析必备——统计学入门基础知识

数据说·梦想季成功的关键在于相信自己有成功的能力。数据之路，与你同行！——数据说·梦想季导读：要做好数据分析，除了自身技术硬以及数据思维灵活外，还得学会必备的统计学基础知识！...因此，统计学是数据分析必须掌握的基础知识，即通过搜索、整理、分析、描述数据等手段，以达到推断所测对象的本质，甚至预测对象未来的一门综合性科学。...统计学用到了大量的数学及其它学科的专业知识，其应用范围几乎覆盖了社会科学和自然科学的各个领域，而在数据量极大的互联网领域也不例外，因此扎实的统计学基础是一个优秀的数据人必备的技能。...》、《统计学：从数据到结论》等专业书籍。...统计学分为描述性统计学和推断性统计学。一、描述性统计定义：使用特定的数字或图表来体现数据的集中程度和离散程度。

1.6K2 0

【观点】统计学的七大支柱

JSM上统计界的老帮主Stephen Stigler做了一个主题演讲，讲“统计学的七大支柱”，好心又认真的Rick Wicklin同学记了笔记，彼时估计还在中国城吃饭的我才得以了解SS大人到底讲了什么。...回头看看笔记，我觉得SS大人有点吹嘘统计学之嫌。所谓支柱，就是没了它咱就垮了。七大支柱 1.汇总：我们从数据汇总中获得知识。...2.边际效应递减：随着数据量增大，信息量并不是线性增加，而是到了一定程度之后可能就没太多新的信息了。...3.似然/概率：概率论当然是统计学的支柱，当然也要取决于我们怎么定义统计学，但说概率是数理统计的基础肯定不会有人不同意。...没有具体的领域知识，跑个系数显著的回归只是盲人摸象。 6.试验设计：这个当然也很重要，我觉得这是七大支柱里唯一可以称为支柱的一个，因为它可以脱离领域知识而有效。

1.3K8 0

统计学基础知识

1.统计学基本概念统计学：收集、处理、分析、解释数据并从中得出结论的科学。数据分析的方法可分为描述统计和推断统计。...在间接来源中，注意对二手数据评估，可以考虑：数据是谁收集的？为什么目的收集的？数据怎么收集的？什么时候收集的？避免对二手数据的错用、误用、滥用。...3.数据的描述 3.1数据的概括性度量注意：在excel 数据---“数据分析---描述统计中能得到所有指标值。...在绘制图形时，应避免一切不必要的装饰，注重图形所要表达的信息，图形产生的视觉效果应与数据所体现的事物特征一致，不得歪曲数据。...判定系数 R2 交叉验证否 5 boosting 判定系数 R2 交叉验证否 2 随机森林判定系数 R2 交叉验证否 1 支持向量机判定系数 R2 交叉验证否 3 线性回归属于经典统计学

1.3K5 0

统计学中基础概念说明

如果觉得文章写得好，如果你想要博客文章中的数据，请关注公众号：【数据分析与统计学之美】，添加作者【个人微信】，进群和作者交流！目录 1、什么是描述性统计？...中位数：将一组数据升序排列，位于该组数据最中间位置的值，就是中位数。如果数据个数为偶数，则取中间两个数值的均值。众数：一组数据中出现次数对多的值。...分位数：将数据从小到大排列，通过n-1个分位数将数据分为n个区间，使得每个区间的数值的个数相等(近似相等)。...第二个分位数成为2/4分位数(中四分位数，也叫中位数)，数据中有2/4的数据小于该分位数。第三个分位数成为3/4分位数(下四分位数)，数据中有3/4的数据小于该分位数。...方差(标准差)可以体现数据的“分散性”，方差(标准差)越大，数据越分散，方差(标准差)越小，数据越集中。方差(标准差)也可以体现数据的“波动性”(稳定性)。方差(标准差)越大，数据波动性越大。

9073 0

统计学知识大梳理

笔者结合自己对统计学和概率论知识的理解写了这篇文章，有以下几个目标目标一：构建出可以让人理解的知识架构，让读者对这个知识体系一览无余目标二：尽l量阐述每个知识在数据分析工作中的使用场景及边界条件目标三...一维：就是当前摆在我们面前的“一组”，“一批”，哪怕是“一坨”数据。这里我们会用到统计学的知识去研究这类对象。...多个事件之间的关系，相关事件和独立事件，条件概率和贝叶斯公式第三部分关于“小样本”预测“大总体” 现实生活中，总体的数量如果过于庞大我们无法获取总体中每个数据的数值，进行对总体的特征提取进而完成分析工作...结束语笔者这里梳理了统计与概率学最基础的概念知识，尽量阐述清楚这些概念知识之间关联的关系，以及应用的场景。...底层概念是上层应用的基础，当今浮躁的“机器学习”，“神经网络”，“AI自适应”这些高大上的关键字满天飞。笔者认为踏踏实实的把“基础”打扎实，才是向上发展的唯一途径。

7103 0

50年最重要，8大统计学发展！哥大教授论文列举推动AI革命的统计学思想

近日，哥伦比亚大学的教授发表论文揭示了近50年来其背后不为人知的统计学思想。 ‍尽管深度学习和人工智能已经成为家喻户晓的名词，但推动这场革命的统计学突破却鲜为人知。...在最近的一篇论文中，哥伦比亚大学的统计学教授Andrew Gelman和芬兰阿尔托大学的计算机科学教授Aki Vehtari详细列举了过去50年中最重要的统计学思想。 ?...https://www.tandfonline.com/doi/full/10.1080/01621459.2021.1938081 作者将这些统计学思想归类为8大类别：反事实因果推断（counterfactual...自举法和基于模拟的推断（bootstrapping and simulation-based inference）统计学的一个趋势是用计算来替代数学分析，甚至在「大数据」分析开始之前就已经开始了。...探索性数据分析将图形技术和发现推向了统计实践的主流，使用这些工具来更好地理解和诊断适合数据的新的复杂概率模型类别的问题。作者介绍 ? Andrew Gelman 是哥伦比亚大学统计学教授。

6773 1

统计学基础一之数据描述和随机变量

---- 概述最近在梳理统计学基础，发现一些统计学的基本知识已经全部还给老师。由于在学习和工作中用到一部分，所以又重新拿了起来。统计学：主要分为描述统计学和推论统计学。...数据集的集中趋势在描述数据的集中趋势几种概念： 1.平均值:所有数字的平均，描述集中趋势的某特定数字。 2.众数：出现次数(频率最多)最多的数字。描述的是离散值频率最多的数字。...方差和标准差均值虽然很好的描述了数据的集中趋势，但是数据的离散程度它无法确切的反应。...比如：0 0 5 5 和2 2 3 3虽然这两个数据集的平均是都是2.5，但是后者离均值的离散程度更疏密一些，或者说更紧凑。这种离散程度均值是无法衡量的，所以数据的离散程度通过方差和标准差来衡量。...离散随机随机变量：试验结果的映射是离散的值。例如：探索明天是否下雨的试验？只有两种试验结果下雨或者不下雨。连续随机变量：试验结果的映射是连续的。例如：对于明天下雨雨量的统计？雨量是一种连续的结果。

1.4K4 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭