首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >用少量行的数据创建ML模型

用少量行的数据创建ML模型
EN

Data Science用户
提问于 2022-11-28 10:22:22
回答 1查看 24关注 0票数 0

我有一个50行的dataframe (每个美国州有一行),以及大约20个具有不同属性和状态相关数据的列。我希望建立一个线性回归模型来预测疾病的流行,考虑到不同状态的属性和发病率。

例如,预测变量是抑郁流行率,而我用来预测的变量是每年晴天数和平均年降水量。假设1州有18%的抑郁率,每年有200个晴天,每年有10英寸的降水量。状态2有8%的抑郁率,每年300天的晴天和3英寸的年降水量等。如果趋势是晴天多,降水少与低抑郁发生率相关,我会用晴天数和降水英寸来预测抑郁症的患病率。

我拥有的唯一数据是每个州,但我正在使用与状态相关的数据:( a)查看与天气和心理健康的相关性;( b)根据天气特征预测疾病的发病率。

我对机器学习和建模非常陌生,我不确定为这么少的行创建一个培训/测试集是否会提供准确的结果。我想做的事会有用吗?做这件事最好的方法是什么?任何帮助都将不胜感激!

用我的尝试,我的线性回归模型看起来不太准确(但我可能只是在构建错误的模型)。

EN

回答 1

Data Science用户

发布于 2022-11-28 17:04:11

交叉验证将有助于使用不同的记录分割来进行模型验证,特别是当有一个小数据集时,如果您的模型患有过度拟合,这也是一个很好的解决方案。

票数 1
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/116554

复制
相关文章
Blender + Python:用少量有效数据绘制势能面示意图的方法
前几天有需求要绘制一种势能面的示意图,类似教科书上标出一阶鞍点、 局域极小点那种示意图。
用户7592569
2022/03/31
1.7K0
Blender + Python:用少量有效数据绘制势能面示意图的方法
AutoGluon | 用三行代码战胜 90% 的模型
近年来,机器学习在各个领域都取得了重大突破,在生命科学、医学领域应用的也越来越多。但想要真正建立一个模型仍费时费力,要花相当一段时间去学习(可参考我之前写的相关笔记)。而且即使是高水平的人工智能专家,在大数据智能分析机器学习建模时,也主要依靠人工经验,建模过程费时费力,缺少有效方法。
生信菜鸟团
2021/05/24
9.8K1
AutoGluon | 用三行代码战胜 90% 的模型
想在手机上用自己的 ML 模型?谷歌模型压缩包你满意
AI 研习社按: Google I/O 2018 上,谷歌发布了可供开发者定制移动端机器学习模型的 ML Kit 开发套件,关于该套件中的核心技术:Learn2Compress 模型压缩技术,谷歌也火速在 Google AI 上撰文对其进行了详细介绍和实战测试,AI 研习社将其内容编译如下。
AI研习社
2018/07/26
5510
想在手机上用自己的 ML 模型?谷歌模型压缩包你满意
使用CDSW和运营数据库构建ML应用3:生产ML模型
在最后一部分中,我们将讨论一个演示应用程序,该应用程序使用PySpark.ML根据Cloudera的运营数据库(由Apache HBase驱动)和Apache HDFS中存储的训练数据来建立分类模型。然后,对该模型进行评分并通过简单的Web应用程序提供服务。有关更多上下文,此演示基于此博客文章如何将ML模型部署到生产中讨论的概念。
大数据杂货铺
2021/03/09
2.8K0
SMI:特征模型ML优化NAND数据读取效率
随着数据存储需求的增长,QLC(四层单元)闪存因其高密度和低成本成为发展趋势,但在提升容量的同时也带来了诸如跨温度性能、数据保留等问题,对数据可靠性构成挑战。
数据存储前沿技术
2025/02/11
800
SMI:特征模型ML优化NAND数据读取效率
用十行代码快速创建权限管理系统
当然还有appsettings.json配置文件,和种子数据文件,这个不算代码之内。
老张的哲学
2022/04/11
5690
用十行代码快速创建权限管理系统
用一行Python代码创建高级财务图表
今天带大家一起学习一个小众,但很厉害的可视化库mplfinance,一起掌握最灵活的python库来创建漂亮的金融可视化。
数据STUDIO
2021/12/15
1.4K0
用一行Python代码创建高级财务图表
用一行Python代码创建高级财务图表
今天带大家一起学习一个小众,但很厉害的可视化库mplfinance,一起掌握最灵活的python库来创建漂亮的金融可视化。
程序员小二
2021/12/25
1.3K0
用一行Python代码创建高级财务图表
干货 | 想在手机上用自己的ML模型?谷歌模型压缩包你满意
谷歌在 Google AI 上撰文进行对刚刚发布的 ML Kit 中的核心技术:Learn2Compress 自动模型压缩技术进行了详细介绍和实战测试。
AI科技评论
2018/07/26
8540
干货 | 想在手机上用自己的ML模型?谷歌模型压缩包你满意
使用Flask部署ML模型
作者 | Brian Schmidt 来源 | Medium 编辑 | 代码医生团队 此博客文章中的代码可以在此github仓库中找到。 https://github.com/schmidtbri/
代码医生工作室
2019/08/05
2.5K0
30行代码用streamlit构建你的机器学习模型应用
Streamlit是一个快速构建数据分析和机器学习Web页面的开源Python库。
lyhue1991
2023/02/23
1.5K0
30行代码用streamlit构建你的机器学习模型应用
使用LIME解释黑盒ML模型
在这一点上,任何人都认为机器学习在医学领域的潜力是老生常谈的。有太多的例子支持这一说法-其中之一就是微软利用医学影像数据帮助临床医生和放射科医生做出准确的癌症诊断。同时,先进的人工智能算法的发展大大提高了此类诊断的准确性。毫无疑问,医疗数据如此惊人的应用,人们有充分的理由对其益处感到兴奋。
磐创AI
2020/11/09
6900
使用LIME解释黑盒ML模型
创建 Django 博客的数据库模型
设计博客的数据库表结构 博客最主要的功能就是展示我们写的文章,它需要从某个地方获取博客文章数据才能把文章展示出来,通常来说这个地方就是数据库。我们把写好的文章永久地保存在数据库里,当用户访问我们的博客时,Django 就去数据库里把这些数据取出来展现给用户。 博客的文章应该含有标题、正文、作者、发表时间等数据。一个更加现代化的博客文章还希望它有分类、标签、评论等。为了更好地存储这些数据,我们需要合理地组织数据库的表结构。 我们的博客初级版本主要包含博客文章,文章会有分类以及标签。一篇文章只能有一个分类,但可
追梦人物
2018/04/17
1.4K0
IBM:基于ML模型的防勒索设计
文章针对存储系统中的防勒索检测,提出了一套基于机器学习(ML)的高效模型构建方法。
数据存储前沿技术
2025/02/11
850
IBM:基于ML模型的防勒索设计
ML:教你聚类并构建学习模型处理数据(附数据集)
本文以Ames住房数据集为例,对数据进行聚类,并构建回归模型。 摘要 本文将根据41个描述性分类特征的维度,运用无监督主成分分析(PCA)和层次聚类方法对观测进行分组。将数据聚类可以更好地用简单的多元
数据派THU
2018/06/12
9140
10行代码媲美RLHF,用社交游戏数据训练社会对齐模型
让语言模型的行为符合人类社会价值观是当前语言模型开发的重要环节。相应的训练也被称为价值对齐 (value alignment)。
机器之心
2023/08/04
2080
10行代码媲美RLHF,用社交游戏数据训练社会对齐模型
10行代码媲美RLHF!谷歌DeepMind用游戏数据让大模型更像人类
只需10行代码,就能对齐大模型,效果媲美 RLHF(基于人类反馈的强化学习机制)!
量子位
2023/08/03
1920
10行代码媲美RLHF!谷歌DeepMind用游戏数据让大模型更像人类
统计学如何用少量数据概括数据(相关概念)
用少量数据来概括大量数字是日常生活中常见的。那么可以用少量所谓汇总统计量或概括统计量(summary statistic)来描述定量变量的数据。任何样本的函数,只要不包含总体的未知参数,都称为统计量(statistic),那么样本的随机性决定了统计量的随机性。
用户3003813
2018/09/06
1.2K0
统计学如何用少量数据概括数据(相关概念)
仅使用少量数据训练生成对抗网络
和昨天的推文一样,同样是一篇研究在少量样本下,训练生成对抗网络的论文。这篇文章和昨天推文(加一个link)的假设类似:在数据不足的情况下,生成对抗网络中的判别器过拟合了,导致训练崩了(Diverge)。本文提出了一种自适应的判别器数据增广策略,显著稳定了在少量样本下的生成对抗网络的图像生成过程。本文同样是一种即插即用的方法,不需要对网络结构、损失函数等进行修改,并且也可以在基于迁移学习的生成对抗网络任务中使用。
BBuf
2020/12/22
2.9K0
仅使用少量数据训练生成对抗网络
用 Node.js 的 16 行代码创建一个简单的天气 App
- Node.js : 如果没有安装 Node,请到官网 Node.js website 下载并安装。如果这样的项目你感兴趣并且你也在寻找 Node 更深入的教程请查看另一篇文章 Top Three Node.js courses
疯狂的技术宅
2019/03/28
2.1K0
用 Node.js 的 16 行代码创建一个简单的天气 App

相似问题

什么模型创建ML和Turi创建使用

10

时间序列数据预测的ML模型

10

ML模型的输入数据有多重要?

20

词转换的ML模型

20

什么样的回归模型能够处理少量的数据?

20
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
社区富文本编辑器全新改版!诚邀体验~
全新交互,全新视觉,新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能,全面提升创作效率和体验
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文