腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
视频
沙龙
1
回答
深层神经网络与大数据分析
、
、
、
我是一名准PhD (CS)学生。在我的MS研究期间,我在异常检测领域工作过。现在,我有两个主要的和最近出现的领域可供选择,即深度神经网络和大数据分析。然而,我必须选择一个作为我未来的工作领域。 我想把其中一个领域和我以前的工作联系起来,那就是异常检测。此外,我还要问两个问题: 深层神经网络与大数据分析,哪一种更适合异常检测? 深层神经网络与大数据分析相比,未来还有更大的发展空间吗?
浏览 4
提问于2017-06-06
得票数 0
回答已采纳
9
回答
R语言是否适合大数据
、
R有许多针对数据分析(如JAGS、BUGS、ARULES等)的库,并在流行的教科书中被提到,如: J.Krusche,进行贝叶斯数据分析;B.Lantz,“机器学习与R”。 我已经看到了5TB的指南,将数据集视为大数据。 我的问题是:R是否适合在大数据问题中通常看到的数据量?在这样的数据集中使用R时是否使用策略?
浏览 0
提问于2014-05-14
得票数 55
回答已采纳
2
回答
处理大数据和数据可视化的最佳工具
、
、
我目前正在做(开始)我的大数据和数据可视化项目。所以请让我知道有没有最好的软件来处理大数据和数据可视化,即数据分析。
浏览 3
提问于2013-01-17
得票数 0
回答已采纳
1
回答
数据分析中的数据量是否重要?
、
、
、
、
因此,我想知道数据分析是否可以通过使用少量的数据来完成,比如存储在database.If中的100到1000个记录--我这样做了--那么它是数据分析吗? 有人说,如果你分析的是少量的数据,那根本就不是数据分析。 所以我把数据分析和大数据混淆了。有人能回答我这个问题吗? 我要提前感谢你
浏览 0
提问于2019-02-01
得票数 0
回答已采纳
2
回答
DataOps是什么?
、
这个网站已经有了很好的答案,比如什么是DevOps和什么是SecOps。 随着时间的推移,我逐渐认识到,当敏捷方法的哲学应用于运营时,意见就诞生了DevOps。SecOps也是如此。 那么,将敏捷方法应用于大数据和数据分析的DataOps会是什么样子呢?这与敏捷软件开发和DevOps有何相似之处?
浏览 0
提问于2019-11-13
得票数 3
1
回答
大数据分析参考文献
我正在寻找一个好的入门书或课程的大数据分析。在实际应用方面,我对在R中使用大数据工具特别感兴趣。 我想要一本书,但欢迎其他参考资料。 谢谢!
浏览 0
提问于2016-11-21
得票数 1
回答已采纳
3
回答
大数据案例研究或用例示例
、
、
我读过很多关于不同行业如何使用大数据分析的博客文章。但这些文章大多没有提到 这些公司使用了什么样的数据。数据有多大? 他们用来处理数据的工具是什么? 他们面临的问题是什么,他们得到的数据是如何帮助他们解决问题的。 他们如何选择工具\技术来满足他们的需要。 他们从数据中识别出了什么样的模式&他们从数据中看到了什么样的模式。 我想知道是否有人能为我提供所有这些问题的答案或一个链接,至少回答一些问题。我正在寻找现实世界的例子。 如果有人能分享金融业是如何利用大数据分析的,那就太好了。
浏览 0
提问于2014-06-11
得票数 14
2
回答
NoSQL数据库在数据科学中的应用
、
、
如何使用NoSQL数据库(如MongoDB )进行数据分析?它们中有哪些特性可以使数据分析更快、更强大?
浏览 0
提问于2014-07-21
得票数 21
回答已采纳
2
回答
hadoop与mongodb和hadoop对mongodb
、
、
我试图理解mongoDB和Hadoop之间的关键区别。我理解mongoDB是一个数据库,而Hadoop是一个包含HDFS的生态系统。使用这两种技术处理数据的方式有一些相似之处,但也有很大的不同。 我不明白为什么有人会在Hadoop集群上使用mongoDB,主要是mongoDB比Hadoop具有什么优势。两者都执行并行处理,两者都可以与Spark一起用于进一步的数据分析,那么什么是一个比另一个的增值。 现在,如果要将两者结合起来,为什么要在mongoDB和HDFS中存储数据呢?MongoDB有map/reduce,所以为什么要将数据发送到hadoop进行处理,而且两者都与Spark兼容。
浏览 1
提问于2019-05-07
得票数 0
回答已采纳
1
回答
500G 在哪儿能找到资料?
、
、
、
、
500G python web、爬虫、数据分析、机器学习、大数据、前端实战项目视频代码免费分享 在哪儿能下载到资料,在线等,挺急的~, 感谢各位大佬~
浏览 245
提问于2019-05-10
6
回答
facebook数据泄漏:大数据分析竟能操控美国大选?
、
、
、
近日,facebook的数据泄露事件引起广泛讨论,罪魁祸首剑桥分析公司通过数据分析来帮助企业和政党改变受众行为。他甚至声称“只要了解用户的十个赞,就能比用户的同事更准确地评价用户”。那么大数据分析真的有他们所说的那么强吗?这是怎么样做到的?公众的个人隐私又该如何保护?
浏览 844
提问于2018-03-26
1
回答
marklogic中的数据分析/分析工具
、
我正在处理一个用例,在这个用例中,我将以csv/excel/pdf格式“按原样”将源数据加载到marklogic。稍后,我们需要使用marklogic中的一些工具进行数据分析/分析。在google上搜索,我在一些博客中看到一个名为“数据分析器”的工具。没有关于数据分析器工具的信息或GitHub项目。 如果任何人知道数据分析器或marklogic中的任何数据分析/分析工具,请给予帮助。
浏览 0
提问于2018-06-05
得票数 0
1
回答
使用过滤文档列表的Couchbase管理工具
、
我正在使用couchbase管理工具,对我来说最有用的特性之一是能够进入特定桶的文档,然后使用document对话框输入我为特定文档类型保留的文档前缀,然后我立即得到这种类型文档的筛选列表。 例如,如果我有一个名为“体育”的桶,它有各种运动的数据,我可能有一套与网球、足球等有关的记录,让我们假设这些文件的ID都是以特定的运动为前缀的。因此,在本例中,我只需将football放在文档过滤器对话框中,并且只希望看到ID以“足球”开头的文档。这发生在我打字的时候。这个功能在我的主要开发机器上非常好,但是在我的笔记本电脑和我的生产环境中,输入没有结果。我可以在任何环境中按下“查找Id”按钮,只要
浏览 4
提问于2014-05-09
得票数 0
回答已采纳
3
回答
数据分析与数据分析的区别
、
当我们说数据分析和数据分析时,我们指的是什么?
浏览 0
提问于2023-04-11
得票数 0
2
回答
快速Hadoop分析(Cloudera Impala vs Spark/Shark vs Apache Drill)
、
、
我想对HDFS中的数据进行一些“近乎实时”的数据分析(类似OLAP)。 我的研究表明,与Apache Hive相比,上述三个框架报告了显著的性能提升。有没有人有过这两种方法的实际经验?不仅要考虑性能,还要考虑稳定性?
浏览 3
提问于2013-06-25
得票数 43
回答已采纳
2
回答
最佳编程语言
、
、
我精通纯粹的统计学。我不懂任何编程语言。这是我应该学习的最好的编程语言,它将有助于提高我在数据分析方面的职业生涯。 我对概念只有理论知识。请推荐一项技能,我应该发展成为一名数据分析员。
浏览 0
提问于2018-07-06
得票数 1
4
回答
我应该使用哪些初始步骤来理解大型数据集,以及应该使用哪些工具?
、
、
、
注意:在机器学习方面,我是一个完全的初学者,但我渴望学习。 我有一个很大的数据集,我试图在其中找到模式。数据之间可能没有关联,无论是与已知变量,还是包含在数据中但我还没有意识到的变量实际上都是相关的变量。 我猜这将是数据分析领域中一个常见的问题,所以我有几个问题: “灵丹妙药”是将所有这些数据扔到一个统计/数据分析程序中,然后对数据进行处理,寻找已知/未知的模式,试图找出它们之间的关系。是否适合SPSS,或者是否有其他更适合的应用程序。 我应该学习像R这样的语言,并弄清楚如何手动处理数据。这难道不是像我必须手动指定什么以及如何分析数据那样去寻找关系吗? 专业的数据采掘者将如何处理这一问题,S/
浏览 0
提问于2014-08-19
得票数 10
回答已采纳
5
回答
机器学习概述
、
、
这可能不是要问的问题类型,而只是想知道其他人在大型企业环境中实现机器学习算法时需要考虑哪些因素。 我的目标之一是研究行业机器学习解决方案,可以根据我的公司的具体需要。我是我的团队中唯一有数学背景的人,而且以前读过一些机器学习算法的背景资料,我的任务是解释/比较这个行业的机器学习解决方案。从我在谷歌上收集到的信息来看,似乎: 机器学习和预测分析并不完全一样,所以当一个公司提供预测分析软件和机器学习软件时,有什么本质上的区别呢?(例如IBM预测分析相对于Skytree Server) 很多流行的术语经常被纠缠在一起,特别是关于大数据、Hadoop、机器学习等等。有人能澄清这些术语之间的区别吗?根据
浏览 8
提问于2013-04-18
得票数 2
1
回答
图像处理数据的生成
、
、
我刚开始深入学习,我正在从事一个与足球运动分析相关的业余项目。我想使用足球视频,并将它们转换成二维地图。我把这个过程分解成较小的步骤。第一步是能够探测到球员和足球。 我正在考虑从一个预先训练过的目标检测模型开始。我拍摄了一段视频并从中生成了图像。我在其中一张图片上使用了它,并附上了输出。很明显,它并没有意识到很多事情。解决这一问题的一种方法是做一些转移学习。为此,我必须生成自己的数据集。我能想到的唯一方法就是把这张图片分割成窗口,并手动将它们标记为球员和足球。 这似乎是一项乏味的任务。还有其他有效的方法来生成数据吗?什么是最佳实践?
浏览 6
提问于2020-03-23
得票数 0
回答已采纳
2
回答
处理大数据
、
我是在一个项目中处理大量的数据,以图像和视频的形式(与风能工程相关的数据)。我的要求是根据我所拥有的数据建立一个预测算法。我发现了许多工具,我可以用这些工具来分析数据,在这些工具中,每个工具都有其优缺点。大数据对我来说是很新的,我发现选择一个平台是非常困难的。这里应该有其他人,他们应该处理类似的情况。 在选择分析大数据的工具之前,我应该主要考虑哪些标准? 我考虑过的一些标准包括:可视化、交互、安全性、数据访问和集成、响应速度、集成数据挖掘、模式匹配、易用性等等。正如您所看到的,我为这些标准列出的列表来自广泛阅读了有关该主题的不同文章。但是,我不能缩小列表范围,也不能在可供分析的各种工具中找到这
浏览 0
提问于2015-11-25
得票数 1
回答已采纳
1
回答
在Pandas Dataframe中导入具有多张工作表的多个相关excel文件的最佳方法
、
、
我有20个excel文件,每个文件代表一年,每个文件都有10张不同的(但相互关联的)该年的数据。 如何正确地将它们全部导入pandas dataframe中,以便进行全时段的数据分析? 为了说明更多,例如:我是否应该为每个excel文件(年份)使用字典,其中键是表名,值是表内容(数据框)?或者,在这种情况下,正确的方法是什么? 编辑1:数据是我们的足球联赛信息,每个赛季在一个单独的excel文件中,有多张表(表数据例如:俱乐部,球员,比赛,目标,cards...etc)。我有20年的数据,我正要分析它,但我被使用熊猫导入它们的不同方式弄得不知所措。 谢谢
浏览 0
提问于2017-10-15
得票数 1
2
回答
与云中数据分析(数据清理)相关的成本
、
、
、
、
我是数据分析员。我的公司正在将所有的数据科学转移到云提供商(可能是Azure,GCP,AWS)。所有的数据科学编程工具,如木星笔记本,都将安装在云环境中(不会在本地安装Python,也不会在笔记本电脑上安装木星笔记本)。 在我的大部分工作中,我将直接从一个前提数据库中读取/吸收关系数据库表。而且,我的大部分数据分析工作不需要任何GPU实例来进行数据处理。有时,我也做一些简单的研究或实验数据分析编程,例如使用木星笔记本进行数据清理,而不需要使用GPU实例。 我想知道,在我的任务都不使用GPU的情况下,我的公司在他们的数据科学云计算平台上是否有可能进行这样的活动,而不用支付任何每次使用的费用或不必
浏览 2
提问于2021-10-17
得票数 0
回答已采纳
7
回答
用于数据分析的Python IDE
、
、
、
Python可以用于许多任务。我想使用Python进行数据分析。哪些Python IDE特别适合数据分析任务。 有关特定于数据分析的集成开发环境的参考,请参阅R语言的RStudio。
浏览 3
提问于2014-10-26
得票数 0
1
回答
大数据和小数据的优缺点?
我在寻找更深入的答案。我知道基础知识--小数据分析起来更快,使用大数据你会有更多的能力,等等。但我想知道更多(也许是关于因果推断?)关于每种方法的优点和缺点。谢谢!
浏览 3
提问于2017-10-11
得票数 1
1
回答
我应该选择哪个专业成为一名数据分析员?
我是一所科技大学的新生,我想成为一名数据分析师。我应该选择什么专业:计算机科学还是信息系统科学?我需要什么技能才能成为一名优秀的数据分析师? 主题组:人工智能,领域驱动的数据挖掘,预测分析或其他:软件项目管理,分布式数据库,哪一个与数据分析更相关? 我非常困惑和担心,所以我希望专业人士能给我一些建议。请帮帮我!
浏览 0
提问于2021-09-12
得票数 1
回答已采纳
1
回答
长时间运行的进程和托管提供商?
、
、
、
我有一个运行了好几个小时的python数据分析脚本,当它在我的桌面上运行时,随着粉丝们的狂热,我意识到我可以在bkgnd中的一个托管账户上远程运行它,然后让它破解。 但我想知道--托管提供商通常不赞成这样的做法吗?他们是否假设我所有的CPU/内存使用都是突发性的--来自我的Apache2实例的使用率,一个运行了12小时的进程会被他们的sysop杀死? 或者他们会认为我是在为使用付费,所以你自己动手吧?我的脚本及其数据是自包含的,没有使用任何网络或数据库资源。 有这方面的经验吗?
浏览 8
提问于2015-11-12
得票数 0
1
回答
python-pptx - "item is not a embedded ole object or microsoft chart“
我使用python-pptx生成一组图表。 当我尝试将这些图表链接到第三方数据分析工具时,使用该工具的插件,我得到了这个错误: “所选项目不是嵌入的ole对象或microsoft图表” 如果我在pptx中手动插入图表,然后将其连接到第三路径数据分析工具,则不会出现此错误。 ? 我以为python-pptx会生成本机powerpoint对象?
浏览 18
提问于2019-09-12
得票数 1
1
回答
将从开始时传递的小数秒转换为日期时间索引。
、
、
在我的足球数据分析中,要使用熊猫between_time函数,我需要将表示分数秒的字符串列表从测量开始转换为熊猫date_time指数。时间数据如下: 为了实现这一点,我尝试了以下几点: df['Time'] = df['Timestamp']*(1/freq) df.index = pd.to_datetime(df['Time'], unit='s') 其中freq=600和Timestamp是从0开始计数的帧数。 我期望新索引显示以下格式: %y%m%d-%h%m%s%f 但不幸的是,to_dateti
浏览 0
提问于2019-01-02
得票数 0
回答已采纳
1
回答
关于向用户提供数据的建议
、
、
、
、
我是数据分析解决方案的初学者,并且正在从事一个将我们的数据解决方案迁移到Azure的项目,Azure datalake、数据工厂、databricks将成为管道。 但是很难选择正确的解决方案来可视化数据(用于创建仪表板的自助服务)并允许用户下载屏蔽报告(Excel,txt文件)以进行外部集成。你们有什么建议吗? 目前,我们正在使用业务对象企业(,BOE)和水晶报告,但我们希望找到一种新的、现代的方法来实现这一目标。
浏览 13
提问于2022-04-01
得票数 0
1
回答
如果我的数据不能存储在内存中,执行EDA并将其可视化?我的数据集大小是200 G
、
、
、
、
执行探索性数据分析是任何机器学习项目的第一步,我主要是用熊猫来使用内存中的数据集进行数据探索。但是我想知道如何进行数据清理,如何处理丢失的数据和数据离群点,单变量图,特征如何影响标签的密度图,相关性等等。 熊猫很容易用Python进行数据分析。但是,由于系统内存有限,我发现在Pandas中处理多个更大的数据文件很困难。 对于大于RAM大小的数据集.千兆字节 我看过一些教程,其中他们使用星星之火过滤出基于规则的数据,并生成一个适合于内存的数据格式.最终,总有完全驻留在内存中的数据,但我想知道如何使用大数据集并执行探索性数据分析。 另一个挑战是可视化大数据进行探索性数据分析.如果它适合内存,那么就
浏览 0
提问于2018-08-03
得票数 0
回答已采纳
2
回答
在R中将big.matrix作为data.frame
、
、
、
、
我最近开始使用R进行数据分析。现在,我在对大型查询数据集进行排序时遇到了一个问题(在ASCII模式下约为1 GB,在二进制模式下超过我笔记本电脑的4 GB RAM )。对此数据集使用bigmemory::big.matrix是一个很好的解决方案,但在gbm()或randomForest()算法中提供这样的矩阵'm‘会导致错误: cannot coerce class 'structure("big.matrix", package = "bigmemory")' into a data.frame class(m)输出以下内容: [1]
浏览 18
提问于2011-11-30
得票数 7
回答已采纳
1
回答
如何在Ubuntu 18中并行安装python3.6和python 2.7
、
设置为启动python进行数据分析,并希望在Ubuntu 18.0中安装python 3.6。我应该并行运行两个版本还是覆盖2.7,以及如何运行?当我搜索的时候,我得到了模棱两可的方法。
浏览 0
提问于2019-04-07
得票数 0
3
回答
Pandas和NumPy+SciPy在Python中有什么不同?
、
、
、
两者似乎非常相似,我很好奇哪一套方案会更有利于财务数据分析。
浏览 5
提问于2012-06-18
得票数 205
回答已采纳
1
回答
软件包"makeR“不可用(3.0.2版)
我是R的新手,我正在做一种“如何用R开始数据分析”,这是我需要安装makeR的一部分,但是它给出了版本的错误。有人知道会发生什么事吗?
浏览 3
提问于2014-02-24
得票数 2
回答已采纳
1
回答
BI开发人员推荐的数据分析工具
、
、
什么建议使用数据分析工具来检索大量信息并使数据可视化为图形统计?数据来自源数据库。
浏览 0
提问于2012-03-17
得票数 0
回答已采纳
1
回答
如何从码头映像中运行码头映像?
、
、
我运行了一个dockerized celery应用程序,它从一个网页获取一些用户输入/数据,并(应该)在主机系统上运行一个unix二进制文件,以便进行后续的数据分析。数据分析需要一些时间,所以我使用芹菜异步运行它。数据分析软件也是文件化的,所以我的django-芹菜工人应该做os.system(‘码头运行.’)。然而,芹菜说:命令找不到,很明显是因为码头没有安装在我的Django码头映像中。解决这个问题的最好办法是什么?我不想在docker中运行docker,因为应该允许我的分析软件使用所有系统资源,而不仅仅是分配给Django映像的资源。
浏览 1
提问于2022-10-14
得票数 1
回答已采纳
3
回答
如何从“大数据”转到网页?
、
、
、
我花了很多时间阅读和观看人们谈论如何在他们的架构中使用为处理海量数据集和实时处理而设计的工具的视频。虽然我知道Hadoop/Cassandra/Kafka等工具是做什么的,但似乎没有人解释数据是如何从这些大型处理工具中获得的,以便在客户端/网页上呈现一些东西。 根据我对大数据工具的理解,你不能用标准的web应用查询MySQL的方式来构建你的应用程序,考虑到流经这些工具的数据的大小,我可以理解这一点,然而,对于所有这些“实时数据分析”的说法,我找不到任何解释来解释实际的分析是如何以图表/表格等形式呈现在某人面前的?
浏览 0
提问于2017-09-07
得票数 0
9
回答
近日开放的腾讯云“米大师”平台在支付计费领域有什么优势?
腾讯云“米大师”最近对社会进行开放,其产品定位提到的聚合支付、对账结算、数据分析和立体监控都是什么意思?仅仅理解为腾讯对接其旗下的多款游戏和应用的氪金官方平台吗?长远角度看是否拥有更广的应用市场?
浏览 2178
提问于2018-04-25
1
回答
调整海运标杆的宽度
、
、
、
我刚开始使用python进行数据分析,我正在尝试创建一些英超足球数据的基本可视化。其中之一是2018年/19赛季每支主队的角球数。 我已经绘制了我正在寻找的图形,但是X轴上的名称是互相覆盖的,因此无法读懂,如下所示: import pandas as pd import seaborn as sb dataset = pd.read_csv("/Users/lfarias/Downloads/england-premier-league-matches-2018-to-2019-stats.csv") dataset.columns cantos = sb.barp
浏览 4
提问于2022-04-05
得票数 0
回答已采纳
1
回答
excel 2003中的多元线性回归
这个特性在excel 2003中有吗?我似乎根本找不到任何通过菜单进行的数据分析。也许我需要先做一个图表?
浏览 0
提问于2011-06-14
得票数 1
回答已采纳
1
回答
将数据库导出到excel文件
、
、
、
我使用google应用引擎将信息存储到一个小型数据库中(我有3个表)。我想将这些表导出到excel文件中进行数据分析。那件事怎么可能?
浏览 6
提问于2012-02-19
得票数 4
2
回答
大数据到哪里去了,它是如何存储的?
、
、
、
我试图掌握大数据,主要是如何管理大数据。 我熟悉数据管理和数据生命周期的传统形式;例如: 收集的结构化数据(如网页表格) 存储在数据库服务器RDBMS中的表中的数据 数据清理后,ETL进入数据仓库 数据使用OLAP多维数据集和其他各种BI工具/技术进行分析。 但是,在大数据的情况下,我对第2点和第3点的等效版本感到困惑,主要是因为我不确定每个大数据“解决方案”是否总是涉及使用NoSQL数据库来处理和存储非结构化数据,以及数据仓库的大数据等效是什么。 据我所见,在某些情况下,NoSQL并不总是被使用,而且可以完全省略--这是真的吗? 对我来说,大数据生命周期就是这样的:
浏览 7
提问于2017-04-20
得票数 7
回答已采纳
3
回答
数据科学家和数据分析员之间有什么区别?
https://www.datacamp.com/community/tutorials/learn-data-science-infographic https://www.datacamp.com/community/blog/data-engineering-vs-data-science-infographic 这些链接几乎包含了所有内容,但并不包含数据科学和数据分析之间的区别。 数据分析是数据科学工作流程的一部分吗?数据分析是数据科学的一个子集吗?
浏览 0
提问于2018-05-03
得票数 0
回答已采纳
1
回答
如何在大数据和网络分析中起步
、
、
、
、
我目前对大数据分析和网络分析感兴趣,但我不知道如何开始和从哪里开始。我试着上网看看,但有些对我来说是先进的。走这条路之前,我首先需要的是统计学和数学方面的技能和知识吗? 我目前的计划是每个周末参加在线课程,因为我目前在工作日做软件助理工程师,练习大数据所需的编程语言,比如R。我已经获得了计算机科学学位,所以熟悉一些统计和数学方法并不是个问题。任何建议和意见都是非常感谢的! 对于那些已经有经验的人来说,你的经验是怎样的,你最擅长的是什么?
浏览 3
提问于2016-04-01
得票数 0
回答已采纳
1
回答
SQLite的尺寸限制和性能
、
、
我已经研究过一些数据库,比如MySQL,但我从来没有专门处理过数据库。我正在进行一个项目,我们打算使用SQLite (出于一些原因:小型、轻量级、快速等),然后我对它有一些疑问: SQLite支持多少千兆字节的数据?有限度吗?(我将为每个用户提供一些大型数据表(例如,18列X 80.000行)) 读取大量数据快吗?(例如,18列X 80.000行) 关于SQLite,还有其他相关的信息我需要知道吗?(注:我将在Windows和OS上使用它) 附加信息 我正在开发的软件是一个数据分析软件,我只需要使用DB来保存使用一些传感器从用户那里收集到的数据。 我在项目中使用QT5.3.2 (C++)。
浏览 0
提问于2016-12-02
得票数 0
1
回答
自动化客户端自注册的原始导出数据清理-格式始终不同
、
、
、
、
所以这是一个比较普遍的问题。我是一家初创公司的数据分析师。我的主要流程包括获取客户拥有的现有客户数据,并将其清理/标准化以适应我们的平台,这是我们自注册过程的一部分。我们团队的一名成员从他们正在转换的系统中导出他们的数据,或者,如果他们在内部跟踪数据,我们会收到他们用来跟踪数据的Excel日志。它总是采用不同的格式,并且需要广泛的清理(平均1分钟/条)。我们通常是一个大表(.xlxs格式),在清理之后,将它拆分为四个.csv文件;我们在我们的平台上以四个表的形式加载它们。 我觉得我已经很好地优化了流程,包括流程步骤和excel函数(if、concat、text-to-column等)的清理。我
浏览 0
提问于2017-09-29
得票数 0
1
回答
Delphi需要从Web页面获取数据
、
、
、
我需要从这个页面获取这个足球数据。当我使用idhttp.get时,源代码中没有包含的数据。请帮帮忙。 我需要数据的网页是这个
浏览 16
提问于2017-02-13
得票数 0
回答已采纳
1
回答
使用Redshift vs Spark、Oozie Workflow Scheduler和Redshift分析的大数据分析
、
、
、
、
我们希望对存储在Amazon中的数据进行大数据分析(目前为to级,但将随着时间的推移而增长)。 目前,我们的所有分析似乎都可以通过Redshift查询来完成(因此,可能不需要在我们的末尾进行分布式处理),但我们不确定将来是否还会这样。 为了建立一个能够满足我们未来需求的通用系统,我们希望使用Apache进行数据分析。我知道可以从HDFS、HBase和S3将数据读入Spark,但是是否支持直接从Redshift读取数据?如果没有,我们可以将数据传输到S3中,然后用Spark读取数据。 ,我的问题是,我们是应该直接通过Redshift的查询执行数据分析,还是应该使用上面的方法并通过ApacheSp
浏览 3
提问于2015-02-16
得票数 0
回答已采纳
2
回答
问题代码足球分析[Python] Noob
、
、
、
、
我一直在学习代码(足球数据分析),以便在足球分析中使用这一技能。 我以前已经问过了,所有其他问题都已经解决了,但是,我不知道lambda函数在下面的代码链接中是如何工作的。 问题在于这个lambda函数。我试过了,但这不管用,我不知道如何解决它。没有这个,过滤器就不能工作。 有人能帮我一下吗? ## pass_comp: completed pass ## pass_no: unsuccessful pass ## iterating through the pass dataframe for row_num, passed in pass_df.iterrows():
浏览 3
提问于2020-06-28
得票数 0
回答已采纳
1
回答
仲裁数据迁移
在可预见的未来,需要将仲裁块链上的数据迁移到另一个系统。 是否有迁移工具/ETL工具可以在块链节点上获取数据并在datawarehouse中处理数据以进行数据分析/备份和/或以可检索的格式存档?
浏览 0
提问于2018-07-06
得票数 0
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据分析BI工具有哪些?BI工具推荐
20个顶级大数据分析工具
超强盘点:15种大数据分析工具
大数据下Python的三款大数据分析工具
FIFA足球游戏的球员数据分析
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券