1回答
我正在用Python构建一个独立的数据分析项目。由于该项目需要可扩展，它需要一个相当坚实的数据处理和分析管道。这条管道目前看起来有点像这样:数据源--> ingest ->存储在postgreSQL DB ->数据处理层-->分析环境中。我已经编写了Pandas代码来清理数据处理层中的数据--但我不确定当数据从数据库中提取到分析环境中时，清理数据是否是最佳实践。特别是当每次数据被提取时，数据处理将被重复。我应该处理摄取层中的数据
浏览 3提问于2022-05-13得票数 1
回答已采纳
1回答
主线程->启动工作线程->开始阶段(获取数据处理位置列表)>移到一个位置->数据采样->数据收集->数据分析提前感谢！
浏览 2提问于2010-04-06得票数 1
但是我想知道是否有任何方法可以使用hadoop MapReduce作为实时数据处理的例子，比如实时结果，实时tweet。
如果不是，实时数据处理或分析的替代方案是什么？
浏览 0提问于2018-12-18得票数 2
回答已采纳
目前，我正在寻找支持大数据地球空间分析的大数据技术。我来到ESRI，发现它主要支持地球空间数据分析和可视化。然而，目前，除了需要许可的ArcGIS GeoAnalytics服务器之外，它们还没有对大数据地理空间分析的广泛支持。同时，我发现Google BigQuery是多么强大，它最近提供了对地理空间处理和分析的支持(为您使用的东西付费，每秒)。
我想知道的是:我应该选择哪个工具进行地理空间大数据处理、分析和可视化？请注意，我刚刚开始了对地理空间大数据处理的研究，我想在
浏览 5提问于2019-10-28得票数 0
回答已采纳
我对谷歌分析很陌生。我用它来了解一个网站的性能指标，这个网站不是我的。我被指派去分析那个网站的性能指标。我现在非常困惑，因为我认为简单的登录和放置链接url就足以让google分析人员向我展示数据的仪表板，我在每个教程中都看到了，当他们打开google分析时，它会向他们展示带有数据的仪表板(不是空白仪表板
浏览 3提问于2020-06-26得票数 0
回答已采纳
1回答
我试图确定系统分析和领域分析之间的区别。似乎任何系统分析都发生在某个领域内--那么，是否有领域分析人员会使用的技术、概念、工具等，而系统分析人员则不会使用？
浏览 0提问于2015-01-21得票数 0
回答已采纳
( A)如何获取信息上个月发生了多少数据处理来分析成本？( B)如何对Serverless进行迁移？
浏览 0提问于2021-01-04得票数 0
1回答
我的网站是存储一些主机特定的信息在工头作为智能变量。我想将所有这些信息合并到可读的木偶文件中，并对它们进行版本控制。实现这一目标的最佳途径是什么？几乎3岁。从那以后有什么变化吗？
浏览 3提问于2014-09-02得票数 0
回答已采纳
2回答
我想在文章发布平台之上构建一个分析引擎。更具体地说，我想跟踪用户的阅读行为(例如，文章的浏览数量、开放文章的时间、评分等)，以及文章本身的统计数据(如段落数、作者数等)。这将有两个目的：
关于如何将所有这些都整合在一起，以及可以帮助我解决的酷python项目，有什么建议吗？如果我需要提供更多的信息，请告诉我。
谢谢
浏览 4提问于2012-09-14得票数 2
回答已采纳
我们能在流上使用hadoop生成输出吗？我有一个由日志和预约id组成的大文件，如果我使用传统的RDBMS，我可以得到预约id，但需要1或2个小时。On意味着在管理员登录到系统时显示此约会id。我是否可以运行Hadoop onflow (在应用程序运行时运行map还原)
浏览 4提问于2013-10-25得票数 0
回答已采纳
我已经了解了如何使用连接字符串中的|DataDirectory|来设置wpf应用程序数据库文件所在的目录，但我希望更进一步。
换句话说，我的连接字符串将从这个开始：
connectionString="Data Source='|D
浏览 1提问于2013-09-17得票数 0
回答已采纳
2回答
当数据处理速度慢时，我看到RES内存增长；但是在所有数据处理完之后，RES会下降，但不会返回到原来的RES值(即使在等待超过10分钟之后)。例如10 MB (原始) => 50 MB (峰值) => 30 MB(在释放所有数据之后)
我已经使用valgrind和massif来分析内存，看起来所有的数据都被释放了。
浏览 7提问于2017-11-27得票数 1
回答已采纳
2回答
我正在重写一些R脚本，将空间数据处理并分析到一个包中，以便更容易地共享。最初，我只是将所有光栅数据/etc保存到我的工作目录中，每次我想使用“堆栈”或“光栅”进行分析时，都会将它从那里加载到脚本中。
浏览 5提问于2020-04-20得票数 0
回答已采纳
2回答
我正在从事数据处理工作，并希望直接从Python生成一些数据分析的PowerPoint或OpenOffice印象深刻的演示文稿。有没有什么库可以让Python做到这一点？我使用的是Unix环境。
浏览 2提问于2012-06-26得票数 3
回答已采纳
现在，我想执行某些分析/数据处理来计算测试结果。有没有办法做到这一点？在这种情况下，grafana插件能帮上忙吗？
浏览 0提问于2017-05-09得票数 0
我正在为分类问题建立一个训练集。我有一个选择，我可以在其中构建一个数据集，其中我的每个主题(客户)可以有多个观察/行，或者我可以有一个观察每个主题。当从不同的时间窗口进行观测时，每个主题都有可能进行多次观测。
我的问题是:在训练数据集中保留多个观察对象是否违反了观测的独立性？因为假设对于一个主题的相同特性的两个度量可以来自两个不同但重叠的时间窗口。
浏览 0提问于2022-11-07得票数 0
我们想使用apache spark进行实时分析吗？我们目前使用hive/MR进行数据处理，使用mysqlsql存储聚合结果，并使用jasper报告进行分析？
浏览 1提问于2015-02-21得票数 2
2回答
1.尝试使用c#代码处理流分析中的数据，我知道.Net支持天青流分析，但我认为还为时过早？有这种方法的经验吗? azure流分析是否支持复杂的c#算法?2.将数据存储到azure数据湖并使用数据湖分析来处理数据？
非常感谢您的经验和建议。非常感谢
浏览 0提问于2017-07-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
