1回答
让我们假设我有一个大文件(500GB+)，并且我有一个数据记录声明Sample，它表示该文件中的一行：field1 :: Int,那么，什么数据结构适合于在这些Sample数据的集合上处理(filter/map/折叠)？我的问题是，如何将它表示为Vector类型来解决问题？是否将文件内容表示为Sample类型的向量也将占用大约500 as？
解决这类问题
浏览 1提问于2014-06-20得票数 2
回答已采纳
1回答
我正在开发一个在一些系统上做DB交互的接口。作为我工作的一部分，我应该查询源数据库，调用一些过程，获取引用游标中的数据，并填充目标数据库。由于数据量可能很大，因此我在目标数据库上使用多线程来调用该过程。对于ex，如果应该加载的条目总数是100万，那么在目的地db上，该过程被调用例如10次，每个具有100K个记录。这种布置工作得很好，除非源db处的数据量很大(例如超过200万个条目)。我已经设置了大约
浏览 2提问于2013-03-12得票数 0
回答已采纳
2回答
您能告诉我一些用于处理大规模数据的C++标准库吗?例如，处理海量数据的自然语言处理，蛋白质相互作用的数据集等。
最佳，Thetna
浏览 0提问于2011-10-30得票数 7
回答已采纳
1回答
处理海量报表数据
、、、
我有一个报告系统，我需要组合来自3个不同服务器(系统)的数据，将其显示给用户。这在有几千条记录的情况下工作得很好，但随着它的增加，系统超时。
我在考虑使用另一种方法。当用户运行结果时，我将生成一个请求，以生成报告到数据库。正在运行的守护程序将拾取它，收集数据并生成报告，并通过电子邮件向用户发送报告数据的链接。我可以在这里做很多事情。1)将采集到的数据以表格的形式插入到数据<
浏览 3提问于2012-08-30得票数 0
回答已采纳
1回答
我正在寻找一个具有并发的大规模并行处理系统，它可以为每500毫秒100多万台IoT设备提供无缝的数据摄取解决方案。寻找开源的、高度可扩展的、不同协议的丰富的库，支持ESB，并且可以无故障地管理多线程。
是阿帕奇光束，阿帕奇Nifi或阿帕奇骆驼或WSO2更好的选择。
浏览 2提问于2018-07-30得票数 0
10回答
作为需求的一部分，我们需要处理近300万条记录，并将它们与一个存储桶相关联。这种关联是由一组规则(由5-15个属性组成，具有单个或范围的值和优先级)决定的，这些规则派生出记录的存储桶。对如此大的数字进行顺序处理显然超出了范围。有人可以指导我们有效地设计解决方案的方法吗？
浏览 0提问于2009-06-12得票数 3
回答已采纳
2回答
但我不确定在出现大量帖子的情况下，它是否能正常工作，因为上一次我在使用jquery发布大量数据时遇到了问题。json对象在50000个字符后被Firebug截断，指出
我注意到，即使是在一个普通的帖子中，字符数也会超过50K。有没有办法解决这个“请求大小限制”，或者“使用jquery传递如此庞大的数据是个坏主意”。请给我建议。谢谢
浏览 7提问于2012-05-07得票数 1
回答已采纳
我有一个用java写的作业问题。最好的情况是所有的单词都是一样的。所以我将显示没有出现单词，但考虑到最坏的情况，比如文件中出现的单词是唯一的。所以我需要显示所有出现次数为1的单词。
如何处理如此庞大的数据列表？我们对此有什么解决
浏览 0提问于2013-03-04得票数 0
2回答
我在处理数据库中的大数据时遇到了以下问题：
基本上，每一秒来自数字传感器的所有测量数据都存储在数据库中。报告应该从所有数据中仅显示发生的更改，例如在时间X时，寄存器#1的值从0更改为1。我已经创建了一个过程，它可以只返回我需要的数据(更改)，这节省了我在php中的大量处理，但最大的问题是，对于4天的当前数据，查
浏览 1提问于2012-09-14得票数 1
回答已采纳
2回答
低耦合处理海量数据
、、、、
通常，我通过在它们之间创建交换列表、集合和映射的类来实现低耦合。现在，我正在开发一个Java批处理应用程序，由于内存不足，我无法将所有数据放入数据结构中。我必须读取和处理一大块数据，然后再转到下一个数据。因此，低耦合要困难得多，因为我必须在某个地方检查是否还有数据可读，等等。我现在用的是：如果有更多行要读取，则处理的类必须向Source类询问。
在这种情况下，最
浏览 0提问于2012-04-09得票数 8
回答已采纳
如何使用laravel和data table加载500万左右的海量数据？另外，我在服务器端处理分页时遇到了一个问题
浏览 28提问于2020-05-02得票数 0
1回答
我发现pandas ewm在处理海量数据时运行非常慢。有没有办法加快速度，或者对指数加权移动平均使用替代函数？
浏览 16提问于2017-03-08得票数 0
回答已采纳
1回答
最近我遇到了NoSQL的概念，据我所知，它适用于处理海量数据。
我的问题是，我们使用NoSQL变得值得的限制是什么？它只适用于处理大量数据的公司，如Google、Facebook等，或者即使数据量较小，也值得从SQL数据库切换到它。
浏览 1提问于2012-09-11得票数 1
回答已采纳
1回答
微观ORM“海量”是否有处理继承的方法？
我需要一些与Server非常接近的东西。作为第一步，最好只是拦截海量生成的SQL，然后将其放入我所选择的数据库中。这样做可能会产生预期的遗传效果：
class BabyProducts : Products {...}注:这个项目(受大规模项目启发)可能
浏览 1提问于2011-10-29得票数 3
回答已采纳
我有三个节点的kafka集群。我向kafka主题产生了1个分区和3个复制因子的消息。如果我的消费者工作得比生产者慢得多，会发生什么？我应该检查哪些参数才能保证零数据丢失？？ 谢谢!
浏览 25提问于2020-08-22得票数 0
回答已采纳
我们已经使用了Apex data Loader来插入/删除记录，但是当处理海量数据时需要花费更多的时间。
你能让我们有其他的方法来实现这一点吗？
浏览 2提问于2011-04-18得票数 1
1回答
线图数据处理问题
、、、、
在API中处理行图数据的最佳方法是什么？
我厌倦了正常的X，Y值，但是每个类别都有大量数据，所以很难处理。我的问题是我应该从服务器获得哪些数据，所以我将很容易地显示这些海量数据。
浏览 9提问于2022-03-31得票数 0
1回答
处理大量数据
、、、
因此，我正在使用参数化能量模拟，并最终得到存储在.CSV文件中的数据的500GB+。我需要能够处理所有这些数据来比较结果，并深入了解不同参数的影响。每个csv文件名都包含用于模拟的参数信息，因此我无法合并这些文件。
我通常使用pandas并定义一个类将.csv文件加载到python中。但是现在(有了所有这些数据)没有足够的内存来做这件事。你能告诉我一种处理这些数据的方法吗？我需要能
浏览 3提问于2016-10-01得票数 0
1回答
我正在尝试在我的Web应用程序中使用固定数据表，我正在处理大量的数据，比如数十万条记录。我正在尝试一次加载所有数据，以最大限度地利用data Table的搜索和排序功能。是我正在使用的数据表的链接。
如何处理功能齐全的数据表中的海量数据？
浏览 0提问于2017-01-10得票数 1
我是elasticsearch的新手，并且拥有巨大的数据( mysql表中超过16k的大行)。我需要将此数据推送到elasticsearch中，但在将其编入索引时遇到问题。有没有办法让索引数据更快？如何处理海量数据？
浏览 1提问于2012-05-21得票数 6
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
