2回答
我正在开发一个需要数据库的singler用户应用程序。大多数表的数据量都是合理的，但也有一些表的数据量可能会增长到数百万行。我的所有查询都不会返回大的结果集。有人知道HSQLDB能否处理这么多行吗？
浏览 0提问于2012-08-15得票数 3
回答已采纳
2回答
我有一个大约275,000个元素长的英文单词数组，我需要在用Swift编写的iOS应用程序中使用它们。但是，Xcode似乎无法处理如此大的(3+ MB)文件。我该如何处理这么大的数据量？
浏览 14提问于2018-08-10得票数 4
2回答
为了在FPGA中实现算法，我需要存储一个非常大的常量矩阵。我计算过，我需要一个大小约为30Mbit的ROM存储器，所以FPGA的内存是不够的。我在考虑使用任何连接到FPGA的外部设备。有没有可能同时处理这么大的数据量？
谢谢!
浏览 1提问于2017-01-11得票数 0
2回答
如果我想使用RPC或组件技术传输数据，但数据量可能非常大，该如何处理这种情况？例如，我想要将一个文件作为参数传输到remote，但我不想将整个文件放入内存中进行传输。我该怎么办？
浏览 2提问于2012-08-07得票数 0
回答已采纳
我用的是，c = [int(i) for i in data]但是对于非常大的数据量，处理时间太长了。输入的格式为，3785077570718573
....
浏览 2提问于2014-09-25得票数 0
这段代码处理的数据量非常大，并且需要几个小时才能运行。
有没有什么方法可以在不停止程序的情况下检查代码的状态？
浏览 0提问于2015-12-04得票数 5
请看下面的图片，这24个任务属于同一个任务，每个任务的处理数据量基本上是相同的，用于gc的时间很短，我的问题是为什么属于同一个任务的任务的持续时间有那么大的不同？
浏览 3提问于2016-05-05得票数 0
回答已采纳
我有一个可执行的工具，它返回以制表符分隔的数据作为输出，数据量非常大，并且希望该工具的输出作为Perl程序的输入进行进一步处理，从性能的角度来看，使用什么是首选的方法 @res=`mytool` 和处理@res 或者使用管道操作符来读取工具，同时返回结果，并对其进行如下处理： open(RES, "mytool |") or die "Couldn't for
浏览 34提问于2020-06-24得票数 3
假设您有一个非常大的表，比方说有几十亿无序的行，现在您想要为它建立索引以进行快速查找。或者，您可能要大容量加载它，并使用聚集索引在磁盘上对其进行排序。显然，当您处理这么大的数据量时，您必须停止假设您可以在内存中进行排序之类的事情(当然，在不使用虚拟内存的情况下，这会对性能造成很大的影响)。有人能给我一些关于数据库如何在幕后处理这样大量数据的线索吗？我猜有一些算法使
浏览 3提问于2009-11-13得票数 4
回答已采纳
在我们的Rails应用程序中，我们每天需要通过ActionMailer发送成千上万封电子邮件。这些将在我们的应用程序中收到用户交互时发送。Gmail Enterprise限制在每天2000，这对我们来说是不够的，因此我们不能使用它。
浏览 1提问于2012-03-22得票数 0
回答已采纳
7回答
我需要开发一个在Mac，Windows和*nix上工作的应用程序。该应用程序将不得不处理相当大的数据量，并将不得不显示大图形(因此需要一些2d绘图)。我应该使用Java吗？wxWidgets？哦，出于好奇，如果我想为Web构建这个应用程序，你认为它的可行性如何？我们非常感谢您的任何建议。
谢谢
浏览 1提问于2010-07-03得票数 1
回答已采纳
我希望迭代一组对象并进行更改，然后分组提交这些更改，因为数据量可能非常大。当我这样做的时候，我得到了一个ObjectDisposedException。对于如何更好地处理这个问题，有什么建议吗？
浏览 0提问于2014-01-03得票数 2
1回答
我正在使用Python将一个大的(几GB) bin文件转换为csv格式，以便可以绘制结果数据。我做这个转换是因为bin文件不是绘图工具/模块可以理解的格式，所以需要一些解码/翻译。目前看来，Gnuplot是处理如此大的数据量的最佳选择。
我想知道，是否有一种方法可以在处理数据时绘制数据图，而不是等待整个文件完成转换，然后运行Gnuplot？也许我可以完全绕过csv文件。到目前为止，我读到的所有内容
浏览 0提问于2016-06-15得票数 1
3回答
有没有办法根据数据任务的大小动态调整Pod的内存大小(我的用例)？我已经考虑过按数据量使用切片，即每10,000行切片，我们将知道处理固定数量的行所需的内存。但我们正在尝试按时间进行聚合，因此需要时间切片。
浏览 4提问于2018-06-28得票数 6
我使用GPU在一个大小为55 on的数据集上运行一些非常大的深度学习模型。如果我使用一个大于1的批处理大小，我会得到一个资源耗尽错误。即使批处理大小为1，我也会得到分割错误。GPU内存为10 of，服务器具有32 of的RAM。 有没有办法让我知道GPU中的数据量(批处理大小为1)会有多大？我正在使用tf.Keras来拟合模型。
浏览 32提问于2021-08-10得票数 0
1回答
我正在处理一个需要非常大的连接的问题。连接本身非常简单，但我正在处理的数据量非常大。我想知道很大的连接，是否有一种较好的技术类型。例如，它是更有效的数据仓库(如雪花)还是在其他MPP系统如星火？假设我有一张像这样的桌子：我正在处理一些逻辑，它需要具有相同名称的帐户对。要找到具有相同帐户的对帐户，我可以很容易地执行以下操作：
浏览 0提问于2022-02-24得票数 2
我有一个结构化的流媒体应用程序读取来自Kafka的消息。每天的信息总数约为180亿条，每分钟的峰值信息计数为12,500,000条。最大消息大小为2KB。如何确保我的结构化流应用程序能够处理如此大的数据量和速度？基本上，我只想知道如何设置最佳触发时间、maxOffsetsPerTrigger或任何其他配置，从而使作业顺利进行，并能够处理故障和重新启动。
浏览 2提问于2019-06-17得票数 5
我有一个非常大的json文件集(超过一百万个文件)，我想和Spark一起工作。
但是，我以前从来没有尝试过将这么多数据加载到RDD中，所以我实际上不知道是否可以这样做，或者甚至不知道是否应该这样做。在Spark的RDD(s)中处理这些数据量的正确模式是什么？
浏览 0提问于2016-01-13得票数 0
1回答
我对MongoDB的用法非常简单。我只有一个副本集，并且在不使用Map Reduce的情况下处理一些基本查询。此外，如果我在MongoDB中使用Map Reduce并连接Hadoop，性能将如何提高？
浏览 0提问于2014-04-25得票数 0
9回答
我想知道是否应该在我的服务器和客户端之间添加一个SSL层。我没有处理任何机密数据，但有人为了获取情报(顺便说一句，这是一场游戏)想要破解传输的可能性很小。现在，与小型网站相比，要处理的数据量是相当大的，虽然增加的安全性可能很好，但最有可能的黑客是用户自己，所以我觉得SSL是浪费时间，但我想听听其他人的经验。
谢谢
浏览 0提问于2008-11-25得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
