我希望从Azure表中读取5+百万事件，并执行对Cassandra的大容量插入。该表有2列。我看到可以从Azure SQL DB读取的SQL组件。问题:使用Azure SQL DB
我能用骆驼做这个用例吗？
浏览 6提问于2021-08-17得票数 0
回答已采纳
1回答
表值参数:分块发送数据
、、、
我正在从csv文件读取数据，并将数据作为表变量发送到存储过程。根据我到目前为止的测试，我能够在3分30秒内处理300k条记录。随着时间的推移，该文件可能包含多达数百万条记录。我想知道一次将所有这些记录发送到存储过程是个好主意，还是应该分批发送，比方说500k？我已将命令超时设置为1800。
浏览 2提问于2012-09-18得票数 0
1回答
我试图提高我的应用程序的性能，其中一个操作是从CSV文件中读取数据，并将每行的值存储为一个POJO (所以1500个CSV行=1500POJO)在PostgresSQL数据库中。当循环读取CSV文件中的每一行时，我最初的尝试基本上是在循环的每一次迭代中使用这个语句：但是，使用spring.jpa.show-sql
浏览 0提问于2018-07-02得票数 0
我在C#中开发了一个代码，它将数据从csv文件复制到数据表中。csv文件包含500万行，我逐行读取行以防止内存问题。我想知道为什么我仍然会得到OutOfMemory异常。{ }}
每行的列数为9，这就是为什么我使用I来确保不会读取第10列中的意外数据。
浏览 1提问于2017-02-15得票数 0
回答已采纳
1回答
我有一个拥有100多万条记录的MySQL数据库。我不是数据库的所有者，并且没有对它的写/修改权限。我有一个名为MyDB的小目标数据库，它从巨大的视图中获取一些字段。现在，这些是我在MysqlWorkbench上处理巨大的百万记录表时所面临的问题。+marks-Integer
myDB(Target SQLit
浏览 5提问于2015-02-23得票数 0
回答已采纳
我有一个正在运行的服务，它转换数据并将转换后的(几百万行)数据写入Server。前面从这些桌子上读出来。有什么想法可以在不牺牲读取性能的情况下更快地将记录提交到数据库？一些细节：
转换后的数据驻留在许多不同的表中，所有这
浏览 1提问于2012-11-16得票数 2
1回答
我是新的大数据和火花。我必须处理过去两年的实时数据和旧数据。每天大约有一百万行。我正在使用PySpark和Databricks。数据在创建日期进行分区。我必须执行一些转换并将其加载到数据库中。对于实时数据，我将使用火花流(readStream读取、执行转换，然后是writeStream)。如何处理过去两年的数据？我试着过滤了30天的数据，获得了很好的吞吐量。我应该同时在所有两年的数据上运行这个过程，
浏览 2提问于2020-07-20得票数 2
回答已采纳
嗨我在想的是，如果我将数据存储在一个文件中，它会提供更快的速度吗？我正在使用PHP读取文件...
浏览 2提问于2010-06-29得票数 4
回答已采纳
我遇到了一个问题，我只需要将Postgresql数据库中的数据复制到Mysql数据库。我已经有了包含空表的Mysql数据库。通过使用PGAdmin，我得到了一个备份(只有数据，没有数据库模式)。任何关于指南的简单帮助都将被高度赞赏以复制数据。
浏览 4提问于2009-11-05得票数 1
想知道如何在JSP/Servlets中执行以下操作：
注意: mySQL
浏览 1提问于2010-09-22得票数 2
回答已采纳
2回答
我想开始修补大型政府数据集--特别是，我想与和合作。阳光基金会和响应政治中心提供这些数据集的供下载。
是否有更好的方法将这些数据集加载到数据库并运行查询？我应该考虑一个不同的数据库平台吗？
浏览 11提问于2011-03-15得票数 2
回答已采纳
我的数据库(MySQL)中有一个巨大的表，其中包含数百万个数据。我需要填充10个随机数据，并在UI上显示它。考虑到性能，什么是一个好的方法？我在考虑创建MySQL视图来填充10个随机行，并从UI中读取它。或者，有没有其他有效的方法来处理这种情况？
浏览 0提问于2010-11-03得票数 4
回答已采纳
1回答
所发送的数据小于1KB，将存储在一个NoSQL DB中，该数据库将由组件A读取，然后尽可能并发地发送到组件B。我想同时从组件A发送10,000个请求到组件B。sent to component B-can't handle more than 10,000 concurrent requests数据集可以进入数百万条消息我在考虑把信息分批在一起。
任何有关缩放的设计想法都将不胜感激。
浏览 3提问于2016-03-07得票数 0
回答已采纳
1回答
好的，我有一个有数百万行的海量数据集，我怀疑由于它的大小，我很难用loc ==和isin过滤数据，所以我有一个想法，我想我可以做一个多索引pivot_table，然后过滤较小的透视表。一旦我把它做成一个完整的数据帧，我可以在上面过滤这个吗？
编辑我不确定为什么我的原始代码不能运行，它看起来很简单？
浏览 4提问于2017-11-05得票数 0
3回答
我有足够的内存来加载整个文件(我的计算机有32 in的RAM)
任何帮助都是非常感谢的！
浏览 4提问于2015-11-01得票数 8
回答已采纳
我正在开发一个评级系统，在进行评级之前，它会将数百万个资费计划加载到内存中，资费计划列表每天都在增长(有时每天超过20,000条记录)，从过去的几周开始，我们面临着内存问题。有没有办法实现某种缓存机制(将资费分批并根据需要加载/卸载)？或者对价目表进行内存映射？
我们使用hibernate来获取数据库。
浏览 1提问于2012-06-07得票数 1
1回答
更新时间太长
、、
一旦我通过了这次运行，或者取消了，或者它完成了，我意识到有几件事情可以让这件事在将来变得更好(尽管这不是我必须经常运行的操作)：将日志文件移动到与数据库不同的驱动器
浏览 0提问于2015-03-02得票数 2
我有一个MySQL数据库，每个表包含数百万行，总共有9个表。数据库是完全填充的，我所做的就是读取--也就是说，没有插入或更新。数据存储在MyISAM表中。但是，我在某个地方读到了xfs有糟糕的读取性能的地方。这是真的吗？我是否应该将数据库转换为ext3文件系统？
谢谢
浏览 0提问于2010-04-23得票数 2
我有一个MySQL数据库，每个表包含数百万行，总共有9个表。数据库被填满了，我所做的就是读取，也就是说，没有插入或更新。数据存储在MyISAM表中。谢谢
浏览 0提问于2010-04-23得票数 1
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号