1回答
我目前有一个使用AWS数据库的大型应用程序。我所有的桌子都很小，但是有一张有超过1200万行的大桌子将不断增长，我想把它分成其他的东西。本表用于报告和分析。
我考虑了以下几种选择：
ElasticSearch 为大表创建另一个RDS，将数据库切换到Amazon集群，并使用仅用于大表的读取副本，将大表移动到DynamoDB表将大表移动到Redshift将大表移动到
你们有什么建议？
谢谢!
浏览 2提问于2020-10-28得票数 2
1回答
我正在移动一些关于使用rhino.etl的数据
我正在移动的一个表有一个列，其中每行存储了相当大的文本块-尽管它不是那么大，只有大约2000行。
在运行作业时，我得到：
FileHelpers.dll中出现类型为“FileHelpers.FileHelpersException”的第一次机会异常
现在，删除大文本列解决了这个问题-这是我得到的唯一输出。
是否有某个限制规定了数据大小的限制或其他限制？
调试输出：
浏览 4提问于2010-12-02得票数 0
我们的oracle应用程序数据库中有某些列，它们被定义为CLOB和NCLOB。如何将CLOB数据类型列从Oracle移动到大查询？我们使用数据流从oracle数据库中提取数据并写入大查询。
浏览 4提问于2020-02-23得票数 0
在我最新的应用程序更新中，我将每个用户的.sqlite数据库移动到不同的目录。我使用的是核心数据方法migratePersistentStore:toURL:options:withType:error，一些用户的应用程序由于内存占用过多而关闭。因此，我返回到NSFileManager的moveItemAtPath:toPath:error方法。我不认为这会像migratePersistentStore:toURL:options:withType:error那样将数据库加载到内存中，但我担心的是，移动一个非常大的数据库仍然会出现相同的内存问题。我需要一些建议--当文件被移动时，是否有人确切地
浏览 1提问于2018-09-08得票数 0
回答已采纳
1回答
我有一个大的时间序列(熊猫数据)的风速(平均10分钟)，其中包含错误数据(死传感器)。它怎么能被自动标记。我试着用移动平均线。一些其他的方法，然后移动平均是非常赞赏的。我已经附上了下面的样本数据图像。
浏览 0提问于2018-11-15得票数 2
回答已采纳
3回答
是否有可能(在任何合理的操作系统上，最好是Linux上)通过只修改页表而不实际移动任何数据来交换两个内存页的内容？
动机是密集的矩阵转置。如果数据是按页大小阻塞的，那么可以转置页内的数据(在缓存中)，然后交换页以将块移动到它们的最终位置。一个大的矩阵会有很多很多的页面被移动，所以希望刷新TLB不会造成麻烦。
浏览 2提问于2010-04-21得票数 3
回答已采纳
目前我的服务器c驱动器几乎都满了，只剩下20 of，我有一个大的数据库表，里面有1100万条二进制图像记录。现在我需要将我的mdf和ldf文件移动到另一个硬盘上，以清空c驱动器并保持服务器的性能。请告诉我我的sql.server版本是2012和andwindows版本2012数据中心的正确方式。
我尝试使用sql增量软件移动或备份我的大表，但是由于sql增量软件创建的日志文件，c驱动器没有足够的可用空间。
谢谢
浏览 3提问于2016-01-16得票数 0
当我们点击一个php页面(从mysql数据库获取记录并插入到csv中的.The计数非常大)时，我会得到以下错误:当我们有更少的数据时，.please计数非常大，所以没有问题，.please指南，我们能为这个问题做些什么。
错误:search_fiter.php可能暂时关闭，或者它可能已永久移动到一个新的web地址。
浏览 12提问于2022-07-29得票数 -1
2回答
运行一些查询并得到结果！想将结果保存到大查询数据集中，但一直得到一个错误！
若要复制表，目标数据集和源数据集必须位于同一区域。复制整个数据集以在区域之间移动数据。
但是，团队中的其他人员能够将结果保存到相同的数据集中。也不能将其保存为视图，因为查询太复杂，无法运行大查询！如果有人能帮我解决这个错误会很感激的。
浏览 1提问于2022-05-19得票数 -1
我想把我所有数据库的物理位置(大约20个)移到新的位置。
sys.master_files (physical name) column gives me path of databases.
如果我将物理文件复制到新的位置并在这里更改路径，那么数据库将被移动到新的位置？
如果以上不可能，那么大容量移动数据库的最佳方法是什么？
谢谢。
浏览 0提问于2011-05-12得票数 0
1回答
我使用python中的套接字将一个非常大的字符串从一个应用程序发送到本地主机上的另一个应用程序。小的字符串可以立即移动，但是大的字符串似乎需要更长的时间(我说的是大的，但我说的可能是最多一两MB )。足够了，在我在一个应用程序中做了一些事情之后，我不得不坐下来等待几秒钟，然后它才会出现在另一个应用程序中。
这里涉及到哪些瓶颈？据我所知，使用127.0.0.1上的套接字，我真正要做的就是将数据从内存中的一个点移动到另一个点。因此，即使一次传输数百MB，在我的工作站上也应该立即移动。
浏览 0提问于2010-07-01得票数 0
回答已采纳
我试图将一个大型.sql文件导入Oracle数据库，但我得到了很多错误，例如：
ORA- 00922 :缺少或无效选项00922。00000 -“丢失或无效选项”
和
SQL错误: ORA-00911:无效字符00911.00000 -“无效字符”
有什么选择可以改变我的偏好吗？或者其他的解决办法？
我所做的是：
set define off
@ D:\Downloads\backup.sql
该文件也是11.8GB大，因此，如果您有建议如何导入这样大的数据库，请分享。
浏览 2提问于2017-05-06得票数 0
我有一个非常大的CSV文件(>1 GB)和一个Google Cloud SQL表来移动它。图形界面是否能够快速处理导入？LOAD DATA INFILE不受支持，那么有没有其他方法可以移动大型CSV？源数据仅为文本形式，而不是来自其他MySQL。
浏览 2提问于2016-04-14得票数 1
1回答
我正在使用Linq2Sql来访问我的数据库，它相当大。(67个表)目前使用它是一个相当痛苦的工作，因为"MSLinqToSQLGenerator“生成它的类并最终完成编译需要很长时间。
有什么方法可以加速这个过程吗？比如，有没有可能缓存它生成的输出，因为我很少接触数据库结构？
感谢您的阅读。
浏览 2提问于2012-12-17得票数 1
回答已采纳
我正在尝试实现一个简单的卡尔曼滤波器，它将用于使用一组地理坐标或来自twitters tweet地理数据的地点ID来跟踪用户移动。 从本质上讲，我正在使用Twitter数据计算移动模式？给出一大组推文，其中一些带有地理坐标，一些带有位置id，我们可以使用(或开发)哪些方法来检查用户去了哪里，他们移动了多少，以及他们什么时候回来了。 有人能对此有所了解吗？
浏览 23提问于2021-02-05得票数 0
我们正在建立一个数据仓库。对于某些目标表，正确管理流程的唯一方法是在每次发生更改时重新转换所有数据。
目前，我们使用的是“表交换”，即：
在临时模式“B”中创建新数据
开放交易
将A.Table移动到模式C
将B.Table移动到模式A
将C.Table移动到模式B
提交
理论上，这都是即时的，因为SQL从来不需要物理地复制任何数据。然而，由于获得的模式锁，我们得到了糟糕的并发性。
是否有其他方式在表之间大容量移动数据(移动，而不是复制)，或者我们必须回到执行插入(这可能是批量记录，但仍然会导致所有数据再次写入磁盘，这是缓慢)。
所讨论的表是几个GB，因此出现了性能问题。
SQL 2012
浏览 0提问于2013-12-09得票数 1
1回答
我在python中有一个相当大的数据框，我正在尝试为移动平均添加一个新的列。我可以将表作为一个整体添加移动平均值，问题是我需要根据b列中的值计算多个移动平均值。例如：
Column B Column C
1 4
2 5
3 6
1 7
2 8
3 9
因此，新列的移动平均值为1,2,3，...
谢谢你的帮助。
浏览 2提问于2016-08-16得票数 0
在大查询数据传输服务中，我已经将Dataset 1链接到搜索Ads 360数据传输。现在，我可以在20+表中看到Dataset1。是否可以将这些20+表移动到专门用于搜索Ads数据的Dataset2中。
浏览 4提问于2021-07-06得票数 0
我已经设法弄乱了我的MySQL数据库(在MacOSX10.5上)，需要帮助恢复！
我试图向一个相当大的表(1.9亿条记录)添加索引，但在此过程中，我耗尽了磁盘空间。后来意识到包含数据目录的分区太小了，所以我需要移动它。
最初，我认为我只需要将数据目录复制到另一个位置，然后在原始数据目录的位置添加一个符号链接。
但是它拒绝移动！
sudo cp -r /usr/local/mysql/data .
cp: ./data: Permission denied
(在尝试此移动之前，我已停止mysqld进程)
帮助!
浏览 2提问于2010-07-28得票数 1
有一个列表一直保存着300,000个对象，gc不会对其进行清理。
如果jvm配置"Xmx“有一个足够大的值，那么这个大列表会使gc的性能变差吗？
我问这个是因为我想在我的应用程序中使用一个大的列表和数据缓存。如果一个大的列表不影响GC，那么它是最好的选择，因为jvm中的列表比其他的列表有更好的性能，例如memcached，memory db，
浏览 0提问于2011-10-31得票数 3
回答已采纳
我有一个非常大的表，每个季度填充大约100万条记录。
我使用手动将数据从现有表移动到另一个数据库，以最小化备份大小，并在执行查询时减轻生产数据库的负载。
有没有更好的方法，例如，一些计划的脚本将数据从生产数据库移动到其他数据库，然后每天或每周有效地从源数据库中删除记录？
请注意，由于向该表中插入的次数很多，所以我的日志文件增长很快，而且当我将数据移动到存档数据库时，删除操作也会被记录下来。
谢谢
浏览 2提问于2012-10-23得票数 5
回答已采纳
4回答
我想使用PHP从文本文件中删除一定范围的数据。让我们假设该文件包含以下内容：
Hello, World!
我想删除从字符2到字符7的所有内容。我需要处理的实际文件非常大，所以我不想为了删除给定的小范围数据而必须读取大文件。给定范围内包含的数据是未知的，因此str_replace或preg_replace解决方案无论如何都不能工作。
谢谢!
浏览 1提问于2010-03-25得票数 0
回答已采纳
有没有办法把一大堆小图像画成大图像，这样就只需要移动大图像了？具体地说，我正在制作一个基于rpg的自上而下的瓦片，我正在试验地图滚动。移动每个瓦片比移动一个大图像慢得多，所以我在寻找一种方法来将所有瓦片绘制到一张图像上(我看了一下纹理，但找不到任何示例或教程)，这是最好的方法吗?它可能吗？
浏览 0提问于2012-08-05得票数 4
回答已采纳
1回答
我有一个移动通信单元，它使用移动互联网3G与我的服务器进行通信。
场景1:当我使用IP地址创建TCP套接字并通过它发送数据时，发送的数据100%是在服务器上接收的。
场景2:当我用域名替换IP地址时，有时移动单元甚至无法建立连接，甚至当连接时--有时从移动单元发送的数据永远不会在服务器上接收。
我想使用域名，因为它们将使设置更易于管理，我也尝试通过使用确认来实现可靠性，但这也是相当大的开销。
问题是我如何使用域名和保持我的数据完整，进一步我将寻求一些解释，如何简单地改变IP地址到域名可以造成这样的问题。
浏览 14提问于2015-10-25得票数 0
回答已采纳
BigQuery引用此命令从现有表创建分区：
bq partition mydataset.sharded_ mydataset.partitioned
(参见)
但当我运行此命令时，我发现数据实际上正在移动。由于从原始大表中选择数据非常昂贵，我想知道Google如何在这种情况下应用计费。
浏览 0提问于2016-11-09得票数 1
我有一个包含一个表的SQL Mobile数据库。它有几列包含有用的、经常查询的数据，还有一列存储每个记录的相对较大的字符串(1000+字符)，这些字符串不经常被查询。
想象一下这个假的模式，"lifeStory“字段是大的一个。
table1
String firstName
String lastName
String address
String lifeStory
一个典型的查询是
SELECT firstName, lastName, address FROM table1 WHERE firstName = :p1
有没有人知道在这个表中留下这么大的、不经常查询的列有什么性能
浏览 0提问于2008-11-12得票数 2
回答已采纳
在包含每个键仅存在于单个分区的星火数据集的简单情况下，如下两个分区所示：
("a"，1)，("a"，2)
("b"，1)
即使不需要这样做，洗牌操作(如)通常会将数据转移到分区中吗？
我问这个问题是因为洗牌是昂贵的，所以这对大型数据集很重要。我的用例正是这样的:一个大的数据集，其中每个键几乎总是位于一个分区中。
浏览 4提问于2015-08-21得票数 2
回答已采纳
1回答
我们正在SQLite数据库上执行相当大的事务，这会导致WAL文件变得非常大。(对于大型事务，有时最高可达1 1GB。)有没有办法在事务处理过程中对WAL文件设置检查点？当我尝试调用sqlite3_wal_checkpoint()或执行WAL检查点PRAGMA语句时，两者都返回SQLITE_BUSY。
浏览 2提问于2013-07-20得票数 2
回答已采纳
1回答
如果您使用Java架构和技术(Spring、hibernate……)开发了一个专业的web应用程序，那么它可能拥有数百万用户和一个非常大的数据库(Oracle)。
现在你想要设计和开发一个移动版本的web应用程序，移动应用程序如何访问web版本的业务层；
我想过web服务吗？你觉得呢？
浏览 2提问于2013-03-18得票数 0
1回答
我有一张大桌子，可以显示很多数据。
在Destop上，它看起来很好，但是在手机上它只是削减数据，我无法访问桌面上的内容，如下所示：
桌面版的表
移动版的表
有什么方法可以让桌子在移动平台上访问吗？还是只将数据保存在几行上的唯一方法？把不同卡片上的列分开？
(是的，我知道这不是一张卡片的最佳用途，我还在尝试使用mdl)。
非常感谢。
浏览 2提问于2015-07-28得票数 3
我需要备份我的Google Blobstore。
虽然Google要求用户更喜欢Google Storage，但我们已经使用Blobstore很长时间了，需要保护数据不被意外删除，并希望创建数据的副本以进行测试。即使我们想要移动到存储，我们也需要某种方法将数据从Blobstore移动到存储，而且在迈出如此大的一步之前，我们还需要一个备份。
如果有必要，我们可以自己编写备份代码，但是“应用程序不能创建或修改Blobstore值，除非通过用户上传的文件。”
做这件事最好的方法是什么？
浏览 7提问于2016-10-11得票数 2
1回答
我们正在实现Mapbox，我们有几个大型geojson文件--大约70-100mb --我们正在从一个API (REST ) THe映射加载该层，并将其表现为性能，这是很好的，但是浏览器内存明显增加，并且显然不能在移动视图上通过移动网络下载这样大的文件。
例如，是否有一种方法可以根据当前视图加载不同的URL并更改地图移动上的数据源？
有兴趣知道实现这一点的最佳方法。
浏览 7提问于2022-08-17得票数 0
3回答
java是如何处理字节顺序的？如果你正在将你的应用程序从一个小的字节顺序移动到一个大的字节顺序，反之亦然。类的数据成员或属性会受到怎样的影响？
浏览 0提问于2011-12-09得票数 4
回答已采纳
我正在尝试可视化我用基准记录的数据。我遇到的问题是，值的变化相当大，单个数据集由10.000个值组成。我试着用python来可视化它，但是得到的线条图看起来不太好。你有什么建议或想法，我怎样才能更好地可视化数据？
📷
浏览 0提问于2021-07-09得票数 0
回答已采纳
本周早些时候，我问了一个问题()，是关于将数据从渲染目标传输到CPU，以便可以在其上测试碰撞。从我得到的响应中，我决定将呈现目标的一部分绘制到一个较小的呈现目标，然后检索该数据将是一个有效的解决方案，并尝试实现该解决方案。
在绘制完整大小的渲染目标(1280x1024)后，我将活动渲染目标切换到一个较小的渲染目标(59X47 -我的玩家的碰撞大小)，并尝试将玩家下面的大型渲染目标的部分绘制到较小的目标上。起初，我认为这是可行的，但后来我注意到，碰撞有时会非常不准确。
我将较小的渲染目标绘制到屏幕上以检查其内容，发现它在任何时候都只占用少量像素，并且这些像素始终位于左上角。
浏览 2提问于2012-03-10得票数 0
回答已采纳
alexa.com似乎有一大堆主要网站访问者的数据。但他们没有任何观众设备的细分(据我所知)。
例如，有没有办法确定amazon.com (或任何其他网站)获得了多少移动流量？
谢谢,
浏览 0提问于2013-09-21得票数 0
2回答
有很多地方我有这样的代码：
some_function_signature()
{
T a;
T b = f1(a);
T c = f2(b);
T d = f3(c);
...
}
如您所见，在这样的函数中，a传递给f1()以生成b，然后b传递给f2()以生成c，依此类推。这些变量不会在函数调用(f1,f2,f3.)之后使用。它们拥有很大的内存(例如，T是大图像数据)。这里的问题是，在这个函数中，累积内存消耗可能很大，我想减少它。等待T的析构函数释放内存将使的峰值内存使用量非常大.
我可以这样做来释放使用后的内存：
some_function_sig
浏览 1提问于2018-09-21得票数 1
回答已采纳
我使用的是oracle数据库。如果有一个大的事务(700个表，百万行，数据大小将在100G左右)，需要优化的参数是什么？oracle服务器的磁盘空间为250G，内存为32G。(这是针对超级用户/服务器故障的问题吗？请移动)
浏览 1提问于2010-09-23得票数 0
回答已采纳
2回答
最快插入C++
、、
在数组/向量非常大的情况下，是否有任何方法可以相当快地将数据插入到数组/向量的任何位置？
如果我使用向量：：插入向量将在我的项目之后移动所有项目，这将花费很长的时间，例如，如果向量得到1b项，并且在向量中间执行，则向量将移动500 m项。
有什么有效的方法可以用C样式/C++数组或向量完成吗？
浏览 3提问于2014-01-06得票数 7
回答已采纳
我正在考虑/评估如何将RavenDB应用于我们公司计划建立的企业应用程序，我对这个数据库系统的了解还不是很广泛。所以我想知道是否有人能在以下方面帮助我，
RavenDB是否能够以合理的查询时间处理两个表中的数百万条记录，这些表相互关联(连接)？
系统将每天创建几千个条目--两个表，应该有一种方法将这些表中的旧记录大容量移动到备份表(最好是使用另一个数据文件)，以便限制这些键表上的行数。那么这个db支持大容量数据移动操作吗？
这个数据库能够利用多处理器服务器吗？
它提供了什么类型的数据恢复选项(是否可以进行热备份)？
如果出了问题，是否有一种方法可以切换到另一个数据库系统，而
浏览 4提问于2011-10-08得票数 3
回答已采纳
1回答
我试图通过使用srcset在我的移动网站上显示一个分辨率更好的图像，而不是那么大的img。
这是问题所在。我当前的页面是260x260大小的img_260。但我的标签宽度必须为140 ~ 180，大小可以是140或180，具体取决于我的移动设备类型
所以，如果我的设备类型只代表1dpr，我想它应该显示img180，因为它的宽度是180。如果我的设备类型代表2dpr，我认为它应该是360w，因为360大小的img将在2dpr中变成180大小。但在我的移动网络视图中，它总是显示为360大小的img。
请帮帮忙。
<div>
<picture>
浏览 2提问于2018-07-04得票数 0
我有一个已被清除的Exchange数据库，并释放了大量空间。我想使用eseutil来整理数据库，但花费的时间太长了。
我已经尝试将文件移动到我的桌面上，并在那里运行它们而不是服务器(服务器已经很老了)。我不明白瓶颈是什么。磁盘IO、CPU和内存使用率都很低。
我甚至尝试过从一些非常大的亚马逊ec2实例中运行碎片整理，无论如何，似乎要花费12+几个小时来整理我的30 Gig文件。
任何建议都会被引用。
浏览 0提问于2012-05-21得票数 0
1回答
我有一个与Oracle Order Management相关的相当大的业务应用程序，其数据在Oracle数据库中。
所有数据都可以与订单相关。现在，数据量很大，表中有数百万条记录，因此减慢了我的应用程序的SQL查询速度。
我正在规划我的主‘订单模式’的副本架构，比如'Archive Order Schema‘。并编写SQL查询以将(旧顺序)数据从主模式移动到归档模式，一次一个(旧)顺序。
但是SQL查询相当慢，而且移动一个(旧)顺序的所有数据(跨这么多个表)需要很长时间。
欢迎任何设计/方法/优化输入。
浏览 2提问于2013-02-14得票数 1
回答已采纳
1回答
排序表数据问题
、、
我在一个数据库表中有相当大的数据，我想根据它们的ID (主键)对数据进行排序。键列中的数据可以是：
001/2011,
002/2011,
001/2012
当我使用'order by id‘时，它像这样对行进行排序
001/2011,
001/2012,
002/2011
然而，我要找的是
001/2011,
002/2011,
001/2012
id列的数据类型为varchar(50)。有没有一个特殊的SQL函数可以用来对这种类型的数据进行排序？
浏览 0提问于2012-10-17得票数 0
回答已采纳
2回答
我在想，在处理本机跨平台移动应用程序时，我应该如何构建我的git。
--这就是问题所在：I已经为IOS和Android开发了一个本地移动应用程序，它提供了一个用php编写的连接数据库的小后端。
管理这个项目最有效的方法是什么？我应该让多个repos，这样我就可以单独存储项目的每个片段了。还是1大型回购，为这个跨平台的移动应用程序提供所有代码和项目文件？
浏览 2提问于2015-03-28得票数 1
1回答
我正在尝试计算一个非常大的数据集的移动平均值。行数约为30M。为了说明使用pandas，如下所示 df = pd.DataFrame({'cust_id':['a', 'a', 'a', 'b', 'b'], 'sales': [100, 200, 300, 400, 500]})
df['mov_avg'] = df.groupby("cust_id")["sales"].apply(lambda x: x.ewm(alpha=0.
浏览 14提问于2020-01-16得票数 0
2回答
只在一定分辨率下加载图像
、、、、
我的页面顶部有一个标题，其中有两个图像，其中一个只有在视图大(> 940)时才可见，另一个只显示在移动上。为了实现这种行为，我使用了Bootstrap 3和它们定义的媒体查询集：
<header class="container">
<div class="row">
<div class="col-lg-4 hidden-xs">
<img src="img/hi-res-logo.png">
</div>
浏览 4提问于2015-04-21得票数 0
回答已采纳
我在数据库(DB2)中有400K条记录的表票证。
我希望创建一个巨大的缓冲池，它将专用于这一个大表，以便更快地响应。做这件事的步骤是什么？
另外，目前我有一个缓冲池，它覆盖了数据库中所有表(约200)的整个表空间！那么我的特定表在旧的第一个创建的缓冲池中会发生什么呢？表是否应该保留在第一个缓冲池中，或者如何从缓冲池中删除？此外，此操作是否存在风险？
谢谢
浏览 0提问于2013-02-12得票数 0
回答已采纳
1回答
我的公司在每个客户的移动计算机上安装的软件都有一个本地的MySQL数据库。这些移动计算机通过移动宽带卡连接到互联网。我们将信息发送到字符串中，并通过XML文件存储在客户的本地数据库中，XML文件的范围从1kb到600 1kb不等。(注意:我们这样做是为了使用户在无法连接互联网时仍然可以访问这些数据。)
1-600 up的XML文件存储在我们服务器上的每个用户的文件夹中，直到它们通过.net/C# webservice下载为止。当客户第一次连接这些小型XML文件时，它们的容量可能高达20-40 XML。在正常情况下，他们可能会下载几mb的这些文件。客户移动计算机上的软件每10秒使用webserv
浏览 2提问于2011-08-05得票数 0
我在wordpress.com上有我的博客，我希望它被移动到自我托管的服务器上。
我已经将数据从我的wordpress.com博客导出到XML文件，但是，当我将数据导入到我自己托管的wordpress安装时，它说文件不能大于15 my，而且我的文件是2257 MB的。
如何导入这么大的文件？
浏览 0提问于2013-02-06得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
