我正在尝试对一个包含6个表的大型数据库应用125个不同的更新，每个表中有100k到3亿条记录的范围。每次更新都包含要插入到原始6个表中的新数据，但是更新还包含将成为原始表中已存在的记录的下一个版本的数据。如果是这种情况，那么我需要使用更新加载编号来更新一个字段。因此，对于每次更新，我将数据加载到一组6个表中，这些表与原始数据的模式匹配，然后应用更新，以便任何正在更新的记录都将更新的整数字段设置为我正
浏览 15提问于2018-02-03得票数 1
我在一个大小约为80 of的postgres (v9)数据库上执行一个v9操作。在倾倒前运行一个全真空
blobs的数量应该在500万左右，这可以解释一般情况下的缓慢，但是执行的持续时间在手动终止流程之前长达5个小时。
浏览 5提问于2022-06-05得票数 0
在MySQL中，我可以通过两种方式更新多个行，我认为是这样的。使用取消密钥更新调用一个Insert查询。谢谢!
浏览 0提问于2021-02-04得票数 -1
我们有一个从一个postgres表到另一个postgres表的ETL过程，在这个过程中，我们使用INSERT / ON冲突DO UPDATE方法将一个大型数据集本质上合并到一个现有的数据集，使用对一些列的唯一约束作为冲突检查器当插入新行并发生冲突时，我们在现有行上更新一些列，但大部分情况下保持不变。在许多情况下，插入的行集将与现有行冲突，因此整个语句基本上就是合并那些成对列中的新值，但没有插入任何实际的新行。查看pg_sta
浏览 3提问于2018-07-15得票数 1
回答已采纳
出于性能原因，我缓存了一个大型JSON响应，并讨论是使用外部文件还是postgres中的文本列。后者的问题是，当我必须完全重建缓存时，用于更新表的SQL会非常大。我看过复制功能，我可以删除旧的行，写出CSV文件，然后在替换行中复制，但我感觉很笨拙。
有没有一种有效的方法可以用大量文本以高效的方式更新文本列，而不需要SQL解析器解析长得离谱的SQL语句？
浏览 1提问于2015-08-25得票数 0
我的表的每条记录中都有大量的JSON数据，大于2kB，目前，这些数据都存储在JSONB字段中。我的技术堆栈是Django和Postgres。我不会对此json数据执行任何更新/修改，但我确实需要频繁而快速地读取它。然而，由于JSON数据大于2kB，Postgres将其拆分成块并将其放入TOAST表中，因此读取过程变得非常慢。我是否应该使用另一个数据库，比如MongoDB来存储这些大型的JSON数据字段？注意:我不想把键从这个JSON中拉出来，然后把它们变成列。此数据来自一个AP
浏览 0提问于2020-03-31得票数 1
3回答
我正在使用一个大型的PostgreSQL数据库，并试图对其进行调优以获得更高的性能。
我们的查询和更新似乎使用外键进行了大量的查找。在研究的过程中，我发现Postgres没有办法自动为你做这件事(就像MySQL那样)，但我也很高兴听到不同的说法。
浏览 2提问于2010-06-04得票数 16
回答已采纳
1回答
日志文件的分析、预处理或后处理
、、、、
这是一个平面文件，每行都有大量的事件列表。文件本身也可以达到500 of以上。每一行都是以逗号分隔的事件变量宽度列表，每个事件都包含特定与该事件相关的数据。到目前为止我使用的东西: sed + awk，C#，g(awk)，Ruby，Postgres，我考虑过的东西:可能是一个非SQL数据库？可能还有其他想法吗？最终，我使用了这些工具中的每一个“通过”文件，并输出了另一个文件，该文件为每一行设置了一个硬的列数(30)。之后，我使用postgres创建了一个包含30列的大型
浏览 3提问于2013-09-03得票数 1
回答已采纳
我有两台不同的机器，它们都使用相同的数据运行psql 8.4.7 (使用pg_restore)，但是我从这两台机器得到了不同的查询。这两台机器之间还有其他功能上的差异(一台是CentOS，另一台Ubuntu，他们使用的是gcc的机器)，但我认为它们使用的逻辑或多或少是一样的。在一个问题上：
database_production=> EXPLAIN ANALYZE SELECT tags.*, COUNT(*) AS count FROM "tags&
浏览 3提问于2011-06-15得票数 8
我是一个oracle，最近开始学习postgres数据库管理。在我们的postgres数据库中，pg_largeobject表为30G，我希望通过断开和清除数据库中任何表不使用的大型对象来回收磁盘空间。为此，我想知道数据库中使用这些大型对象的表。更新:我试过使用真空管，但它返回了0个要删除的对象。这意味着大型对象不是孤立的，但是数据库中没有引用pg_largeobject表中大多数对象的任何表。那么
浏览 0提问于2019-05-15得票数 5
我们已经将postgres_fdw配置为将数据从数据库移动到远程DB。它工作正常，但是源DB中的大对象字段的数据没有被复制到远程db中。archive_remote.target_db(id, oid_field)FROM appl.source_db a这两个数据库都是Postgres 9.6。
浏览 0提问于2019-05-24得票数 0
回答已采纳
1回答
关于如何第一次填写数据库的方法，我有一个一般性的问题。实际上，我在R(为快速工作和提供洞察力而构建的数据)中使用“原始”数据集，但现在我需要在关系数据库中构建和加载所有数据集。
浏览 0提问于2018-11-16得票数 0
回答已采纳
我有我的经验，大型农场类游戏(数百万dau)，和SQL数据库是很好的解决方案。我还在使用NoSQL db的大型网络游戏中工作，当大量连接和大量并发写入正在进行时，这个特定的db (Mongo)并不是最适合的--坏消息。我正在寻找事实，基准，关于现代大型在线游戏的介绍，以及他们的后端基础设施的技术细节，特别是数据库。
它
浏览 5提问于2013-01-06得票数 3
我正在监控的Postgres数据库之一正被大量更新淹没。在Postgres中，有什么最好的方法可以轻松识别我的实例中的哪个表或哪些表接收了大量的DML请求？
浏览 17提问于2017-03-17得票数 1
回答已采纳
1回答
最近，我收到了一个csv格式的数据转储，我正试图导入到我的PSQL数据库中。转储由8个csv文件组成，每个文件大小为7GB。
我发现，如果在表上定义索引，那么对一个文件使用Copy命令是非常慢的。
浏览 0提问于2018-10-22得票数 -1
1回答
我有一个疑问，就性能而言，从MySQL上的大型数据库(50k+行不断增长)检索“计算”数据还是即时执行演算是最好的？演算是一些尚未从DB检索的数据的简单除法和乘法，但需要大量的数据(每次加载最少约300次演算)。这两种方法有很大的区别吗？
浏览 0提问于2013-05-10得票数 0
回答已采纳
5回答
什么将是最好的数据库插入记录在一个非常高的速率。目标是每秒插入5000行。任何非常昂贵的数据库，如Oracle\SQLServer，都是不可选的。
另外，进行数据库备份的技术有哪些，是否可以从较旧的备份数据库创建一个数据库？我不能使用任何数据库的InMemory功能，因为我不能承受应用程序崩溃。我需要在收到行后立即提交它。
浏览 2提问于2009-06-18得票数 2
回答已采纳
所以我的工作很大一部分涉及到许多机器之间的postgres系统。我们处理切分的方法是为每个数据库碎片创建一个单独的postgres实例。这些大型数据库具有消耗大量内存的潜力。
我继承了以前的开发人员的切分系统，但是我还没有想过要改变它，因为到目前为止它一直在运行。这是个糟糕的做法吗？有没有潜在的副作用？
浏览 7提问于2022-06-09得票数 0
4回答
我想为在线资源(博客、指南等--而不是论坛)提供一些建议，以帮助我更好地设计高性能的SQL Server数据库，这些数据库可以处理大量的数据，并且在数据周转和每分钟查询方面有很大的负担。主表有多达一百万行，大约有30个不同大小的数据字段，每天更新30到40000行，每天至少有200000行用新数据更新。这些更新是在一天中持续进行的。最重要的是，所有的更改和更新都需要全天从数据库中删除，以保持一个大型
浏览 1提问于2010-03-20得票数 6
回答已采纳
1回答
我正在编写一个脚本，它使用ClassroomDAL中包含的方法多次调用我们的数据库(postgres)。然后，这些数据库调用的输出将用于增强summaryData哈希。然而-我觉得我在创造大量的重复，不知道该如何解决。非常感谢您的任何建议！summaryData = {}
adaptiveQuestions = ClassroomDAL.adaptiveQuestions(conn, district_ids_postgres, options.start_date, options.
浏览 3提问于2016-11-05得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
