我正在构建一个Kafka消费者应用程序，它使用来自Kafka主题的消息并执行数据库更新任务。这些消息每天产生一次大批量--因此主题在10分钟内加载了大约100万条消息。主题有8个分区。如果它一次可以消耗大约1000条消息并一起处理它(例如，我可以在一个update SQL中更新数据库)，而不是连接到每个消息的数据库，那么它将有助于性能。我还将卡夫卡的socket.send.buffer.bytes属性从102400增加到了1024000。还有什么其他的配置
浏览 0提问于2018-05-10得票数 4
回答已采纳
我们有启用TDE的SQL2008Enterprise，并在TDE仍然启用的情况下升级到SQL 2012。除了我的备份压缩比SQL 2008更糟糕之外，一切都很好。当TDE打开时，我理解压缩的限制。但是，当我在启用TDE的情况下升级到SQL 2012时，这个限制就更糟糕了。在启用TDE的情况下，我期望在SQL 2012中获得与SQL 2008相同的压缩比或更好的压缩比。我做了相当多的研究，但没有运气来理解这个谜题。有人能告诉我一些KB或文档为什么使用TDE enable的SQL 2012备份压缩比比SQL 2008差吗？
浏览 0提问于2015-01-07得票数 2
1回答
数据库数据的智能化离散化
、、、、
对于我的未来项目，我有一个ClickHouse数据库。这个数据库由几个由rabbitsMQ提供的微型服务自己提供。这些数据看起来如下：| 2018-01-01 00:10:00 | 15 | 156 |现在我只有几百
浏览 6提问于2019-12-03得票数 0
回答已采纳
1回答
我在python中使用Tkinter模块，并试图将python中的变量传递给tcltclsh = Tkinter.Tcl()tclsh.eval("set num {}".format(1))就像这篇文章中的
浏览 2提问于2019-09-17得票数 0
回答已采纳
我正在用预定义的问题做一个在线测试，它是正确的答案，我让学生输入他们对每个问题的答案，我拿着它们，用正确的表格DB检查它们。最好是对每个答案调用DB来检查或得到所有问题的正确答案，并使循环o(n)^2.I使用hibernate
浏览 0提问于2018-02-07得票数 1
回答已采纳
我的webserver或数据库服务器有问题吗？
浏览 2提问于2014-03-16得票数 0
回答已采纳
我记录了命中率，以及用户的IP，所以这些单独的部分每24小时只会为每个用户增加一次。这样做的问题是，它会在每次命中时更新mysql数据库。当然，我的网站已经开始收到504个错误。将命中存储在内存中，并每X分钟推送到数据库。我还看到一些人建议使用MongoDB，据我所知，它也是一种内存型存储。这就是我们要走的路吗？你会推荐memcached或MongoDB来做我想做的事情吗？或者这不是继续下去的方式，因为这仅仅意味着在更短的时间内调用更多的mysql (比方说，每分钟1个大批量就意味着每秒60秒的命中率与每秒小批量的命中率相
浏览 4提问于2014-01-21得票数 1
我正在对SQLite3数据库进行大批量插入，并试图了解我应该期望什么样的性能和实际看到的是什么。目前，数据库中大约有1200万行，插入50 000行需要大约16分钟，运行在2008年的macbook上。
这听起来合理吗，还是有什么可怕的事情发生了？
浏览 2提问于2013-07-25得票数 6
回答已采纳
1回答
我使用SQL的经验告诉我，为了避免大的事务日志，我应该大批量地做这件事，但是Firebase并不像SQL数据库那样试图保持一致性。
浏览 1提问于2018-04-24得票数 0
回答已采纳
将其插入到结构相同的表中，但对数据应用不同级别的聚合。这些表可以而且很可能会被分区。我想这是一厢情愿的想法，您可以简单地将一个分区从
浏览 0提问于2010-11-05得票数 0
我正在重构一个较旧的在线目录系统，其中发送给用户的各种消息-例如“感谢您注册我们的商店”、“感谢您的订单”、“您的订单已发货”-都以文本字段存储在数据库中。它已经工作得足够好了，而且CMS子系统能够简单地将数据库字段拉到基于浏览器的编辑器中进行更新，这是很好的。但是，如果我想要一个更丰富的编辑器来处理更复杂的布局功能，基于浏览器的编辑器也是一个缺点。我是否应该考虑将消息移动到文件系统，而只将URI存储在数据库中？
thx
浏览 0提问于2009-07-11得票数 1
回答已采纳
1回答
为什么批处理大小在GPU中分配？
、、、、
给定具有输入形状(None,256,256,3)和batch_size为16的Keras模型(在Colab上)，则为该输入形状分配的内存为16*256*256*3*数据类型(datatype=2,4,8
浏览 2提问于2021-01-05得票数 0
回答已采纳
考虑到您有许多日志文件，您需要处理所有这些文件，并从中创建一个数据库，该数据库将能够通过SQL查询进行查询。LINQ to SQL合适吗？
浏览 0提问于2013-01-06得票数 0
我的数据库中有一个名为ads_counter的字段，每次呈现这个广告时，我都需要增加它的值。我想要在节点rest中实现javascript的增量功能，当用户点击时，我将得到1请求，通过1在数据库中增加no。例如，如果我有ads_counter = 5，并且从客户端获得req以通过1增加no。那么，我怎么才能增加no。数据库中的ads_counter。我无法理解从何处开始，我正在使用postgres数据库的Sequelize。请建议我做
浏览 5提问于2020-10-03得票数 0
回答已采纳
1回答
我们的系统正经历着更高的负载，这导致了数据库CPU的增加，而且随着系统流量的增加，队列的深度也在增加。我们使用的是一个Aurora实例，即db.t3.media。
浏览 3提问于2021-07-27得票数 0
回答已采纳
我认为这可能是数据库结构/索引的问题，但即使在只有一个100行的表的测试数据库上，更新仍然需要大约2-3秒。con.commit()
我如何改进这段代码才能高效地进行大批量更新？
浏览 1提问于2016-04-22得票数 6
2回答
我正在写一个python脚本，它将对文本文件进行一些处理。作为该过程的一部分，我需要将以制表符分隔的文件的每一行导入到本地MS SQL Server (2008)表中。我正在使用pyodbc，我知道如何做到这一点。但是，我有一个关于执行它的最佳方式的问题。我是pyt
浏览 0提问于2009-08-25得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
