服务器读取数据库的表分区
是指将数据库表按照某种规则划分为多个分区，每个分区可以存储不同的数据。通过对表进行分区，可以提高数据库的性能和可管理性。
表分区的优势包括：
- 提高查询性能：通过将数据分散存储在多个分区中，可以减少查询的数据量，从而提高查询效率。
- 简化维护：可以针对不同的分区进行备份、恢复和维护操作，减少了对整个表的操作，提高了维护的效率。
- 改善数据管理：可以根据业务需求将数据按照不同的规则进行分区，方便对数据进行管理和查询。
表分区的应用场景包括：
- 大型数据库：对于数据量庞大的数据库，通过表分区可以提高查询性能和管理效率。
- 高并发访问：对于需要支持高并发访问的系统，通过表分区可以减少锁竞争，提高并发性能。
- 历史数据管理：对于需要长期保存历史数据的系统，可以将历史数据存储在单独的分区中，方便管理和查询。
腾讯云提供了一系列与数据库表分区相关的产品和服务，包括：
- 云数据库 TencentDB：腾讯云的云数据库产品支持表分区功能，可以根据业务需求进行分区设置，提高数据库性能和管理效率。详情请参考：腾讯云数据库
- 分布式数据库 TDSQL：腾讯云的分布式数据库产品支持表分区功能，可以将数据分散存储在多个节点上，提高查询性能和可扩展性。详情请参考：腾讯云分布式数据库
- 数据库备份与恢复 DTS：腾讯云的数据库备份与恢复服务可以针对分区进行备份和恢复操作，提高数据管理的效率。详情请参考：腾讯云数据库备份与恢复
相关·内容
2回答
在我的车辆跟踪应用程序中，我使用的是sqlServer数据库，该数据库具有一个高度填充和高度访问的表"VehilcePosition"，该表存储所有车辆位置。为了显示车辆的最新位置，我必须在dateTime上通过自连接和组函数MAX查询表。我已经在列上了索引，但是读取查询需要一些时间，并获得共享锁，这将阻止表中的插入。由于此表正在更新(插入行)并最频繁地读取。应用程序通常会因为超时异常而停止，因为在读取时使用共享锁，在写入过程中使用排他锁。我需要一个建议，我如何优化我的数据库，以避免这种情况。我使用的是核心i7 PC机(非服务器机)，只有将硬件升级到某些服务器机器的解决方案。
浏览 0提问于2012-10-12得票数 2
1回答
我试图维护一个数据库，其中包含一个包含400亿行(7.2TB)的表在服务器上，使用InnoDB作为存储引擎，MariaDB使用MySQL 5.5。
当我的数据库达到大约2.5兆字节时，我无法按照生产所需的速度将数据插入到表中。表中的数据在24小时后很少被查询。该表有一个主键和一个辅助索引。在进行了相当多的研究之后，如果我要解决这个问题，了解InnoDB缓冲池似乎是至关重要的。这显然是太多的数据，不适合缓冲池。关于如何通过增加过去24小时内的概率数据来提高性能，我有一些想法，但是很难用这么多的数据来测试它们。在以下每一种情况下，InnoDB缓冲池将如何运行？有一个主意明显更好吗？还是他们都很坏？
浏览 0提问于2020-04-04得票数 2
3回答
我有一个包含300万条记录的数据库表。java线程从表中读取10,000条记录并对其进行处理。在处理之后，它跳到下一个10,000，依此类推。为了加快速度，我有25个线程执行相同的任务(读取+处理)，然后我有4个物理服务器运行相同的java程序。所以实际上我有100个线程在做同样的工作(读取+处理)。
我使用的策略是使用一个sql过程，该过程执行抓取下10,000条记录并将它们标记为正在由特定线程处理的工作。然而，我注意到线程似乎等待了一段时间，试图调用该过程并获得响应。我还可以使用什么其他策略来加快数据选择的过程。
我的数据库服务器是mysql，编程语言是java。
浏览 0提问于2012-07-17得票数 1
回答已采纳
是:通常情况下，只有在表非常大的情况下，好处才是值得的。表将从分区中获益的确切时间点取决于应用程序，尽管根据经验，表的大小应该超过数据库服务器的物理内存。
当一张桌子很大时？如何判断一张桌子很大？根据经验，表的大小应该超过数据库服务器的物理内存？这句话是什么意思？
浏览 2提问于2018-02-26得票数 0
1回答
数据库使用:社区3.0.9集群:3x(8核心64 DB )，300 DB io1和3000 io1。分配的Java堆内存= 8g写入一致性:仲裁，读取一致性:一个复制因子:3
问题:我在服务器上加载了5万名用户，每个用户最初有1000条记录，在某个时间之后，每个用户又添加了20条记录。我想获取后来添加的20条附加记录(Query: select * from table，其中userID='xyz‘和时间戳> 123)
CREATE TABLE tbl (
userID text,
timestamp timestamp,
....
PRIMARY
浏览 4提问于2017-05-10得票数 1
2回答
分区表性能的验证
、、、、
我们正在测试包含日期时间列(DateColumn)的表上的分区。
我使用的分区函数是：
-- 138623 + 16774 records
CREATE PARTITION FUNCTION pf_TableName_DateColumn (datetime)
AS RANGE LEFT
FOR VALUES ('20160101', '99991231');
如何验证分区表是否提高了查询性能？
在PARTITION SCHEME上有一个聚集索引，剩余的非聚集索引是否获得分区的统计信息？
我正在通过在两个数据库(real和副本)上运行具有日期参数的相同存储
浏览 0提问于2016-04-18得票数 1
我想了解更多关于将数据库数据划分为不同服务器的一般概念。例如，假设我有一个SQL Server数据库，其中有一个庞大的表。假设一台服务器无法处理此表中的数据量。我想将该表分解，并将其内容拆分到具有相同数据库(复制)的不同服务器中。
现在，假设我与这些服务器中的任何一个都有一个SQL (ADO)连接，并选择从这个特定的表中选择记录。由于数据位于不同服务器上的单独数据库中，所以我需要从所有不同的服务器收集记录，并将它们组合成一个。
我确信有标准的方法来适应这种情况，而且我愿意选择另一条路线，而不是直接的Server连接(我计划将它封装在我自己的HTTP中)，但我仍然将使用SQL Server作为实
浏览 0提问于2013-01-25得票数 4
回答已采纳
3回答
目前，我的生产服务器有几个大型数据库，我使用第二个SQL服务器进行报告。我使用事务性复制维护数据库的报告副本。
由于我们最近升级到EE，我希望在报表服务器上的几个大型表上启用数据压缩，以节省磁盘空间(我目前还没有准备好在生产服务器上启用它)
有没有人试过这样做，如果有，有什么隐藏的陷阱吗？
我能看到的唯一缺陷是，如果重新快照表，复制的表将失去压缩。由于所有额外的报告索引也将丢失，这不是我会轻易承担的事情。
浏览 0提问于2016-11-02得票数 1
回答已采纳
1回答
我对SQL很陌生，并且一直试图优化我对数据库(Oracle SQL)的微服务的查询性能。
根据我的研究，我检查了您是否可以使用索引和分区来提高查询性能，我似乎已经知道了每个概念以及如何做到这一点，但我不知道两者之间的区别？
例如，假设我有一个表Orders，其中有一亿个条目和列：
(PK)CustomerId (6位唯一的number)Order )(顺序是什么)。例："Burger")CreatedTime (时间戳)
本质上，这两种方法都“细分”了命令表，这样数据库查询就不需要扫描DB中的所有1亿项，对吗？
假设我想在"2020-01-30“上找到订单，我可以在cr
浏览 2提问于2021-03-25得票数 2
回答已采纳
2回答
我正在与具有分区的表一起使用Server 2014事务处理复制。在加载源表时，它们会被分区切换，到目前为止，我已经能够成功地复制它。
我所使用的复制源通过在加载到表期间在分区函数/分区方案上创建分区来执行一些动态分区管理。每个在这里找到的文件的事务复制本机不支持这一点：
初始化订阅服务器后，数据更改将传播到订阅服务器，并应用于适当的分区。但是，不支持对分区方案的更改。事务性复制和合并复制不支持复制以下命令: ALTER分区函数、ALTER分区方案或ALTER带分区语句的重构。与它们关联的更改不会自动复制到订阅服务器。用户有责任在订阅服务器上手动进行类似的更改。
这就是我被挂断的地方。我们已经解
浏览 0提问于2016-04-06得票数 2
我们在生产服务器上运行Microsoft 2008 R2。我们需要创建新的表并加载大量数据(大约1TB！)
我想知道是否可以将此数据集插入到第二个测试数据库服务器上，以避免过度加载生产服务器。
完成后，我想以“聪明”的方式移动生产数据库中的新创建表，避免再次执行插入。
你有什么建议？例如，是否可以在单独的文件组上加载新的数据集，然后将文件移动到生产数据库？
谢谢
浏览 0提问于2014-02-07得票数 2
我们有一个归档过程，它使用分区切换表，这些表也被CDC跟踪。大多数情况下，它们可以很好地协同工作，但有时分区操作--切换、合并或拆分--会导致CDC停止工作。
分区操作成功，但我们开始看到以下错误消息：
在数据库8中没有为分区ID 72057594555072512找到目录条目。元数据不一致。运行DBCC以检查元数据损坏。
疾控中心的抓捕工作也停止了。运行不会发现任何错误。我们重新启动CDC的唯一方法是删除并重新添加数据库中的CDC配置。
有没有其他人遇到过这个问题，并找到了解决办法？
浏览 0提问于2017-03-24得票数 2
我手头有以下问题。我有18个非常大的Oracle表；每个表的行数变化在2到1500万之间，另外每个表有大约450列。这些表具有相同的列类型和结构。我需要的是，一旦这些表作为其他操作的结果生成，就将它们统一到一个非常大的、单一的表中。在生成每个表时，我使用以下优化：
1)我对每个表使用Create命令，并附带提示"NOLOGGING并行32 COMPRESS for QUERY“。我们的数据库服务器支持多达32个单元的并行性。
2)在创建每个表之后，我在该表上运行一个"dbms_stats.gather_table_stats“，以优化执行路径。
现在，我想到的最基本的一件事是：
浏览 7提问于2014-10-06得票数 2
回答已采纳
我有一个应用程序，需要从MemSQL数据库的表中提取大量数据。我希望能够运行从每个叶节点并行读取数据的提取器。在MemSQL中有没有办法做到这一点？
浏览 3提问于2016-05-25得票数 0
我想在亚马逊的DynamoDb数据库中存储1M+不同的时间序列。每个时间序列将有大约50K个数据点。数据点由时间戳和值组成。
应用程序将频繁地(始终)向时间序列添加新的数据点，并将不时检索(通常是整个时间序列)时间序列以进行分析。
我应该如何构建数据库？我应该为每个时间序列创建一个单独的表吗？或者我应该将所有数据点放在一个表中？
浏览 0提问于2013-08-13得票数 14
3回答
我在SQL server数据库中有一个具有以下列的审核表：
序列-- bigint (主键)
TableName - varachar(50) (非聚集索引)
ColumnName - varachar(50) (非聚集索引)
控件- char(10) (非聚集索引)
BeforeValue -- varchar(500) (非聚集索引)
AfterValue，--varchar(500)
DateChanged --日期时间
ChangedBy - char(20)
CompanyCode - char(5) (非聚集索引)
它有5行billion
浏览 0提问于2018-04-02得票数 1
目前，从Server迁移到PostgreSQL并试图在此过程中改进几个关键领域：
我有一张桌子：
CREATE TABLE [dbo].[Articles](
[server_ref] [int] NOT NULL,
[article_ref] [int] NOT NULL,
[article_title] [varchar](400) NOT NULL,
[category_ref] [int] NOT NULL,
[size] [bigint] NOT NULL
)
数据(逗号分隔的文本文件)每天由500台(从~1000台)服务器转储到导入服务器上。
浏览 4提问于2009-10-26得票数 1
回答已采纳
我有Cassandra数据库和其中的一些表。表没有定义主键/唯一键/组合键。我们如何在表中识别唯一的记录？
就像甲骨文有ROWID的概念一样，我们也有一些关于Cassandra数据库的东西。不适用
浏览 11提问于2022-11-28得票数 1
1回答
在我们的网络应用程序中，我们有PostgreSQL数据库.用户从这个数据库中写入和删除生态预测。由于数据量很大(超过100 Gb)，所以我们对最大的表使用声明式分区。由预测标识符划分的表。当用户创建或删除预测时，分区创建和删除是“动态”的。但是，我怀疑以这种方式创建分区是否是个好主意。
编辑。我们不使用通过BEFORE INSERT触发器创建分区。在用户开始创建或删除web应用程序前端的预测后，我们会在后端创建或删除部分。
我们的web应用程序的后端是web服务器，它与PostgreSQL 12数据库一起工作.
浏览 0提问于2020-09-16得票数 0
我有一个数据库，并试图存储来自多个传感器的时间序列数据。
数据源：-5分钟数据是通过API获取的.
目前的表格结构：-
Timestamp | ComponentId | Parameter1 | Parameter2 | Parameter3
每个传感器都有一个独特的ComponentId。我在时间戳和ComponentId上有一个非聚集索引以消除重复，在整个表上也有一个聚集列存储索引(它压缩数据并节省空间)。还可以提高聚合查询的性能)。使用python脚本通过API获取数据，并使用pyodbc库将数据推送到表中。脚本每10分钟运行一次，并将数据插入到表中。
有些查询，比如为特定组件获取数
浏览 0提问于2021-05-03得票数 0
一个大数据作业被分成X个分区。分区存储在数据库中。每个分区上的状态也存储在数据库中，用于确保每个分区只由单个服务器处理一次。
我有X台服务器，每个服务器都有一个唯一的id (int)，每个服务器都轮询数据库中的下一个Y分区(预读和缓冲区，然后循环和处理预读分区，直到不再有分区)。
我可以在日志中看到许多冲突，例如当试图获得所有权时，多个服务器试图处理相同的分区而失败(因为它已经被另一台服务器占用)。
所有这些失败都是浪费时间、网络往返和计算能力。
在读取分区时，我正在寻找关于如何在服务器间分割分区的想法。
每个分区具有以下属性：
Id -字符串13
序列长(递增计数器)
创建时间戳
对于如何最
浏览 0提问于2018-07-22得票数 1
回答已采纳
我不知道在表和索引上使用NOLOGGING子句的实际目的是什么。
我从Oracle文档中了解到的是，只有在插入直接路径模式时，我们才能防止数据库生成重做日志。在更新或删除时，不可能避免重做日志生成。
所以，我们通常会写
INSERT /*+ APPEND NOLOGGING */ INTO TABLE ... ;
commit;
以防止重做日志生成。
我完全不明白在表上使用NOLOGGING子句或创建索引的实际优势是什么，也不知道在TABLESPACES创建上使用NOLOGGING子句是为了设置将在该表空间上创建的对象的默认值。
有人能描述一个实际的场景吗?在数据库对象上设置这个子句可能会带来
浏览 0提问于2019-10-02得票数 0
回答已采纳
3回答
我的数据库里有一张大约有2.5亿行的表格。我刚开始使用数据库，但是我已经读过关于划分表以提高性能的文章。我似乎注意到的重要一点之一是，分区应该放在不同驱动器中的不同文件组中。但是我的服务器有一个分区的ssd。将文件放在存储设备的各个分区中有什么好处，即使物理上它只是一个分区。如果所有的文件组都在同一个物理驱动器中，分区仍然有帮助吗？
提前谢谢。
浏览 0提问于2014-02-28得票数 6
我有一个主数据库，用于OLTP类型的应用程序。目前，我们将多个表的单个表复制到另一个用作报告实例的数据库。
很快，我们将转向Data Guard逻辑备用数据库。我似乎无法从google追踪到的是，我是否可以在逻辑备用服务器上更改表的物理结构。
我想对逻辑备用上的许多大型表进行分区，以使报告更容易-理想的方法是对逻辑备用上的表进行分区，然后SQL应用进程就可以像往常一样更新表，但我不知道是否支持这样做。
有没有人知道是否可以改变备用机上的表结构来实现分区？
浏览 1提问于2009-11-10得票数 3
我在Ubuntu上有mysql服务器和syslog-ng。syslog服务器根据日期示例每天在数据库中创建表。
2020_12_29
2020_12_28
2020_12_27
2020_12_26
我知道如何删除表中的记录，比如
DELETE FROM MYTABLE WHERE date(acctstarttime) < (CURDATE() - INTERVAL 3 MONTH);"
但是，我想删除超过x天的表，以避免磁盘填满100%。请帮忙。
浏览 0提问于2021-07-02得票数 0
我已经在我的数据库上实现了数据库分区。分区由DBMS_REDEFINITION完成。我的问题是，当我们执行表中的select *语句时，分区是否会影响性能。
提示:我们正在选择表的整个数据
select * from Non_Partitioned_table和select * from Partitioned_table之间的区别是什么
浏览 3提问于2014-08-22得票数 2
3回答
我正在处理一个大表，它位于200GB+，有大约10亿行。
我正在考虑将表拆分成更小的表，然后在查询时加入结果。
我们主要是在那张桌子上看书，偶尔写字。
这是个好主意？还是，这是我不用担心的事情？
我的数据库服务器有4CPU和32 My内存。
我有主键作为索引，以节省空间。目前，没有任何问题。不过，我只是考虑是更早地把它分开，还是保持这样的方式。将表拆分为较小的表(比方说，每个表有2.5亿行，而不是普通的10亿行表)的利弊是什么？你认为我的32 it内存能处理吗？
浏览 0提问于2016-01-05得票数 6
回答已采纳
1回答
我正在开发一台server 2016 SP2标准版服务器，其内部应用程序是24/7在多个国家的多个地点使用。当前应用程序每个客户都有一个数据库(使用应用程序和中央服务器的公司)。最终，这个系统中将有数百个拥有数据库的客户。
还有一个“中央”数据库，它包括来自所有单个数据库的所有归档数据。客户Id值用于分隔所有不同的数据。
为了加速对归档数据的访问，并简化维护，当前的计划是将该中心DB分区，并将适当的由客户划分为每个客户的分区，每个分区位于单独的DB分区中的一个单独的物理文件上。
但是，这个DB和相关的表已经以非分区的方式使用了。我正在研究需要做些什么来将事情分解成所需的数据结构。
示例:有一个
浏览 0提问于2018-11-08得票数 0
我从未处理过Server分区，但我目前面临的问题是设计一个可能需要卷的数据库。这个系统是用来购买优惠券的。优惠券将定期发行，通常每六周发行一次，不过也会有特别发行(如特别活动的优惠券)。有1500万客户，每一次发行活动，每个客户将收到6种不同的优惠券类型，总共9000万的优惠券实例。我们需要跟踪优惠券实例赎回数据，并维持6个月，尽管通常一张优惠券只有效六个星期。任何无效优惠券的赎回请求将不会到达数据库，因为它将由POS验证直到。
在六个月的时间里，我们需要在优惠券实例表中存储3.6亿行，在救赎表中存储多达7200万行(假设最高20%的赎回率)。我觉得这些数字对于单个分区来说太大了？
我的问题是
浏览 0提问于2011-11-29得票数 11
1回答
Server 2000数据库中有两个表，它们的记录超过5000万条，大部分是“读”，而不是“写”或“删除”。我想重新设计桌子。
在一台服务器上创建分区视图是否有助于提高速度？(在one服务器中创建分区是否有意义？)
创建一个新的文件组并将这个表放在其中(在一个服务器中)是有益的吗？
除了:重新索引有哪些其他可能的方法来提高在这样的表中获取数据的速度？
我经常盯着它，但没有找到2000年的任何其他东西。
谢谢你的建议
浏览 4提问于2014-10-23得票数 0
链接：https://learn.microsoft.com/en-us/sql/relational-databases/partitions/partitioned-tables-and-indexes?view=sql-server-ver15#:~:text=SQL%20Server%20supports%20table%20and，将%20%20映射为%20单独的%20分区.
Server支持表和索引分区。分区表和索引的数据被划分为可以可选地分布在数据库中的多个文件组的单元。
分区的好处来自这样一个事实:通过允许并行磁盘访问，每个分区都可以放在一个单独的磁盘上。
但是，在SAN存储环
浏览 0提问于2022-03-25得票数 -1
2回答
mysql分区
、、
我只想验证数据库分区只在数据库级别实现，当我们查询已分区的表时，我们仍然执行常规查询，我们的查询没有什么特殊之处，优化是在解析查询时自动执行的，对吗？
例如，我们有一个名为'address‘的表，其中有一个名为'country_code’和'city‘的列。因此，如果我想获得美国纽约的所有地址，通常我会这样做：
select * from address where country_code = 'US' and city = 'New York'
如果现在表被' country_code‘分区，并且我知道现在查询将只在包含cou
浏览 1提问于2010-04-21得票数 2
回答已采纳
Oracle具有分区和群集功能。分区允许将表或索引拆分为多个表空间，并存储在各种服务器上。所以这是手动完成的。群集使多个服务器能够作为一个操作。这个IMHO的处理是透明的。然而，有可能有几个表(在不同的服务器数据库中)并将它们分组为一个，并使用它。从表分区和表聚类的角度来看，IMHO两种方式都实现了共享一切，因为数据被分割到不同的位置。
关于无共享体系结构的理论是，每个数据库节点是独立的。但实际情况如何？这两种方法(分区和集群)都将数据分成不同的源，也可以描述为水平分区。但是，如果我们有两个不同的数据库服务器，我们需要同步它们之间的数据.无论如何，任何有关这方面的想法都将不胜感激:)
浏览 0提问于2012-12-04得票数 2
2回答
假设我有一个数百亿行的表，分布在100台机器上。该表的结构如下：
PK1 PK2 PK3 V1 V2
其中，PK表示分区键，V表示值。因此，在上面的示例中，分区键由3列组成。
Scylla要求您在WHERE子句中指定分区键的所有列。
如果您想在只指定某些列的同时执行查询，则会收到警告，因为这需要进行完整的表扫描：
SELECT V1 & V2 FROM table WHERE PK1 = X & PK2 = Y
在上面的查询中，我们只指定了3列中的2列。假设该查询匹配100亿行中的10亿行--考虑此查询的成本/性能的好的心智模型是什么？
我的假设是成本很高:这相当于在数据集中执
浏览 7提问于2022-04-28得票数 1
回答已采纳
我正在处理PostgreSQL 11.2的安装，它会定期在系统日志中进行抱怨。
FATAL: sorry, too many clients already
尽管是无-哪里接近其配置的连接限制。此查询：
SELECT current_setting('max_connections') AS max,
COUNT(*) AS total
FROM pg_stat_activity
告诉我，数据库配置为最多100个连接。我从未见过使用此查询连接到数据库的大约45个连接，甚至在运行中的程序收到数据库错误之前，在Postgres日志中显示了太多由上述消息支持的客户端。
浏览 6提问于2021-02-13得票数 1
回答已采纳
在过去的两年中，我们尝试了许多不同的数据库引擎和数据库样式来解决一个需要NoSQL和关系数据库包特性的特殊问题。我们决定使用RDBMS和Postgres。
我们对许多不同的场景进行了性能测试，这表明Postgres一直都能很好地处理所有事情，但我们知道模拟不是生产，而且其他人在规模上对数据库有很大的不同体验。
“巨人”和“许多小”之间的争论是老生常谈，但我的问题是适度硬件的效率问题(适度的硬件是在小型linux机顶盒上开始的，随着需求的增长而变得越来越大)。
我们有一个表(5列，2个索引(1个三元索引))，很容易超过10亿行。如果我们有10个(甚至100 K)表，这会稀释服务器资源吗?因为由于
浏览 1提问于2018-07-02得票数 0
1回答
在mysql中，在一个包含数千条记录的表上编写一个带有WHERE条件的查询，会不会降低服务器或程序的运行速度？
例如：SELECT * FROM table_name WHERE id = 5;
浏览 1提问于2016-06-09得票数 0
我有一个数据库表，它有一个GUID列唯一标识的100多万条记录。我想找出在过去5年中选择或检索了哪些记录或行。select查询可以在多个地方进行。有时，行将作为单个行返回。有时它将是一组行的一部分。还有select查询，它从java代码中从jdbc连接中获取数据。另外，SQL过程还从表中获取数据。
我的目的是清理一个数据库表，我想删除过去5年中从未使用过的所有行(通过select查询检索)。
甲骨文DB有任何内置的元数据，可以给我这个信息。
我的替代解决方案是，每当我从这个表中选择一行时，添加一个列LAST_ACCESSED并更新这个列。但基于整个过程所需的时间，这次手术对我来说是一次代价高昂
浏览 4提问于2017-11-14得票数 0
回答已采纳
我正在外部化数据库中主题的kafka消费者元数据，包括消费者组和组中的消费者数量。
Consumer_info表具有
Topic name、Consumer group name、Consumer class name中的Consumer数量
在应用服务器启动时，我正在读取表，并根据表中设置的数字创建消费者(线程)。如果消费者组计数设置为3，我将创建3个消费者线程。这是基于给定主题的分区数量
现在，如果我需要横向扩展，我如何在多个应用服务器节点上分配属于同一组的消费者。而不需要多次阅读相同的消息。
消费者的初始化代码将在应用服务器启动时被调用，它将从数据库中读取消费者的元数据，并在应用服务器的
浏览 5提问于2020-06-30得票数 1
2回答
如果我有一个有5亿行和良好索引的表，数据库会有性能下降吗？我想知道我是否需要在多个DB上分片表，即使它们可能在同一台服务器上。每一行的大小可能是1k，因为它有几个文本字段。即使我对它们进行了外键操作，它们仍然是由比方说700字节数据组成的5亿行表。
此外，对于这种大小的表，任何关于引擎选择的提示都会很棒。任何建议都将不胜感激。
干杯
富足
浏览 1提问于2011-01-22得票数 2
我是Spring批处理的新手，刚刚开始执行POC，以证明Spring批处理能够在一个小时内处理100万条记录。然而，该体系结构要求我们也要展示水平的可伸缩性。
我已经阅读了Partitoning和Remote的策略。对我来说都是有意义的。这两者之间的根本区别在于，远程链接需要一个持久的消息队列，因为从主服务器向数据库或文件进行实际的写操作。在分区中，不需要持久消息队列，因为写入发生在从服务器上。
然而，在我完全迷路的地方，如何确保这两种平行处理的结果是按照正确的顺序写出的？
让我们以聚会为例。据我所知，如果一个处理1000条记录的特定步骤被划分为10个并行步骤执行，每个步骤都有自己的Reade
浏览 2提问于2013-08-12得票数 0
回答已采纳
我需要你专家的建议.
我们正在构建一个API解决方案，用户将向我们发送一个唯一的代码以及用户名和密码，以获得身份验证代码和其他信息.
我们所面临的挑战。
如何处理超过100个请求/秒？我们目前使用mysql，但是扩展到这个级别和数据存储成本很高。您认为Windows表存储是正确的选择，做大量的选择认证，然后做更新，以扣减用户的信用，谁有兴趣从我们的信息……
我们要记录很多数据。我认为windows天蓝色存储会很便宜，但是如何进行聚合和分析呢？您知道将数据导入mysql的案例研究/方法吗?比如每天/每小时分区？是否有任何工具或库可用于将Windows存储表数据导入MySQL数
浏览 3提问于2013-04-07得票数 1
回答已采纳
我有一个巨大的数据库表，其中包含大约500万行。现在，在某些情况下，检索记录会使服务器变慢。随着时间的推移，我该如何管理这个表呢？
我正在考虑每年做一些归档技术，例如将完整的表按年分解成许多小表，但这花费了我大量的代码更改。我必须改变从数据库查询的完整结构。因此，项目中的大多数地方很可能都会发生变化。
我还可以做些什么来减少从数据库表中获取记录的时间？有没有其他技术可以让我避免在代码中做太多更改？
提前感谢
浏览 1提问于2012-08-03得票数 0
回答已采纳
1回答
我们有一个包含6,616,711 (660万条)记录的表。我想知道，如何管理这张桌子？如果有类似的问题，请给我链接。也有后续关注。
如何管理大型数据库？
这类场景的最佳系统/硬件配置是什么？
划分这个表对我们有帮助吗？
浏览 0提问于2014-02-23得票数 1
有没有一种方法可以强制Windows Azure表存储分区到不同的物理硬件上？说环境会自动在服务器之间对分区进行负载平衡，但我无法执行压力测试，因为我无法定量地看到两个分区位于不同的实际计算机上。
考虑查询中的以下筛选器：
(PartitionKey == "a“&& RowKey == "1") || (PartitionKey == "b”&& RowKey == "2")
如果两个分区位于不同的物理机上，则可以以并行方式执行查询，同时寻址两个分区服务器，因此计算速度更快。然而，我似乎找不到一种方法来实际测量这
浏览 1提问于2012-05-25得票数 2
回答已采纳
3回答
我知道，有可能有一个具有多个表/数据库的单一数据库服务器，并且可以将其中的一些表/数据库分离到不同的磁盘中。假设您有5个表/数据库和5个驱动器。因此，您可以为不同的驱动器附加每个表/数据库。从而增加IO和其他一切。
这种技术叫什么？
我认为，如果尝试分离数据库，只需将不同的驱动器安装到不同数据库的不同文件夹中，但如果要将表分离到不同的驱动器(不同磁盘中的每个表)，又会怎样呢？
浏览 0提问于2012-02-03得票数 5
回答已采纳
我正在构建一个用于保存病历的网络应用程序。此应用程序的一个要求是记录对患者数据的所有更改(视图、创建、更新、删除)，以及系统中几乎所有其他有用的信息(登录、cron运行、数据导出等)。
目前，我正在将数据存储到一个数据库表中，该表运行良好。然而，这张表很可能会非常迅速地增长，并使数据库膨胀。我不允许删除日志条目。
我目前的计划是选择任意大小(比如100万个条目，很大但仍然可以管理)。当表中有100万个条目时，我会将10万个最老的条目移动到一个文件中，并将其存储到我们的文件服务器上。
有没有人在这个问题上有其他/更好的想法来处理这个问题？
附加信息：我最关心的是不会从这些数据中删除任何内容。然而
浏览 2提问于2015-05-07得票数 2
回答已采纳
我正在尝试使用JDBC从数据库表中读取一些内容：
val df = spark.read.jdbc("<database url>", "<some table name>", <some DbProperties>)
然后将其写入另一个数据库：
df.write.mode(SaveMode.Append).jdbc("<other database url>", "<same table name>", <some DbProperties>)
如果我们不在
浏览 0提问于2020-07-09得票数 1
1回答
我有一个可以开发成PHP和mysql的站点，在那里，我每两分钟从服务器获取10个xml并将数据插入我的数据库。
这个数据是简单的字符串(最多10)和大约20个字段( string (10))。每隔两分钟，我就会插入20个字段的10条记录( xml的数量可以增加)。
在这个数据库中，我有其他表，但最大的表是每两分钟插入一次记录。
我想知道按年分开数据库是否更好: database_2013，database_2014.当年份发生变化时自动创建数据库，因为我不希望这个数据表每年都能生成Gb的数据库，十年后，我有一个非常大的数据库，在那里进行查询非常缓慢。
一个数据库(对于一个数据库来
浏览 0提问于2013-05-31得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
