1回答
我目前正在试验MySQL中的并行复制(5.7)。
我已经设置了主从(MyISAM，基于语句)之间的复制，并设置了以下设置，用于在从服务器上进行并行复制：
log_slave_updates=1 log-bin=/home/mysqlbinlog/mysql slave_parallel_type=LOGICAL_CLOCK slave_parallel_workers=7 slave_preserve_commit_order=ON
有两个数据库。"Datebase1“和"Database2”
为了测试并行复制，我现在做了以下工作：
在"Database1“中启动一个长
浏览 0提问于2022-03-02得票数 0
1回答
我构建了一个2节点的MariaDB Galera集群(5.5.36)，如果创建数据库/表，node1和node2都可以看到更改，甚至在创建的表中插入一行，但是如果导入csv文件(300,000+行，使用"LOAD DATA INFILE.“)对于从node1创建的表，node2将不会看到任何更改。
为什么node2在从csv文件导入行时不同步？
下面是/etc/my.cnf下的node1配置文件，node2的配置只是切换ip地址
#
# This group is read both both by the client and the server
# use it for opti
浏览 1提问于2014-04-08得票数 0
回答已采纳
我知道Mysql奴隶用单线程顺序读取Master的bin-log，并在本地将数据转储为中继日志。我的问题是，从线程读取中继日志以同步操作(插入、更新、删除)？如果不是多线程，我猜下面的场景Mysql从可能永远无法赶上Master。
假设大师有100张桌子，它们之间没有任何关系。因此，可以同时向100个表发出100个书面请求。如果我们假设100个表在1秒内用Master完成了编写，那么当它是单线程操作时，Slave可能需要100秒才能完成同步。好吗？谢谢!
浏览 3提问于2016-02-07得票数 0
回答已采纳
1回答
早上好。我想测试InnoDB将如何在我的服务器上工作，为此，我做了一个奴隶，并将它与我的主人连接到myisam。问题是，当从服务器在innodb上工作时，复制速度明显减慢，并且在峰值时刻(大约6000个条目/分钟)开始明显延迟。与主服务器的连接绝对不是问题，因为下载不会有任何延迟。数据库无法足够快地从中继日志执行查询。但是，当99.9%的复制条目获得的表为myisam类型时，一切恢复正常，复制不会延迟。复制的条目是95%的插入。
数据库非常小，因为应用程序在处理数据后会立即删除它们，因此记录的数量最多可达数千条。即使mysql是唯一正在运行的进程，复制也会出现问题。
有什么方法可以加快复制速度
浏览 0提问于2019-03-31得票数 1
调度程序任务每天晚上11点运行，删除源Oracle数据库12c中约50万条记录。在此期间，目标数据库上的复制延迟突然从4秒增加到900秒，并持续增加到7500秒，直到凌晨3点(调度程序作业的结束时间)。从那以后，它的滞后开始逐渐减少，并在凌晨4时再次达到4秒。这是Oracle Goldengate在生产数据库中运行内务调度程序作业时的正常行为吗？
浏览 0提问于2018-08-14得票数 1
3回答
我管理一个托管100多个数据库的MySQL服务器。
我们已经设置了标准的主从复制，但是slave经常会中断，需要手动干预才能重新启动它。在此期间，服务器不同步。
我知道有一个选项可以指定哪些数据库被复制/不复制。
是否可以设置复制线程的多个实例(理想情况下，每个数据库一个)，以便如果复制在一个线程上中断(并停止)，那么它不会停止所有其他线程上的复制？
浏览 0提问于2009-09-01得票数 2
回答已采纳
例如，有一个具有2个分区的表，其中的列有2个值：'A‘和'B’。考虑一个select：
select * from my_talbe where my_column in ('A','B'); //other where conditions here
MySql是否并行执行此select？还是从第一个分区中选择，然后选择第二个分区？
浏览 3提问于2015-11-23得票数 0
2回答
注意:下面是我们打开5.7副本以实现并行复制的参数：
slave_preserve_commit_order = 1
slave_parallel_type = LOGICAL_CLOCK
slave_parallel_workers = 10
log_slave_updates = 1
backup retention enabled for 1 day on the slave
在5.7主服务器上，设置了以下参数：
binlog_order_commits = 1
binlog_group_commit_sync_delay = 50
从以下查询可以看出，只有单个线程复制正在发生：
sel
浏览 0提问于2019-04-08得票数 1
1回答
我们有一个巨大的数据仓库(几乎4TB)数据库，我们正在将其复制到从数据库，但它比主/主数据库滞后45小时。此时，使复制速度更快的最佳方法是什么？
浏览 0提问于2012-08-10得票数 2
我们需要执行一些SQL脚本，这会导致复制延迟(在读取副本上)到sky火箭。
复制延迟只会在大约24小时后自行解决。
当然，我们更快的是创建一个新的副本，而不是复制数据。
我们不想创建一个新的read副本，因为我们有许多已经在使用现有副本的客户端。
问题是：“我们如何迫使现有的读副本被重新创建？”(保持其静态地址和配置原样)
浏览 2提问于2021-10-30得票数 1
我的远程主机(centos6)以mariadb (10.0.17- MariaDB -log -MariaDB服务器)为主：
server-id = 1
log-bin=mysql-bin
binlog_do_db = mydatabase
本地(win8.1)和mariadb (10.0.16-MariaDB-log - mariadb.org二进制发行版)作为从：
server-id = 2
作为初始程序，我在远程主机上转储数据库，在本地主机上导入它，然后执行SHOW MASTER STATUS，获取文件名和偏移量，然后运行：
CHANGE MASTER TO MASTER_HOST=
浏览 2提问于2015-07-12得票数 0
环境：
操作系统: CentOS 7.2
数据库服务器: 10.1.23-MariaDB Columnstore 1.0.9-1
2个测试数据库，一个InnoDB和一个Columnstore：
CREATE TABLE `test_innodb` (
`ctlid` bigint(20) NOT NULL AUTO_INCREMENT,
`rfid` varchar(100) DEFAULT NULL,
PRIMARY KEY (`ctlid`)
) ENGINE=InnoDB
CREATE TABLE `test_cs` (
`ctlid` bigint(2
浏览 3提问于2017-08-02得票数 2
回答已采纳
我只是想了解一下在宾洛_划_image=minimal 8.0.23中使用基于行的复制时要注意的问题.为了避免沉默的数据漂移，要求似乎是：
在两个数据库中，所有表都需要一个主键，这对于每对表都是相同的。
在两个数据库中，所有表都需要按正确的顺序具有相同数量和类型的列。
鉴于上述情况，例如，如果一个ALTER TABLE删除了一个列，那么您是否会有一个竞争条件，将行插入到该表中的挂起的binlog事件的复制会中断？只有当您使用类似slave_parallel_workers之类的东西时，才会发生这种情况，或者说这是安全的吗？
当您不需要硬数据一致性时，我试图找出这是否值得使用，或者它是否更适合性
浏览 0提问于2021-03-07得票数 1
回答已采纳
我需要将9200万个对象从存储桶A复制到同一AWS区域中的存储桶B。我知道亚马逊网络服务需要48小时来生成一份S3清单报告，所以...我想知道读取包含9200万个对象的清单并将它们复制到另一个存储桶需要多长时间。我的目标文件的平均大小为512KB。
浏览 17提问于2020-02-27得票数 1
1回答
如何在使用相同ASM实例的数据库之间复制或移动表空间？
是否可以在RMAN中省去一些角落，或者让ASM重新映射属于可传输表空间的文件？
浏览 0提问于2013-09-10得票数 2
1回答
日安。我们在Centos 7上为MariaDB10.1提供了一个8核心服务器，它既是一个生产数据库，也是一个复制主服务器。我不确定它是否使用了一个以上的核心。
我们也有一个单一核心的虚拟服务器充当一个从服务器。
对此进行搜索可以告诉我，大多数查询都是关于每个查询使用多个核心的，重复回答是否定的，这是不可能的。我明白了。
我只想知道是否可以将多个查询分配给多个核心，是否需要配置设置来完成，以及如何判断它是否工作。
我还需要知道是否可以通过添加内核来提高从吞吐量。
谢谢,
埃德·格林伯格
浏览 0提问于2018-04-30得票数 3
我们正在MySQL中使用钨母版从复制。我们很久以前就配置了这个设置。从上周开始，从主文件到主程序的二进制文件大约有5到10个。我们已经检查了N/W的连通性，它是很好的b/w主从。
我们不明白为何滞后会持续增加？
在钨复制中，如何使从服务器与主服务器同步？
浏览 0提问于2013-10-23得票数 1
回答已采纳
1回答
我需要将多个目录从一个位置复制到另一个位置。因此，将会有多个xcopy语句，一个接一个。
每个文件夹中的文件数量都很大。有什么方法可以让我并行运行这些xcopy语句吗？我能想到的一种选择是-在单独的批处理文件中调用每个xcopy，并使用@start而不是@call调用这些批处理文件。
还有没有别的选择？
浏览 2提问于2012-02-10得票数 7
回答已采纳
3回答
当Hadoop连接到MangoDB或MySQL等数据源时，它是将数据从这些源复制到Hadoop文件系统中，还是简单地处理远程数据？我的期望是Hadoop会将这些数据复制到它自己的文件系统中；否则，在我看来，Hadoop的所有优势都会消失，因为Hadoop将数据分成不同数据节点上的块。我说的对吗？
谢谢
浏览 6提问于2015-01-27得票数 1
我有大约25个CSV文件，它们有不同的列(BLOB存储)，每个列大约有250列，并且希望加载它，Azure单独的表(基本层)。
创建一个具有10个复制数据活动(CDA)的管道，所有这些都并行在一个管道中，然后执行它。ADF管道只是继续运行，而不执行任何任务。当我将CDA减少到7时，管道工作并在几秒钟内加载数据。要检查与SQL数据库是否有任何连接限制，请同时执行3条管道，每个管道7 CDA，并且工作正常。
问题是如果是的话，可以做些什么来改变它呢？
-Thanks
-编辑添加的Screen快照post应用解决方案，为并行副本更改属性。
浏览 0提问于2020-08-07得票数 1
回答已采纳
我们有一个大型的MySQL数据库(磁盘上大约100 to )，我们希望为它生成一个从数据库。
我们创建奴隶的典型过程是：
创建从服务器
在母版的mysql转储中加载
启动奴隶
等待从复制同步w/ master
在生产中放置从服务器
我们遇到的问题是数据库的大小。到上面第二步完成的时候，奴隶已经远远落后于主人，无法赶上。事实上，从复制变得越来越落后。我不知道为什么会这样。
对于如何更快地启动从服务器或修复复制问题，有什么想法吗？注意，主服务器有多个数据库，以及InnoDB/MyISAM表的混合。服务器正在运行MySQL 5.1
浏览 0提问于2014-08-02得票数 4
1回答
不小心在错误的桶上运行delete命令，对象版本控制就会被打开，但我真的不明白我应该采取哪些步骤来恢复文件，或者更重要的是，如何批量执行，因为我已经删除了几百个文件。
会感谢你的帮助。
浏览 4提问于2017-04-07得票数 4
回答已采纳
我有一个基本的工作要做:我想通过保留目录中的所有结构(子文件夹和文件)，将一个目录的内容复制到另一个位置。此目录的大小非常大，我想使用GnuParallel并行执行复制。然而，我似乎找不到正确的命令来这样做。
find . -print0 | parallel -0 cp -r dirToCopy/ newDirLocation/
似乎没有做任何事情，而
find . -print0 | parallel -0 cp {} newDirLocation/
只复制我的原始目录中的文件，而不保留放置文件的结构和层次结构(基本上它复制的文件没有子文件夹)。
复制此目录并保留目录内容的正确方法是什么？
浏览 0提问于2015-06-10得票数 1
我正在尝试将Azure vhd下载到本地磁盘。该过程启动，创建文件，报告进度，然后退出，并显示以下消息。
Save-AzureVhd -Source $sourceVHD -LocalFilePath $destinationVHD -NumberOfThreads 5 -verbose
Elapsed time for download: 00:00:37
Save-AzureVhd : One or more errors occurred.
At line:4 char:1
+ Save-AzureVhd -Source $sourceVHD -LocalFilePath $destin
浏览 5提问于2014-03-25得票数 0
1回答
我正在尝试使用最新版本10.x来试验MariaDB的并行复制设置
然而，我不能理解在哪里传递提到的设置/变量，以及我应该在中使用的最优设置。
在主my.cnf中配置slave-parallel-threads=#的位置？我对所有设置都使用my.cnf.d/server.cnf。推荐的slave-parallel模式是什么?应该在哪里设置？
浏览 3提问于2015-04-20得票数 0
3回答
等待其他查询完成的MySQL查询
、、、、
我们在Python中有30-40个不同的项目，每天在MySQL DB中更新、插入和选择超过100万行数据。
目前，我们对表使用InnoDB引擎。
问题是:当几乎所有的项目都在工作时，我们在MySQL中有峰值，很多查询都是在DB中处理的。有一些主要查询对于尽快完成(高优先级)非常重要，还有一些查询可以等待主查询的完成(优先级较低)。但是，当它们转到MySQL并发时，就会导致主查询等待优先级较低的查询完成。
问题：
是否有可能在执行主查询之前释放表中的所有锁(以便它们能够尽快完成)？或者创建锁如果有帮助的话？
当自动开始执行主查询时，我们能暂停优先级较低的查询执行吗？
在查询中使用HI
浏览 5提问于2016-04-25得票数 0
我有一个包含多个复制活动的管道，这些活动的主要目的是将多个实例文件合并到一个文件中。这个管道的问题是，执行(合并文件).is需要大约4个小时
谢谢你的答复。
浏览 1提问于2021-11-07得票数 2
回答已采纳
1回答
有人能告诉我一些S3拷贝(cp)命令的基准测试结果吗?对于2GB以下的各种大小的文件？我认为一个副本比一个类似文件的文件上传要快得多？
浏览 3提问于2021-02-25得票数 0
回答已采纳
1回答
当大块时间间隔太大时，我们如何改变它呢？
用例：
我们有一个现有的超表，其中我们将chunk_time_interval设置为1个月(当使用时)。
这是过去几个月的情况，但现在数据率将增加1000倍。
例如，我认为我们不能仅仅使用，因为它不会影响当前块:因此，当一个新的月份块刚刚开始时，当数据率增加时，这个块就会变得很大，并且只有较新的块才会有合适的大小。
那么处理这个案子最好的方法是什么呢？
因此，为了澄清:我们希望有一个超表，其中旧的数据有一个不同的块大小与较新的数据。
浏览 0提问于2019-08-16得票数 5
2回答
我需要(以编程方式，在shell脚本中)将耳朵文件上传到Debian上的Amazon (5.0.4)。如果有的话，Debian包提供了哪些简单的、可编写脚本的工具？
理想情况下，这将是一组命令行工具，类似于Ubuntu的ec2-api-tools包中的工具。
(我想要原始的S3桶访问，所以请不要建议像Jungle这样的解决方案。)
浏览 0提问于2010-04-13得票数 1
回答已采纳
2回答
我有一个存储桶，其中包含大量非常小的文本文件(从500个字节到1.2k)。这个桶目前包含超过170万个文件，而且还将不断增加。
我向这个存储桶添加数据的方式是生成批文件(按顺序为50.000文件)并将这些文件传输到桶中。
现在的问题是这个。如果我在一个循环中一个一个地传输这些文件，那么它需要非常长的时间。因此，如果目录origin_directory中的所有文件都是a，那么我将执行以下操作
aws s3 cp origin_directory/filename_i s3://my_bucket/filename_i
我会做50000次这个命令。
现在，我正在对一组大约280 K的文件进行测试。
浏览 2提问于2020-12-16得票数 2
回答已采纳
1回答
问题陈述:我有两个程序并行运行，这些程序是由公共消息触发的。
我的解决方案:我创建了一个公共主题，它有两个订阅，可以基于attributes.name过滤msg。现在，我想继续并行地听和读这些订阅，并在过滤器的基础上触发另一个程序。
我该怎么解决这个问题？我可以创建一个可以并行运行这些侦听器的烧瓶webservice吗？
浏览 2提问于2022-08-30得票数 0
我们目前正在将来自应用程序数据库的数据摄取到Azure SQL数据库中。它的大小现在大约是600 GB (主要分布到3个事实表，其余的表都是非常小的主数据)，并且运行在40 vCores上(我们经常使用它来报告，因此需要大量的vCores)。
我目前面临的一些困难是：
从源到接收器的数据复制通常需要很长的时间。我们使用的方法是对本月的所有记录进行delete，然后通过应用程序数据库对本月的数据进行copy处理。编写库通常也需要大量时间(因为我相信事实表上的索引)。
高数据I/O每当有人进行大查询时.
在这里，希望有人可以摆脱一些灯光如何使设置工作更快。
谢谢!
浏览 2提问于2020-08-25得票数 0
我使用的是Linux16.04版本的PostgreSQL。我在里面安装了时标。
在我试图通过new_observation将巨大的数据插入到名为observation.csv it的超表中之后，通过大约5GB的数据进行复制，而我只需简单地复制命令，我就会得到更多的错误后词--我看到了另一种方法从go并行复制复制巨大的数据，所以我只是安装了go并尝试了这样的方法：
go get github.com/timescale/timescaledb-parallel-copy
gopal@addontrack:~$ timescaledb-parallel-copy --db-name testat
浏览 4提问于2018-04-06得票数 0
我们有一个要求在星火作业中复制文件(运行在由EMR派生的Hadoop集群上)到相应的S3桶中。到目前为止，我们正在使用Hadoop FileSystem API (FileUtil.copy)在两个不同的文件系统之间复制或移动文件。
val config = Spark.sparkContext.hadoopConfiguration
FileUtil.copy(sourceFileSystem, sourceFile, destinationFileSystem, targetLocation, true, config)
此方法按要求工作，但效率不高。它流一个给定的文件，执行时间取
浏览 3提问于2019-12-04得票数 0
1回答
是否有任何方法可以使用OS机器使用S3正确地将unicode文件名上传到s3cmd？
问题如下：
OS使用NFD文件名，Linux/BSD和Amazon使用NFC (用于静态文件服务)。
当使用rsync时，我可以指定--iconv=UTF8-MAC,UTF-8开关，它可以进行正确的文件名转换.
然而，当使用s3cmd时，文件名转换不会发生，因此非ascii文件无法从web访问(使用它们的原始URL)，因为它们的名称现在以NFD形式出现。
对于这个问题，我知道的唯一解决办法是将文件上传到Linux/BSD服务器，然后从那里运行s3cmd。
是否有任何不涉及使用Linux/B
浏览 2提问于2015-09-29得票数 0
1回答
使用az拷贝的并行复制
、、、、
我经常使用azcopy将模型从Azure Blob存储复制到Azure VM。但是，当我将数据集复制到VM时，我使用Azure，并使用cp命令将数据移动到数据磁盘中。我想利用Azcopy并行复制数据。我相信有一次我听到AzCopy并行复制数据，但我找不到这份声明。也许我听错了。
我还在堆栈溢出上看到了另一个，它在azcopy中讨论了并行性。这个答案提供了一个链接到“”，并且谈到了--并行级别--但是当我点击它时，没有像它所说的那样的东西。
如果有人可以将我重定向到az拷贝并行文档链接，如果它存在的话，这将是非常有用的。
浏览 6提问于2021-03-31得票数 0
回答已采纳
我对ArcObjects非常陌生。有人能帮我找到ArcGIS desktop 10编辑器下的“并行复制”的命名空间吗？如果您能提供一个如何在Visual Studio2010中使用它的示例，我将不胜感激。
浏览 2提问于2012-03-27得票数 1
我想导出所有的图像，视频和数据，我在我的谷歌存储到我的本地目录，因为我取消了我的订阅。但是没有适当的文档，我找到了如何将它从一个服务提供者转移到另一个服务提供者，而不是导出。
这是我找到的唯一文档，但没有提到如何在本地传输。
浏览 0提问于2018-10-07得票数 1
回答已采纳
我是Apache Hadoop的新手。我们有一个Hadoop cluster1，里面装满了一些数据。还有另一个Hadoop cluster2空着数据。将数据从1复制到2的最简单和最首选的方法是什么？
浏览 0提问于2016-05-02得票数 0
回答已采纳
在cuda 11中，我们使用cp.async将数据从GMEM加载到SMEM，ldmatrix.sync将数据从SMEM转移到注册。这些指令对我们有什么帮助？通过矢量化？
浏览 35提问于2022-07-29得票数 0
回答已采纳
使用带有两个结构的Array，是否有一种有效的方法来交换2行/cols/(沿某个轴的切片)？
这个题目确实概括了这个问题。
浏览 0提问于2020-05-23得票数 0
回答已采纳
在我的程序中，我使用任务并行库来减少进程的时间。我使用这段代码来完成这项工作。
Task[] tasks = new Task[10]
{
Task.Factory.StartNew(() => DoFiles(fullNum,NotFullNum, 1 , (e.Argument as string[])[1])),
Task.Factory.StartNew(() => DoFiles(fullNum,NotFullNum, 2 , (e.Argument as string[])[1])),
Task.Factory.StartNew(() =>
浏览 6提问于2013-08-27得票数 3
1回答
很多时候，我发现GNOME文件复制GUI工具(Nautilus)在停止工作时很烦人。当下列情况发生时：
我取消复制或移动
我试图复制到蓝牙交换文件夹到我的朋友笔记本电脑(当他忘记允许操作或如果文件是大的)
有时，它只是在复制时挂起。
所以我显然对此很恼火，我想马上退出手术。不幸的是，每当我试图取消它时，它都不会奏效。这种情况在我身上发生过好几次，所以我试图找到流程ps aux| grep copy or cp或类似的东西，但我从未成功。也许它已经成为僵尸的过程，我想。
浏览 0提问于2011-04-28得票数 4
回答已采纳
我一直在试验https://medium.com/androiddevelopers/new-apis-in-the-android-gradle-plugin-f5325742e614中描述的新的com.android.tools.build:gradle-api。 具体地说，我正在看关于转换apk工件的部分，如下所示： abstract class MyTask: DefaultTask() {
@get:InputFiles
abstract val inputApkFiles: DirectoryProperty
@get:OutputDirectory
浏览 121提问于2020-09-02得票数 0
1回答
Sax从S3解析一个大文件
、、、、
我在s3上有一个很大的xml文件(50 on )。我想将此文件流到sax解析器，以便使用ruby进行进一步处理。在这样一个环境中，我如何在本地下载整个文件，但只从s3中通过tcp进行流呢？
我正在考虑使用来解析它，使用来访问S3上的文件。我只是不确定如何用流式方式连接这些片段？
浏览 1提问于2015-11-25得票数 2
回答已采纳
我正在尝试为我的第一个开源项目做贡献，但是在从repo中派生和克隆之后，所有的文件都被标记为错误。
这是在选择源文件夹之后。
在package下显示: package name不对应于filepath
..。但我有这个
浏览 35提问于2018-06-28得票数 0
4回答
动态生成批数据以供导入
、、、
我需要执行一个测试，在这个测试中，我必须模拟PostgreSQL (和TimescaleDB) DB中20年的历史数据。我的问题是，我必须生成.sql文件并在目标DB中摄取它们(使用psql)。
我们做了一些计算，结果是我们的数据库将有2610亿行在我们的表中20年，所以每年包含13.05B数据。
对于每一行，我们都有一个时间戳(整数类型)，我认为，为了提高效率，我在包含10.000个元素的.sql文件事务中编写。为了使生成的.sql文件在磁盘空间中变小(我在python中生成这些文件)，我将每个文件限制为每行20M行。
所以我想我可以在bash文件中动态地生成这些文件，当生成一个文件时，我运
浏览 0提问于2018-10-24得票数 0
回答已采纳
4回答
有人在复制大(2-3 3GB)文件到本地hyper-v机器时遇到过不明错误吗？我的机器无论如何都有足够的内存和空间。该错误在复制过程中非常突然地出现。在哪里可以获得具体的错误详细信息？我的Windows事件记录器中没有任何内容:-/
诚挚的问候
浏览 4提问于2015-01-25得票数 19
我希望将taskid绑定到createTask和onTaskChanged活动，这些活动在我的replicator活动中配置为以并行模式运行。
我已经将它绑定到我创建的一个工作流域，但它似乎存在一些并发问题，因为我已经将不同的并行代码块绑定到同一个域。
在一个复制器活动中绑定taskid属性的正确方法是什么？
浏览 1提问于2010-07-29得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
