2回答
这些天我正在学习分布式计算，并且好奇地想知道Memcached是如何工作的。Wiki说：
memcached是一个通用的分布式内存缓存系统。
解释了内存缓存，但我无法理解“分布式计算”在这里的工作方式。服务器甚至都没有意识到彼此--那么容错呢？
有人能帮我得到这样一个系统中数据流的“流程”吗？客户端如何理解哪个服务器保存所需的数据(在缓存丢失时)
谢谢！
浏览 3提问于2012-05-11得票数 2
回答已采纳
2回答
我从未使用过像neo4j这样的图形数据库，我想知道它们是否支持简单的复制和集群分发以及键值数据库，或者是否存在固有的结构使其变得非常困难/缓慢。
浏览 0提问于2012-09-06得票数 2
1回答
我在NServiceBus中使用分发服务器，对于DTC，我碰到了一堵无知的墙。我以前只使用过DTC一次，但在跨进程时使用过一次，而不是很多，所以我对整个DTC的概念非常陌生。
Question:
To ensure durable messaging with NSB, is it absolutely necessary to use DTC's?
我问这个问题的原因是，我希望NSB能够检测到任何异常，比如说一个处理程序，因此对错误的反应是不从队列中删除消息。因此，不需要DTC。当然，这意味着处理程序中的任何数据库或外部服务访问都需要程序员执行她/他自己的回滚等等。因此，DTC似乎是
浏览 2提问于2013-03-08得票数 3
回答已采纳
1回答
如何将任意签名传递给证书
、、、、
我正在尝试使用秘密共享签署证书(X509)。也就是说，股东将他们的签名组合在一起，产生最终的签名，在这种情况下将是签名的证书。然而，根据我的理解，实际上只有一个实体可以签署证书。因此，我想知道：
x509certificate的哪些实体或数据实际上被用作签名算法的输入？
理想情况下，我希望这些数据由股东签署，然后最终的组合将作为有效签名传递给X509certificate。
这个是可能的吗？
怎么能做到呢？
如果不是，他们是否还有其他选择？
浏览 0提问于2013-11-08得票数 2
回答已采纳
1回答
我想要在格林梅的内部表上执行insert、update、delete语句，我想使用外部表更新内部表的数据。我的内部表DDL是create table test ( "ID" bigint, "a" char(10), "b" char(10), primary key ("a") )DISTRIBUTED BY ("a");
当我对这个表执行更新时，就会得到错误。
ERROR：不能对更新分发列的UPDATE语句进行分段处理*我应该怎么做？
浏览 7提问于2017-08-01得票数 0
1回答
是否有办法安全地创建点对点托管网站：
在网站的开发者(主机)和网站之间没有连接吗？
保护网站使用的一些信息，比如数据库，不应该被“同龄人”简单地查看。
让网站仍然运行代码(如。可能从分散的数据库中选择)
我问这个问题是因为我认为这可能是一个解决方案，在一个封闭的监控网络(1000 s个人电脑)中创建一个网站，而不明确谁是该网站的主机。
目前有什么解决办法吗？
浏览 0提问于2015-07-06得票数 2
我有一个脚本重的访问数据库，我最近发送给最终用户进行错误测试。脚本主要读取数据、从内部表中添加/更新/删除，以及与共享驱动器交互。
他们立即回来报告说，最重要的部分由于对'msado15.dll‘版本6.1 (又称微软ActiveX数据对象6.1库)的引用丢失/中断而无法运行。这就引出了两个问题：
为什么这个图书馆存在于我的机器上，而不在他们的机器上呢？据我所知，我们所有的机器都有相同的标准Office安装包。是因为我有SQL Server而他们没有吗？
我想我已经找到了一种替代方案，msado28.tlb (又名微软ActiveX数据对象2.8Library)，它似乎也能正常
浏览 5提问于2012-09-04得票数 2
回答已采纳
我有两个关于如何在点击室切碎的问题。
Q1。是否有必要使用分布式引擎在clickhouse中进行切分？
Q2。我想知道是否可以根据我设定的标准进行切分，而不是按照碎片的重量自动分配。
Example.
- If id is 1, it is stored in shard1.
- If id is 2, it is stored in shard2.
- If id is 3, it is stored in shard3.
I understand the sharding through the distribution engine as follows.
- distrib
浏览 0提问于2019-06-07得票数 1
回答已采纳
我在默认端口(9200)上运行了一个elasticsearch实例，该端口用于驱动我的应用程序的后端。我试图在9201上运行另一个实例(单独的目录)，它有相同的索引，但数据不同，它似乎覆盖了我的第一个实例。更多一些背景：
localhost:9200 /appIndex/appData
localhost:9201 /appIndex/historicalData
我让他们同时在同一台计算机上的不同端口上运行。我注意到我的第一个实例被第二个覆盖(在ES中构建了某种类型的故障转移/负载平衡？)之后，我做了以下几件事：
localhost:9200 /appIndex/historicalData
浏览 2提问于2015-05-15得票数 1
回答已采纳
1回答
我们正在以客户端服务器模式开发企业应用程序。
所需经费如下：
服务器端:集群或分布式以很好地扩展(多个客户端)
服务器中的服务实例被池化(以便可以将它们分配给任何分布式集群元素)
服务实例是无状态的(即来自客户端的请求可以由任何服务实例处理)
感谢您是否也能推荐一本好的分布式企业软件开发书籍。
浏览 1提问于2014-02-28得票数 1
回答已采纳
2回答
移动到分布式弹性搜索集群
、、、
我已经将elasticsearch安装在独立模式下，在一个节点集群中。我创建了许多Elasticsearch索引，用于对基班纳进行分析。现在我想把它切换到3节点集群的分布式集群！
我想知道这是否会导致删除elasticsearch索引？
是存储在elasticsearch上的旧数据只在节点1上保持安全，还是将分布在3个节点上？
请不要犹豫寻求帮助!！
向你问好!！
浏览 19提问于2022-10-03得票数 0
我有在独立模式下工作的hbase实例。我计划将其迁移到分布式模式(3台机器组成的集群)。我的问题是，我是否可以从独立模式迁移到分布式模式，而不会丢失独立模式中的数据？另外，是否有必要在分布式模式下使用HDFS？
浏览 2提问于2013-05-16得票数 1
我现在正在学习Spark，它似乎是Pandas Dataframe的大数据解决方案，但是我有一个让我不确定的问题。
目前，我使用HDF5存储比内存更大的Pandas数据文件。HDF5是一个很好的工具，它可以让我在熊猫的数据上分块。因此，当我需要对大型Pandas数据进行处理时，我将以块的形式进行处理。但Pandas不支持分布式处理，HDF5仅适用于单个PC环境。
使用Spark可能是解决方案，但我对Spark的理解是，dataframe必须能够适应内存，并且一旦作为Spark数据存储加载，Spark将将数据分发给不同的工作人员进行分布式处理。
我的理解正确吗？如果是这样的话，那么星火如何处理大
浏览 0提问于2015-10-29得票数 5
回答已采纳
1回答
我在事务性复制方面遇到了问题。我的服务器中有发行者，而另一台服务器中有一个订阅服务器。
在我的服务器中，如果我查看订阅的细节，我可以看到有一个未分发的命令，但是如果我执行'exec sp_repltrans‘没有结果.，这是可能的，还是我有一个错误？该服务器最近崩溃，我不知道服务器崩溃时复制是否在复制数据。
我试图对表进行一些更改，以查看非分发命令计数器发生了什么，并且随着更改(显示2条命令)而增加，在复制中(在它立即复制之前)所花费的时间比通常要长，但最终计数器返回到1。
还有其他方法来获得这个挂起的事务吗？
-编辑1 --
谢谢Brandon，结果很有趣，使用sp_browsere
浏览 0提问于2013-02-01得票数 1
我使用的是solr 4.3，它与Liveay6.2集成在一起，当涉及到solr云时，liferay有一些集成问题。那么，我如何在不使用solr-cloud的情况下实现集群，特别是容错特性。除了solr cloud之外，还有其他选择吗？
浏览 3提问于2015-01-14得票数 0
1回答
我有一个ASP.NET MVC3(使用Entity Framework4.2)应用程序，它使用如下事务：
using (var transaction = new TransactionScope())
{
// Database action 1
// Database action 2
context.SaveChanges();
Logger.Info("Record X updated");
transaction.Complete();
}
我没有得到错误，但是没有数据被写入数据库。但是，日志文件目标(仅用于测试目的)工
浏览 0提问于2011-11-14得票数 2
回答已采纳
最近我正在学习可伸缩的机器学习，Spark MLlib是我学习使用的第一个工具。我已经成功地使用Spark MLlib实现了一些简单的机器学习任务，比如线性回归，它们在我的笔记本电脑上都运行得很流畅。
但是，我想知道的是，该程序并未部署在集群上，而是在单个节点上运行。在这种情况下它还没有被分发吗。如果是分布式的，Spark会自动运行多线程的任务吗？
有人能告诉我为什么Spark MLlib让可伸缩的机器学习实现更容易吗？
浏览 3提问于2019-01-03得票数 0
在PyTorch中，理论上是否有可能将多个模型“合并”成一个模型--有效地将迄今学到的所有数据结合起来？模型是完全相同的，然而，训练的不同部分的培训数据。
如果是这样的话，是否有可能将数据集分割成相同的部分，并以类似于折叠@home的方式在多台计算机之间分发培训？新的模型会像没有分发一样好吗？
浏览 4提问于2021-04-10得票数 0
回答已采纳
1回答
我是webdev的新手，我想了解CDN是如何工作的？
具体来说，CDN在检索内容时是如何实现性能的？内容是存储在磁盘上，以二进制格式存储在数据库中，还是存储在磁盘上，但存储在数据库中的位置？
数据是如何保持同步的？最终用户是否只将新的/更新的内容推送到一个位置，而CDN负责同步内容？
什么时候使用CDN是明智的，除了将数据存储在磁盘上之外，还有其他选择吗？
浏览 3提问于2017-12-05得票数 0
回答已采纳
1回答
这是来自古瑟拉的密码学课程：
使用KEK的密钥包装或封装可以使用对称密码或非对称密码来完成。
据我所知，KEK解决了对称密钥的密钥分发问题，因此只有参与方才能用其私钥解密密码，但使用对称KEK分发对称会话密钥是否会引发相同的分发问题？
浏览 0提问于2020-10-16得票数 3
我无法理解SageMaker实例计数和数据并行性之间的区别。因为我们已经有了一个特性，它可以指定我们在使用sagemaker编写培训脚本时训练模型的实例数。
然而，在2021年，SageMaker团队启动并演示了SageMaker管理的数据并行性，这个特性也提供了分布式培训。
我搜索了很多网站让我知道这一点，但我找不到真正明确的示范。我分享一些解释我所提到的概念的东西。链接:新的
浏览 15提问于2022-09-09得票数 0
1回答
最近，我一直在研究一个涉及传感器网络数据收集和传播的问题，但我遇到了麻烦。我通读了一篇关于地理哈希表的论文，我认为它很精彩，但我找不到任何将其实现为分布式哈希表的系统的参考实现(或者实际上根本没有实现它)。
我希望有人能提供一些关于最好的前进方式的意见。基本上，我正在寻找一种数据存储，它可以适应(或多或少)与分布式哈希表( bittorrent协议使用的)相同的操作方式。问题是，我需要能够使用类似的集合参数将数据与数据关联起来，而不是只将一个对象链接到它的数据(就像严格的torrent文件-> torrent contents模式一样)。在GHT示例中(链接在上面)，这是通过使用传感器的
浏览 1提问于2015-07-06得票数 1
我是windows application.Created的新手，它是windows应用程序中的一个工具，在安装程序的帮助下，构建一个exe并安装它。
如果我试图安装，当它已经安装，它的显示，另一个版本已经安装，所以我必须去控制面板，卸载，然后再安装它。
我怎么能那样做呢？
不安装时-安装时安装-卸载，然后安装新版本。
浏览 3提问于2013-10-31得票数 0
我正在使用pyspark编写二进制文件，但其内容与编写python操作的内容不同。
电火花saveAsTextFile：
rdd = sc.textFile(gidgid_output_dir+"/part-00000.snappy")\
.map(lambda x: json.loads(x))\
.map(lambda x:pack_data(x))\
.filter(lambda x: x!=None)
rdd.saveAsTextFile(train_output_dir)
产出：
^@^@^@^@^@^@^@^@*^A^
浏览 0提问于2019-04-08得票数 0
3回答
客户数据集将客户id作为关键字，并将客户购买的商品id列表作为价值。商品数据集以商品为关键，以价格为价值。如何根据外键商品的id连接这两个数据集？
customer dataset:
customer id, goods id1,goods id2, ...
goods dataset
goods id1, price1
goods id2, price2
The join result dataset I want:
customer id1,price1,price2,...
customer id2,pric3e,price4,...
我是个新手，我知道它可以在Pig和Hive中实现
浏览 0提问于2012-07-23得票数 2
3回答
我有一个关于图形数据库的问题！有没有在分布式环境中使用图形数据库的机制？！我的意思是你能发布一个图形数据库吗？！我们甚至可以在分布式环境中遍历图形数据库吗？！
浏览 4提问于2015-05-11得票数 1
对于具有子查询/视图的复杂的teradata，Teradata将视图/子查询在假脱机中物化。
我的问题是，在执行此操作时，它使用哪一列来分发此类数据？子查询的第一列？
浏览 0提问于2016-11-25得票数 1
回答已采纳
1回答
我可以使用普通的ML库(例如，Tensorflow或sci学习)运行一个普通的python代码吗？如果是的话，那么是否可以将我的数据和计算分布到集群中？如果没有，为什么？
浏览 5提问于2018-11-29得票数 1
回答已采纳
2回答
MySQL是一个数据库，它(1)可以通过增加副本(2)的数量来配置，而不会失去在任何地方被更新和在任何地方保持同步的能力。
换句话说，MySQL是通过设计的分布式，还是生活在一台机器上的东西，如果我想横向扩展，我就必须做手工工作，比如实现切分/一致散列？
浏览 2提问于2019-05-05得票数 1
回答已采纳
1回答
我有一个用java编写的应用程序，它使用mysql作为DB。我需要创建一个优惠券分发系统，其中我有100个优惠券存储在DB和第一100个客户谁登录应该得到这些优惠券。对于单个服务器，我认为这是非常直接的，但是如果我的应用服务器有多个与登录服务相平衡的负载实例，我该如何实现呢？更具体地说，我的问题是，在给定的时间，1000 s的用户可能试图登录，那么我如何保持FIFO的顺序呢？
浏览 0提问于2023-01-25得票数 0
我在上使用Debian作为数据库/数据存储服务器。目前，它只能有每个块存储挂载10 to，但我还需要更多，在这种情况下，可以使用GlusterFS，在这种场景中，我需要构建100 to文件挂载，我也可以在多台机器上挂载。目前，Linode不允许在多台计算机中安装相同的网络存储。
我的计划是运行10台小型CPU机器，每台10 to存储，构建一个100 to的分布式存储。，这是正确的方法吗？
浏览 2提问于2020-12-23得票数 1
iOS开发证书到期对分发供应配置文件有什么影响？我们最近更新了我们的发行简介一年，并将发布我们的企业应用程序很快。我们的开发商证书将在30天内到期。
在生成新的开发者证书之后，我们不需要辞职我们的企业应用程序。对吧?我的google研究让我觉得我们不会，但我找不到任何能明确说明情况的东西。我真的需要确保我们的用户使用该应用程序将不受干扰。如果您能就此事提供任何建议或资源，我们将不胜感激。
浏览 0提问于2018-06-22得票数 0
2回答
我有这样的情况：
try
{
if (log.QuantidadeTentativa <= 3)
{
using (TransactionScope scope = new TransactionScope())
{
try
{
logIntegracaoRepository.LimpaMovimentoCancela(log.DataInicio, log.DataFim, log.ShoppingId.Value);
Obter
浏览 0提问于2013-11-19得票数 1
我可以使用crontab命令安装一个新的cron作业。例如,
crontab -e
0 0 * * * root rdate -s time.bora.net && clock -w > /dev/null 2>&1
现在我的集群中有100台机器，我想在所有的机器中安装上面的cron任务。
如何将cron作业分配给集群机器？
谢谢,
浏览 6提问于2017-01-18得票数 1
回答已采纳
我需要部署一个presto服务器，它可以帮助我查询以Avro文件格式存储在ADLS中的数据。我已经通过了，它似乎是用来作为目录/连接器在预录查询从ADLS。我可以绕过Hive并有任何连接器从ADLS中提取数据吗？
浏览 2提问于2019-02-28得票数 0
回答已采纳
我有预测各种事物的500+模型，以及一个由400m+个人和大约5,000个可能的自变量组成的大型数据库。
目前，我的评分过程大约需要5天，操作方法是将400m+记录分块成10万人的片段，并旋转n个线程，每个线程都有一个特定的500+模型子集，并以这种方式运行，直到所有模型的所有记录都得分为止。每个线程都是一个Python进程，它提交R代码(即加载一个R .rds模型和相关的数据集转换逻辑)。
这个过程耗时太长，容易出错(更多的是它变成的复杂代码网络的一个指标)，代价很高(需要大量的云实例)，并且只允许在R中构建模型(我想基本上不知道模型来自哪种语言，但我主要想启用Python和R--这是一个不
浏览 0提问于2020-01-21得票数 2
4回答
简单地使用AWS构建应用程序会使这个应用程序成为一个分布式系统吗？
例如，如果有人使用
用于数据库服务器的RDS，
应用程序本身的EC2和
S3用于托管用户上传的媒体，
这使它成为一个分布式系统吗？
如果没有，那么应该调用什么?这个应用程序缺少什么才能被分发？
更新
下面是我对应用程序的看法，以澄清我构建该系统的方法：
我正在开发的应用程序是Facebook的社交游戏。
我在台灯堆栈上使用Symfony2在本地开发了应用程序。
在生产过程中，我使用了一个EC2微实例来托管应用程序本身，使用RDS托管我的数据库，使用S3托管用户上传的文件，使用CloudFront托管静态内容。
我知道
浏览 0提问于2013-12-23得票数 6
2回答
我知道如何用熊猫来读取带有CSV扩展名的文件。当读取一个大文件时，我会出现内存不足的错误。该文件为380万行和640万列文件。大部分基因组数据都在大量种群的档案中。
如何克服这个问题，什么是标准实践，以及如何选择合适的工具。我可以和熊猫一起处理这么大的文件吗?或者还有另一个工具？
浏览 3提问于2015-11-13得票数 1
回答已采纳
如果我们使用多个实例进行训练，内建算法会自动利用它吗？例如，如果我们使用2个实例来使用内置的XGBoost容器进行培训，并且使用了相同的客户流失示例，该怎么办？一个例子会被忽略吗？
浏览 13提问于2022-09-10得票数 0
回答已采纳
1回答
我有一个15节点的集群，我计划使用它来处理每天9000万行(Hive表)的数据。数据以hive表的形式存在于其中一个节点中，我使用的命令类似于以下命令，
with hive.connect(host = 'hostname of that node', port= 10000, authMechanism='LDAP', user='username', password='pass') as conn:
with conn.cursor() as cur:
cur.execute('select
浏览 1提问于2016-08-19得票数 0
1回答
我试图找出Hadoop缓存支持目录创建的符号链接。
它在分布式模式下工作良好。
它在本地模式下失败。
Javadoc /文档非常稀少，对此只字不提。
短版
我希望DistributedCache.addCacheFile(URI.create("file:/tmp/myfile#foo/bar"), conf)能够使/tmp/myfile在当前工作目录中以foo/bar的名称可用。
集群上一切都很好，但是在本地模式下失败了。基本上，LocalDistributedCacheManager.setup试图使用ln -s /tmp/myfile $cwd/foo
浏览 2提问于2015-10-07得票数 2
1回答
我在集群上创建了一个非常大的Spark ，它太大了，无法放入内存中。我还有一个带有Keras的自动编码器模型，它接受Pandas (内存中的对象)。
把这两个世界结合在一起的最好方法是什么？
我发现了一些在星火上提供深度学习的库，但似乎只适用于，或者不支持像这样的自动编码器
我肯定不是第一个在星火大道上训练神经网络的人。我这里有一个概念上的空白，请帮帮忙！
浏览 1提问于2018-11-02得票数 4
我想要做的是:我有数百台服务器，其中非常大的日志文件分布在几十个不同的客户端上。我正在创建很好的python脚本，以不同的方式解析日志，并希望聚合我从所有不同服务器收集的数据。我还希望保持更改脚本的集中化。我们的想法是有一个工具，可以连接到每个服务器，scp脚本到服务器，运行进程与pexpect或类似的，或者scp的结果数据返回到单独的文件中进行聚合，或(优先，我认为)流数据和聚合它在运行中。我没有设置密钥(也不想设置它们)，但我有一个数据库，其中包含连接信息、登录信息、密码等。
我的问题是:这似乎是一个已经解决的问题，我想知道是否有人知道有什么东西可以做这种事情，或者是否有一个可靠和经过验证
浏览 0提问于2009-06-16得票数 0
回答已采纳
我有一些网站，我计划注册/登录使用MySQL它。我的网站是在GNU GPLv3下授权的。
有什么方法可以让用户看到源代码，但仍然保持数据库的安全(例如，保持MySQL密码的php文件未发布)？我真的很想分享我的代码，但我不想有人从我的数据库中窃取数据。
我的网站不是电子银行之类的，但它仍然可以包含敏感数据。
*我为许可证问题感到抱歉，但我搜索了stackexchange一个小时，找不到更好的地方来询问
浏览 0提问于2012-07-28得票数 0
回答已采纳
2回答
我需要在内存中拥有数据并跨节点分布，我可以看到Hazelcast和Apache支持JCache和密钥值对。但通过自己的algo分配(如散列)
我的要求是数据(元素)应该按照时间戳( Java数据对象中的一个字段)进行排序，并在堆中作为一个列表(像分布式链接列表)进行分区。
例:假设我们有4个节点。
List 1 on Node 1 -> element(1), element(2), element(3).
List 2 on Node 2 -> element(4), element(5), element(6).
List 3 on Node 3 -> element(
浏览 20提问于2022-07-18得票数 0
我正在使用EhCache框架缓存应用程序数据，并考虑使用JGroups缓存复制来复制集群环境中的缓存。
它真的是群集环境中缓存复制的行业标准吗？或者，还有其他更好的选择，我应该考虑一下。请注意，我目前没有使用任何集中式缓存服务器。我已经在JGroups缓存复制上做了POC。您能分享一下您在健壮性和主要问题方面的经验吗？使用JGroups进行缓存复制的优点和缺点是什么？
浏览 1提问于2014-05-09得票数 0
1回答
我已经在SQL servers之间设置了事务复制拉取类型。但是，我的分发清理作业并没有从MS_replCommands和repltransaction表中删除任何数据。
我已经将Immediate_Snyc和allow_anonymous设置为0。
分发作业详细信息：
查询: EXEC dbo.sp_MSdistribution_cleanup @min_distretention = 0，@max_distretention = 72
作业结果:以用户身份执行: NT SERVICE\SQLSERVERAGENT。在0秒内删除了包含0条语句的0个复制事务(0行/秒)。。该步骤成功。
注意:当
浏览 9提问于2017-08-07得票数 0
1回答
我下载了2.5.0源代码，并通过cd‘’ing到hornetq-主目录构建它，并运行mvn干净安装(我也尝试过mvn干净包)。这座建筑报告了一次成功。
根据我最新发现的2.4.0手册，
“在发行版中，您将找到一个名为bin的目录。
cd进入该目录，您将看到一个名为run.sh的Unix/Linux脚本和一个名为run.bat的windows批处理文件。
如果我去hornetq-master/distribution/hornetq/src/main/resources/bin，，我会看到那些文件。我没有看到任何类型的目标目录，这是我在构建之后所期望的。
如果我执行run.bat，就会得
浏览 1提问于2015-07-11得票数 0
回答已采纳
1回答
我是个火花新手我需要建议..。
我正在测试Spark在独立集群上的功能，该集群包含一台主计算机(8 CPU，16‘m)(启动start-master.sh和启动应用程序)和两台从机(均为-8 CPU，16’m)，它们启动spark-class org.apache.spark.deploy.worker.Worker spark://IP:PORT并用于分布式计算。我成功地运行了群集-从连接到主程序和应用程序正确工作。
问题是，与在一台本地机器上运行应用程序相比，我看不到性能上的任何效率。和以前一样，主计算机的所有CPU都已满载，而从机的CPU几乎是不活动的。也许有人能说出典型的情况--为什么
浏览 5提问于2014-11-18得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
