我知道像PCA或SVD这样的降维技术。
我想知道这些技术是如何在像Apache这样的分布式大数据平台上实现的。
公式中是否有伪代码或模式？我想知道算法的哪些部分会因通信问题而造成瓶颈。
先谢谢你
浏览 3提问于2016-12-06得票数 1
回答已采纳
在PyTorch中，理论上是否有可能将多个模型“合并”成一个模型--有效地将迄今学到的所有数据结合起来？模型是完全相同的，然而，训练的不同部分的培训数据。
如果是这样的话，是否有可能将数据集分割成相同的部分，并以类似于折叠@home的方式在多台计算机之间分发培训？新的模型会像没有分发一样好吗？
浏览 4提问于2021-04-10得票数 0
回答已采纳
1回答
该项目的目的是分析患者的疾病细胞使用大数据技术，以表明哪些治疗可能有最好的结果和最少的副作用。
但我认为使用python或java库。我无法决定哪种语言的库对我的项目更有用。如果你有经验，你能帮我吗？我对大数据一无所知。
浏览 9提问于2013-11-24得票数 2
回答已采纳
我计划使用DEA (数据库实验助理)工具来捕获跟踪。
在DEA工具中使用的用户帐户的sql服务器权限要求是什么？
浏览 0提问于2022-04-20得票数 -1
1回答
我需要在Pyspark(2.4.4)中缓存一个数据帧，内存缓存很慢。 我使用Spark缓存对Pandas缓存进行基准测试，通过读取相同的文件(CSV)。具体地说，Pandas的速度要快3-4倍。 谢谢，提前说
浏览 26提问于2020-01-28得票数 0
1回答
我们正试图以尽可能解耦的方式构建我们的系统。理想情况下，我们希望微型服务只做一件事，而且有一件事做得好。他们不应该知道依赖关系。他们应该从队列中获取一个作业，完成作业，并以某种方式发出一个作业完成事件(我将回到这里)。
我们的系统包含“快照”(图像)作为基础，原子单位。“事件”是一组快照，最大长度为5分钟。
一旦我们接收到系统中的快照，并确定它们属于哪个事件，我们就将这些快照排队到一个RabbitMQ实例中，以便执行一些图像分析。然后，我们让"snapshot-analyser“微服务从队列中取出并执行图像分析。这些微服务直接写入数据库，在图像对象中附加更多元数据。它们也是无状态的，并
浏览 2提问于2014-10-01得票数 3
随着see在市场上的增长，我可以看到spark在Hadoop上的主要用例如下：
机器学习中的迭代算法
交互式数据挖掘与数据处理
Spark是一个完全兼容Apache的数据仓库系统，比Hive快100倍。
流处理:实时流中的日志处理和欺诈检测，用于警报、聚合和分析。
传感器数据处理:从多个源获取和连接数据，内存中的数据集非常有用，因为它们很容易。
而且处理得很快。
我的问题是：
火花会在未来几天取代Hadoop吗？
当火花并行运行时，Hadoop同时工作？(这是真的吗？)
浏览 0提问于2015-07-08得票数 3
回答已采纳
1回答
我目前有数百万条推文存储在HDFS中，我计划从Spark (数据挖掘、文本挖掘、基于频繁术语的文本聚类、社交网络分析)中分析它们，但是，我不知道使用数据库而不是HDFS来处理数据是否有好处。
(在效率、工作量等方面)是有道理的。使用来自任何数据库(可能是MondoDB)的数据，而不是直接进入HDFS (以json格式存储)？考虑到分析结果，我会从斯派克进行分析。
浏览 0提问于2016-03-24得票数 -3
回答已采纳
现在
我一直在做一些研究，因为我对大数据世界很陌生。在其他一些工具或框架中，我读过Apache和Python用于数据分析的文章。
具体来说，我读过：
Hadoop:允许您执行任何您想要的任务，如果它符合Map-约简范式。它可以使用集群添加并发，等等。
SciPy:基于python的生态系统(事实上，很多事情).
，所以我的问题是
如果我已经从一个环境中收集到数据，并且想把数据关联起来，计算平均值，提取结论，等等。
和Hadoop (或更多)一样适合SciPy这样做吗？
我基本上是试图在两者之间做出选择，以建立一个小的例子，所以我想知道哪一个更适合，或者我可能误解了每一个的用法。
浏览 0提问于2018-05-09得票数 0
回答已采纳
2回答
我知道你可以将星星之火数据格式df转换成熊猫数据格式
df.toPandas()
然而，这花费了很长时间，所以我在databricks中发现了一个考拉包，它可以让我在没有熊猫数据的情况下使用这些数据作为熊猫的数据(例如，能够使用scikit学习)。我已经有了火花数据，但我找不到办法使它成为考拉之一。
浏览 0提问于2019-06-21得票数 10
回答已采纳
1回答
分布式缓存是一种存储公共请求和快速检索的方法。
Tachyon是一个以内存为中心的分布式存储文件系统，它避免了磁盘加载频繁读取的数据集。
这两者有什么不同？
浏览 1提问于2015-09-16得票数 4
1回答
我的问题基本上是，在重新运行相同的查询时，原则没有使用apc缓存的结果。因此我有很长的执行时间。我在网上没有发现类似的问题。
我的环境：
在PHP 5.4.16上使用Windows7 (32位)。MySQL数据库在远程数据库上使用87ms平均平。通过作曲家安装的具有laravel理论包的Laravel4：
doctrine/dbal - 2.4.x-dev
doctrine/orm - 2.4.x-dev
我的问题：
缓存的原则查询生成器不使用缓存的apc数据。
查询：
$query = Doctrine::createQueryBuilder();
$query->
浏览 1提问于2013-10-30得票数 0
回答已采纳
1回答
猪窝Hbase的不同之处
、、、
我是hadoop技术的新手。我正在尝试弄清楚这些Pig Hive和Hbase用于哪种类型的数据(结构化、非结构化、半结构化)？
在哪种情况下使用哪种工具更有效？
浏览 3提问于2015-01-05得票数 0
我目前正在研究Memgraph，我有几个问题：
1)您是否提供数据的复制和分片/分区？
( 2)查询是否可以并行化，以使更大的分析查询更快？
( 3)边是用顶点存储的，还是有有效的方法提取邻接列表？
( 4)属性是否与顶点和边一起存储？我想这两种方式都可能有性能上的好处和缺陷。
谢谢你的帮助，伊曼纽尔
浏览 0提问于2018-11-24得票数 4
回答已采纳
在我本周的项目中，我收到了一个积压，我要求分析如何在我们的微服务中使用分布式跟踪。我们已经有了麋鹿堆栈，我们可以在Kibana仪表板中检查日志。我尝试使用来过滤呼叫，这很好用。但是，我们的应用程序也使用Dynatrace进行跟踪。我的问题是，如果我们有ELK堆栈来检查日志来发现PRD中的问题，那么Dynatrace分布式跟踪的额外功能是什么？我不能理解的主要区别是什么？有谁能试着用简单的语言解释一下吗？我对这个backlog是个新手，所以有些概念还不合适。
浏览 5提问于2021-02-23得票数 0
实际上，这里也有类似的问题：
但答案并不能让我满意。
我的问题很简单：
当ElasticSearch存在时，我们为什么要使用Hadoop或Spark？
哈德奥普或星火有，ElasticSearch 没有什么？
如果算法是答案，我相信我在创建算法方面也不比Kimchy好。在Hadoop或Spark中，我们需要创建自己的算法。再说一遍，为什么仍然是Hadoop或火花？
答案是："Elasticsearch是一个分布式搜索引擎，不应该用作数据仓库。“
为什么不将其用作数据仓库？
谢谢并致以最良好的问候，
里斯基·苏纳约
浏览 5提问于2015-03-23得票数 7
1回答
我正在为一个分析作业开发一个数据库，它需要将兆字节的信息解析成数据库。我的工作是创建和填充一个数据库，并使用它回答分析师的问题。在这些问题的过程中，我们发现了数据在数据库中的表现方式上的缺陷。然后，我必须更改数据库结构，这通常涉及重新解析和将所有内容重新读取到数据库中。
解析很耗时，但是并行化很简单；因为我有一个48节点的集群，所以不再需要很长时间。然而，我使用MariaDB启动了这个项目(坦率地说，没有人知道数据集会变得如此庞大)。现在最大的阻碍是写进数据库:每次我修改数据库时，就会写上数十亿条，花费两个月收集的数据超过24小时。由于我们将在未来几个月甚至更长的时间内收集数据，所以我可以看到
浏览 0提问于2017-02-03得票数 3
回答已采纳
我正在通过谷歌的。我知道它将复杂的数据转换成柱状的数据布局。
这些数据存储在什么位置？
由于memory没有中央元数据存储库，所以我认为它必须是内存中的。
因此，当我有数十亿行时，如何处理这些数据？
浏览 4提问于2015-08-28得票数 0
回答已采纳
我正在搜索一个分布式实时计算系统，该系统将从kafka服务器收集数据，以便处理数据，然后将其存储在ElasticSearch中。我已经选择了其中的一些：
阿帕奇风暴
Apache火花流
和Logstash (更多地描述为ETL (提取、转换、加载))
我已经找到了几个教程比较风暴和星火流。然而，我没有发现任何教程将逻辑存储与风暴和火花流进行比较。这对我来说非常令人困惑，因为我已经熟悉logstash，但是我想确定我选择了适合我的需求的工具。
提前谢谢你
浏览 0提问于2016-07-11得票数 0
回答已采纳
1回答
我有一个嵌套的循环，我正在使用foreach、DoSNOW和一个雪套接字集群来求解。我应该如何去分析代码，以确保我没有做一些非常低效的事情。
另外，有没有办法测量Snow集群中主节点之间的数据流？
谢谢,
詹姆斯
浏览 0提问于2010-04-13得票数 5
回答已采纳
我目前正在使用Pandas和星火进行数据分析。我发现Dask提供并行化的NumPy数组和Pandas DataFrame。
熊猫很容易用Python进行数据分析。但是，由于系统内存有限，我发现在Pandas中处理多个更大的数据文件很困难。
简单回答：
Apache是一个集分布式计算、SQL查询、机器学习等多种功能于一体的框架，它运行在JVM上，通常与Hadoop等其他大数据框架协同部署。..。通常，达斯克比火花更小，重量更轻。
我从了解了下面的细节
达斯克重量轻
Dask通常在一台机器上使用，但在分布式集群上也运行良好。
Dask提供并行数组、数据帧、机器学习和自定义算法。
浏览 4提问于2016-08-10得票数 101
我正在开发一个Java应用程序，在这个应用程序中，我们有大约450个线程。线程池的大小为25。每个线程的任务是调用8到9个Web服务，获取响应，解析响应XML并将提取的数据存储到数据库中。数据库表中包含10至12列的行总数约为30000行。
由于这里有很多并行处理，我们应该为这个场景引入Apache吗？是否需要额外的开销来维护Apache集群？我们如何将这个问题划分为Apache的驱动程序呢？
浏览 0提问于2017-08-04得票数 0
我想诊断一下使用dask进行多次访问时的文件系统性能。有人会有这样做的代码片段吗？
上下文:在HPC平台上工作时，我的sysadmin要求我迁移到一个新的文件系统，我怀疑它的性能相当差。我的工作流程涉及分布式dask、netcdf和zarr文件处理。
浏览 11提问于2020-05-08得票数 1
我在cassandra中有一个数据库查询问题，我将用最简单的例子解释我的问题，我有一个带有时间戳的表，类似于(我将简化时间戳)。
00:01 - 7
00:02 -5
00:03 -5
00:04 -7
00:05 - 1
00:06 - 10
00:07 - 578
00:08 - 7
00:09 - 4
00:10 - 9
我想要一个查询，它将回答：
00:01->前5名的平均人数
00:05和接下来10点的平均值。
……
应该使用cql进行查询，还是需要进行编程？结果将是数百万，我想调整粒度(这里的5个数字用于调整输出)
浏览 5提问于2014-12-02得票数 0
1回答
我目前正在使用apache cassandra数据库来存储信息。但是cassandra不允许执行按位操作的查询。
我需要执行查询：
从表中选择count(*) where field1 =？和BIT_COUNT(field2 ^ ?) <= 10；
但是卡桑德拉不允许这样做。
你能建议一些nosql或嵌入式快速sql解决方案吗？
数据库包含的行数超过100万行。
浏览 1提问于2014-12-05得票数 0
3回答
选择什么数据库来存储站点访问的信息，主要特点:数据量大，每秒有很多页面请求，不同的数据呈现报告，我想使用MySql，有什么建议吗？
浏览 3提问于2010-01-21得票数 0
我需要关于如何对性能进行基准测试或创建基线以测试从SQL Server 2012升级到SQL Server 2016 (都是标准版本)的建议，以及是否需要检查升级后的任务以确保升级后的平稳性能。
P.S :我最近创建了我的2012年SQL Server数据库的测试快照(也有2012年Server的单独快照)，并在AWS RDS中将其升级到2016 SQL Server (都是标准的)。我想测试这两个实例的性能和功能，以检查升级是否顺利，并且我可以为我们的主要产品数据库进行升级。
请帮我做所有的检查。
我已经从新服务器上的当前服务器重放了一个跟踪文件。结果如下：
📷
浏览 0提问于2018-05-07得票数 0
我刚刚开始学习微型服务，我有一个问题，我自己无法回答。(我也是一个基于Java的开发人员)
我遇到了这样的情况：
我有服务A(一个API服务)，它调用T1服务(名为)来获取数据。
然后我有一个服务B，它可以使用来自A的数据响应，解析这些数据，然后生成一些新的数据，最后将其返回给客户端。
问题是:我应该用哪一种？B从A调用API并使用带有连接池的HttpClient/ AsyncHttpClient解析(例如JSON数据)或B直接调用T1并重复A做什么？
IMHO，我认为Thrift (也有连接池)比HTTP调用更快？我说的对吗？
我看到很多使用HTTP进行内部搜索的服务，如弹性
浏览 4提问于2016-05-30得票数 6
回答已采纳
我读过很多关于微服务或有界上下文之间的事件驱动消息传递以共享状态或对事件做出反应的博客和书籍。大多数示例实现了如下代码片段所示的命令处理程序。它实际上是“”一书中的一个简化的片段。
public void Handle(PlaceOrder message)
{
var orderId = Database.SaveOrder(
message.ProductIds, message.UserId, message.ShippingTypeId
);
// what if something goes wrong here?
var orderC
浏览 22提问于2021-05-19得票数 1
1回答
我有一个问题，我希望我能得到一些建议！
我有大量的文本作为输入(大约20 of的价值，不是很大，但足够大)。这只是免费的文本，非结构化的。
我有一份“分类名单”。我想要处理文本，交叉引用类别列表中的项目，并输出每个匹配的类别。
输入文本
那只敏捷的棕色狐狸撞倒了那只懒惰的狗。
类别查找
颜色
红棕色绿
速度
慢慢来的快快的
预期输出
颜色-棕色
速度-快，懒散
为了增加问题的复杂性，源文本可能与类别不完全匹配，例如，必须有一个在这里应用的模糊匹配算法。
我想用“大数据”技术来解决这个问题(不管它是否真的需要大数据，这不是问题--这是一个次要的目标)。
我的想法是利用Hadoop /Reduce
浏览 0提问于2013-07-05得票数 3
如何在大型评估数据集的特定片(段)上评估我的TensorFlow模型的性能？
浏览 3提问于2018-03-29得票数 0
回答已采纳
2回答
实际上，我正试图分析和解决一些经常发生的死锁，这些死锁至少包括一个名为"DTCXact“的事务，这让我不禁要问。
我重复地对生产服务器运行以下查询：
SELECT DTAT.transaction_id ,
DTAT.[name] ,
DTAT.transaction_begin_time ,
CASE DTAT.transaction_type
WHEN 1 THEN 'Read/write'
WHEN 2 THEN 'Read-only'
WHEN 3 THEN 'System&#
浏览 0提问于2016-01-28得票数 4
1回答
如何与简单的JMX度量进行比较？
与Java本机JMX MBeans不同，Stagemonitor在您的Java应用程序中包含一个代理，在中央数据库中发送度量和请求跟踪，该数据库可以是Elasticsearch。
由于这两种方式都可以作为麋鹿监控堆栈(JMX，参见本博客)的输入，Stagemonitor的好处是什么？
浏览 5提问于2017-06-03得票数 1
回答已采纳
我试图理解mongoDB和Hadoop之间的关键区别。我理解mongoDB是一个数据库，而Hadoop是一个包含HDFS的生态系统。使用这两种技术处理数据的方式有一些相似之处，但也有很大的不同。
我不明白为什么有人会在Hadoop集群上使用mongoDB，主要是mongoDB比Hadoop具有什么优势。两者都执行并行处理，两者都可以与Spark一起用于进一步的数据分析，那么什么是一个比另一个的增值。
现在，如果要将两者结合起来，为什么要在mongoDB和HDFS中存储数据呢？MongoDB有map/reduce，所以为什么要将数据发送到hadoop进行处理，而且两者都与Spark兼容。
浏览 1提问于2019-05-07得票数 0
回答已采纳
2回答
用php实现时间序列数据库
、、、、
目前，我正在使用rrdtool和php创建基于时间序列的数据库和图表，最近我正在迁移到laravel并移植我的代码。
有没有现成的php库可以使用redis，mongodb，rethinkdb或者tempo-db来帮助我创建像rrdtool那样的时序数据库？
浏览 4提问于2014-03-19得票数 1
1回答
我已经实现了dask.delayed()来并行化我的项目，因此我不再从用cProfile对我的项目进行分析中获得有用的信息--现在配置文件中的大部分时间都被定义为{method 'acquire' of '_thread.lock' objects}，它没有告诉我调用实际函数所花费的时间。
除了重写脚本暂时禁用Dask之外，是否还有另一种分析方法可以提供被调用函数的运行时间信息？
浏览 0提问于2019-11-07得票数 0
回答已采纳
2回答
我希望在业务层中使用TransactionScope类来管理数据访问层中的数据库操作。
这是我的代码样本。当我执行它时，它会尝试启用dtc。我想在不启用dtc的情况下进行操作。
我已经看过文章了。这对我没用。我读过很多关于这个主题的文章，但没有一篇涉及企业库，或者我没有看到。
顺便说一句，我可以使用dotnet使用TransactionScope，而且它运行得很好。
SampleInsert()方法的内部是什么？
谢谢,
业务层方法：
public void SampleInsert()
{
using (TransactionScope scope =
浏览 6提问于2012-07-23得票数 1
回答已采纳
1回答
度量收集和分析体系结构
、、、、
我们正在研制支持家庭套件的IoT设备.HomeKit是为消费者设计的，不具备收集度量标准(功率、温度等)的能力，因此我们需要单独实现它。
假设我们有10000台设备。他们每5秒发送一次度量的集合。因此，每秒钟我们需要接收10000/5=2000年的集合。最终用户需要在指定的时间内(1周、月、年等)查看每个度量的图表。因此，该系统每天将收到17.28亿条记录。这里有很多问题。
首先，不需要存储所有数据，因为用户只需要指定时间段的图表，因此需要一些聚合。什么样的数据库解决方案适合它？我相信没有RDMS会处理这么多的数据。那么，如何获取度量的平均数据来将其呈现给最终用户呢？
AWS具有共享的时间序列
浏览 0提问于2018-11-26得票数 1
1回答
是否有一个工具可以从数据库模式和该模式中的内容中包含的信息推断本体？假设数据库中有定义以下内容的表：
链接到类型existInstances的实体的类型，可以链接到类型的关系的类型(existInstances existInstances )，以及与类型相关的实体的类型()。
我觉得单看模式就会提供比我想要的更广泛的本体论。
浏览 4提问于2012-05-14得票数 2
1回答
上下文：
我们正在考虑一种符合AMQP的解决方案，将其作为计算每天90 gb的持续实时数据流的一种方式。我们想要实现的是实时统计，或多或少，基于我们正在观察的所有指标或某些指标的组合。考虑的策略是在队列上发送数据，并让工作进程处理数据的增量，将数据作为原始数据的聚合发送回队列。
观察：
对我来说，这看起来像是Hadoop的工作，但人们提出了一些担忧(和盾牌)，主要是速度问题。我没有时间对两者进行基准测试，但我们希望通过队列注入大量数据(10~100mb/s附近的任何地方)。我仍然认为它看起来像是分布式计算系统的作业，而且我也觉得队列解决方案的可扩展性比分布式计算解决方案差。
问题：
简单地说，
浏览 0提问于2012-05-02得票数 2
回答已采纳
1回答
攻击者如何利用一个使用状态是最终一致和矢量时钟来解决分歧的世界？
例如，使用像Cassandra这样的数据库解决财务事务的安全问题是什么？
有人知道利用分布式系统中的漏洞利用代码吗？
浏览 0提问于2013-06-12得票数 13
2回答
对于那些愿意在链外存储数据的人来说，有什么更好的选择呢？
智能契约应该做的是签署一个事务并执行，而每一条信息都需要保存在链外。IPFS是流行的分布式存储系统之一，但是Dapp通常会选择其他平台进行存储吗？
浏览 0提问于2020-07-30得票数 1
1回答
在没有任何通知或日志记录的情况下，是否有可能在Server 2008 R2中回滚整个提交的事务？
这个周末，我们在一个HA集群Server 2008 R2环境中得到了一组数据的回滚。数据是存在的，现在它不存在。Server错误日志中没有任何数据，集群日志中没有任何数据。最初加载数据的Server代理作业成功运行(包括从进程本身发送的进度电子邮件)。
唯一没有回滚的是大量插入的数据。数据库被设置为完全恢复，所以批量插入的数据也应该被回滚，对吗？
很抱歉没有详细的细节，但我完全搞不懂。甚至都想不出还有什么地方可以看。
浏览 0提问于2013-07-08得票数 1
如何在CassandraDB中处理连接查询？有没有一种方法可以在不使用ApacheSpark或DataStax ODBC连接器的情况下完成这些任务？谢谢!
浏览 14提问于2017-01-19得票数 0
当我试图在DSE图中获取顶点计数时，使用
g.V().count()
在生产模式下，错误正在显示。
Could not find a suitable index to answer graph query and graph scans are disabled
但在发展模式中也是如此。我是不是做错什么了。
我正在尝试快速启动链接，但创建了自己的模式。
模式：
schema.propertyKey("id").Int().single().create() schema.propertyKey("name").Text().single().cre
浏览 3提问于2016-08-17得票数 1
回答已采纳
1回答
我有一个巨大的数据集，我必须监测异常和发送警报。下面是我试图做的最接近的例子。
假设关系数据库中有一个股票表：
stocks:
id
date
stock_name
price
让我们说，我们正在处理的股票有一百万只。在白天，股票的价格不断更新，基于不断和频繁的实时饲料。在当天结束时，每只股票的最后记录价格是当天的收盘价。第二天，我们将添加到表中的另外100万个记录，并开始重新处理它。
假设用户可以配置警告，如："When AAPL moves more than 10% than its average for past 10 days, alert
浏览 6提问于2015-12-10得票数 3
回答已采纳
有没有人知道或知道任何讨论谷歌分析如何存储和处理来自海胆呼叫的数据的文章？对这个架构很好奇。
谢谢!
浏览 0提问于2010-02-12得票数 4
2回答
我有一个数据集，我需要处理PCA (主成分分析，一个维度约简程序)，这是很容易进行使用Weka。
而且，由于数据集的大小很大，所以Weka显示内存问题，如果我将Weka与Hadoop链接起来，就可以解决这些问题。若要在服务器中使用weka运行算法，请执行以下操作。有人能帮我做同样的事吗。如何将Weka与Hadoop连接起来以处理更大的数据集？请帮帮我！
谢谢..。
浏览 2提问于2014-01-23得票数 1
回答已采纳
我对SQL Pool有疑问。我不知道是怎么回事。SQL Pool服务是SQL Server类型数据库的服务吗？我有Postgres数据库，并考虑将它移到Azure上，但是，SQL Pool服务在Azure Postgres的情况下有什么用途，还是只用于Azure SQL Server数据库？最后: Synapse也使用SQL Pool吗？
浏览 5提问于2021-11-25得票数 0
回答已采纳
2回答
我们有一个盒子，每天有to的数据(10-20TB)，驱动器上的每个文件都在to到to的任何地方。
我们希望将所有这些文件发送到一组“披萨盒”，在那里他们将消费和处理这些文件。
除了distcp (hadoop)之外，我似乎找不到任何构建来处理如此大量的数据的东西。Robocopy/etc不能这样做。
有谁知道一个解决方案，可以处理这种类型的委托(在披萨盒之间分担工作)，并具有可靠的文件传输？
浏览 1提问于2010-10-06得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
