1回答
我有一个问题，我想在Spark中实现一个递归算法，并希望了解是否有任何建议可以在Spark中构建它，或者探索其他可能更适合的数据分析框架。构建一个在单个节点上运行的解决方案是很简单的(例如，spark master)，但假设目录结构非常大，具有O(十亿)个叶节点。对于使用Spark或其他框架/数据处理技术构建递归/迭代类型的数据管道，有什么建议吗？
浏览 37提问于2021-06-24得票数 0
1回答
服务器端框架与客户端框架
、、、、
因此，我最近一直在学习Django，我花了一段时间才明白它是一个服务器端框架，我以前只使用过Vue/AngularJS，我认为Django类似是因为提供了相同的服务(用于循环、如果语句等等)。客户端框架真的只对产生SPA？有用吗？
浏览 0提问于2018-07-07得票数 1
1回答
处理大型文件的更好方法
、、、
我有一个巨大的csv文件，我必须处理这个文件并做一些数据处理。现在，我正在缓冲区中读取/加载文件，然后进行数据处理工作。在文件非常大的情况下，我发现这种方法效率低下。
浏览 0提问于2020-08-15得票数 -4
我已经在/var/www/html/app目录中安装了我的ci4应用程序。然后在/etc/apache2/site中创建codeigniter.conf文件-可用目录，并编写如下代码 ServerAdmin admin@myciapp.local ServerName myciapp.local
浏览 0提问于2021-03-06得票数 0
回答已采纳
3回答
上一个问题(初始级别优化)：Excel“大”数据处理与查找“
代码用途:根据新信息(由不同的宏提供)重新计算每列500 000行的25列。
浏览 0提问于2017-03-22得票数 4
回答已采纳
2回答
假设我有这个数据框架 <chr> <dbl>2 2012-04-25 18:40:00 81 time2 d1 d2 d31 2012-04-25 17:45:00 1 0
浏览 5提问于2022-05-23得票数 1
1回答
“部分数据负载”术语
、、、
在我的例子中，我有一个非常大的文件，即“环境A”。为了改进我的数据处理(并阻止我的PC崩溃)，我只一次加载这个环境的一小部分。我不会将数据分割成不同的文件。是否有一个术语更简洁地描述了这种数据处理技术，而不是“部分负载”？
浏览 0提问于2022-10-18得票数 0
我想知道是否有可能编写一个在HBase上执行BulkLoad的java程序。我在hadoop集群上，但由于某些原因，我不需要编写MapReduce作业。
浏览 1提问于2015-06-11得票数 0
1回答
g.drawLine(); //Draw;
}似乎这样做是愚蠢的，因为当运行它时，框架总是闪烁和滞后我不需要的代码部分都是关于数据处理的，例如变量，如果您需要，请注意我，非常感谢您的帮助。我只是使用一个没有任何缓冲方法的框架来显示图形，这是一个多么大的错误。我用bufferStrategy来解决这个问题。
浏览 3提问于2016-01-12得票数 0
6回答
如何搭建Hadoop处理环境？
、、、、
Apache Hadoop 是用于开发在分布式计算环境中执行数据处理应用程序的框架。旨在从单个服务器提供存储和计算资源的方式扩展到数千台机器。Apache Hadoop的核心部分由存储部分（Hadoop分布式文件系统）及其数据处理部分（MapReduce）组成。Hadoop将文件分割成大块，并将它们分发到群集中的节点上。
浏览 2027提问于2018-10-24
我发现Apache在大数据处理方面非常强大。但我想知道Dryad (微软)的好处。这个框架比星火有什么优势吗？
为什么我们必须使用Dryad而不是火花？
浏览 0提问于2015-01-28得票数 2
回答已采纳
在使用pyspark从Databricks笔记本加载数据后，我希望将alter table命令传递给我的PostgreSQL数据库。我知道我可以使用spark.read.jdbc传递查询，但在本例中，我想在数据加载后添加一个唯一约束。其目的是通过减少创建唯一索引的时间来加速到db中的数据加载过程。
浏览 22提问于2020-06-02得票数 0
回答已采纳
我是新蒙古国。我试图找出db.collection.find()和db.collection.aggregation()之间的区别请多加洞察..。
浏览 6提问于2016-03-10得票数 1
回答已采纳
3回答
在这些情况下，不需要一个大的花哨的MVC框架。
我意识到MVC仍然可以在这里应用，但它似乎有点过头了。除了原始的过程方法或类对象的随机混搭之外，是否有任何特定的体系结构设计模式特别适用于数据处理、运行一次和服务器守护进程类型的应用程序？
浏览 0提问于2010-02-10得票数 8
回答已采纳
1回答
我正在考虑一个项目的Apache (在java中)，但是这个项目需要数据处理框架来支持嵌套迭代。我还没有找到任何证实，它支持吗？此外，是否有使用嵌套迭代的例子？
谢谢!
浏览 4提问于2015-04-12得票数 1
回答已采纳
1回答
IoT流数据处理的最佳实践
、、、、
我假设有成百上千的IoT设备通过MQTT协议将数据发布到(代理)MQTT集群，在代理后面，我有一个数据处理模块，它从代理订阅数据并维护所有这些设备的状态表。设备的数量仍在增加，因此我必须相应地扩展代理集群和数据处理模块，因为Kafka/Rabbit MQ/Hive MQ等MQTT代理可以非常容易地扩展，但对于数据处理模块，我不太确定是否有任何最佳实践或任何框架
浏览 4提问于2016-12-17得票数 3
我正在尝试为Android开发Adobe应用程序。移动projectActionScript Flex移动项目
浏览 3提问于2011-07-17得票数 0
如果我在查询中重用相同的子查询，这是新的数据处理，而不管它是同一个子查询呢？这能以任何方式优化吗？bigquery不缓存它的数据吗？
是否有用于数据处理的最小大小？关于3)我在数据处理方面有这么大的问题(这就是我问所有问题的原因)。我的整个数据集大约有150 My大，而我的每个查询的DP大小却大3倍？
浏览 10提问于2013-04-22得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
