1回答
我需要开发一个关于“网络设计和评估- HADOOP加速的悬浮合并”的项目，但我是HADOOP新手，我对HADOOP项目或如何将HADOOP功能与GUI结合一无所知。任何具有HADOOP和GUI功能的简单上传和下载项目都可以完成我的任务。。。
浏览 0提问于2015-09-11得票数 0
我计划提高Hadoop MapReduce版本的雅可比方法算法的速度，以处理非常大的数据(20.000 ++方程)。据我所知，加速比指的是并行算法比相应的顺序算法快多少。我已经在hadoop mapreduce和顺序版本中实现了Jacobi方法。
我目前的加速技术是比较mapreduce和顺序版本，包括重复执行mapreduce和顺序版本30次，执行1次迭代。
浏览 3提问于2013-10-26得票数 0
在使用GridGain加速器运行mapreduce作业时，可以获得Hadoop计数器吗？我可以使用我制作的自定义计数器，但似乎内置Hadoop的计数器并不存在。
浏览 0提问于2015-04-09得票数 0
回答已采纳
我已经设置并测试了一个伪分布式Hadoop集群( namenode、作业跟踪器和任务跟踪器/数据节点都在同一台机器上)。
浏览 1提问于2011-01-20得票数 0
我在Hadoop v1.1.2上使用Hadoop Accelerator，我完成了hadoop自述文件中给出的配置。致命异常: java.lang.NoClassDefFoundError: org/apache/hadoop/fs/InvalidPathException
浏览 0提问于2014-10-23得票数 0
我正在为apache使用apache点燃hadoop加速器。当我在~/..bashrc文件中使用此配置时，ignite.sh工作正常，但hadoop不工作，并显示错误。=$HADOOP_PREFIXexport HADOOP_CONF_DIR=$HADOOP_PREFIX&#x
浏览 4提问于2017-03-27得票数 0
回答已采纳
1回答
目前，在我的公司中，每个需要从HDFS向用户提供数据的团队都会创建自己的工具来完成这项任务。 我们想要创建一个通用工具，用于通过HTTP从HDFS向我的服务提供快速/实时的数据服务。所谓通用，我的意思是该工具应该只为我选择的添加到配置中的服务提供数据，这应该是用户使用这个通用工具必须执行的唯一操作。这个新工具应该被告知出现在HDFS中的新数据，然后调用某种将数据从HDFS移动到我们的快速存储的作业。 应用程序可以每天或每小时更新它们的数据，但每个服务都可以在不同的时间更新(服务A可以在每天早上7点更新，服务B可以每小时更新一次)。我认为我们不希望使用任何模式，而是希望使用唯一的键和分区日期来
浏览 15提问于2019-10-04得票数 0
1回答
‘-src s3a://sourcebucket/ -dest s3a://destbucket/
Release label:emr-5.13.0Applications:Hive 2.3.2, Pig 0.17.0:89)
at com.amazon.ws.emr.hadoop.fs.s3.lite.AmazonS3LiteClient.invoke(Amazon
浏览 14提问于2018-05-27得票数 2
回答已采纳
1回答
我正在尝试使用hadoop fs -get从Hadoop群集中复制一个拼图文件到边缘节点。拼花文件的大小约为2.4 2kb，但由数千个文件组成，每个文件大小约为2KB。这一过程将永远持续下去。有没有什么我可以做的来加速这个过程，比如增加并发？ 我不拥有该群集，并且无法对其进行配置更改。
浏览 32提问于2021-04-12得票数 1
1回答
我们可以使用hadoop在多个图像上运行SIFT吗？如果是的话，如果我们有3个集群，那么它可以通过什么因素减少运行时呢？
浏览 2提问于2014-05-14得票数 1
回答已采纳
我正在处理由其他人完成的Hadoop安装。Ubuntu 18.04.1 LTSJava open jdk 11 (auto mode) and 8 (manual mode)java: /usr/bin/java /usr/share/java /usr/share/
浏览 0提问于2018-08-27得票数 2
我目前正在运行用于MapReduce的Apache Ignite Hadoop加速器。作业运行，但我无法在JobHistoryServer中看到它们。我像hadoop --config path/to/config/ jar path/to/jar ....一样运行我的MapReduce作业<propertyigfs://igfs@/</value>
</property
浏览 0提问于2016-08-23得票数 0
回答已采纳
1回答
609 $AS_HADOOP '"$HADOOP_HOME"/bin/hadoop-daemon.sh start namenode'611 $AS_HADOOP '"
浏览 1提问于2010-05-07得票数 1
https://docs.janusgraph.org/advanced-topics/bulk-loading/和https://docs.janusgraph.org/advanced-topics/hadoop请给出一些用例和代码示例，使用Hadoop或MapReduce来加速批量数据加载到Janusgraph (Java或Python优先)。欢迎任何帮助！
浏览 63提问于2020-07-04得票数 3
回答已采纳
由于我不能加速我的硬件，我想通过在我关闭我的写入流之前开始读取文件来加速软件。我写出了几GB的数据，所以有大量的数据可以开始读取。
浏览 14提问于2019-04-17得票数 0
2回答
使用Hadoop流进行线程处理
、、、、
我正在利用Hadoop流编写一个基于python的HTML抓取器。我发现运行单个线程的python脚本很慢。我想把它修改成多线程版本。有谁知道将映射程序中的线程数设置为什么才是一个好数字吗？
浏览 2提问于2013-08-06得票数 0
回答已采纳
1回答
由于中间数据写入HDFS，具有小数据的作业从HDFS的功能中损失大于收益，并且比非Hadoop等效物所花费的时间要长得多。
浏览 0提问于2016-12-11得票数 0
2回答
我只想问问你对HDFS块大小的看法。因此，我将HDFS块大小设置为24 MB，并且可以正常运行。我记得24 MB不是计算机上通常大小的指数型数(2的乘法)。所以我想问大家，你们对24 MB有什么看法？
浏览 3提问于2015-06-11得票数 2
回答已采纳
在简单的hadoop wordcount示例中，我试图弄清楚哪些步骤需要多少时间。在此示例中，使用了3个映射和1个reducer，其中每个映射生成约7Mb的随机数据。
浏览 0提问于2013-11-10得票数 0
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号