我有一个用python编写的算法(不兼容hadoop，即不兼容mapper.py和reducer.py)，它在本地系统(不是hadoop)上运行得很好。我的目标是在hadoop中运行它。
选项1: Hadoop流。但是，我需要将这个python脚本转换为mapper和reducer。还有别的办法吗？
选项2:通过Storm运行此python脚本。但是，我使用的是cloudera，它没有Storm。我要么需要在cloudera中安装storm，要么需要使用Spark。如果我在cloudera安装storm。这是更好的选择吗？
选项3:通过Spark (Cloudera)运行此python脚本。有
浏览 0提问于2014-11-29得票数 0
2回答
HBase键值压缩？
、、、
谢谢你对我的问题感兴趣。在开始之前，我想告诉您，我对Hadoop & HBase非常陌生。到目前为止，我发现Hadoop非常有趣，并希望在未来做出更多的贡献。
我主要感兴趣的是改进HBase的性能。为此，我修改了HBase的/io/hfile/Hfile.java中的/io/hfile/Hfile.java方法，使其能够完成高速缓冲数据汇编，然后直接写入Hadoop，以便以后可以由HBase加载。
现在，我想出一种压缩键值对的方法，这样就可以节省带宽。我做了很多研究来找出方法，然后意识到HBase已经内置了压缩库。
目前，我正在研究SequenceFile (1)；setCompres
浏览 7提问于2011-06-20得票数 0
我们正在尝试将文件从本地复制到hadoop。但偶尔会得到：
org.apache.hadoop.fs.ChecksumException: Checksum error: /crawler/twitcher/tmp/twitcher715632000093292278919867391792973804/Televisions_UK.20120912 at 0
at org.apache.hadoop.fs.FSInputChecker.verifySum(FSInputChecker.java:277)
at org.apache.hadoop.fs.FSInputCheck
浏览 0提问于2012-09-18得票数 0
回答已采纳
我目前正在hadoop上实现一个parallel-for，以便按照用户的指定多次迭代映射器。有没有人能帮我举个有用的例子，让我用我的实现来进行测试。Hadoop中需要迭代Mapper函数的一些应用程序。谢谢
浏览 3提问于2011-07-17得票数 1
回答已采纳
我对Mahout和随机森林很陌生，我想对我的数据集进行分类，并在我的三个虚拟Hadoop节点上构建了随机森林。正如我们所知道的，首先，我将描述符(/des.info)设置为.And--构建了分类器(/user/hadoop/ .There )--.There是一个错误，但是当我尝试测试它时，它完成了successfully.However。我的系统都是带有hadoop-3.0.0的CentOS7。
以下是HDFS：
[hadoop@hadoop1 ~]$ hadoop fs -ls /
Found 5 items
-rw-r--r-- 1 hadoop supergroup 8807
浏览 2提问于2018-05-01得票数 0
回答已采纳
1回答
我并不是Hadoop的专家，但我的理解是Hadoop非常适合并行算法，在这种并行算法中，并行性要么是映射缩减形式，要么是其他类型的分而治之。
还有其他类型的算法技术也很适合吗？
浏览 0提问于2015-10-11得票数 1
回答已采纳
嗨，我发现很难将mapreduce和hama进行比较，我知道hama使用这个批量同步并行模型，并且工作节点可以彼此通信，而在apache的hadoop中，工作节点只与namenode通信正确吗？如果是这样的话，我不明白hama会比hadoop中的标准mapreduce带来的好处，谢谢！
浏览 1提问于2014-05-03得票数 1
回答已采纳
我正在从事一个利用机器学习算法的项目，我选择hadoop/mahout，因为它能够更好地处理大数据。
但是mahout只集成了少数算法(不包括一些算法，比如支持向量机)，所以我想知道除了mahout之外，Hadoop平台中还有其他机器学习库吗？
如果是这样，我有一些关于新图书馆的问题。
它支持分布式计算吗？
这是正式释放吗？有支持吗？
非常感谢~
浏览 4提问于2013-01-23得票数 0
1回答
马乌特
、
我计划使用在Hadoop上运行的Mahout提供的一些聚类算法。
现在我看到了一个变化，马赫特正从MapReduce走向星火。
令我困惑的是，如何实现这样的系统？我还需要Hadoop吗？以及如何将马赫特和斯派克结合起来？
谢谢
浏览 7提问于2014-08-15得票数 0
回答已采纳
我用Java编写了一段简单的代码来读取csv文件，对行进行细微的修改(使用散列)，然后写入输出文件。
我想比较一下顺序版本(纯java)和MapReduce版本的代码。(代码没有太大区别)。
我在伪分布式hadoop (单节点)和全分布式hadoop (3个节点)中都尝试过代码，但令我惊讶的是，MapReduce版本的执行时间总是高于顺序版本(近似两到三倍)。
我在Hadoop方面没有太多经验，但至少分布式处理应该比串行处理花费更少的时间(因为这就是为什么我们有分布式处理)。我甚至尝试了不同的数据集大小。
浏览 3提问于2019-04-08得票数 0
1回答
目前的实现涉及到对大输入事务文件的采样，最后将“FP增长算法”应用到这个采样数据中进行数据挖掘。然而，它有其局限性，我想在更大的范围内加以实施。根据以下抽样方法(基于用户响应)对事务性文件进行采样：
采样事务的随机关联(FAST)算法.
目标是在Hadoop中实现它，用于并行处理和支持大输入数据文件。在Hadoop或任何其他开源分布式处理框架中，我如何实现这一点呢？
浏览 5提问于2012-06-25得票数 1
3回答
谁能告诉我一个很好的网站，有很好的Hadoop算法集合。例如，我现在能用Hadoop做的最复杂的事情就是Page Rank。除此之外，我还可以做一些琐碎的事情，比如数单词之类的事情。
我想看一个网站，它向我展示了hadoop的其他用途。
浏览 1提问于2010-07-27得票数 14
回答已采纳
2回答
根据我们的测试，Hadoop Shuffle默认使用DES加密: ECDHE-RSA- DES-CBC3-SHA:112，EDH-RSA-DES-CBC3-SHA:112，DES-CBC3-SHA:112。
如何将其设置为使用AES？
这些是要设置的正确设置吗？hadoop.security.crypto.cipher.suite=AES/CTR/NoPadding dfs.encrypt.data.transfer.cipher.suites=AES/CTR/NoPadding
浏览 0提问于2016-06-02得票数 0
4回答
基于Hadoop的机器学习框架
、、、、
除了Mahout之外，还有哪些框架用于在JAVA中实现机器学习算法，以便底层框架获取JAVA代码并在Hadoop上运行它？
我正在寻找Mahout的替代方案，因为我需要一个SVM和Hadoop上的集聚实现，而Mahout中只支持SVM。
浏览 0提问于2012-07-12得票数 2
1回答
我正在使用Flumme1.5.0版本将SQL server数据迁移到Amazon S3。我只将增量数据迁移到s3。因此，这就像每当一个新记录被插入到我的server中，那么它就应该在S3上被复制。
我可以将sql server数据写入位于北维吉尼亚州的s3，但是当我在孟买地区创建一个桶并在孟买地区编写数据时，它会抛出以下的错误-
19/09/07 13:01:08 WARN hdfs.HDFSEventSink: HDFS IO error
java.io.IOException: s3n://BUCKET-NAME : 400 : Bad Request
at org.apache.hado
浏览 4提问于2019-09-07得票数 0
2回答
我正在处理大数据，我的项目由具有文本数据的图形组成。我必须在一个项目本身中计算顶点之间的相似度、跳跃概率、连接组件的数量、页面排名向量和随机游走。
我在hadoop中实现了它们，但我认为它需要更多的时间(图有2500个节点，4000个边，600个连接的组件需要25分钟)，那么实现这些的最佳选择是apache hadoop还是apache giraph还是apache twister？
浏览 6提问于2015-05-29得票数 0
我尝试使用ParallelALSFactorizationJob，但它崩溃了：
Exception in thread "main" java.lang.NullPointerException at java.lang.ProcessBuilder.start(ProcessBuilder.java:1012) at org.apache.hadoop.util.Shell.runCommand(Shell.java:445) at org.apache.hadoop.util.Shell.run(Shell.java:418) at org.
浏览 2提问于2018-10-23得票数 5
以下用例：
我对.gz压缩中大小约为500.gz的数据运行一个单元查询：
select count(distinct c1), c2 from t1 group by c2;
此查询的结果是~2800个映射作业和~400个裁减作业。
当设置每个160 to实例存储有20个实例的Hadoop集群时，作业将停止在97%的map和21%的减少进度，然后回落到94%的map和19%的进度，然后再没有任何进展。我认为这是因为HDFS的磁盘空间处于使用限制。也许我可以在那天晚些时候提供一条异常消息。
：是否有一种方法可以根据正在处理的数据的输入大小粗略计算HDFS所需的磁盘空间？请记住，输入数据以.gz格
浏览 0提问于2013-01-16得票数 1
回答已采纳
我正在尝试使用.\bin\hadoop、jar、path_to_mahout_jar等运行Mahout
只有当输入是本地文件时，它才起作用。当我尝试使用Hadoop文件系统中的文件时，它显示以下错误：
Exception in thread "main" java.io.FileNotFoundException: input (The system cannot find the file specified)
at java.io.FileInputStream.open(Native Method)
at java.io.FileInput
浏览 4提问于2013-07-13得票数 0
我已经使用来自elasticsearch的elasticsearch-hadoop插件从hive将数据加载到了elasticsearch-hadoop集群中。
我需要取一个唯一帐号的数字。我有以下用hql和queryDSL编写的查询，但是它们返回不同的计数。
蜂巢查询：
select count(distinct account) from <tableName> where capacity="550";
// Returns --> 71132
类似地，在Elasticsearch中，查询如下所示：
{
"query": {
浏览 1提问于2017-09-15得票数 0
回答已采纳
我想在hadoop中创建(或至少采用)一个新的“定制”调度器。我在网上看到了一堆调度算法，如下所述。Hadoop Scheduling Algorithms 我知道我们可以在yarn-server中扩展资源管理器/调度器/类的类，并编写我们自己的调度算法。但是有没有人可以给我一个他们写的自定义算法的例子，或者至少给我一个可以找到它们的路径(jar文件)。
浏览 24提问于2021-11-18得票数 0
我对Apache Hadoop项目很感兴趣，但我想知道是否还有其他经过测试的(请注意“经过测试的”)项目/框架。
感谢任何与Apache Hadoop类似的项目的信息/链接，以及任何使用过Apache Hadoop项目的人对该项目的任何评论。
致以敬意，
浏览 0提问于2010-02-03得票数 0
回答已采纳
1回答
最近，我一直在尝试了解hadoop集群是否可以用于遗传算法/编程作业。我一直在读有关hadoop的文章，我知道它可以并行化处理大型数据集。在我的情况下，我不会有很大的数据集。但我发现真正有用的是hadoop的并行化功能。所以，我的问题是，像hadoop这样的程序是否可以用于评估或处理遗传算法/编程，我认为它将更多地面向处理，而不是面向I/O？
浏览 4提问于2011-11-06得票数 6
Apache mahout在没有Hadoop的情况下工作吗?如果不是这样的话，那么mahout的哪些部分依赖于Hadoop。我正在尝试Mahout集群实现。
谢谢。沙希德。
浏览 4提问于2014-06-11得票数 0
回答已采纳
我知道在Hadoop上使用python语言是可能的。
但是，是否可以在Hadoop上使用scikit-learn的机器学习算法呢？
如果答案是否定的，那么有没有针对python和Hadoop的机器学习库呢？
谢谢你的帮助。
浏览 1提问于2014-02-17得票数 7
Mahout附带了许多预定义的Hadoop作业类(从AbstractJob派生的东西)。其中包括计算建议(RecommenderJob)的作业。Mahout还定义了用于测试这些建议的各种RecommenderEvaluators，但我不清楚如何使用Hadoop以分布式方式运行这些建议。
是:运行推荐作业，然后将输出提供给评估器？我看了看RMSRecommenderEvaluatorTest，但它似乎能一举完成所有的工作，而且看起来不像是Hadoop的工作。
浏览 3提问于2013-05-14得票数 2
回答已采纳
2回答
将数据集写入配置单元时出现异常
、、、、
我试图写DataSet到Hive数据库使用Spark Java，但在这个过程中，我得到了异常。
这是我的代码：
Dataset<Row> data = spark.read().json(rdd).select("event.event_name");
data.write().mode("overwrite").saveAsTable("telecom.t2");
这里，rdd是流式传输的json数据，我可以通过以下命令打印结果data。
data.show();
但是当我尝试将这个结果写入配置单元数据库时，我没有得到任何异常，
浏览 4提问于2017-01-02得票数 0
我想获得一些使用Hadoop和页面排名的经验。我用Hadoop完成了一个简单的页面排名算法的实现。现在，我计划分析更改一些算法参数的可能影响，并研究它如何影响页面排名。现在，我正在分析悬空节点如何影响页面排名。任何关于这个pagerank还可以有哪些变化的建议都将极大地帮助我获得更深入的知识。
谢谢
浏览 5提问于2012-10-21得票数 2
回答已采纳
1回答
我刚开始使用hadoop，我需要使用它来计算一个非常大的数据集的关联规则。我不能理解如何使用rules和MapReduce从数据集中发现关联规则。我有事务矩阵，但是我需要做什么才能用hadoop对这个矩阵执行apriori算法？？这是用于执行apriori (程序包规则)的命令。
rules <- apriori(incidence.matrix , parameter = list(minlen=2, supp=0.09, conf=0.95))
我需要在map函数中使用它，在reduce函数中吗？
浏览 1提问于2014-12-09得票数 0
我们使用的是RevoR的rmr和rhadoop package。我们是否可以在hadoop中对整个数据集执行线性回归，而不需要在map reduce中实现线性回归算法
或
rmr和rhadoop是否仅用于汇总数据，然后在本地对汇总的数据运行回归？
浏览 0提问于2012-12-05得票数 2
我想知道hadoop如何处理日志文件解析，如果我们需要计算的不仅仅是一个简单的度量标准(例如最流行的单词)，而是许多度量标准(例如:平均身高分解为性别，前10个站点分解为电话类型，顶部单词分解为成人/孩子)？
如果不使用hadoop，我可以考虑的一个典型的分布式解决方案是:使用哈希将日志分割到不同的机器，等等；每台机器解析自己的日志文件，并为这些日志文件计算不同的度量标准。结果可以以SQL、XML或其他格式存储在文件中。然后，主计算机解析这些中间文件，聚合这些度量，并将最终结果存储到另一个文件中。
使用hadoop，如何获得最终结果？我看到的所有例子都是非常简单的例子，比如数字。
我只是不知道
浏览 2提问于2013-10-18得票数 0
回答已采纳
我是框架领域的新手。我自己读了很多教程，了解了这个框架。我已经在伪分布式模式下成功地配置了hadoop设置。我需要在Hadoop MapReduce中完成两个特定的任务。
我有许多数据文件的格式如下。
交换消息数量；user1；user2；时间戳；
一个例子是: 5；John Doe；John Smith；1/1/1900；
我想要完成的是
对用户名进行数据掩蔽(就像在用户名的基础上构建SHA256，因此它们是在给定的时间段(例如1周)中交换的消息数量)。
现在让我们来问我的问题:根据我目前的知识，hadoop框架旨在完成第二个任务。我可以映射键值(交换消息的两个用户名，消息的数量)，并减少它
浏览 11提问于2012-06-01得票数 2
回答已采纳
2回答
根据在雅虎hadoop教程中找到的图片，操作的顺序是map >合并区>分区，然后应该进行减缩。
下面是由map操作发送的示例密钥
LongValueSum:geo_US|1311722400|E 1
假设有100个相同类型的键，则应该将其组合为
geo_US|1311722400|E 100
然后，我想用第一个管道(\) 之前的值来划分键。
geo_US
这是我的流媒体命令
hadoop jar /usr/local/hadoop/contrib/streaming/hadoop-streaming-0.20.203.0.jar \
-D mapred.red
浏览 1提问于2011-08-05得票数 1
1回答
我想做一个项目，，Hadoop，和地图，减少，并把它作为我的毕业设计。对此，我做了一些思考，在互联网上搜索，并想出了在Facebook这样的社交网站上实现一些基本的知识挖掘算法的想法，或者在Facebook或可能stckoverflow、Quora等社交网站上使用，并绘制一些统计图表、比较频率分布和其他重要的values.For搜索目的--使用Apache Solr是否明智？
我想知道
如果使用上面提到的工具是可行的，如果是的话，我应该如何建立在这个小小的想法之上？
在哪里可以了解到易于使用java和映射约简技术实现的知识挖掘算法？
如果这是一个错误的想法，请建议在使用Hadoop
浏览 3提问于2011-01-09得票数 1
我们需要在DC/OS中配置Kudu master和kudu tablet服务器。我们需要
其体系结构类似于：
如何在DC/OS中配置服务以正确扩展。我们需要复制Impala Daemon、kudu Tablet Server和Hadoop Data Node。
浏览 1提问于2017-11-28得票数 0
我是hadoop的初学者。我理解使用map reduce的基本工作流程。我已经使用hadoop在eclipse中编写了一些基本的独立程序。我想做点实事，亲身体验一下。到目前为止，我已经下载了cloudera vmdk并将其安装在VMWare融合上。
谁能指引我到正确的位置，在那里我可以找到清晰的信息，如何继续前进。我想在2台或更多的机器上使用hdfs，并编写一些独立的应用程序，使用这些系统资源进行并行计算来解决我的任务。所有的烤箱在互联网上，我只是找到了map reduce和许多高级主题的理解，但没有具体的我正在寻找。
请把我带到正确的地方，在那里我可以找到帮助我前进的教程或视频讲座。
浏览 0提问于2012-06-28得票数 0
回答已采纳
1回答
我在Hadoop地图缩减(呼吸优先搜索)中成功地实现了最短路径算法。然而，我有一个问题:是否可以使用Hadoop映射减少进行图遍历“深度优先搜索”？有联系吗..？
浏览 5提问于2014-04-02得票数 2
2回答
我正在尝试为输入数据编写一个新的Hadoop作业。与此类似的是Hadoop教程中的单词计数示例，但假设一个特定的单词出现了很多次。
我想要有一个分区函数，其中这一个键将根据它们通常的散列分区映射到多个reducers和剩余的键。这个是可能的吗？
提前谢谢。
浏览 3提问于2011-10-25得票数 5
1回答
我正在使用Docker容器在一台机器上运行带有3个datanodes的Hadoop。我已经在有200个数据点的小型模拟数据集上运行了一个KMeans算法。
由于Hadoop的开销，这个过程需要很长的时间，大约2到3分钟，而在R中本地运行kmeans则需要几秒钟。
我想知道我的数据集对于Hadoop来说有多大，超过了非分布式方法，如果这是可能的话，因为我在单机上运行所有的节点。
浏览 0提问于2019-11-08得票数 0
回答已采纳
我正在尝试编写一个简短的脚本，通过clojure (调用Mahout类)对我的数据进行集群。我有这种格式的输入数据(这是来自的输出)
format: (tag) (image) (frequency)
tag_sit image_a 0
tag_sit image_b 1
tag_lorem image_a 1
tag_lorem image_b 0
tag_dolor image_a 0
tag_dolor image_b 1
tag_ipsum image_a 1
tag_ipsum image_b 1
tag_amit image_a 1
tag_amit image_b 0
... (
浏览 2提问于2011-08-25得票数 27
简单地说，Hadoop FairScheduler的内部结构是什么？它们是否使用优先级队列、堆来确定每个作业等待的时间？还是使用了其他一些技术？
浏览 0提问于2012-02-12得票数 0
回答已采纳
我正在尝试使用Mapreduce实现一个算法，在一个大图(大小相当于社交网络)中找到连接的组件。我不熟悉Hadoop，但我听说它可以用。我需要一些使用它的指导。
浏览 0提问于2013-04-11得票数 0
2回答
我正在澄清关于使用Hadoop处理大约200万个大文件的问题。我有一个由200万行组成的文件数据，我希望将每行数据拆分为单个文件，将其复制到Hadoop file System中，然后使用Mahout执行词频计算。Mahout以分布式方式使用map-reduce计算。但是对于这一点，假设我有一个由两百万行组成的文件，我想将每一行作为计算词频的文档。我最终将有一个目录，其中我将有两百万个文档，每个文档由单行组成。这将为n个文件创建n-map，这里为进程创建200万个map。这需要大量的计算时间。是否有任何替代方法来表示文档以加快计算速度。
浏览 0提问于2012-04-25得票数 0
回答已采纳
具体地说，我正在尝试找到一种使用map reduce来计算图中最短路径的方法。我提出的方法似乎需要多轮map reduce。然而，到目前为止，我在Hadoop上读到的所有文档似乎都没有清楚地描述运行具有多个阶段的map reduce作业。从第一个阶段获取reducer的输出，并将其作为输入提供给下一个阶段的映射器。我希望Hadoop能允许类似他的wold的东西。
浏览 4提问于2011-11-27得票数 3
我有一个猪作业，计划每天通过Hadoop job Scheduler运行。它有时工作得很好，但偶尔会失败，出现以下错误。每天它都会报告失败的不同原因。
第01天：
Error: java.io.IOException: No space left on device
第二天：
ENOENT: No such file or directory
第03天：
Lost task tracker: tracker_bos-hadoop14.co.com:localhost/127.0.0.1:48865
第04天：
Lost task tracker: tracker_bos-hadoop11.co
浏览 3提问于2013-11-06得票数 1
1回答
我对mapreduce和hadoop.I有两个概念上的疑问，我知道一个简单的迭代映射--约简程序，知道什么是映射器，减速器，洗牌器。但仍然想知道以下问题
1)迭代映射约简何时完成？
2)我知道同一性映射器/减速器给出的输出与输入相同。但是我们什么时候使用身份映射器/减速机呢？
浏览 3提问于2013-10-23得票数 5
1回答
如果我有一个输入和输出的命令行程序，如下所示：
md5sum < hadoop-2.7.2.tar.gz
c442bd89b29cab9151b5987793b94041 -
我如何使用Hadoop运行它？这似乎是一个令人难堪的简单问题，但我尝试过的解决方案中没有一个产生了正确的输出：
也许，我只是没能正确地遵循指示。因此，请解释一些细节或指出至少有帮助的文件。
浏览 3提问于2016-05-07得票数 0
默认情况下，使用MapReduce.fileoutputcommitter.algorithm.version 1 (2.4.4)。我正在尝试将它更改为版本2。火花-UI和sparkCtx._conf.getAll()显示的是版本2，但是pyspark仍然使用version 1(临时文件夹正在创建)写入S3中的数据。我试过这些东西。
在spark-defaults.conf中设置spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version 2
为火花会话定义config("spark.hadoop.mapreduc
浏览 2提问于2020-04-22得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
