1回答
在Hadoop中映射应用程序
、、、、
我有一个项目，涉及客户端和服务器。我用java开发了应用程序的两个部分，我想在hadoop集群中测试它，因为服务器端是一个云的模拟，所以通过使用hadoop，我想给我的应用程序一个真正的云环境感。首先，我创建了一个多节点Hadoop集群，但我不知道下一步该做什么，我希望有任何启发。
浏览 3提问于2013-08-11得票数 0
回答已采纳
我有一些关于固件的一般性问题-宇宙，如果它们是基本的，很抱歉，但我正在努力了解宇宙的架构和使用。
我看到你正计划将Apache Spark整合到Cosmos中？你有实现这一目标的路线图或日期吗？如果我现在想使用Spark，会发生什么？
可以使用哪些Hadoop服务源？我想我读到Cosmos支持Cloudera CDH服务和原始Hadoop服务器服务？那么HortonWorks或MapR呢？
我知道非标准文件系统可以与Hadoop一起使用，例如MapR-FS，这样的选项在Cosmos中可能吗？
我还读到Cosmos“坐”在fiware之上，因此Hadoop as a service (HaaS)
浏览 7提问于2016-05-27得票数 1
1回答
我使用两台腾讯云，一台阿里云，搭建Hadoop集群，使用的是本地内网，对外外网的方式，hdfs中put方法总是报错，其他方法没有问题，请问是我的服务器配置问题吗？
浏览 458提问于2018-09-01
在谷歌DataProc中为我的项目创建集群之后，我尝试为Hadoop键入几个命令(比如hadoop fs -ls)。不幸的是，云外壳完全没有看到Hadoop！
-bash: hadoop:命令未找到
堆叠溢出的人说：
“它不能在Cloud中工作，因为它没有预装Hadoop实用程序。
但我不知道如何安装或者激活它。也许是通过集群创建，但是通过dataproc创建集群却有问题。我是通过云shell来做的。
如何正确使用云shell中的Hadoop命令？
浏览 2提问于2021-09-19得票数 0
我不确定hadoop能做什么和不能做什么，也不知道事情有多容易。
据我所知，hadoop擅长做mapreduce工作并提供hdfs，这是他们的分布式文件系统。
hadoop还擅长/容易使用什么？
我的问题是:我想提供数据，mapreduce的结果。由于我有很多流量，我需要3个前端服务器。Hadoop能帮助我在3个n个运行节点上部署服务器吗？
基本上，我希望在3台机器上运行一个自定义可执行文件(我的服务器)，而不是在n台机器上运行mapreduce。当一台机器发生故障时，hadoop负责在另一台可用机器上启动作业。
我应该在hadoop集群上运行这个程序吗？或者，hadoop集群应该只用于map
浏览 3提问于2014-04-01得票数 0
就是自己的云服务器ip：8088访问集群Hadoop Resoure Manager的时候会跳转到公司内网的8088上，前面明明是自己的ip，这是为什么
浏览 327提问于2018-11-21
1回答
为什么google cloud click to deploy hadoop工作流程需要选择本地持久磁盘的大小，即使您计划将hadoop连接器用于云存储？默认大小为500 GB。我在想，如果它确实需要一些磁盘，它的大小应该小得多。在google云中使用hadoop云存储连接器时，是否有推荐的持久化磁盘大小？
“在Google Cloud平台上部署Apache Hadoop
Apache Hadoop框架支持跨计算机群集的大型数据集的分布式处理。
Hadoop将部署在单个集群中。默认部署创建1个主VM实例和2个工作VM，每个实例具有4个vCPU、15 GB内存和500 GB磁盘。创建一个临时部署
浏览 7提问于2014-11-23得票数 0
我正在使用cloudera快速启动虚拟机。我昨天开始玩谷歌云平台。我正在尝试将cloudera hdfs中的数据复制到1. google云存储(gs://bucket_name/) 2. google云hdfs集群(使用hdfs://google_ copy _namenode:8020/)
我按照中的指示设置了服务帐户身份验证并配置了cloudera核心-site.xml
hadoop :// -cp hdfs://quickstart.cloudera:8020/path_to_copy/ gs://-cp_name/
效果很好。然而，我无法使用distcp复制到谷歌云存储。我
浏览 6提问于2016-04-27得票数 0
回答已采纳
在本文中，它在Google中创建了一个Hadoop集群，并连接到云bigtable集群。
即使在本文中，它也使用Connection对象与BigTable集群通信。这是否意味着谷歌建议我们使用自定义的HBase客户端API来访问云BigTable上的数据？
是否可以从我自己的Hadoop集群连接到云bigtable集群？我的Hadoop集群是在AWS中而不是在Google云中。
浏览 0提问于2015-07-22得票数 1
回答已采纳
我想使用OpenStack上的Hadoop来完成工作负载特性。但是，我不知道如何让Hadoop在我可以访问的OpenStack云上运行。对于我来说，在私有OpenStack云上运行Hadoop最有效的方法是什么？
我见过这个：
我想知道是否有更简单的方法。
浏览 6提问于2014-01-30得票数 0
回答已采纳
1回答
我是hadoop的新手。我正在使用雅虎提供的Linux，因为我不允许在我的机器上安装操作系统。我需要利用云服务，并且必须在hadoop相关项目上工作。
几天前，就提供了这些服务。但现在它已经成为我用Java开发的MapReduce程序的付费one.Moreover。
当我在谷歌上搜索"Hadoop & Cloud“时，大多数时候我得到的是。
但为了访问它，他们要求，因为我是在基于windows的平台上工作，但我无法解决它。
我也查了。但它也是付费的。
我认为云访问就像是使用MSTSC的IP连接云一样。但事实并非如此。我需要在windows的云环境中使用hadoop。我如何做th
浏览 4提问于2013-04-01得票数 2
我正在从事一个Hadoop项目，并在我的本地集群中生成大量数据。不久之后，我将使用基于云的Hadoop解决方案，因为与实际工作负载相比，我的Hadoop集群非常小，但是到目前为止，我还没有选择我将使用哪一个，即基于Windows Azure、EMR或其他什么。我在本地生成了大量数据，并希望将这些数据存储到一些基于云的存储中，因为我稍后将在Hadoop中使用这些数据，但很快就会使用这些数据。
我正在寻找建议，以决定根据某人的经验选择哪个云商店。提前谢谢。
浏览 0提问于2012-05-08得票数 2
回答已采纳
我正在研究Hadoop和云存储。所以很奇怪，Hadoop能像Dropbox或者Google一样使用吗？
浏览 2提问于2017-05-02得票数 1
回答已采纳
我正在尝试将Google Cloud Storage文件加载到本地Hadoop集群。我开发了一个变通方法(程序)，将本地EdgeNode和distcp上的文件下载到Hadoop。但这似乎是双向的解决办法，并不是很令人印象深刻。我已经通过一些网站(，)总结了使用Hadoop谷歌云存储连接器进行这种过程，并需要基础设施级别的配置，这不是在所有情况下都可能的。
有没有办法使用Python或Java以编程方式将文件从云存储直接复制到Hadoop。
浏览 0提问于2018-06-15得票数 1
1回答
我试图在hdfs和gcp云存储之间复制数据。这不是一次数据复制。第一次复制后，我希望只复制新文件，更新文件。如果文件在on上被删除，那么它也应该从云存储中删除。
然而，我意识到，当目标是云时，基于快照差异的复制不能工作。
这样的同步还可以吗？
-update标志似乎不适用于云存储。它复制所有文件，即使对其没有任何更改。
命令
hadoop distcp --conf hdfs.conf -update -delete hdfs:///tmp/test_distcp gs://onpremhadoopfiles-123/
带有快照diff的命令
hadoop distcp --conf test
浏览 16提问于2022-07-29得票数 0
我正在使用云Dataproc作为我的研究的云服务。在这个平台(云)上运行Hadoop和same作业比在低容量虚拟机上运行同一作业要慢一些。我在云上运行我的Hadoop作业(每个集群的内存为7.5gb，磁盘为50 3gb )，运行时间为4分钟49秒，而在具有3GB RAM和27 3gb磁盘的单节点虚拟机(我的pc)上，相同的工作花费了3min20秒。为什么云中多节点聚类的结果比普通pc要慢呢？
浏览 7提问于2017-09-06得票数 0
回答已采纳
1回答
云上的BigData (天青)
、、、、
我已经实现了生产大数据解决方案，主要是在使用Hadoop和NoSQL产品的前提下实现的，但从未在云上实现过。
今天，我需要变成云，因此我想知道云上的BigData (主要是天蓝色)的已知实现(生产，而不仅仅是POCs)是什么：
完全PaaS解决方案: EMR/HDINSIGHT +S3/AzureBlob(或Azure Datalake) + Kenesis/Azure事件中心
全IaaS分布(CDH，HDP)：Cloudera或Hortonworks On IaaS + Kafka On IaaS
混合PaaS + IaaS : S3/AzureBlob上的冷数据，IaaS Ha
浏览 1提问于2018-08-23得票数 0
回答已采纳
3回答
我想在家里学习云计算和大数据。
在家用PC上学习这些技术是可能的吗？
在云计算中应该学习哪些技术？
学习大数据(Hadoop)的技术是什么？
浏览 0提问于2012-07-04得票数 15
回答已采纳
1回答
HDFS中是否可以使用抽象数据节点？
例如，如果我想运行Hadoop，但不是在硬件上运行，而是在某种软件、云等上运行，有没有允许这样做的API？
有没有提供这种功能的Hadoop的替代方案？
浏览 3提问于2018-03-17得票数 0
想购买云服务做大数据计算和分析，如何选择满足个人日常学习的配置？我是小白，从未用过云服务，现在需要用到Hadoop、Hbase、Mysql、Hive、Spark、zookeeper等，只是学习使用
浏览 150提问于2018-06-21
3回答
我已经开始阅读有关hadoop的文章。我也想学习实践。由于hadoop是分布式环境，并被设计为在linux上运行，因此我不能在运行windows的本地计算机上实践它。互联网上有没有云或虚拟机，我可以自己搭建整个环境并开始学习？我可以预先配置hadoop集群，但我更喜欢自己配置。
浏览 0提问于2014-08-15得票数 0
1回答
由于是的新手，因此正在尝试理解实时生产系统中的Hadoop集群设置环境。
1)到目前为止，大多数项目是在Hadoop v1或Hadoop v2上运行的吗？
2)对于单个项目，我们是有一个集群还是多个集群？(我听说有多个集群，每个集群都专门用于特定角色。)
3) Hadoop集群通常运行在云上，比如AWS、Rackspace，还是运行在客户端没有自己的网络上？
浏览 3提问于2015-11-16得票数 0
回答已采纳
1回答
已经按照Hadoop-COS官方文档在本地配置好hadoop，本地的hadoop是伪分布式，和腾讯云对象存储COS相关的配置还有ID，Key，bucke_id等，fs.defaultFS如下，所以在下面的url使用可以省略想这些信息
image.png
受用命令hadoop fs -ls /test_tmp 打印cos上存储的文件列表是正常的，
但是，使用hadoop fs -cat /test_tmp/aaa.test提示错误，具体错误如下，
image.png
大家帮忙看一下是什么原因导致的？
浏览 884提问于2019-10-15
Apache被设计为运行在一堆商品机器(节点)上。这并不是设计用来在基于云的复杂场景中运行的。但是，由于云允许通过VM模拟单个节点，基于云的Hadoop集群应运而生。但这给我带来了理解上的困难。当我研究Hadoop集群的任何标准解释时，总是基于prem架构，因为所有Hadoop体系结构都是用逻辑和简单的on-prem视图来解释的。但这给理解基于云的集群是如何工作的带来了困难--特别是HDFS、数据局部性等概念。在解释的on版本中，每个节点都有自己的“本地”存储(这也意味着存储硬件是为特定节点修复的，它不会被洗牌)，而且也不会假设节点被删除。此外，我们将该存储作为节点本身的一部分，因此我们从不考
浏览 2提问于2020-09-30得票数 0
回答已采纳
我计划在Hadoop的org.apache.hadoop.fs下添加一个文件系统，比如"My cloud“，类似于org.apache.hadoop.fs下已经有的KFS或S3。我想问，比如说，我为"My cloud“编写了文件系统，并在fs下添加了包，但是我如何告诉core-site.xml或其他配置文件使用"My cloud”文件系统呢？我需要做哪些更改才能使“我的云”文件系统成为Hadoop的一部分？
浏览 5提问于2013-02-21得票数 0
回答已采纳
1回答
Hadoop，火花和云
、、、、
看起来Hadoop、Spark和不同版本的Clouds提供了存储和分析大数据的工具。有一些文章比较Hadoop和Spark (例如，这篇文章)。还有一些文章讨论了AWS上用于使用Hadoop/spark的服务，例如这篇文章。
我的问题是，如果我使用的是提供存储和分析服务的云计算，我还需要hadoop/spark吗？任何有助于识别不同用例和应用程序的引用/阅读都将受到高度赞赏！
浏览 0提问于2023-04-16得票数 0
当我使用Sqoop将所选数据从MySQL导入到HBase时，如下所示：
sqoop import --connect jdbc:mysql://xx.xx.xx.xx/db_company
--username root
--password root
--query 'SELECT id,name FROM basic_info WHERE $CONDITIONS LIMIT 100'
--hbase-table sls-basic-info
--hbase-row-key id
--split-by id -m 1
--column-family f
它返回错
浏览 3提问于2017-06-09得票数 0
我想为数据分析目的部署一个小型数据中心。我将主要从web应用程序中获取数据。我知道我可以设置hadoop集群并根据需要进行扩展。我还知道，OpenStack是一个免费的、开源的云计算软件平台，主要作为服务基础设施(IaaS)部署。然而，很明显，一些行业更喜欢在OpenStack (撒哈拉沙漠)之上的hadoop。因此，我想知道有或没有OpenStack的Hadoop的区别、优缺点。
简单地说，如果我将Hadoop放在OpenStack之上，我会得到哪些额外的特性？
浏览 0提问于2015-12-18得票数 0
回答已采纳
我开始学习一些Hadoop/MapReduce，主要来自PHP背景，以及一些Java和Python。
但是，似乎大多数MapReduce的实现都是用Java、Ruby、C++或python语言实现的。
我已经看过了，看起来PHP中有一些Hadoop/MapReduce，但绝大多数文献似乎都致力于这四种语言。
在涉及Hadoop/MapReduce的云计算项目中，为什么PHP是第二类语言，有什么好的理由吗？考虑到在云计算世界之外，PHP似乎是其最受支持的语言，这一点特别令人惊讶，这损害了上述3种(无C++)语言。
如果这是任意的--如果PHP和Python一样擅长处理这些操作，那么我应该研究哪些
浏览 0提问于2010-06-25得票数 3
回答已采纳
1回答
我需要在spring云数据流中运行mapreduce spring引导应用程序。通常，在scdf中注册的应用程序是使用"java -jar jar-name“命令执行的。但是我的程序是一个mapreduce，它必须使用"hadoop jar jar-name“来执行。我该如何实现这一点？在scdf中运行mapreduce应用程序的更好方法是什么？是否可以直接注册mapreduce应用程序？ 我使用本地数据流服务器来注册应用程序。
浏览 16提问于2019-01-18得票数 1
回答已采纳
1回答
我将在我的新项目中使用Hadoop。项目概念如下所示：
用户拥有产生某些数据(日志)的设备。用户可以以文件的形式从设备获取数据，并将其上传到web应用程序/hadoop。我将使用构建web应用程序。
我知道Hadoop的一些基础知识(HDFS、Mappers、减速器)，但我不知道如何实际使用Hadoop。该项目现在只是一个概念，因为我想先得到一些提示，然后调整项目的组成部分收集提示。
我的主要考虑是：
Web应用程序应该存储在与Hadoop相同的位置？(同一服务器/云/服务提供者)
如何上传文件？可以在web应用程序表单中上传文件吗？还是最好创建桌面应用程序来上传文件(可能的文件
浏览 1提问于2016-07-08得票数 0
回答已采纳
1回答
这三个文件：samples/scenarized/door_mqtt_sample.c，samples/scenarized/door_coap_sample.c ，amples/scenarized/aircond_shadow_sample.c ，修改完之后，在项目根目录下make，然后执行：door_mqtt_sample come_home airConditioner1
日志如下：
INF|2018-03-09 11:41:29|/home/hadoop/mqtt/newiot/qcloud-1.2.2/src/device/src/device.c|iot_device_info_
浏览 258提问于2018-03-09
1回答
作为我大学项目的一部分，我想修改Hadoop的源代码。然而，问题是我至少需要20个系统来测试它。是否可以在Google Cloud platform或Amazon Services等公共云中设置此Hadoop的修改版本?您能给我介绍一下要遵循的步骤吗?我只能在公有云设置中找到有关设置原始Hadoop版本的信息。我找不到任何与我的case.Please相关的信息，请帮帮我。
浏览 2提问于2014-04-07得票数 0
1回答
云数据融合提供了使用图形管道UI表示创建ETL作业的能力，而Dataproc则允许我们运行以前创建的Spark/Hadoop/Hive作业。
由于我在这两种服务方面的经验有限，我发现云数据融合在这两种服务中更容易使用和管理。我想知道在Dataproc中创建和运行作业比云数据融合更可取的用例。
浏览 0提问于2022-05-09得票数 3
回答已采纳
我们将在数百个(比如300个)物理x86节点上部署一个hadoop集群。由于我们没有太多的生产部署经验，有一个简单的问题，作为标题，我们希望听到有经验的人的反应。最好的治疗方法是什么？我们应该直接在物理盒上部署hadoop，还是需要一个虚拟机层(即IaaS云)来管理hadoop集群的计算资源。在做这个决定的时候，应该注意什么？
浏览 0提问于2015-04-23得票数 2
回答已采纳
我已经在独立系统中使用了ESPER CEP。ESPER云兼容吗？它能在Hadoop或Spark平台上运行吗?谢谢
浏览 18提问于2017-02-27得票数 1
1回答
云应用程序是什么样子的？
、、、
有许多应用程序被称为云应用程序。例如，那些通过web为许多客户(例如)交付基于web的应用程序的公司将其应用程序称为云应用程序。另一方面，许多人知道基于云的应用程序是构建在Hadoop或类似技术之上的应用程序，可以扩展到许多计算资源。
现在的问题是，云应用程序有一个确切的定义吗？云应用有什么好的资源吗？有一个，但它有点旧了。
浏览 2提问于2012-11-15得票数 0
回答已采纳
因此，我想编写一个代码，从Hadoop HBase读取一个记录，然后将它存储到Spark (弹性分布式数据集)中；然后读取一个RDD记录，然后写入HBase。我对这两种方法都一无所知，我需要使用AWS云或Hadoop虚拟机。请有人引导我从头开始。
浏览 1提问于2016-06-09得票数 1
回答已采纳
1回答
google为使用Hadoop提供了连接器。()
使用连接器，我从hdfs接收数据到google云存储。
(前)
hadoop discp hdfs://${path} gs://${path}
但是数据太大(16 too )，接收速度只有2mb/s。
因此，我尝试更改设置distcp ( map属性、带带属性.)。
但是速度是一样的。
HDFS到传输数据时如何加快分发速度
浏览 4提问于2017-03-23得票数 2
回答已采纳
2回答
我目前正在研究一种使用Hadoop或Spark在集群上运行作业DAG (场景模拟)的方法。在这两种情况下，我都遇到了与代码语言有关的问题。
如果发现Spark支持用Scala、Python和R编写的代码，而不是用.NET编写的，而Hadoop支持用.NET编写作业，但是我没有在.NET上找到用于Hadoop的DAG实现。
是否有一种方法可以使用.NET编程语言在集群/云上实现作业的DAG？
浏览 5提问于2015-06-30得票数 2
回答已采纳
如何使用测试Hadoop集群？如果我尝试这个，最重要的事情是什么？在免费谷歌云平台试用期间，我会被收费吗？
浏览 4提问于2015-07-13得票数 0
回答已采纳
我正在设置集群步骤，以便使用Amazon Data Pipeline运行spark应用程序。我的工作是从S3读取数据，处理数据并将数据写入谷歌云存储。对于google云存储，我使用带有密钥文件的服务帐户。但是，它会抱怨在"write“步骤中没有找到密钥文件。我试过这么多方法，但都不管用。如果没有数据管道，应用程序就可以正常运行。
以下是我尝试过的内容：
google.cloud.auth.service.account.json.keyfile = "/home/hadoop/gs_test.json“
command-runner.jar,spark-submit,--mas
浏览 0提问于2017-10-27得票数 3
2回答
我试图通过使用amazon实例的公共is来配置Hadoop，而不是使用网络内部的is，因为我的目标是创建一个混合集群，即云+本地机器集群。尽管所有ssh设置都很好，但当使用amazon公共is时，Hadoop仍然无法连接( datanodes找不到namenode)。我在hbase的动物园管理员配置中使用了amazon实例的公共IP，并将其正确地连接到它。那么，为什么HBase连接而Hadoop不连接呢？
卡夫卡也有同样的问题。
浏览 4提问于2016-02-09得票数 0
回答已采纳
我正在尝试将一些使用premesis的火花工作流迁移到google云存储中。
假设VPC、网络、云互连和防火墙都是有序的，那么如何才能首先将avro文件(目前在拼板中)写入到外部目的地(如google云存储)？例如，在使用oozie &submit时，必须考虑哪些因素？我是否需要将谷歌云存储映射为一个位置？我们想要避免在HDFS中存储东西，但是现在所有的工作流目的地都在编写hadoop。
浏览 1提问于2022-06-21得票数 -1
3回答
我在蜂窝和Solr云上工作，我必须索引从蜂窝到solr云的数据，我尝试了以下链接，但对我来说没有运气和
在这两种情况下，我都将错误归于存储处理程序
执行第二个链接时出错
Caused by: java.lang.ClassNotFoundException: org.vroyer.hive.solr.SolrInputFormat
我已经将hive-solr*.jar复制到所有主节点和从节点中的HIVE lib和HADOOP lib中。
配置了tez的配置单元
VERSIONS USING:
HADOOP 2.7.1 (Cluster with 3 slaves and one master)
浏览 2提问于2015-11-16得票数 0
是否有任何python可以在OpenStack云上配置hadoop集群(namenode、jobtracker等)？我有到VM的IP地址，并且正在寻找openstack来配置相同的地址。
浏览 0提问于2012-10-01得票数 1
1回答
我在AWS EMR集群(4核心m3.xlarge)上有这个问题，用来处理一个40 to的文本文件。致命主org.apache.hadoop.mapred.YarnChild:运行子程序错误: java.lang.OutOfMemoryError: Java堆空间
它发生在映射过程中。工作开始后，几分钟后就会失败。emr-4.4.0，Amazon 2.7.1，猪0.14.0
我用不同的值尝试过这些命令，但问题仍然发生：
Java.opts=-Xmx2304m -Dmapred.child.java.opts=-Xmx3072m script.pig
Java.opts=-Xmx3328m
浏览 3提问于2016-03-26得票数 0
我想我了解Hadoop架构和结构的基本知识。
我想知道，进入Hadoop集群的所有数据都必须通过相同的本地临时文件位置吗？
在将数据写入datanode之前，我会得到它被缓存在本地临时文件位置中。这是每个namenode的一个文件位置吗?在namenode为每个namenode指定要存储在哪个datanode之前，是否存储到集群中的所有数据(可能来自多个上载)？或者Hadoop甚至可以处理来自不同位置的多个同步上传(例如，多台计算机将不同的大文件上传到基于云的Hadoop集群)
请帮助我在任何地方找不到这些信息
浏览 4提问于2015-01-09得票数 0
回答已采纳
我刚开始使用云服务，在谷歌的云平台上导航是非常可怕的。当涉及到Google Dataproc时，他们确实在宣传Hadoop、Spark和Hive。
我的问题是，Impala到底有没有？
我想做一些基准项目使用所有这四个工具，我需要Apache Impala以及Spark/Hive。
浏览 1提问于2019-05-31得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
