1回答
我最近读到和听到了一些关于云计算和地图还原技术的东西。我正在考虑玩一些算法，以获得该领域的实际经验，看看什么是可能的，现在。
这里是我想要做的:我想使用一些公共云平台(例如Google、Google、Amazon、Amazon )，这是内置的地图减少功能提供的，或者如果没有内置的支持，则使用额外的map Reduce libary (例如Hadoop、Hive)，并实现/部署一些算法。
有没有人在这一领域取得了一些经验，并指出了一个好的开始点？或者说出一些在实践中效果良好的组合？
提前感谢！
浏览 1提问于2010-02-05得票数 2
回答已采纳
1回答
我有一个R-脚本，可以使用大量的tweet，我希望在相同的数据上使用相同的脚本，但是保存在Hadoop文件系统中。根据 Hortonworks教程，我可以用我的HDFS中的数据来使用R代码，但还不太清楚。
我可以使用完全相同的R -脚本，利用mapreduce范例，使用这个革命R吗？我应该修改我的代码，还是有一种方法可以执行为Hadoop体系结构优化的相同功能？我的愿望是在一个标准的write (如standard )上编写我的代码，然后在我的云服务(比如Microsoft )上使用它，或者大部分使用它，并在基础上使用mapreduce。
浏览 2提问于2016-05-30得票数 2
回答已采纳
在谷歌DataProc中为我的项目创建集群之后，我尝试为Hadoop键入几个命令(比如hadoop fs -ls)。不幸的是，云外壳完全没有看到Hadoop！
-bash: hadoop:命令未找到
堆叠溢出的人说：
“它不能在Cloud中工作，因为它没有预装Hadoop实用程序。
但我不知道如何安装或者激活它。也许是通过集群创建，但是通过dataproc创建集群却有问题。我是通过云shell来做的。
如何正确使用云shell中的Hadoop命令？
浏览 2提问于2021-09-19得票数 0
我尝试使用ParallelALSFactorizationJob，但它崩溃了：
Exception in thread "main" java.lang.NullPointerException at java.lang.ProcessBuilder.start(ProcessBuilder.java:1012) at org.apache.hadoop.util.Shell.runCommand(Shell.java:445) at org.apache.hadoop.util.Shell.run(Shell.java:418) at org.
浏览 2提问于2018-10-23得票数 5
1回答
我有来自4个不同国家的4台专用服务器，我也有WHM/cPanel托管在Cloudlinux VPS上。
我可以在这些服务器和云主题上制作4个VPS用于cPanel托管吗？我该怎么做呢？
浏览 1提问于2014-04-03得票数 0
回答已采纳
我想为数据分析目的部署一个小型数据中心。我将主要从web应用程序中获取数据。我知道我可以设置hadoop集群并根据需要进行扩展。我还知道，OpenStack是一个免费的、开源的云计算软件平台，主要作为服务基础设施(IaaS)部署。然而，很明显，一些行业更喜欢在OpenStack (撒哈拉沙漠)之上的hadoop。因此，我想知道有或没有OpenStack的Hadoop的区别、优缺点。
简单地说，如果我将Hadoop放在OpenStack之上，我会得到哪些额外的特性？
浏览 0提问于2015-12-18得票数 0
回答已采纳
8回答
腾讯智能云为开发者带来哪些便利？
、、、、
腾讯云在云+未来峰会上推出了智能云。使得普通开发者能够快速上手进行开发。能够有效节省自身开发成本，我想知道究竟带来了哪些便利？有哪些服务极大提升了开发效率和用户体验？
浏览 931提问于2018-05-24
我是HBASE和HADOOP的新手，需要可用的兼容版本的hbase和hadoop来运行我的实验。
at "“的当前稳定版本是hbase-0.94.1。有没有人能告诉我应该使用哪个版本的hadoop，这样就不会有兼容性问题，也不会有未来的数据丢失。
请推荐当前在线提供的hadoop和hbase版本。
下面是我用来下载这些版本的网站
hadoop( ) (hbase)
浏览 0提问于2012-09-09得票数 8
2回答
在谷歌率先推出map-reduce社区和Hadoop之后，有没有一个开源的谷歌AppEngine项目？或者，换一种说法:什么是最好的现成python或java云软件？
具体地说，我正在寻找一些东西，我可以自己托管，并具有某种自动缩放功能(更频繁使用的应用程序将被复制或其他东西)。
这是白日梦吗？还是有什么东西在外面？
浏览 3提问于2010-10-27得票数 6
回答已采纳
我正在使用cloudera快速启动虚拟机。我昨天开始玩谷歌云平台。我正在尝试将cloudera hdfs中的数据复制到1. google云存储(gs://bucket_name/) 2. google云hdfs集群(使用hdfs://google_ copy _namenode:8020/)
我按照中的指示设置了服务帐户身份验证并配置了cloudera核心-site.xml
hadoop :// -cp hdfs://quickstart.cloudera:8020/path_to_copy/ gs://-cp_name/
效果很好。然而，我无法使用distcp复制到谷歌云存储。我
浏览 6提问于2016-04-27得票数 0
回答已采纳
针对Bluemix上的IBM Analytics for Hadoop的替代服务是否有任何更新？据我所知，这项服务已经在2月份退役，替代服务的测试版正在进行中。我是IBM学术计划的成员，计划在5月份开始的一门课程中使用这项服务，我和我所在大学的学术IT小组担心，到那时我们还没有关于是否提供同等服务的消息。有人能提供更新或建议吗？我们是否应该考虑其他基于云的Hadoop服务？提前谢谢。
浏览 0提问于2016-04-05得票数 1
1回答
我在hadoop中使用Mahout进行数据挖掘算法。但是它在一些cases.Is中有bug，还有其他使用hadoop的数据挖掘库吗？谢谢。
浏览 0提问于2013-08-01得票数 0
最近，我开始了与云相关的技术的旅程。我正在努力理解基础知识，以便能够为面向物联网的公司的基本云设置奠定基础。
在浏览Internet时，我偶然发现了以下两组开源项目：
WSO2 / Mule /.
OpenStack / CouldStack /桉树/.
我试着去理解：
他们提供什么样的服务？(IaaS，PaaS，SaaS，其他？)
他们之间有什么不同？
他们有什么共同之处？
如何与其他与云相关的技术，如Amazon？
你会推荐哪一个来获得一些基本的经验和一些概念的早期证明？(我首先在寻找最简单的选择)
浏览 1提问于2015-04-03得票数 0
回答已采纳
Apache被设计为运行在一堆商品机器(节点)上。这并不是设计用来在基于云的复杂场景中运行的。但是，由于云允许通过VM模拟单个节点，基于云的Hadoop集群应运而生。但这给我带来了理解上的困难。当我研究Hadoop集群的任何标准解释时，总是基于prem架构，因为所有Hadoop体系结构都是用逻辑和简单的on-prem视图来解释的。但这给理解基于云的集群是如何工作的带来了困难--特别是HDFS、数据局部性等概念。在解释的on版本中，每个节点都有自己的“本地”存储(这也意味着存储硬件是为特定节点修复的，它不会被洗牌)，而且也不会假设节点被删除。此外，我们将该存储作为节点本身的一部分，因此我们从不考
浏览 2提问于2020-09-30得票数 0
回答已采纳
几乎三天前，我一直在寻找一个解决方案，在2015年将Cassandra集成到Hadoop上，网络上的许多资源已经过时或消失在网络上，Datastax企业没有为这种集成提供免费的解决方案。
这样做的选择是什么？我想使用Hive查询语言从我的Cassandra获得数据，我认为第一步是将Cassandra与Hadoop集成。
浏览 0提问于2015-12-22得票数 1
回答已采纳
1回答
我在解析中找不到SignUp按钮或注册按钮。是否有可能在网站上注册新用户？我只想用非常简单的方式将android数据保存到云/服务器上。
浏览 2提问于2016-03-22得票数 1
回答已采纳
3回答
我想在家里学习云计算和大数据。
在家用PC上学习这些技术是可能的吗？
在云计算中应该学习哪些技术？
学习大数据(Hadoop)的技术是什么？
浏览 0提问于2012-07-04得票数 15
回答已采纳
1回答
在Hadoop中映射应用程序
、、、、
我有一个项目，涉及客户端和服务器。我用java开发了应用程序的两个部分，我想在hadoop集群中测试它，因为服务器端是一个云的模拟，所以通过使用hadoop，我想给我的应用程序一个真正的云环境感。首先，我创建了一个多节点Hadoop集群，但我不知道下一步该做什么，我希望有任何启发。
浏览 3提问于2013-08-11得票数 0
回答已采纳
1回答
我开始了解hadoop。我对它有了一些了解，但是当我读到关于Hive，Pig和其他Apache工具时，我感到很困惑。因此，有人能简单地概述一下hadoop和Apache的工具(Hive、Pig、等)，我想知道它们在处理大数据时是如何和在哪里使用的。
浏览 3提问于2014-05-20得票数 0
回答已采纳
3回答
我正在构建一个私有云，我们一直在考虑Eucalyptus和OpenNebula。有没有其他好的开源平台可以用来构建私有云/混合云？在Eucalyptus和OpenNebula之间，你推荐哪一个？
浏览 3提问于2010-09-16得票数 2
AWS在它提供的服务和服务器堆栈中非常出色。我不是在寻找一个完整的规模，但至少有一些类似于它的特性OpenSource解决方案。有一个吗？
根据请求，根据我的基本知识添加一个服务和服务器期望列表：
域名
托管
云IDE
DCVS
要提交、构建和部署的开发管道
应用服务器
存储
负载平衡
自动缩放
它应该允许SSH和这个SFPT，因此在任何一个都是第三方的情况下，可以建立集成。
谢谢，阿南德
浏览 0提问于2018-09-05得票数 1
我有一个4节点的服务器，我想虚拟化它或使用它开始构建云基础架构。我想在上面使用CentOS 5或6。对我来说，最好的虚拟化或基于云的解决方案是什么？
这是我的服务器的规格，
八个英特尔四核2.5 CPUs
64 RAM DDR2全缓冲内存
8个500 7.2K SATA硬盘
四个1 Gbit网卡
两个550W电源
提前谢谢。
浏览 0提问于2013-02-20得票数 0
回答已采纳
我正在研究Hadoop和云存储。所以很奇怪，Hadoop能像Dropbox或者Google一样使用吗？
浏览 2提问于2017-05-02得票数 1
回答已采纳
5回答
我正在为一些使用xen作为托管系统的实验设置私有云。但是我面临着一个我似乎找不到解决方案的问题。
在给定服务器负载的情况下，我必须执行某种类型的VM自动配置。例如:如果A类型的服务器达到60%的负载，那么云应该产生另一个相同类型的vm实例来分配负载(使用netscalar)。
有没有开源系统可以帮助我，或者我如何着手开发脚本来做同样的事情。
浏览 1提问于2010-09-21得票数 0
回答已采纳
我正在使用VS2015中的MVC应用程序，现在我们计划将我们的Azure Web应用程序迁移到MVC5应用程序服务。我把云服务和Azure应用程序服务搞混了。
只是想检查一下，我们可以将MVC5应用迁移到Azure应用服务吗？我已经安装了Azure SDK，我是否需要安装VS 2017才能使用Azure应用程序服务或使用Azure SDK。
云服务项目和Azure App服务是否都不同？
请帮助我了解更多
浏览 0提问于2017-08-04得票数 0
在Kubernetes上Hadoop和标准Hadoop有什么区别？在Kubernetes上部署Hadoop有什么好处？
浏览 0提问于2018-11-26得票数 11
回答已采纳
BOINC 的区别是什么？
与Hadoop/Spark/等大数据框架？它们似乎都是分布式计算框架--我有什么地方可以读到其中的差异，尤其是BOINC吗？
看来欧盟的大型强子对撞机正在使用BOINC，为什么不使用Hadoop呢？
谢谢。
浏览 3提问于2016-06-25得票数 1
回答已采纳
我刚开始使用云服务，在谷歌的云平台上导航是非常可怕的。当涉及到Google Dataproc时，他们确实在宣传Hadoop、Spark和Hive。
我的问题是，Impala到底有没有？
我想做一些基准项目使用所有这四个工具，我需要Apache Impala以及Spark/Hive。
浏览 1提问于2019-05-31得票数 2
我正在尝试对一些用户的电子邮件进行分析。为了实现这一点，我尝试将电子邮件存储在云存储上，这样我就可以在它们上运行Hadoop作业。(早些时候我尝试过App Engine DataStore，但它很难扩展这么多用户数据:达到各种资源限制，等等)在云存储中存储一个电子邮件/文件或将用户的所有电子邮件存储在一个大文件中，哪个更好？在许多关于云存储的例子中，我看到人们在操作大文件，但似乎更符合逻辑的是保留一个文件/电子邮件。
浏览 3提问于2015-01-17得票数 0
6回答
设置云需要做些什么。我在中东有一些朋友想要建立类似于谷歌和亚马逊的云，他们想知道是否有什么开放的技术可以用来建立云托管服务。有什么想法吗？
浏览 0提问于2009-06-01得票数 18
回答已采纳
1回答
我对云铸造厂非常陌生，我只是拿起了东西。
在我的日常生活中，我正在与其他一些云提供商合作，如AWS、Azure等。
阅读了云铸造网站提供的一些文档。不属于开发团队，以下是我的疑虑，云铸造厂说它主要是由开发团队使用。
云铸造厂是一个公共云模型吗？还是私密的？
它不是有类似AWS或Azure之类的门户吗？找不到任何东西。
阅读文档后，我遵循了对Dev团队最有用的方法，它们可以使用cli与系统进行交互。但是，在没有门户的情况下，云创建是如何工作的呢?我们如何管理资源？
如果你认为我被错误地跟踪了，你能告诉我正确的方向吗？
浏览 3提问于2015-05-07得票数 4
回答已采纳
1回答
我已经安装了Jenkins和SOASTA Cloud Test，现在我想将云测试集成到Jenkins中。在播放Jenkins的作文时遇到错误，我附上了截图。请提供您宝贵的建议。
浏览 10提问于2017-02-08得票数 0
1回答
是否可以在运行Hadoop MapReduce代码时监控(查看)每个处理核心的负载？我使用的笔记本电脑带有Ubuntu和英特尔®酷睿™2双核处理器U9600 @1.60 CPU×2。
浏览 3提问于2016-11-15得票数 0
3回答
我是文本挖掘领域的初学者。我需要执行文档相似性.I的工作，目的是比较两个文档，然后以数字的形式提供它们之间的相似性。我读过很多关于这方面的理论。我打算从余弦相似度开始
你们谁能帮我回答这些基本问题: 1.什么平台？(windows/linux) 2.什么工具(人们谈论weka / mahout / hadoop )-我不知道该用什么工具3.什么语言？有些问题可能听起来很荒谬，但我必须从头开始，我需要一些帮助。
浏览 1提问于2012-01-05得票数 0
回答已采纳
在google云平台上，是否有类似于AWS认知身份验证的东西？
浏览 0提问于2017-11-02得票数 1
1回答
为什么google cloud click to deploy hadoop工作流程需要选择本地持久磁盘的大小，即使您计划将hadoop连接器用于云存储？默认大小为500 GB。我在想，如果它确实需要一些磁盘，它的大小应该小得多。在google云中使用hadoop云存储连接器时，是否有推荐的持久化磁盘大小？
“在Google Cloud平台上部署Apache Hadoop
Apache Hadoop框架支持跨计算机群集的大型数据集的分布式处理。
Hadoop将部署在单个集群中。默认部署创建1个主VM实例和2个工作VM，每个实例具有4个vCPU、15 GB内存和500 GB磁盘。创建一个临时部署
浏览 7提问于2014-11-23得票数 0
1回答
从生态系统迁移
、、、
是否有任何工具和/或最佳实践使从GAE (Python或PHP)迁移到它的服务生态系统(s.a. )的过程。(认证、数据存储、搜索、缓存等)另一种云托管服务，甚至自我托管--相当容易吗？
在选择与任何PaaS提供商合作之前，这是一个非常重要的问题，即如何避免锁定，并有选择的自由--如果有足够的动机的话--金融/其他方面，包括迁移的容易性。也许，将自己局限于IaaS提供者的原因之一，虽然最初的努力投资(以及随着时间的推移)明显高于PaaS。
浏览 7提问于2015-01-11得票数 2
回答已采纳
我可能会问一个愚蠢的问题，但我的问题是，我是否可以使用某些在hadoop中扩展的库(不仅使用简单的并行处理)编写python程序(假设是一个分类器)，但我感到困惑的原因是:1) scikit学习python代码不会在大数据中扩展。2)星星之火mlib是用scala编写的，而不是用python编写的。3)虽然h2o是开源的，但我不认为它是用python编写的。
浏览 0提问于2015-06-23得票数 5
回答已采纳
我已经安装了pyspark，但没有单独安装任何hadoop或spark版本。
显然，在Windows下，pyspark需要访问Hadoop的winutils.exe来做一些事情(例如，将文件写入磁盘)。当pyspark想要访问winutilis.exe时，它会在HADOOP_HOME环境变量(用户变量)指定的文件夹的bin目录中查找它。因此，我将winutils.exe复制到pyspark (.\site-packages\pyspark\bin)的bin目录中，并将HADOOP_HOME指定为.\site-packages\pyspark\。这解决了获取错误消息的问题：Failed to l
浏览 4提问于2020-03-24得票数 1
我在做一个反应本地人的项目。我被要求在本地保存数据，然后我决定在领域中保存数据。
很快，我发现它有云数据库的定价选项。我无法找到这个DB是否可以像上面提到的那样使用sqlite或CoreData这样的替代方案：
"Used by 100k+ developers and downloaded over two billion times. Realm Database is a fast, easy to use, and open source alternative to SQLite and Core Data."
我可以免费使用领域在本地保存数据吗？
浏览 5提问于2019-04-12得票数 8
回答已采纳
2回答
有没有可能用RED的‘PaaS在云上构建一个大数据应用程序？我正在研究如何在云上构建一个使用Hadoop ( HDFS )，Spark，一个Apache Mahout的Scala应用程序，但我找不到任何关于它的东西。我已经看到了HortonWorks的一些东西，但不清楚如何在openshift环境中安装它，以及如何在云too.Is中添加HDFS节点使用OpneShift？
这在亚马逊是可能的，但我的问题是:在OpenShift中是可能的吗？
浏览 1提问于2014-09-15得票数 0
2回答
我们正在为几个解决方案和我们的核心产品研究云。我们是这个领域的新手，所以想问一下您的经验问题。
各种云服务似乎都是以web应用程序为导向的。这很棒，但是我们的应用程序是一个面向.NET Windows Service/.EXE的web应用程序。我们可以在云中同时执行这两个应用程序吗，还是只为web应用程序执行？
我们的应用程序结构：
Web浏览器-> WCF HTTP服务(IIS) -> TCP/IP服务(.NET Win .exe/服务) -> SQL Server
我们在这里看到的是单一的云吗，或者如果我们选择Azure，那么1到2个云用于应用层，第三个云用于SQL？
另
浏览 2提问于2010-03-10得票数 0
回答已采纳
2回答
"Hadoop分布“的含义是什么
、、、、
我是刚认识hadoop的。我最近读到了Apache，Pig，Hive，HBase的基础知识。然后我遇到了术语"Hadoop分发“，例如Cloudera、MAPR、HortonWorks。那么，Apache Hadoop (及其回波系统)与"Hadoop分布“的关系是什么？
它是否类似于Java虚拟机规范(文档)和Oracle JVM、IBM (文档的工作实现)？但是我们从Apache获得压缩，这实际上是逻辑实现的。
所以我有点困惑。
浏览 4提问于2016-02-20得票数 3
回答已采纳
近日，神州高铁与腾讯云计算有限责任公司签署了《框架合作协议书》。双方一致同意建立长期合作伙伴关系，充分发挥各自优势，共同推动互联网、大数据、云计算、物联网、人工智能等在轨道交通产业领域的应用。
浏览 1438提问于2018-07-24
我刚刚开始了一个新项目，在那里我需要设置/实现Big环境。我想知道在目前的技术世界中的hadoop分销企业，我应该选择哪一个- Cloudera或Hortonworks或MapR或AMZN基于技术或成本的角度？
浏览 5提问于2017-09-19得票数 0
回答已采纳
2回答
我试图找到开源卡夫卡的选择，直接写到Azure数据湖存储Gen2。我似乎没有什么选择，主要是在汇合点周围盘旋，如下所示：
使用融合云与Apache需要订阅合流和付费( )
使用Azure VM与汇流集线器安装汇流平台
目前，我不愿意支付合流许可，也不想测试合流包(越来越多的包装和箍)
是否可以使用开源卡夫卡直接将数据写入ADLS Gen2？如果是，我们如何实现这一点，任何有用的信息共享？
浏览 4提问于2021-06-08得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
