有哪些数据接收工具可用于从HDFS中的API导入数据？
我使用的也不是HBase，而是HDFS和Hive。
浏览 14提问于2016-09-15得票数 0
回答已采纳
如何从HDFS读取数据，然后将其发送到Elasticsearch并在kibana仪表板上显示？我知道ES-Hadoop中有一个连接器，它可以双向发送/接收数据，但我的问题是在第一阶段从HDFS拉取数据
最可行的选择是什么？请为我提供几个选项..有用的信息:我有一个Hadoop HDFS系统，它正在汇总日志...因此，我必须将这些日志放到elastic s
浏览 0提问于2016-03-05得票数 0
我在一台不属于Hadoop (或HDFS)数据中心的机器(比如A)中有文件。因此，计算机A位于HDFS数据中心的远程位置。是否有脚本或命令或程序或工具可以在连接到Hadoop (数据中心的一部分)的机器上运行，并将文件直接从机器A拉入到HDFS？如果是，最好和最快的方法是什么？我知道有很多像WebHDFS，Talend这样的方法，但它们需要在机器A上运行，要求是避免这种情况，并在数据中心的机器上运行。
浏览 3提问于2015-02-02得票数 1
2回答
我想澄清以下几点：它是否以块的形式从一些数据库中获取数据，如果是这样的话，这意味着我们需要一个中央数据库。或者，它是否直接从各个终端机器获取数据，例如，在这种情况下，所有交易都发生在商店系统中，然后将其保存为块？
我知道HDFS是如何工作的(在谷歌上搜索了很多)，但只是对上面提到的几点感到困惑。
浏览 0提问于2013-07-30得票数 0
我想要从不同的第三方API web服务中提取大量数据，并将其存储在一个临时区域(这是我现在想要决定的)，然后根据需要将其逐个移动到我的应用程序的数据库中。如果拉取的数据量大，拉取频率高，2000个不同的用户可能是半小时拉取，也可能是每小时拉取，该怎么办？我假设，如果这一切都是可能的，那么带宽、
浏览 2提问于2010-09-14得票数 1
回答已采纳
不允许派生(对于github上的此存储库)。因此，我所做的是将存储库克隆到我的本地文件夹，然后进行更改并执行提交。然后将其推送到我在github上的存储库。问题是，我的存储库在github中没有表示为fork。因此，没有办法创建到原始存储库的拉取请求。 如何在github中设置我的上游？我尝试使用git remote add设置upstream，
浏览 15提问于2021-10-25得票数 0
我正在尝试通过API从我的公司页面上自动拉取数据。这将是一个没有用户干预的服务器端作业。我有登录linkedin和REST API应用程序的凭据，密钥如下：谢谢!
浏览 0提问于2013-02-27得票数 2
回答已采纳
我在Artifactory中配置了一个远程docker存储库(到docker hub)。为了测试它，我创建了docker镜像A并将其推送到docker hub。现在，我可以使用artifactory-url/docker/user-name/image:latest将其从artifactory中拉出。现在，我已经将图像A更新为图像B，并将其推送到docker hub。当我删除我的本地图像并再次从Artif
浏览 0提问于2019-09-16得票数 0
1回答
我正在构建一个react原生应用程序，并希望从一个有10个请求/分钟限制的API中提取信息。这对几个用户来说是可以的，但我担心这不会扩展。例如，如果有30个用户同时使用该应用程序，那么将有30个API请求，而20个用户将无法获取数据。对此的典型解决方案是什么？我应该创建一个每分钟从API请求一次的数据库，然后短期存储数据，然后我的用户从我的数据库中获取他们的数据<
浏览 0提问于2017-07-28得票数 0
我正在使用Jenkins作业从服务器拉取数据库密码并将其存储在环境变量中，在另一个阶段，我可以成功连接应用程序服务器，并将存储的环境变量作为密码，但密码在Jenkins控制台上显示为纯文本，我想在Jenkins控制台上屏蔽密码(我不想手动更新密码为CredentialsId，密码是从远程服务器动态拉取的) .Can有人请让我知道我可以如何
浏览 13提问于2019-12-17得票数 0
我的数据中有一个字段，它是一个15位数字。当我从服务器拉取数据时，我将其转换为字符串并使用它。但是当我将我的数据存储在qvd中时，它被转换为科学记数法，数据变得无用。我如何防止这种情况发生？
浏览 0提问于2016-11-24得票数 0
但是仍然在努力从jira的api中提取我想要的数据。 接口为https://jira.internal.company.com/rest/api/2/ 我可以从它那里得到回复。我希望做的是以编程方式拉取jira中具有"cloud“标签的所有项，并获得json响应。从那里开始，我们的目标是将数据写入sqlite3数据</em
浏览 30提问于2021-04-07得票数 0
我希望只获取问题，而不是从特定存储库中的GitHub rest api拉取请求，但https://api.github.com/repos/user/repo/issues端点同时返回问题和拉取请求。Github rest api文档没有提到任何关于在特定存储库中搜索的内容。将q参数添加到上面的方法<em
浏览 20提问于2021-02-24得票数 1
回答已采纳
2回答
我开始学习世界计数程序，通过读取存储在HDFS中的文件并对其进行处理。现在，我想在MongoDB中使用Hadoop。从启动程序。现在与我混淆，它将mongodb数据存储在本地文件系统上，并将数据从本地文件系统读取到map/reduce中的HDFS，然后再次将其写入mongodb本地文件系统。当我学习HBase时，我们可以将它配置为将它的
浏览 5提问于2013-02-14得票数 2
回答已采纳
在我的本地存储库上，我从分支B创建了一个特性分支A。我在分支A上做了一些工作，并将其推送到github，并创建了一个请求，以请求将分支A合并到分支B中。当拉取请求仍然打开时，我被要求创建第二个拉取请求，以请求将分支A合并到分支C中。我找不到在哪里可以创建第二个拉取请求。我该怎么做呢？
浏览 0提问于2017-03-21得票数 0
更准确地说，我是在对特定产品的Twitter数据进行情绪分析。我正在使用Flume在HDFS中拉取Twitter数据。有没有什么NLP API或实用程序可以应用于这些twitts，以从中获得正确而有意义的情绪？
我正在寻找NLP API或实用程序，我可以在Hadoop系统中使用。
浏览 1提问于2014-12-26得票数 1
我有一个变量表，其中原始json数据存储在名为" raw“的列中，如下所示。该表的每一行都是从API中提取的完整数据，并通过snowpipe获取。在json中有一个“pxQueryTimestamp”键和值对。此字段的最新值应包含最新数据。我如何才能只规范化这一行呢？通常，我的解决方法是只传递来自"s3“的最新数据，这样这个表只有一行，然后我
浏览 8提问于2020-03-09得票数 0
回答已采纳
实际上，我需要的是，我必须使用HTTPWEBREQUESTS通过其api从axis相机获取图像，并将其存储到数据库中。注意:我可以通过HTTPWEBREQUESTS从axis camera API拉取图像，通过windows服务的解决方案适用于单台摄像头。完整的场景:图像应该每分钟从摄像机存储一次，即每分钟从api中获取一幅图像
浏览 2提问于2012-03-05得票数 1
3回答
从API拉取时如何存储数据
、、、、
我创建了一个从URL检索数据并显示数据的应用程序。我是一个初学者，因此我暂时不使用Redux或其他。
我设法恢复了数据并将其显示在我的应用程序上，但我想使用手机的本地存储。我在世博会网站的文档中看到了AsyncStorage的示例，但我不知道如何使它们适应我的代码。另外，只有在没有网络连接的情况下，才需要显示本地存储数据吗？或者，我仍然需要显示它们？</View&g
浏览 3提问于2019-01-06得票数 0
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
