我需要将一个hive表与来自Rest端点的JSON数据连接起来。使用UDF或数据源(如临时表)哪个更好？如果使用UDF，什么是限制RPS的好方法？
浏览 19提问于2021-10-19得票数 0
我刚刚开始将Azure Data Factory作为一种可能的方式来获取我们目前通过自定义连接器为Power BI消耗的数据，主要是为了访问Graph API。我看不到Azure data Factory是否有相同的数据可用。有什么方法可以做到这一点吗？
浏览 3提问于2020-03-26得票数 1
如何使用SparkSession.SQL对Java中的Cassandra执行准备语句和批处理语句？我在使用Spark2.1
浏览 4提问于2017-01-19得票数 0
回答已采纳
1回答
我想要为sparksql作业实现调度程序。我在一个描述调度的博客上看到了这个。但还不清楚我该如何更新清单。也许还有别的办法来安排我的工作。
浏览 2提问于2015-11-11得票数 1
回答已采纳
在此之前，我可以完全在spark.sql api中工作，以便与蜂巢表和火花数据帧进行交互。我可以查询使用同一个api注册的spark或hive表中的视图。要对蜂窝表执行任何操作，必须使用“HiveWarehouseSession”api，而不是spark.sql api。hive.execute("arbitrary example query here")这让人
浏览 0提问于2019-08-29得票数 1
4回答
我目前正在迁移我的应用程序的摄取代码，其中包括在HDFS中摄取数据，在HDFS中使用原始数据和应用层，并执行CDC(变更数据捕获)，这是目前在Hive查询中编写的，并通过Oozie执行。在spark中，我可以直接从Hive中的表创建数据格式，只需按原样执行查询(如sqlContext.sql("my hive hql") )。
浏览 1提问于2017-08-01得票数 43
回答已采纳
我已经创建了一个Azure data Lake gen2文件系统来存储和恢复数据。我已经正确地加载了我的数据(每天一个文件)，但是，当我想要使用Azure Data Lake Azure Rest API获取数据时，我只能针对每个请求访问一个文件，所以，如果我需要一个月，我必须每天执行一个请求并将其合并到我的本地机器中我知道这可以在数据库中使用SparkSQL和通配符来完成，但是如果我可以直接在Azure Data Lake gen2 rest <em
浏览 29提问于2019-04-04得票数 -2
1回答
在这种情况下，我希望使用SparkSQL“迭代”或映射“宽行”，而不是逻辑Cassandra行(CQL行)。基本上，我的数据是通过timestamp (分区键)进行分区的，并且有一个聚集键，即传感器ID。我阅读了，其中提到了Cassandra连接器中的spanBy和spanByKey。
浏览 0提问于2016-03-13得票数 0
3回答
我正在尝试使用SparkSQL对数据帧执行广播散列联接，如下所示：我遇到的问题是，我需要使用SQL来构造我的sparkSQL (我需要用一个ID列表连接大约50个表，并且不想手动编写这个SQL语句)。How do I tell spark to use the broadcast hash join via the <e
浏览 7提问于2016-05-27得票数 16
回答已采纳
如果你想启动REST API，你需要创建一个后端应用。客户端与后端连接，后端与数据库连接，客户端响应后端，后端响应客户端。如果数据库实现REST API作为表示层，这不是很省力吗？当然，这需要做很多工作，但是REST API不是最流行的需要标准化的通信“标准”吗？
浏览 1提问于2018-02-22得票数 0
我想在GeoMesa中使用Java函数，但我似乎不能使用任何函数，我有以下与GeoMesa相关的导入： import org.locationtech.jts.geom.*;
import org.apache.spark.sql.types
浏览 15提问于2020-07-29得票数 0
回答已采纳
我正在看，在这段17:33左右的视频中，主持人说：
SELECT * FROM my_bigquery_table;
据我所知，只有当我的Metastore能够从有关我的BigQuery表的数据目录中提取条目时目前，我无法找到将数
浏览 15提问于2022-05-10得票数 4
目前，我们正在构建一个报告平台，作为我们使用Shark的数据存储。由于Shark的开发已经停止，所以我们正处于评估Spark SQL的阶段。基于我们已有的用例，我们有一些问题。1)我们有来自不同来源( MySQL、甲骨文、卡桑德拉、蒙戈)的数据。我们想知道如何将这些数据放入Spark SQL中？有没有我们可以使用的实用程序？此实用程序是否支持连续刷新数据(将数据存储上的新添加/更新/删除同步到Spark SQL？
2)在Spark SQL中创建多个数据库是一种方法吗？
浏览 0提问于2014-07-08得票数 7
SparkSQL CLI在内部使用HiveQL，并且在spark( Hive -7292)上使用配置单元，hive使用spark作为后端引擎。
浏览 1提问于2015-07-24得票数 40
在databricks中，我有一个笔记本，其中只有SQL查询，我想知道是否更好(谈论性能)将它们全部转换为pyspark，或者是否相同。我发现了问题(看起来与我的问题很相似)，但答案不是我想知道的。
浏览 10提问于2022-04-08得票数 0
想要从spectrum集线器获取数据并将其用于报告生成，但无法获取get方法的请求数据工作室链接以使用各自的参数在postman中传递它
浏览 0提问于2019-11-05得票数 5
我们正在使用serenity-rest-assured自动化REST API的测试。需要连接到PostgreSQL数据库，并将GET API调用值与数据库表值进行比较。请指导，可以连接到DB并测试API结果吗？
浏览 34提问于2020-06-24得票数 0
回答已采纳
1回答
更准确地说，我如何将sql代码发送到服务器并读取数据？ 这是我第一次尝试做这样的事情，如果这是显而易见的事情，我很抱歉。其他信息:设置80端口转发，数据库名为"game_scores"，表名为"highscore“，表由id、用户名、分数、日期4列组成。
浏览 19提问于2019-04-14得票数 0
我偶然发现了sparkSQL的数据类型(特别是DecimalType )的使用，它比sparkSQL中的任何其他数据类型都支持最多的数据存储，但是即使根据文档：，也可以找到38种精度：：
它内部使用BigDecimal我需要实现与scala的BigDecimal通过sparkSQL提供的相同功能。我能知道怎样才能解决这个问题，或者其他我可以尝试的方法吗？
浏览 3提问于2016-11-14得票数 3
1回答
几个简短的问题：
我想使用外部REST服务(例如AgileCRM)。对于他们的服务，我想在允许我使用CRUD AgileCRM的API的模型中使用REST连接器。这个是可能的吗？我希望合并来自AgileCRM和PersistedModel (例如MySQL)的数据。我应该通过关系或继承来做到这一点吗？如果继承，哪一个应该是父模型？最好使用来自AgileCRM的所有数据(在LB中表示为模型，如果可能的话)并从本地MySQL数据库中添加信息。您是否考虑过将API
浏览 0提问于2015-05-17得票数 1
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
