1回答
在这种情况下，我希望使用SparkSQL“迭代”或映射“宽行”，而不是逻辑Cassandra行(CQL行)。我如何通过保持数据的局部性(我认为我的数据模型非常适合于这些任务)来有效地使用SparkSQL呢？
我阅读了，其中提到了Cassandra连接器中的spanBy和spanByKey。这将如何与SparkSQL一起使用？
浏览 0提问于2016-03-13得票数 0
我有一个通过scalapb从.proto文件生成的case类，它有几个bcl.DateTime类型的字段。case类定义如下： @SerialVersionUID(0L) customerid: _root_.scala.Int = 0, orderId: _root_.scala.Long = 0L, dataFeedId: _root_.scal
浏览 17提问于2020-07-10得票数 0
回答已采纳
我是SparkSQL新手，我主要负责编写SparkSQL查询。我们经常需要在查询中使用JOIN大表，并且不需要很长时间就会遇到与它们相关的性能问题(例如。Joins、aggregates等)。在网上搜索补救方法时，我最近遇到了一些术语-- COALESCE()、REPARTITION()、DISTRIBUTE BY、CLUSTER BY等，而且它们可能用于提高慢速运行的SparkSQL 查询的性能有谁能在这里帮助我，并提供SparkSQL查询它们的用法和何时使用它们的例子？例如。syntaxhint syntaxtipss
浏览 5提问于2020-06-05得票数 0
我的一些查询使用join命令如果我有多台服务器要运行，那么使用sparkSQL可以获得更好的性能吗?是否适合使用sparkSQL或postgresSQL ?的数据集？
什么时候选择sparkSQL而不是postgresSQL ?
浏览 2提问于2021-01-04得票数 1
回答已采纳
2回答
最近，当我们遇到这个问题时，我正在和我的朋友讨论SparkSQL的特性。它们是酸性交易吗？SparkSQL是否遵循CAP定理？
我对这个领域有点陌生，帮帮我吧。提前谢谢。
浏览 3提问于2016-05-10得票数 3
回答已采纳
我使用df_pqt_tbl <- spark_read_parquet(...)函数读取了一个拼花文件。我的环境是Databricks。我想使用SparkR::sampleBy函数进行分层抽样，但是我得到了一个错误： fractions = list('0'=0.7, '1'=0.7),
seed =
浏览 0提问于2019-09-03得票数 1
回答已采纳
我如何理解它是否是SparkSQL。Spark文档说SparkSQL有数据帧，但如果我有MS SQL Server代码，我如何转换成SparkSQL才能在亚马逊网络服务上成功运行？
浏览 7提问于2018-07-18得票数 1
回答已采纳
我正在尝试在SparkSQL中重现与sql中的group by相同的行为。下面是一个使用SQL而不是使用SparkSQL函数在SparkSQL中所能完成的操作的示例： 输入数据集： val input = Seq( ("Toronto----+-----+|Toronto|2016|4 |+-------+----+-----+ 我希望对SparkSQL</em
浏览 26提问于2021-08-30得票数 0
回答已采纳
2回答
我是数据科学领域的新手，我不明白为什么有人会想要将Hive连接到Spark，而不是仅仅使用Sqark-SQL。谢谢
浏览 5提问于2015-05-12得票数 2
回答已采纳
有没有办法把结构转换成？我在中看到了一个JavaRDD的例子，但是找不到任何东西来创建SchemaRDD。
浏览 0提问于2014-09-12得票数 5
当使用Scala从Cassandra选择到Spark时，我正在尝试转换数据。我找不到与Spark SQL一起使用的IF/CASE语句。有什么想法吗？ SELECT trip_sell_key, trip_veh_key, idle_stop_date, COUNT(*), and idle_stop_duration < 5 then 1 els
浏览 0提问于2016-04-08得票数 0
我刚刚开始使用SparkSQL，并且正在努力确保我理解从文件使用SparkSQL (并推断出模式)和使用之间的好处。如果你有任何使用SParkSQL的经验，我很想知道哪种方法是首选的，为什么。
浏览 1提问于2016-11-09得票数 0
1回答
我在python中使用SparkSQL。我已经创建了一个分区表(大约几百个分区)，并使用hiveContext将其存储到Hive内部表中。母公司仓库位于S3。
浏览 2提问于2015-06-22得票数 4
我正在尝试从SparkSQL中写入和读取镶木面板文件。出于模式演变的原因，我希望在写入和读取时使用Avro模式。但是，我想使用SparkSQL的write()和read()方法(它们与DataFrameWriter和DataFrameReader一起工作)，它们与SparkSQL很好地集成在一起(我将编写和读取DatasetSparkSQL拼接格式似乎只支持“压缩”和"mergeSchema“选项--也就是说，没有用于指定替代模式格式或替代模式的选项。换句话说，似乎没有办法通过Avro模式使用SparkS
浏览 1提问于2017-01-04得票数 5
1回答
任何人直接在HBase表上使用SparkSQL，就像在Hive表上使用SparkSQL一样。我是spark.Please新手，指导我如何连接hbase和spark.How来查询hbase表。
浏览 22提问于2016-09-16得票数 7
回答已采纳
我有一个火花结构化流scala作业，它从kafka读取json消息并将数据写入S3。我配置了一个合流模式注册中心，该模式使用type=object的json格式。现在，我可以从注册表中检索模式，但是我需要在包含kafka记录的dataframe上使用这个模式。val valueRestResponseSchema = restService.getLatestVersion(schemaName) // return type is io.confluent.kafka.schemare
浏览 7提问于2022-11-30得票数 0
我正在使用SparkSQL运行一个火花应用程序。如何合并小文件？我知道.repartition和.coalesce，但这不能用SparkSQL来完成。
浏览 2提问于2018-10-11得票数 0
我正在尝试通过SparkSQL选择周日录制的所有记录。我做了以下几次尝试，但都是徒劳的。WHERE DATEPART(WEEKDAY, create_time) = 0如何在SparkSQL
浏览 28提问于2014-07-29得票数 19
我收到了标题中提到的错误：
我能否得出这样的结论: SparkSQL
浏览 1提问于2018-03-19得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
