2回答
最近，当我们遇到这个问题时，我正在和我的朋友讨论SparkSQL的特性。它们是酸性交易吗？SparkSQL是否遵循CAP定理？
我对这个领域有点陌生，帮帮我吧。提前谢谢。
浏览 3提问于2016-05-10得票数 3
回答已采纳
1回答
每当我需要使用distcp将数据从表item.name从C1复制到C2时。在运行distcp之前，我需要删除C2中的当前表，然后按顺序重新创建一个表。最后，以orc格式重新创建一个表。使用这种方法，我需要将数据从item.name中的C1复制到C2中的item.name_seq。在复制数据之后，我可以在item.name的C2中插入orc表。这个方法好吗？这是可能的吗？基本上，使用distcp，我需要将数据从item.name中的C1复制到C2中的item.name_seq。
如果你有更好的方法，请告诉我。
浏览 4提问于2022-09-07得票数 0
我在MySQL中有一个'user‘表。我想把它读到我的Spark SQL程序中。如何使用Python将表从MySQL读取到Apache Spark的SparkSQL模块？
浏览 0提问于2016-04-25得票数 12
MySQL的命令kill query (定义为)是否等同于Apache SparkSQL?谢谢！
浏览 2提问于2017-10-17得票数 0
回答已采纳
在MySQL的命令show processlist;中有Apache SparkSQL的等价物吗？
浏览 3提问于2017-10-17得票数 0
回答已采纳
在MySQL中，我们可以查询表information_schema.tables并获得有用的信息，例如data_length或table_rows。-----------++-------------+------------+是否存在与SparkSQL我可以使用SparkSQL或像HiveMetaStoreClient (java org.apache.hadoop.hive.metastore.HiveMeta
浏览 1提问于2018-03-09得票数 3
回答已采纳
最近我需要使用sparksql在mysql中插入大约100,000,000个数据，但是速度相当慢，大约需要1个小时。有人能找到一种有效的插入方法吗？mysql配置=>prop.setProperty("password", "password")
prop.setProperty(
浏览 28提问于2018-08-01得票数 4
我使用的是Spark SQL 2.1， 我可以在Spark SQL中以临时视图的形式从mysql/oracle中读取数据： val url = "jdbc:mysql://localhost:3306password '$pass', numPartitions '3')
val session = SparkSession.builder().appName(&q
浏览 9提问于2019-03-29得票数 0
我正在尝试在SparkSQL中重现与sql中的group by相同的行为。下面是一个使用SQL而不是使用SparkSQL函数在SparkSQL中所能完成的操作的示例： 输入数据集： val input = Seq( ("Toronto： input.createOrReplaceTempView("input") 然后通过使用sql select city, year, count
fr
浏览 26提问于2021-08-30得票数 0
回答已采纳
我是SparkSQL新手，我主要负责编写SparkSQL查询。我们经常需要在查询中使用JOIN大表，并且不需要很长时间就会遇到与它们相关的性能问题(例如。Joins、aggregates等)。在网上搜索补救方法时，我最近遇到了一些术语-- COALESCE()、REPARTITION()、DISTRIBUTE BY、CLUSTER BY等，而且它们可能用于提高慢速运行的SparkSQL 查询的性能我主要是寻找一些例子来解释它们的语法、提示和使用场景。
有谁能在这里帮助我，并提供SparkSQL</
浏览 5提问于2020-06-05得票数 0
我正在尝试从SparkSQL中写入和读取镶木面板文件。出于模式演变的原因，我希望在写入和读取时使用Avro模式。我的理解是，这在Spark之外(或在Spark内手动)是可能的，例如使用AvroParquetWriter和Avro的通用API。但是，我想使用SparkSQL的write()和read()方法(它们与DataFrameWriter和DataFrameReader一起工作)，它们与SparkSQL很好地集成在一起(我将编写和读取Dataset换句话说，似乎没有办法通过Avro模
浏览 1提问于2017-01-04得票数 5
我有一个通过scalapb从.proto文件生成的case类，它有几个bcl.DateTime类型的字段。case类定义如下： @SerialVersionUID(0L) customerid: _root_.scala.Int = 0, orderId: _root_.scala.Long = 0L, dataFeedId: _root_.scal
浏览 17提问于2020-07-10得票数 0
回答已采纳
我需要按顺序和where语句使用它们，以便在HTML中显示完整的表内容。通过考虑和MySQL的执行时间()，哪一种方案可以提高性能？1)在每次读写和使用MySQL时，使用PHP将非gregorian转换为gregorian。2)在每次读写和使用MySQL int/bigint时，使用PHP将非Gregorian转换为UNIX时间戳。
( 3)使用MySQL varchar
浏览 9提问于2016-07-14得票数 1
我使用df_pqt_tbl <- spark_read_parquet(...)函数读取了一个拼花文件。我的环境是Databricks。我想使用SparkR::sampleBy函数进行分层抽样，但是我得到了一个错误：
有没有一种方法可以将一个tbl_spark转换成一个火花数据，这样我就可以在它上<em
浏览 0提问于2019-09-03得票数 1
回答已采纳
I有多个表，其中一些表包含~50M行50%的查询利用索引和多个工作人员更快地完成查询。我的一些查询使用join命令如果我有多台服务器要运行，那么使用sparkSQL可以获得更好的性能吗?是否适合使用sparkSQL或postgresSQL ?的数据集？
什么时候选择sparkSQL而不是postgresSQL ?
浏览 2提问于2021-01-04得票数 1
回答已采纳
我刚刚开始使用SparkSQL，并且正在努力确保我理解从文件使用SparkSQL (并推断出模式)和使用之间的好处。如果你有任何使用SParkSQL的经验，我很想知道哪种方法是首选的，为什么。
浏览 1提问于2016-11-09得票数 0
与在本地计算机上使用HDD并在其上执行许多MySQL读写相比，如果我安装10 the网卡并将MySQL数据存储在由多个HDD组成的raid网络存储上，它是否每秒会有更多的查询？或者网络延迟(或其他什么)会成为MySQL性能的问题吗？
我的目标是在不磨损SSD的情况下接近SSD的读写性能。
浏览 0提问于2022-05-16得票数 1
2回答
我是数据科学领域的新手，我不明白为什么有人会想要将Hive连接到Spark，而不是仅仅使用Sqark-SQL。在星火上使用Hive而不是Spark有什么好处(除了能够在生产中使用Hive代码之外)？
谢谢
浏览 5提问于2015-05-12得票数 2
回答已采纳
我在mysql中有一个表，它有POST_ID和相应的兴趣：我使用下面的正则表达式查询来选择包含1,2,3的兴趣。但是，当我在SparkSQL中使用相同的查询时，它显示空记录。
如何在spark中使用REGEXP函数来选择包含1,2,3的兴趣？
浏览 2提问于2017-12-13得票数 1
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号