有没有办法使用spark-sql (使用scala语言)在sql server表上执行update语句？我需要执行以下查询：set Log_FileQueue = xx,where Log_ID
浏览 17提问于2018-08-09得票数 0
我想要更新spark-SQL中的表中的一行，那么我该怎么做呢？例如，我的原始查询是，从学生集标记更新= 56，其中id =1；
如何在spark-SQL中做到这一点？spark-SQL中不支持As update。请在这方面提供帮助。
浏览 26提问于2016-01-14得票数 2
1回答
问题是有大量的空状态值。这个表通常是按状态查询的，所以有一个包含空状态的大分区不是问题，但是我在更有效地生成表时遇到了问题。我尝试创建具有非null状态的表，然后插入null，但从我所能断定的情况来看，所有NULL值仍然被放在一个大分区中，因此被发送到一个工作进程。
如果有一种方法可以插入到特定的分区中，那就太好了。就像我的示例一样，编写非空状态，然后以仍然可以在集群中并行的方式将剩余记录插入到st
浏览 17提问于2019-07-11得票数 0
1回答
我使用的是运行Spark 1.6.0的CDH 5.5.7快速入门VM。我正在尝试连接到spark-sql cli，但失败了。根据这个，通过发出spark-sql命令，我应该能够输入cli，但是我得到了下面的错误。[cloudera@quickstart ~]$ spark-sql我也尝试了下面的方法，得到了同样的错误
[cloudera@/bin/spark-sql</
浏览 17提问于2016-07-27得票数 2
我是大数据平台的新手。您能告诉我不同的方法:1)我们如何连接到spark for Spark sql? 2)我们如何连接到spark数据帧或数据集？对于hive，我们通过unix与beeline连接，如果我们有像teradata这样的sql工具，我们必须通过安装了hive驱动的odbc连接到hive。另外，如果有人能给我提供一个很好的链接或资源，让像我这样的新手理解概念、命令及其用法，easily.That将会非常有帮助。
浏览 13提问于2020-06-09得票数 0
Queries are expressed in HiveQLspark-sql并查询蜂箱中的现有数据。
我想知道这两者的区别..。在spark中处理任何查询是否与火花-shell中的查询相同？我的意思是，我们能在星星之火-sql中充分利用火花的性能优势
浏览 7提问于2017-05-01得票数 6
回答已采纳
我想要查找所有匹配特定模式的查询字符串。有些模式以%字符开头。
我想知道spark SQL中的RLIKE是像SQL中的LIKE命令一样，还是计算%字符并简单地尝试将其与列值中的该字符进行匹配？如果在默认情况下，它的行为类似于常规的SQL LIKE命令(关于%字符)-是否有任何配置可以更改以更改此行为？
浏览 9提问于2020-12-28得票数 0
我正在研究一些现有的spark-sql代码，它们尝试将两个连接到表中，如下所示： select *,
if(id_t1 is not Null, Trueif语句在这里是什么意思，它在这里是如何工作的？非常感谢!
浏览 51提问于2016-08-17得票数 4
3回答
我正在尝试弄清楚如何针对Cassandra数据库测试Spark SQL查询--有点像您在SQL Server Management Studio中所做的那样。scala > var query = csc.sql("select * from users");特别是对于更长的查询，这可能是一个真正的痛苦。这似乎是一种非常低效的方式来测试您的查询是否正确，以及您将获得哪些数据。另一个问题是，当
浏览 0提问于2015-05-18得票数 2
5回答
我是spark.Is的新手，不管怎么说，我可以在spark-SQL中操作更新命令。我已经创建了一个hive表，我已经在其中操作了一些SQL语法查询，如insert、select、delete，但无法运行update命令。我已经在spark文档和网站上搜索过了。但是我没有在他们最近的Spark SQL列表中找到UPDATE Syntax。请帮帮我，我用的是spark 2.0
卡里安
浏览 27提问于2016-08-09得票数 2
当我在下面的代码中尝试sbt包时，我得到以下错误我的火花版本: 2.4.4 val sparkVersion = "2.4.4" }
我的Scala
浏览 5提问于2020-01-01得票数 1
回答已采纳
1回答
我正在使用Apache-Spark，在我的项目中，我想使用Spark-SQL。但是，我必须确保Spark-SQL的查询性能。我知道Spark-SQL不像RDBMS那样有效。但是我想知道在Spark-SQL和RDBMS查询之间有太多的时间差距吗？
例如，我正在使用具有4 gb内存和1核CPU的虚拟机。这是一个很慢的系统。我有一个很小的数据集，有两个表。在这个硬件上使用Spark-SQL正常吗？如果我用
浏览 2提问于2015-08-04得票数 1
我从github得到了这个项目，文件build.sbt中的导入行是红色的。我在本地有scala 2.11.11，sbt 1.3.4[info] Loading global plugins from C:\UsersWorker.run(ThreadPoolExecutor.java:624)[error] (update
浏览 0提问于2020-03-23得票数 3
2回答
我在IntelliJ中创建了一个新的SBT项目，并添加了一个类。下面给出了类和我的sbt文件。但是，创建火花上下文似乎有效，但是，当我取消注释试图创建cassandraTable的行时，我会得到以下编译错误：
错误:scalac:错误的符号引用。CassandraRow.class中的签名是指封装org.apache.spark.sql中不可用的术语催化剂。它可能在当前类路径中完全丢失，或者类路径上的</em
浏览 4提问于2014-10-06得票数 5
回答已采纳
我将使用spark-sql cli替换hive cli shell，并使用以下命令运行spark-sql cli (我们在yarn Hadoop集群上使用的是已经复制到/conf的hive-site.xml)然后我执行类似这样的查询，命令
浏览 5提问于2015-01-22得票数 2
length(oik)>0 and pop rlike '^[0-9]*$' then pop else '' end as pop from input").show(false)sample input:1234@gamil.com output: 1234
如何将我在case when语句中给出的spark-sql…(将rlike和r
浏览 1提问于2021-08-15得票数 1
回答已采纳
1回答
当我们调用/sbin/start-thriftserver2.sh (在火花安装中)时，我们应该给出hiveserver2端口号和主机名。如果我们创建一个表/删除一个表，如果我们登录到蜂箱并进行检查(例如通过蜂窝直线或蜂窝CLI)，它将是清晰可见的。换句话说，通过星火所做的改变可以在蜂箱表中看到。我的理解是，星火没有自己的元商店设置，如蜂巢。Spark只是利用单元设置，而SQL执行只是通过Spark进行的。
我的理解对吗？然后，我对bin&
浏览 5提问于2021-07-30得票数 0
回答已采纳
我想用一个参数从命令行运行spark-sql：在myscript.sql中，应使用参数PS:我知道如何在spark-shell和spark-submit中做到这一点。但这不是我要找的。
浏览 0提问于2017-11-29得票数 2
我曾经使用过Datapoc(图像版本1.1)和Zeppelin 0.62来创建存储在Google Cloud Bucket中的hive表。因为table_zeppelin的内容已经在存储桶中了。一旦我验证了存储配置单元元数据的MySQL实例中的表table_zeppelin，我就没有看到TBLS。我猜是蜂巢转移出了什么问题。当我运行show tables时，我得到了table_spark和在以前的Dataproc版本中创建的所有表，但
浏览 2提问于2017-08-25得票数 2
云服务器
ICP备案
对象存储
实时音视频
腾讯会议
腾讯云开发者
