1回答
我有一个需求，就是对postgresql数据库中的一些表运行一些查询，以填充数据帧。表如下所示。 表1包含以下数据。我想通过以下方式进行查询。对于表1，我希望在Enabled为true时拾取行。根据每一行中的WhereClauseID，我希望获得表2中的行。根据从表2中获得的WhereClause条件，我希望使用Where Clause to query table 3运行查询，以获得值。我知道我可以逐行遍历表1，并使用参数化字符串构建sql查询来查询表3。但我认为逐行查询的效率很低，特
浏览 18提问于2021-04-14得票数 0
我正在运行本地的spark 2.4.0实例import org.apache.spark.sql.hive.HiveContext如何理解我的查询是运行在Hive引擎上还是在火花引擎上？如何控制它？
浏览 1提问于2021-03-18得票数 0
我有以下设置：- HDFS - Hive - Remote Hive Metastore (和一个metastore db) - Apache Spark (从下载并安装)我是否需要构建支持hive的spark (这里提到的：)才能让spark与hive一起工作有没有Spark w
浏览 0提问于2019-07-31得票数 0
| | Name | NVARCHAR(50)|更新Table1集ID1 = ID1 + 1
如何在更新时创建触发器，使更新后的行计数超过1？
浏览 0提问于2012-07-01得票数 -4
我正在运行MAP reduce作业(弹性map reduce电子病历) service.The作业对于小数据集工作良好，但对于大数据集(文件大小400MB)给出以下异常Error: java.io.IOException: Unexpected end of stream pos=19520590 contentLength= 458603265
at org.apache.hadoop.fs.s3native.NativeS3FileSystem$NativeS3FsInputStream.read(NativeS3
浏览 3提问于2014-01-30得票数 4
2回答
使用Spark，我想分析大表的内容。当然，执行全表扫描效率不高，并且在timeseries表中进行相当快速的查找时，我应该只能针对10k分区。 sqlContext.sql(""" WHERE timeseries.parameter = 'xyz'
&qu
浏览 0提问于2016-03-17得票数 0
2回答
如果我有一个Scala列表类型，什么类型才能支持下面的ListTYPE，Any，(Int，Any))。[error] found : org.apache.spark.rdd.RDD[Any][error] found : org.apache.spark</e
浏览 1提问于2014-09-20得票数 2
当我执行代码to_timestamp()时，我得到了空输出.withColumn("LAST_MODIFICATION_DT", to_timestamp(concat(col('LAST_MOD_DATE'), lit(' '), col('LAST_MOD_TIME')), 'yyy-MM-dd HH:mm:ss'))我得到列'LAST_MODIFICATION_DT‘的输出'N
浏览 5提问于2022-03-06得票数 0
目前，我们的所有分析似乎都可以通过Redshift查询来完成(因此，可能不需要在我们的末尾进行分布式处理)，但我们不确定将来是否还会这样。我知道可以从HDFS、HBase和S3将数据读入Spark，但是是否支持直接从Redshift读取数据?如果没有，我们可以将数据传输到S3中，然后用Spark读取数据。，我的问题是，我们是应该直接通过Redshift的查询执行数据分析，还是应该使用上面的方法并通过ApacheSpark进行分析(这里的问题是数据局部性优化可能无法实现)
浏览 3提问于2015-02-16得票数 0
回答已采纳
Spark-shell：它基本上打开了scala>提示符。查询需要以下面的方式编写// Queries are expressedin HiveQLspark-sql：它似乎与蜂巢转移直接相
浏览 7提问于2017-05-01得票数 6
回答已采纳
6回答
我遵循Spark，并希望将变量传递给它。怎么做？我试着跟着走。
sqlContext.sql("SELECT count from mytable WHERE id=$id")
浏览 4提问于2016-05-17得票数 13
回答已采纳
我最近一直在使用Spark，在尝试保存Spark DataFrame时遇到了一个问题。ObjectInputStream.java:1623)当我在Spark
浏览 5提问于2016-12-03得票数 1
连接到spark over livy在Jupyter中工作得很好，下面的spark魔法也是如此：select * from some_tablequery = 'select * from some_table'%%spark -c sql以下操作也不起作用：'是否可以将字
浏览 0提问于2018-05-08得票数 2
在以下两个操作的支持下，是否存在任何数据结构？
查询集合中最小k个数的和，其中k与查询一起给出，并且可以和集合的大小一样大。
浏览 3提问于2017-11-07得票数 2
回答已采纳
select("m_date","userid","fsa","fsid").toDF()我可以很容易地在m_date中查询范围m_date >= %s and m_date < %s" %(1497052766,1498059766))temp.show()
使用这个简单的查询但我对这个更复杂的查
浏览 0提问于2017-12-24得票数 3
我可以检查平台是否支持下面的FontFace API吗？备注:我想知道它是否能够支持的FontFace API，而不是CSS的@字体，尽管FontFace API使用的是CSS@FontFace-face。
浏览 0提问于2018-10-12得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
