我使用Spark(1.5.0)来使用Spark特性，使用Spark应用程序，并使用Simba驱动程序获取连接。
使用Tableau，我能够连接并能够执行Spark操作。但是，当我试图将Spark连接到MS时，它会连接起来，但不会列出数据库和表名。我还尝试了根据SPARK.使用MS的Microsoft Query选项来执行自定义的SQL查询(select * default.airline)，但是它会抛出带有目录<em
浏览 3提问于2016-02-12得票数 1
1回答
我有一个DataSourceV2Relation对象，我想从spark catalog中获取其表的名称。spark.catalog.listTables()将列出所有的表，但是有没有一种方法可以直接从对象中获取特定的表？
浏览 57提问于2021-08-08得票数 2
1回答
我有一个名为serde_dwh的数据库由于数据库名以serd开头，因此我收到以下错误：val record_count = spark<
浏览 1提问于2021-05-18得票数 0
Delta Lake在哪里存储表元数据信息。我在我的独立机器上使用的是spark 2.6(不是Databricks)。我的假设是，如果我重启spark，在delta中创建的表将被删除(尝试使用Jupyter notebook)。但事实并非如此。
浏览 31提问于2020-07-21得票数 1
回答已采纳
1回答
我试图从hdfs位置获取目录名，使用spark。我正在获取到目录的整个路径，而不仅仅是目录名。hdfs://localhost/user/rev/raw_data/2065-5
如何才能得到如下输出(即目录</e
浏览 1提问于2018-03-19得票数 2
回答已采纳
1回答
我需要从HDFS目录中读取一堆JSON文件。完成处理后，Spark需要将文件放在不同的目录中。函数read.json立即将文件转换为DataFrames，这很酷，但它没有给出像wholeTextFiles这样的文件名。有办法在读取JSON数据的同时获取文件名吗？是否有从RDD (带有JSON数据)到DataFrame的转换？
浏览 7提问于2016-04-20得票数 0
我正在尝试获取具有正文列的链接表标题列，因为这些列是可配置的，并且顺序不断变化。唯一的识别方法是只在头部分给出类名。如果我将使用类名获取索引号，那么我可以使用该索引从body中获取值。我可以使用getElementsByTag('th').nth(i).classNames来获取类名。<span>Gender</span>
</th>
浏览 22提问于2020-11-10得票数 1
回答已采纳
1回答
我有以下几个问题:将RDBMS表中的数据流到kafka，并使用Spark使用者使用Spark处理消息和处理。问题: 1.我将数据从表流到kafka (键作为tablename，值作为表数据形式的JSON记录) --这是正确的体系结构吗？在spark使用者中，我试图使用DStream.foreachRDD(x =>转换到x)来使用数据--我对此有异议(它说转换中的错误与转换是不允许的.我试图在foreachRDD
浏览 0提问于2017-01-31得票数 0
我尝试过使用PySpark访问Hive事务表(它在HDFS上有底层的增量文件)，但是我无法通过sparkContext/hiveContext读取事务表。
浏览 5提问于2019-08-01得票数 1
回答已采纳
我正在为我的数据库工作空间将表从hive_metastore迁移到Unity。DevTestProd当从Dev ->测试->工作空间部署代码时。我希望
浏览 9提问于2022-09-21得票数 1
从火花创建/加载拼花表时面临的问题Horotonworks HDP3.0蜂巢3.12#.成功地将数据插入到现有的拼花表中，并通过火花检索。df.write.format("parquet").mode("overwrite").insertInto("database_name.
浏览 0提问于2018-10-12得票数 1
回答已采纳
你好，我正在尝试将Oracle分区表转换为Datalake parquet文件。使用此脚本 # Convert it to Spark SQL table and save it as parquet format
.format("parquet"schema_name + "/" + table_name + ".parquet") \ .saveAsTable(table_name
浏览 29提问于2020-09-02得票数 0
回答已采纳
我正在尝试使用星火节约服务器来查询冰山表(外部表包含S3中的数据和Hivemetastore中的元数据)。我能够查询非冰山表，但是当我查询冰山表时，我得到的是以下错误。我们不可以通过星火节约服务器查询冰山表吗？版本细节
--conf <em
浏览 31提问于2022-06-14得票数 2
回答已采纳
2回答
火花仓库与蜂巢仓库
、、、
Hortonworks数据平台HDP 3.0有spark 2.3和Hive 3.1，默认情况下spark 2.3应用程序(pyspark/ Spark sql等)使用spark数据仓库，而Spark 2.3| hdfs://<hostname>:8020/warehouse/tablespace/managed/hive |
| default| hdfs://<hostname>:8020&
浏览 1提问于2018-10-29得票数 3
回答已采纳
我在s3中有一些日志数据，它们都在同一个桶中，但是在不同的子目录下，例如："s3://bucketname/2014我在用：Set mapred.input.dir.recursive=true;
当尝试加载“S3:/桶<em
浏览 3提问于2014-09-07得票数 2
回答已采纳
我正在使用spark的textFile从hdfs读取文件。hdfs中的目录如下所示：/user/root/vjwy.txt/user/root/dira/xxx.txt作业将失败，因为目录<
浏览 0提问于2016-01-14得票数 0
Spark streaming textFileStream和fileStream可以监控目录并处理Dstream RDD中的新文件。如何获取DStream RDD在该特定时间间隔正在处理的文件名？
浏览 0提问于2015-03-13得票数 9
我使用Spark2.1读取Java中Cassandra的数据。我尝试了在 (使用SparkSession)中发布的代码，它成功了。但是，当我将spark.read()方法替换为spark.sql()方法时，将引发以下异常：
at org.apache.spark.sql.catalyst.ana
浏览 3提问于2017-01-11得票数 0
回答已采纳
2回答
我对蜂巢中的扣环有一个疑问。我已经创建了一个临时表，该表在列关键字上存储桶。当我检查这个表的基目录时，它显示了前缀为part_*的文件名。但是，当我通过另一个表手动将数据插入到这个表中时，我看到了以00000_*为前缀的文件。
浏览 1提问于2018-08-02得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
