3回答
当我查询我的数据库时： spark.sql("SELECT * FROM MyBase") 我有“MyBase”这个词在我所有栏目的名字前面。 我们能简单地避免这种情况吗？如果没有，删除它的最好方法是什么？示例： df = spark.sql("SELECT name, price FROM MyBase")| mybase.name-+
| Jean |
浏览 49提问于2020-08-06得票数 0
回答已采纳
3回答
我最近开始发现Databricks，并面临需要删除增量表的某一列的情况。当我使用PostgreSQL时，它就像DROP COLUMN metric_1;
我正在查看删除时的数据库，但它只覆盖了DELETE the我也找到了关于DROP database，DROP function和DROP table的文档，但完全没有关于如何从增量表中删除列的文档。这
浏览 4提问于2019-01-31得票数 12
回答已采纳
试图在Databricks中的Pyspark中创建一个表，该表将捕获每个表的数据库名称、表名和DDL语句。蜂窝亚稳态已经加载在AzureMySQL中，而Databricks集群正是在其上进行指向的。虽然在单独的dataframe对象中，我能够捕获所需的详细信息，但是无法将它们合并到一个表中。我正在查看的模式: DatabaseName、TableName、Crea
浏览 6提问于2022-10-11得票数 0
回答已采纳
我正在尝试在spark sql中连接两个表。每个表都有50+列。两者都将列id作为关键字。spark.sql("select * from tbl1 join tbl2 on tbl1.id = tbl2.id") 联接的表具有重复的id列。当然，我们可以像下面这样指定要保留的id列： spark.sql("select tbl1.id, .....f
浏览 79提问于2021-08-08得票数 2
6回答
可以使用df.saveAsTable(tablename,mode)方法以拼花格式将数据存储到Hive表中。上面的代码工作正常，但是我每天都有这么多的数据，所以我想根据creationdate(表中的列)动态地划分hive表。任何帮助都是非常感谢的。
浏览 7提问于2015-07-10得票数 41
回答已采纳
以下内容可分别用于在当前架构或指定架构中显示表：这里记录了这个文档：
是否有方法显示所有数据库中的所有表？数据库中是否有元数据表(类似于甲骨文中的all_或dba_表或MySql中的information_schema表)？是否有一种方法可以对Databricks中的数据库对象执行更具体的查询？
浏览 10提问于2020-08-30得票数 2
回答已采纳
2回答
我们试图从SPARK中写入一个蜂箱表，并且使用saveAsTable函数。我想知道saveAsTable是否每次掉落并重新创建蜂巢表？如果它这样做了，那么是否还有其他可能的火花函数实际上只会截断和加载一个表，而不是拖放和重新创建。
浏览 0提问于2018-07-17得票数 2
回答已采纳
蜂巢数据库的摄入非常缓慢。我计划执行一个DROP DATABASE temp_db CASCADE，重新创建由spark创建的新表，并更改SHOW CREATE TABLE temp_db.one_table生成的命令。我需要对每个表执行此操作，并将temp_db位置替换为新的原始位置。
有更好的方法吗？也许我可以重命名DB并为表设置一个新的位置。
浏览 4提问于2022-03-11得票数 0
回答已采纳
我曾尝试使用创建的空列写入增量表，如下所示： df = df.withColumn('val2', funcs.lit(None)) 使用以下函数 def write_to_delta_table(df'{path}/{fnm}'
''') 我得到了一个错误，并意识到我需要将null列转换为它的预期类型 df = df.withColumn('val2', funcs.lit(None).它显示了一个错误，例如 or
浏览 24提问于2021-10-23得票数 1
回答已采纳
1回答
我正在使用AWS电子病历，我使用的是一个开源的三角洲湖泊。但是我想在SQL中使用它。我尝试在SQL中创建一个delta表，如下所示。spark.sql('INSERT INTO test.foo (name) VALUES ("bar")');
错误：org.apache.spark.sql.AnalysisException: Pathdoes not
浏览 7提问于2022-11-04得票数 0
我在一个表中有30列，即table_old drop_column=now_current_column
var table_new=spark.sql(s"""alter table table_olddrop $drop_column"&q
浏览 7提问于2018-11-01得票数 3
1回答
我有一个场景，我将一个文件作为字符串读取，我需要将它与表进行比较，以执行一些操作。df1 = sparkContext.parallelize(Seq(1,"aa")).toDF("Col1","Col2") // file因此，df1是from文件，它的两个列都是字符串，而df2的模式是Int和String。这只是一个示例，我有
浏览 2提问于2017-07-03得票数 1
回答已采纳
1回答
我有两个表，它们都聚集在相同的列上，但是在连接聚集列上的两个表时，执行计划同时显示了交换和排序步骤。我希望在我的计划中避免排序和交换步骤，并且根据文档，存储桶的表应该避免排序
浏览 1提问于2019-06-12得票数 1
2回答
我不明白为什么后者不能工作，但是找不到任何文档/提示，因为所有的示例都是用临时视图完成的。从技术上讲，我不明白为什么它不应该工作，因为数据是在临时视图中正确地从jdbc源检索的，因此，如果我想将查询“存储”在一个持久视图中，那么无论何时调用视图，它都可以直接从jdbc源检索数据。 dbtable '{tbl_in}', password '{db_pw}',
url '{jdbc_url
浏览 14提问于2022-10-27得票数 0
回答已采纳
2回答
我试图在中重命名一个数据库，但是我得到了以下错误：
%sql ALTER DATABASEinventory MODIFY NAME = new_inventory;
请解释这个错误是什么意思“输入‘alternative没有可行的选择”，我如何解决它？
浏览 4提问于2021-03-05得票数 4
2回答
我有一个包含多个列的dataframe，其中一个列是map(string，string)类型。我能够打印这个数据，有列作为地图，给数据地图(“双关”-> "Pune")。我想要将这个dataframe写到hive表(存储为avro)，该表具有与map类型相同的列。col("cname"))
//table - created external hive table..sto
浏览 4提问于2020-02-27得票数 0
1回答
我有一个动态构建的SQL，其中包含一些损坏的字符串，比如列名错误，或者使用sm而不是sum。当我在这个生成的字符串上执行sparksession.sql()时，整个星火作业就会像预期的那样失败，我可以看到资源管理器日志中的所有日志。是否有一种方法可以让我在一个try catch块中捕获这个异常，并处理这个异常并继续我的逻辑。
浏览 6提问于2019-10-22得票数 2
1回答
我在一个表中有一个地址列，如下所示 >>> spark.sql("select add1 from test").show(10,False)+---------------------------+ 我必须匹配一组单词，并将它们从列中删除，以便进行比较 我可以像下面这样用空格替换单个单词(本例中为‘UAE’) spark.sql("se
浏览 3提问于2020-08-27得票数 0
回答已采纳
当行中的某些列值与Source表中的相同列值匹配时，我希望更新databricks中的目标Delta表。 display(spark.sql("select * from
浏览 2提问于2020-06-08得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
