在从dataframe向表中写入数据之前，我正在尝试从表中删除记录。这对我不起作用。我做错了什么？query = "(delete from xx_files_tbl)" .option("url", "jdbc:sqlserver
浏览 172提问于2020-10-14得票数 1
回答已采纳
我试图使用Pyspark连接插入到现有的Mysql表中，但是我得到了以下错误 File "/usr/hdp/current/spark2-client/python/pyspark/sql/context.py", line 384, in sql
浏览 0提问于2020-07-17得票数 0
回答已采纳
我试图使用Spark、DataFrames和JDBC连接在MySql上插入和更新一些数据。如果我更改为SaveMode.Overwrite，它将删除完整的表并创建一个
浏览 11提问于2016-02-25得票数 32
回答已采纳
5回答
并使用模式覆盖向目标写入 .option("url", "jdbc:mysql://localhost/test") .option("dbtable","temptgtUpdate")
.option("use
浏览 3提问于2020-05-10得票数 0
我是spark的新手。我们有从mysql读取数据的遗留java spark代码。但是，它在“主”节点加载数据，然后根据划分的组将数据广播到工作节点。return result;请注意，我们在map函数的外部加载所有组的数据，我认为这意味着所有数据加载都在主节点上完成，并将广播发送到工作节点进行计算。如果是，那么我担心数据太大，所以主内存将不够用。有什么方法可以将这个数据</em
浏览 2提问于2021-09-16得票数 0
我正在尝试运行这样一个PySpark应用程序： dataframe_mysql= spark.read.format('jdbc').options(
url="jdbc:mysql://= dataframe_mysql.filter("da
浏览 3提问于2022-08-12得票数 0
回答已采纳
我正在为一个使用MySQL作为其数据存储的应用程序构建分析功能。我们有一个基于微服务的架构，也使用Kafka。我们的用例并不真正需要“实时”分析，但这可能会在以后添加。对于卷和用例，我不认为需要基于Hadoop的系统，但Kafka Connect，Spark和Flink是可能的。我打算构建一个基于星型模式的报告数据库，独立于主生产数据库，由维度和事实表组成，并允许Tableau报告这一点。可以编写代码来检查每个事件，然后更新事实表，但是考虑到我可能会在事实表中的数据桶上使用15到30分钟
浏览 0提问于2018-03-23得票数 3
我有一个吡火花SQL脚本，它应该删除SELECT中的第一行。如何删除吡火花选择中的第一行？('SELECT `Course Name` AS title, `Discipline Code` AS discipline_code FROM books')
上面的查询包含表头，它不应该保存到MySQL我必须将标题保留在dataframe中，这样才能根据后面的spark中的标头选择一些列。我真正需要的是删除sp
浏览 12提问于2022-06-05得票数 0
回答已采纳
如何将spark.sql查询结果转换为dataframe，当我在代码行下面运行时，它给了object任何读取object的方法，给出了数据结果df = spark_session.sql
浏览 14提问于2022-06-22得票数 0
.at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2526)
at com.mysql.jdbc.StatementImpl.
浏览 13提问于2020-08-06得票数 0
回答已采纳
2回答
首先，我构建了scala应用程序，使用这一行代码从apache中的mysql表中读取数据。","file:///tmp/spark-warehouse").getOrCreate()var df = spark.read.format("jdbc.option("password", "root")现在，我正尝
浏览 2提问于2017-10-02得票数 1
4回答
但是，当我添加行Class.forName("com.mysql.jdbc.Driver")时，它会抛出一个ClassNotFoundException。" %% "spark-core" % "2.1.0"libraryDependencies+= "
浏览 8提问于2017-03-01得票数 2
回答已采纳
在SparkSQL中可以加入mysql和Oracle数据库中的数据吗？我试图加入他们，但在SPARK_CLASSPATH中设置多个jars (用于mysql和Oracle的jdbc驱动程序)时遇到了一些问题。这是我的代码：import sys
sys.path.append(&quo
浏览 2提问于2015-12-30得票数 1
我有一个应用程序，它从mysql和postgresql读取数据并进行数据处理。我有以下函数来初始化spark： global sc, sqlContext, sqlCtx, sql, spark 'spark.driver.extraClassPath', 'path/t
浏览 2提问于2020-08-13得票数 1
4回答
docker run -it -p 8088:8088 -p 8042:8042 -p 4040:4040 -h sandbox sequenceiq/spark:1.6.0 bash
这项工作如预期的那样Map("url"
浏览 5提问于2016-09-11得票数 0
1回答
我有一个spark作业，它从mysql读取一个表，但出于某种原因，spark将int列定义为布尔值。如何在表读取期间强制数据类型？火花会议：.config("spark.sql.autoBroadcastJoinThreshold", -1).config
浏览 10提问于2022-10-10得票数 1
回答已采纳
1回答
在相同的jupyter会话中使用"spark.sql.warehouse.dir“(无数据库)可以工作。但是在jupyter中重新启动内核后，目录数据库和表不再被识别。谢谢，克里斯蒂安 SparkSession.builder .config("spark.jars.packages"") "spark<
浏览 1提问于2021-09-17得票数 3
我想从mysql获得数据到Spark (scala)，但当数据发生时会出错
com.mysql.cj.jdbc.exceptions.CommunicationsException:通信链路故障("jdbc").option("url", "jdbc:mysql://127.0.0.1:3360/crawldb").option("driver", "com.
浏览 1提问于2019-07-24得票数 0
回答已采纳
1回答
我想将数据从PySpark DataFrame写入外部数据库，比如Azure MySQL数据库。到目前为止，我已经使用.write.jdbc()成功地做到了这一点，
spark_df.write.jdbc(url=mysql_url, table=mysql_table, mode="append", properties={"user":mysql_user, "password": <em
浏览 2提问于2021-11-03得票数 1
回答已采纳
1回答
默认情况下，spark_read_jdbc()将整个数据库表读入Spark。我使用了以下语法来创建这些连接。<- "mysql-connector-java-5.1.43/mysql-connector-java-5.1.43-bin.jar"
name = "table_name",
浏览 2提问于2017-08-01得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
