1回答
有多个版本的mysql连接库。(spark-default.xml) - spark.executor.extraClassPath: ~~~:/usr/share/java/*
如果我运行不带--jars {specific mysql connector}的spark-submi
浏览 19提问于2021-05-31得票数 0
我在pycharm终端中尝试了这个命令，以连接到mysql服务器。$SPARK_HOME/bin/spark-submit –-jars /Users/akay_nation/Desktop/spark/jars/mysql-connector-java-8.0.19:907)
at org.apache.spark.deploy.SparkSubmit.d
浏览 130提问于2020-04-06得票数 0
我使用Spark来查询配置单元，然后进行转换。我的Scala应用创建了多个Spark应用。只有在关闭前一个spark应用的SparkSession和Spark上下文后，才会创建新的Spark应用。但是，在停止sc和spark时，不知何故，与Hive Metastore (Mysql)的连接未正确销毁。对于每个，Spark App我可以看到大约5个Mysql连接被创
浏览 23提问于2017-08-15得票数 0
这只是我的代码现在看起来的样子，但是我确实想在将来添加更多的转换，df_tsv.write.jdbc(url=mysql_url, table=mysql_table, mode="append", properties={"user":mysql_user, "password": mysql_passwor
浏览 2提问于2021-10-28得票数 1
回答已采纳
我在外部mysql中使用hive metastore创建了我的metastore。我的表元数据在外部mysql中。我想将它连接到我的spark并使用元数据创建dataframe，以便使用此元数据填充所有列信息。
我该怎么做呢？
浏览 2提问于2019-09-18得票数 0
4回答
我试图在Scala应用程序中使用JDBC，并使用sbt进行编译。但是，当我添加行Class.forName("com.mysql.jdbc.Driver")时，它会抛出一个ClassNotFoundException。" %% "spark-core" % "2.1.0"
libraryDependencies += "org.apache.spark" %% "spark-sql" % &quo
浏览 8提问于2017-03-01得票数 2
回答已采纳
我在启动spark-sql shell时收到以下错误。./spark-sql --jars /usr/local/hive/lib/mysql-connector-java.jar
但是，当我使用下面的命令以相同的方式启动thrift服务器时，它再次抛出相同的错误/usr/local/spark/sbin/start-thriftserv
浏览 3提问于2015-10-18得票数 5
2回答
我尝试从mysql数据库中选择一个表内容到dataframe，然后按照以下步骤与mysql连接。下载mysql-connector-java-5.0.8-bin.jar
dbtable="user",
user="root&quo
浏览 1提问于2016-06-24得票数 0
我使用的是spark，我想创建查询来连接数据库中的不同表。Apache和connection已经在使用示例：USING org.apache.spark.sql.jdbc driver "com.mysql.cj.jdbc.Driver",
浏览 3提问于2022-03-24得票数 0
回答已采纳
我正在为一个使用MySQL作为其数据存储的应用程序构建分析功能。我们有一个基于微服务的架构，也使用Kafka。我们的用例并不真正需要“实时”分析，但这可能会在以后添加。对于卷和用例，我不认为需要基于Hadoop的系统，但Kafka Connect，Spark和Flink是可能的。可以编写代码来检查每个事件，然后更新事实表，但是考虑到我可能会在事实表中的数据桶上使用15到30分钟的窗口，有没有办法使用Flink、Spark或Kafka流来实现这一点？我的意思是，我希望Spark/Flink中有一些“内置”的API或
浏览 0提问于2018-03-23得票数 3
value default.driver org.mysql.jdbc.Driverdefault.password **** /usr/local/zeppelin/interpreter/j
浏览 0提问于2018-04-24得票数 0
我在AWS EMR上运行一个星火应用程序。我尝试使用Spark连接到MySQL数据库，如下所示： dataframe_mysql = spark.read.format('jdbc').options(
url='mydb.host
浏览 11提问于2022-06-27得票数 0
回答已采纳
1回答
我正在从spark应用程序连接到一个MySql DB (星火-2.0.0-bin-hadoop2.7)。当连接时，我得到以下错误。val option = Map("url" -> "jdbc://mysql://IPAddress:3306/TestDB", "dbtable" -> "Users", "user"-连接器-j
浏览 1提问于2018-09-25得票数 0
1回答
我使用ApacheSpark2.1.1，并在$SPARK_HOME/conf文件夹中放置了以下hive-site.xml： <description>Warehouse Location</description></configuration>
当我启动节俭服务器时，转移模式是在我的MySQL DB上创建的，但不被使用，而是使用Derby
浏览 0提问于2017-07-19得票数 8
回答已采纳
到目前为止，我已经能够使用spark SQL连接并运行Mysql数据库查询，使用Mysql JDBC驱动程序将其注册为spark Data frame。可以从Spark SQL连接到TeraData并在其上运行查询吗？
浏览 0提问于2015-05-04得票数 1
1回答
我正在GKE上的Kubernetes上部署一个批处理spark作业。Job试图从MySQL (Google Cloud SQL)获取一些数据，但它给出了连接链接故障。我尝试通过从pod安装mysql客户端来手动连接到mysql，连接正常。我还需要配置什么吗？例外：
Exception in thread "main" com.mysql.cj.jdbc.exceptions.CommunicationsException: Comm
浏览 15提问于2019-10-21得票数 0
2回答
我想把mysql和pyspark连接起来。我正在使用jupyter笔记本来运行pyspark。然而，当我这样做的时候， url="jdbc:mysql://localhost:3306/playground",
浏览 29提问于2018-08-21得票数 6
2回答
我是Scala的新手，正在尝试使用Spark从mysql数据库中读取数据。不管我做什么，我都面临着一个没有发现的例外。我试着在没有火花的情况下连接，使用Squeryl，S杯等等。总是同样的问题。下面是我尝试过的一个例子： .read.format("jdbc")
.option("url",
浏览 0提问于2019-03-04得票数 0
回答已采纳
2回答
我已经在Linux (在windows桌面)上安装了MySql，我正在尝试从运行在父windows操作系统上的Spark应用程序连接到MySql。在连接过程中，我遇到以下错误...("url" -> "jdbc:mysql://VMIP:3306/TestDB", "dbtable" -> "Users", &qu
浏览 0提问于2018-09-26得票数 0
2回答
首先，我构建了scala应用程序，使用这一行代码从apache中的mysql表中读取数据。","file:///tmp/spark-warehouse").getOrCreate()var df = spark.read.format("jdbcscala> var df = spark.read.format("jdbc").option(&quo
浏览 2提问于2017-10-02得票数 1
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号