我正在尝试从MySQL应用程序加载python JDBC驱动程序。我没有调用'bin/pyspark‘或'spark-submit’程序；相反，我有一个Python脚本，我在其中初始化了'SparkContext‘和'SparkSession’对象。我知道我们可以在调用'pyspark‘时传递'--jars’选项，但我如何在我的python应用程序中加载和指定jdbc驱动程序？
浏览 21提问于2019-06-04得票数 0
回答已采纳
3回答
spark-submit --class com.biz.test \ org.apache.spark:spark-streaming-kafka/test-spark_2.10-1.0.8.jar \作业无法从以下错误开始：
Exception in thread "main" java.lang.Il
浏览 9提问于2015-11-25得票数 27
回答已采纳
1回答
试图加载jar和外部类
、、、
在我的zeppelin-env.sh中，我以jar方式加载一个JDBC MySQL连接器，如下所示此外，我还想加载Databricks CSV包，它应该以2种(或更多)方式工作：
浏览 3提问于2015-11-11得票数 0
回答已采纳
我正在尝试运行这样一个PySpark应用程序： dataframe_mysql= spark.read.format('jdbc').options(
url="jdbc:mysql://= dataframe_mysql.filter("da
浏览 3提问于2022-08-12得票数 0
回答已采纳
我目前正在尝试在EMR 6.1.0中添加一个进程，该进程将使用Spark在mysql中存储聚合数据。然而，当我实际运行Spark时，我得到了以下错误。Exception in thread "main" java.lang.RuntimeException: Failed to load class of driverClassName com.mysql.jdbc在从EMR 6.0.0更新到6.1.0的过程中，我将Spark版本从2.4.4改为3.0.0。代码本身没有显著变化，我们知
浏览 82提问于2021-08-01得票数 0
1回答
我想对mysql使用jdbc，发现我需要使用--jars参数加载jdbc，我在本地有jdbc，并设法用pyspark控制台(如 )加载它。当我在我的ide中编写python脚本时，我没有办法加载额外的jar mysql-connector-java-5.1.26.jar并保持get
在客户端模式下运行python脚本、在客户端模式上使用独立集群并引用远程主服务器时，如何加载额外的jar文件？('spark-basic')
浏览 0提问于2017-08-27得票数 1
回答已采纳
我试图使用Pyspark连接插入到现有的Mysql表中，但是我得到了以下错误 File "/usr/hdp/current/spark2-client/python/pyspark/sql/context.py", line 384, in sql
浏览 0提问于2020-07-17得票数 0
回答已采纳
作业编写了一个相当大的框架
显然，这不可能是MySQL问题，因为在这种情况下，sqoop也应该会失败。而且，由于MySQL、Spark (EMR)和S3都位于同一个区域(AWS AP-South
浏览 1提问于2018-03-07得票数 7
1回答
我知道我们可以使用spark从现有的mysql表中读取和写入数据。但是，我们甚至可以创建mysql表并使用dataframes将数据插入其中吗？当我试图将文件加载到dataframe并试图写入不存在的表时，我面临的是空指针，exception.Following是一个错误：
org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:99)的j
浏览 1提问于2018-03-12得票数 2
1回答
我们使用Spark将数据从Mysql加载到Cassandra，这是相当大的(例如:200 GB和600 m行)。当任务完成时，我们要验证到底有多少行触发了进程？我们可以从Spark中获得号码，但是我们如何从火花外壳或火花提交作业中检索这个数字(“输出记录编写的”)。
示例命令从Mysql加载到Cassandra。val pt = sqlcontext.read.format("jdbc").option("url", "jdbc:
浏览 0提问于2016-04-27得票数 11
回答已采纳
我正在尝试使用JDBC连接将一个4000万大表加载到spark中。显然，分区加载就是这个问题的答案。 问题是我不知道需要装载的表的模式，也不知道按哪个列进行分区。那么我如何从spark内部确定这一点呢？val s_log = spark.read.format("jdbc").option("driver", "com.mysql.jdbc.Driver")
.option("url", "jdbc
浏览 11提问于2019-06-26得票数 1
4回答
但是，当我添加行Class.forName("com.mysql.jdbc.Driver")时，它会抛出一个ClassNotFoundException。" %% "spark-core" % "2.1.0"libraryDependencies+= "
浏览 8提问于2017-03-01得票数 2
回答已采纳
为了做到这一点，我首先必须使用以下命令加载JDBC驱动程序：Class.forName("com.mysql.jdbc.Driver");。但是，当我试图在Spark JobServer上执行文件时，我会得到一个classNotFound错误："errorClass": "java.lang.ClassNotFoundException",
我已经读过
浏览 1提问于2016-01-26得票数 0
回答已采纳
我正在运行MySQL Docker镜像并创建数据库和表。使用以下命令加载容器：Spark在我的主机上运行，所以我想将Spark中的数据写入容器中运行的数据库中。但是连接没有成功，我得到了一个异常：
com.mysql.jd
浏览 1提问于2019-12-11得票数 1
我在mysql上有一个>5 5GB的表。我想将该表作为数据帧加载到spark上，并从中创建一个拼接文件。.getOrCreate()
url="jdbc:mysql://mysql.host.namezeroDateTimeBehavior=convertToNull driver="c
浏览 0提问于2017-08-08得票数 1
我有一个到MemSQL的数据加载作业(火花连接器)，由于列名的长度超过了允许的限制，它失败了。有办法解决这个问题吗？我不能更改列名，因为它们是编程生成的，我对此没有控制权。(Util.java:377) at com.mysql.jdbc.SQLError.createSQLException$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.
浏览 4提问于2015-10-22得票数 0
回答已采纳
问题: .master("local") .getOrCreate()
配置:driver=com.mysql.jdbc.Driverpassword=xxxxxxxxxx[inf
浏览 2提问于2018-04-20得票数 0
回答已采纳
当试图将JDBC加载到Spark中时，我遇到了非常奇怪的问题。val driver = "com.mysql.jdbc.Driver"
val url = "jdb
浏览 2提问于2015-04-28得票数 13
回答已采纳
，并将它写入MySQL。" % "2.4.1",
"mysql" % "mysql-connector-java" % "mainObjectspark-submit --master local
浏览 2提问于2020-08-03得票数 1
回答已采纳
1回答
但是我想从数据库中加载所有的表。问题是如何做到这一点。下面是我从特定表加载的代码：import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.sql.SQLContext;
im
浏览 2提问于2016-03-01得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
