2回答
星火-斯卡拉与卡桑德拉
、、、
现在，我的项目ETL需要火花、Scala和Cassandra。我在/usr/local/ Cassandra /*中使用ubuntu系统配置了Cassandra，之后我安装了Spark和Scala。现在我正在使用Scala编辑器开始我的工作，我只在登陆位置创建了一个加载文件，但之后我试图连接scala中的cassandra，但是我没有得到帮助，我们如何连接和处理目标数据库中的数据？
浏览 3提问于2017-04-18得票数 0
回答已采纳
1回答
")\ .options(table="reads_by_received_date",keyspace="keyspace")\
.option("spark.cassandra.auth.user
浏览 28提问于2020-08-28得票数 0
我能读懂Cassandra的表格。我根据spark数据帧模式创建了Cassandra表。但是当我试图将spark数据帧写入Cassandra表时。我得到了以下错误。环境: pyspark 3.0.1本地shell，Cassandra 3.11。(V2CommandExec.scala:54) at org.apache.spark<
浏览 76提问于2021-07-02得票数 0
我创建了一个Cassandra表，如下所示(在cqlsh中) CREATE TABLE blog.session( id int PRIMARY KEY, visited text); 我将数据写入Cassandra，结果如下所示 id | visited .master("local")
.a
浏览 27提问于2020-08-19得票数 1
回答已采纳
我有大的Cassandra表(有大量的列)，我想与火花处理。我只希望将选定的列加载到Spark中(在Cassandra服务器本身上应用选择和过滤) sc.cassandraTable("test","devices").select
浏览 0提问于2018-03-06得票数 1
而不是下面的读代码，我想用JDBC来阅读。hosts ={"spark.cassandra.connection.host":'node1_ip,node2_ip,node3_ip',data_frame=sqlContext.read.format("org.apache.spark.sql.<e
浏览 7提问于2022-09-12得票数 1
1回答
在给Cassandra表写信时，我得到以下关于写入的行数和所用时间的信息。从日志中，我可以看到它来自TableWriter类。如何在不调用RDD操作的情况下从Cassandra中找到相同的信息？我不知道用哪种方法来阅读。代码将火花数据写入卡桑德拉表 .format("org.apache.spark.sql.cassandra") .options(Map("keyspace" -> "
浏览 8提问于2020-04-20得票数 0
1回答
除了PySpark之外，我还使用了Python3.7和Cassandra： spark = SparkSession.builder \.appName('SparkCassandraApp') \ .co
浏览 4提问于2019-07-26得票数 0
我在2.3.0版本中使用spark-cassandra-connector_2.11。运行最新的Spark 2.3.0，尝试从Cassandra (3.0.11.1485) DSE (5.0.5)读取数据。没有问题的示例阅读：spark.ca
浏览 1提问于2018-06-07得票数 0
Spark版本: 2.0.2.6 Cassandra版本: cqlsh 5.0.1 | Cassandra 3.11.0.1855 | DSE 5.1.3 | CQL spec 3.4.4 |本地协议v4我正在尝试从CSV读取并写入Cassandra Table。import com.datastax.spark.connector._import org.apache.spark.sql:
浏览 1提问于2017-09-30得票数 1
Requirements:-test_table ( uid text, value map<text, timestamp>,
浏览 1提问于2017-11-14得票数 0
3回答
作为apache spark上的新手，在Spark上获取Cassandra数据时遇到了一些问题。,"Open",dates); conf.setMaster(&q
浏览 0提问于2015-06-30得票数 1
secure-connect-dbtest.zip' .config('spark.cassandra.connection.config.cloud.path',secure_bundle_file)\
.config('spark.cassandra.auth.username', 'test'
浏览 12提问于2020-08-27得票数 1
火花-卡桑德拉-连接器1.0.0
com.datastax.driver.core.exceptions.NoHostAvailableExceptionCassandra是默认安装(根据cassandra.yaml，cql端口9042 )。我正在尝试在本地连接(“本地”)。
浏览 3提问于2014-09-19得票数 5
回答已采纳
当数据被插入到表中时，我正在尝试立即读取cassandra表。该表将时间戳作为主键之一(而不是分区键)。我们有一个spark任务，每15秒读一次kafka，写一次cassandra。当spark作业开始插入数据时，服务器组件几乎立即从cassandra读取数据。由于插入到cassandra的数据非常庞大，我们正在分页读取数据。在阅读页面时，我们观察到很少有记录被跳过并到达最后一条记录。
但是，当我们在所有已插入的数据上运行按页读取数据的相同逻辑时，它工作得很好(没有跳过
浏览 2提问于2016-05-13得票数 0
我使用的是卡桑德拉数据库( cassandra )中的spark-cassandra-connector_2.11-2.3.0.jar和吡火花。我使用以下方法创建了sparkSession： """
浏览 6提问于2020-06-10得票数 1
回答已采纳
/.ivy2/cache/com.datastax.spark/spark-cassandra-connector_2.10/jars/spark-cassandra-connector_2.10-1.2.1.jar --conf spark.executor.extraClassPath=/home/ubuntu/.ivy2/cache/com.datastax.spa
浏览 1提问于2016-03-08得票数 1
回答已采纳
我们正在尝试将我们的RDD保存到Cassandra，它将有近40亿行。虽然有些数据会持久化，但对于某些分区，我们会在spark日志中看到这些错误日志。我们已经为cassandra连接器设置了这两个属性。我们还需要做一些其他的优化吗？另外，阅读器的推荐设置是什么？我们已将它们保留为默认设置。spark.cassandra.output.batch.size.rows=1
spark.cassandra.output.concurrent.writes=1
浏览 0提问于2015-01-08得票数 1
1回答
allowed when using the Spark Cassandra Connector.spark.cassandra.connection.ssl.enabled is not a valid Spark Cassandra ConnectorNo likely matches found
浏览 8提问于2015-07-09得票数 3
下面是我的表1： key1: String // (primary key),)case class Table2( key2: String // (primary key))我的代码： s => {
.... //
浏览 14提问于2021-05-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
