spark Cassandra连接器https://spark.apache.org/docs/2.2.0/structured-streaming-kafka-integration.html的文档 Dataset<Row> df = spark.format("kafka")
.option("kafka.bootstrap.servers", "host1:port1,host2如何在其上应用模式</em
浏览 17提问于2019-04-12得票数 0
我可以很容易地在Scala中将DataFrame转换为Dataset：val df = ctx.read.json("/tmp/persons.json")ds.printSchemaDataFrame df = ctx.rea
浏览 9提问于2016-01-07得票数 16
回答已采纳
在这样做的时候，我遇到了一个问题，因为流是基于SQL的，而cassandra连接器是在rdd上的(这里我可能错了，请纠正我)，我很难做到这一点。下面是代码StructType getSchema(){ new<Row>, Long>() { public void call(Data
浏览 3提问于2020-06-30得票数 2
回答已采纳
我正在尝试将spark-cassandra使用的项目从scala_2.11重构为java_1.8。现在我正在尝试将代码重构到java 1.8中。 我有一些隐含和DataFrame被使用。._import org.apache.spark.sql.DataFrame 现在如何将它们转换成等价的java代码呢？有样品吗？DataFrame的导入不被识别/定义，在Scala2.11上工作得很好，现在它不能工作... 我在这里做错了什么？如何修复它？
浏览 7提问于2019-04-17得票数 0
回答已采纳
我正在使用Java语言处理Apache Spark中的Dataset<Row>，需要对此Dataset中的所有列进行一些数学转换。基本上，其中一个转换是获取存储在此数据集中的所有值的日志，并仍然返回Dataset<Row>。我清楚地知道如何在RDD中的map函数中执行此操作，但是如何在Dataset<Row>中执行此操作
上下文：Dataset<Row>
浏览 0提问于2017-01-04得票数 1
Row是一组有序的键值对。DataFrame是Rows的集合。
DataFrame实际上是什么数据结构？它是一个列表、集合还是其他“集合”？它和SQL一样是一个relation吗？
浏览 9提问于2017-09-28得票数 0
回答已采纳
1回答
如何在Spark中将其转换为时间戳？下面是代码 package sample.spark.com;
import java.util.HashMap;import java.util.Map;
import org.apache.spark.sql.Encoders;
importorg.apache.spa
浏览 29提问于2021-04-07得票数 1
回答已采纳
我有一个基于JSON-数据的Dataset<Row>。现在，我希望基于初始数据集创建一个新的Dataset<Row>，但是添加一个基于HashMap<String, String>数据类型的列，类似于
Dataset<Row> dataset2 = dataset1在创建初始数据集时添加列(withColumn)的想法将确保我希望在MapFunction中更新的列存在<
浏览 0提问于2018-04-22得票数 1
这是我在eclipse启动的weblogic服务器上运行birt报告时得到的错误。它在开发环境(本地)中运行良好。当我在测试服务器上部署时，我得到了这个错误。请任何人帮助我如何解决这个问题。the report.at org.eclipse.birt.report.engine.api.impl.RunTask.doRun(RunTask.<em
浏览 1提问于2014-08-11得票数 3
我有Maven依赖项spark-sql_2.1.0和spark-hive_2.1.0。然而，当我尝试import org.apache.spark.sql.DataFrame时，出现了一个错误。但是导入org.apache.spark.sql.SQLContext是可以的，没有错误。为什么？
浏览 20提问于2017-07-19得票数 4
回答已采纳
我已经在我的项目中包含了System.Linq System.Data和System.Data.SqlClient。它也有所有必要的参考资料。我之前在整个应用程序中都在使用LINQ (主要是通过POCOs和XDocuemnts列表)，这是我第一次看到这条消息。 adapter.Fill(dataset);
if (dataset.TableCount() > 0 && datas
浏览 0提问于2011-01-13得票数 2
回答已采纳
我正在尝试从Dataset<Row>对象创建JavaRDD<Tuple2<Row, Row>>对象。我遵循以下步骤，
使用toDataset()函数的sqlContext与模式转换为数据集。但是，在第一步中，我无法在代码中使用像scala这样的<
浏览 5提问于2020-06-26得票数 4
回答已采纳
Dataset<Row> orignalData = spark .format("kafka") .option("subscribe", "test") .load();
Dataset<
浏览 4提问于2019-10-10得票数 1
回答已采纳
在我的项目中，我在应用collect_list聚合函数之后得到了一个列，它是wrappedArray格式的，我想知道是否存在将该wrappedArray转换为普通数组或列表以便可以迭代该列并在该列中逐行提取值语言：- JAVA使用Apache库dataset.groupBy( "department","salary","tag")
.agg(collect_list(col("
浏览 13提问于2022-11-04得票数 0
在Spark Streaming中，当输入源是csv文件并且我通过套接字(Java)读取它时，将只使用一个string列创建一个Dataset<Row>，并且每行的值包含通过套接字发送的每行。当我知道每一行的格式时，例如csv行的前两个值是Strings，然后是一个integer，依此类推，是否可以声明我的模式并基于该模式创建另一个Dataset<Row>并相应地放置数据？
提前谢谢你。
浏览 0提问于2020-01-22得票数 0
1回答
我正在尝试使用Java连接到我的MySQL数据库。_1, row_2, row_3, row_4 FROM dataset where row_5 is null and row_6 is null limit 100");}表'dataset‘有500万行，并在主索引(row_1、row_2、row
浏览 5提问于2014-08-27得票数 0
1回答
这里有一个类似的问题：Dataset<Row> rowDataset = spark.getSpark().sqlContext().createDataFrame(rowRDD, schema).toDF();Dataset<MyObj> objResult = row
浏览 1提问于2017-08-20得票数 1
回答已采纳
Spark Dataframe :How to add a index Column : Aka Distributed Data Index 我在Apache-spark中有一个现有的数据集，我想根据索引从中选择一些行我找到了下面的方法来添加使用order by的索引： df.withColumn("index", functions.row_number().over(Window.orderBy("a column
浏览 41提问于2019-05-16得票数 2
回答已采纳
CSV中的列数可能会增加，从那时起，新文件中将包含新列。当发生这种情况时，我希望检测更改并自动将该列添加到目标Redshift表中。
我的计划是在源CSV文件上运行Glue Crawler。模式中的任何更改都将在Glue Data Catalog中生成表的新版本。然后，我想使用Java、.NET或其他语言以编程方式读取Glue Data Catalog中最新版本的表的表结构(列及其数据类型)，并将其与Redshift表的模式进行比较。谁能给我举一些使用Java<
浏览 10提问于2018-01-15得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
