2回答
我在csv文件中有一个时间戳字段，我使用spark库将其加载到dataframe中。同一段代码在我的本地机器上使用Spark2.0版本，但在Azure Hortonworks HDP 3.5和3.6上抛出一个错误。
我已经检查过了，Azure HDInsight 3.5也在使用相同的Spark版本，所以我不认为这是火花版本的问题。
import org.apache.spark.sql.types._
val sourceFile = "C:\\2017\\datetest"
val sourceSchemaStruct = new StructType()
.add(&#
浏览 3提问于2017-04-06得票数 9
2回答
我有这样一个简单的CSV文件：
SellerProductID;ProductTextLong
1000;"a ""good"" Product"
下面是用Apache阅读它的尝试：
try (Reader reader = new StringReader(content)) {
CSVFormat format = CSVFormat.DEFAULT.withDelimiter(';').withHeader().withEscape('"').withQuote('"
浏览 8提问于2021-01-13得票数 0
回答已采纳
在使用库解析CSV文件时，我得到了以下错误。
Exception in thread "main" java.io.IOException: (line 2) invalid char between encapsulated token and delimiter
at org.apache.commons.csv.Lexer.parseEncapsulatedToken(Lexer.java:275)
at org.apache.commons.csv.Lexer.nextToken(Lexer.java:152)
at org.apache.commons.csv.CS
浏览 4提问于2014-11-04得票数 33
我的apache用户生成一个文件：
# ls -lsa /tmp/reference_file.csv
76 -rwxrwxrwx 1 apache apache 69921 Aug 16 14:14 /tmp/reference_file.csv
用户和组属于apache，但当我尝试更改它时：
su -l apache -s /bin/bash
-bash-3.00$ whoami
apache
-bash-3.00$ chown explorer:btunix /tmp/reference_file.csv
chown: changing ownership of `/tmp/refe
浏览 14提问于2016-08-16得票数 0
我正在尝试将csv文件导入到xml文件 我看到apache有一些功能要做 from(in)
.to(out)
.split(body().tokenize("\n")).streaming()
.unmarshal().csv(); 但是我有一个"cannot resolve method 'from(java.lang.String)‘错误 当我尝试导入时，我找不到任何camel包 这个可以用： import org.apache.camel.dataformat
浏览 43提问于2019-01-04得票数 1
回答已采纳
我有一个本地CSV "test.csv“，其中第一行是列名，后面的行是数据。我试着用Java在CSV中像这样读取：
Dataset<Row> test_table = sparkSession()
.sqlContext()
.read()
.format("com.databricks.spark.csv")
.option("header", "true")
.option("inferSchema", "true")
.load("t
浏览 0提问于2017-08-29得票数 1
我正试图将csv文件读入星火中的数据文件，如下所示：
我运行火花壳，就像：
星星之弹-- .\spark-csv_2.11-1.4.0.jar;.\commons-csv-1.2.jar (我不能直接下载那些依赖项，这就是我使用--jars的原因)
使用以下命令读取csv文件：
( sqlContext.read.format("com.databricks.spark.csv").option("header"，"true").load("2008.csv")
但是，下面是我得到的错误消息：
scala&
浏览 6提问于2016-04-07得票数 0
回答已采纳
我正在编写一个DSL路由读取不同CSV文件的路由。我正在过滤基于标题的CSV，并对它执行一些操作，比如解封送处理。我的路线：
CsvDataFormat csv = new CsvDataFormat();
//Route 1 for filter CSV based on header
from("file:/home/r2/Desktop/csvFile?noop=true")
.choice().when(body().contains("partyName"))
浏览 0提问于2018-01-29得票数 0
回答已采纳
我正在尝试编写一个批处理脚本，它执行以下操作：
读取插入“startCounter”和“endCounter”变量的参数
具有步长值为1的
将并发CSV文件写入多个目录。所有CSV文件都包含相同的数据，只写入不同的目录。
我已经成功地测试了以下代码。由于某些原因，当我将值“1006000”更改为“00000001”等其他值时，脚本无法工作。
@ECHO OFF
for /l %%x in (1006000,1,1007000) do (
echo %%x
echo %%x>>C:\apache-jmeter-2.11\script\testda
浏览 3提问于2014-09-29得票数 0
回答已采纳
我需要将CSV转储文件上传到菲尼克斯数据库。
不包含任何特殊字符的文件被加载，没有问题。
./psql.py -t TTT localhost /home/isaev/output.csv -d';'
但是，当我试图加载数据字段遇到引号的同一个文件时，我就会得到一个错误。
java.lang.RuntimeException: java.io.IOException: (line 1) invalid char between encapsulated token and delimiter
at org.apache.commons.csv.CSVParser$1.g
浏览 3提问于2020-01-28得票数 0
Apache Drill访问csv文件时出现解析器错误。
hdfs中已存在CSV文件。位置=/metatest
从csv文件中提取数据的apache drill查询。
select * from hdfs.'metaview/CSAT_Score.csv'
已在apache drill中创建的hdfs存储：
{
"type": "file",
"enabled": true,
"connection": "hdfs://XXx.xx.xx.xx:xxxx/",
浏览 1提问于2016-10-26得票数 1
1回答
当我从s3桶将数据加载到pyspark中时，进行一些操作(连接、联合)，然后尝试覆盖前面读取的相同路径(' data /csv/')。我得到了一个错误：
py4j.protocol.Py4JJavaError: An error occurred while calling o4635.save.
: org.apache.spark.SparkException: Job aborted.
at org.apache.spark.sql.execution.datasources.FileFormatWriter$.write(FileFormatWriter.sca
浏览 0提问于2019-06-12得票数 0
2回答
我必须解析一个CSV。我使用Apache common csv来做same.My csv结构数据如下：
Name, ErrorType, Location, Error Detail, Mandatory
ABC , E1 , "XYZ\ABC", "Valid Values: 'X','Y','Z'", REQUIRED
我正在为csv解析器使用以下配置
CSVFormat.DEFAULT.withIgnoreSurroundingSpaces()
浏览 2提问于2018-03-21得票数 0
运行程序时出现以下错误：
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.commons.csv.CSVParser.parse
这是我的SBT汇编文件：
name := "mytest"
version := "1.0"
scalaVersion := "2.10.6"
organization := "org.test"
val sparkVersion = "1.6.1"
val mahoutVer
浏览 1提问于2017-01-28得票数 2
1回答
我正在尝试在derp.csv中阅读--files指定的内容，但没有找到路径。做什么？
spark2-shell --master yarn --files derp.csv
scala> spark.read.csv("file:///derp.csv")
org.apache.spark.sql.AnalysisException: Path does not exist: file:/derp.csv;
at org.apache.spark.sql.execution.datasources.DataSource$$anonfun$14.apply(DataSo
浏览 2提问于2018-03-20得票数 2
回答已采纳
我创建了一个简单的包：
public class Activator implements BundleActivator {
private CamelContext camelContext;
private CsvDataFormat csv = new CsvDataFormat();
public void start(BundleContext bundleContext) throws Exception {
csv.setDelimiter('|');
csv.setQuoteDisabled(true
浏览 75提问于2019-04-01得票数 0
回答已采纳
在一个独立的应用程序中(在java8上运行，Windows10使用spark-xxx_2.11:2.0.0作为jar依赖项)，下面的代码会给出一个错误：
/* this: */
Dataset<Row> logData = spark_session.createDataFrame(Arrays.asList(
new LabeledPoint(1.0, Vectors.dense(4.9,3,1.4,0.2)),
new LabeledPoint(1.0, Vectors.dense(4.7,3.2,1.3,0.2))
), LabeledPoint.clas
浏览 4提问于2016-08-03得票数 1
回答已采纳
1回答
我正在尝试从CSV文件中生成和加载，并出现了CSVPrinter问题。声明如下：
无法解析构造函数的CSVPrinter(java.io.BufferedWriter，org.apache.commons.csv.CSVFormat)“
import org.apache.commons.csv.CSVFormat;
import org.apache.commons.csv.CSVParser;
import org.apache.commons.csv.CSVPrinter;
import org.apache.commons.csv.CSVRecord;
import j
浏览 0提问于2019-05-10得票数 0
此代码仅以一个文件作为输入，但当我传递:-
D://beam//csv//*.csvor D://beam//csv//20*.csv作为抛出:-的参数
Exception in thread "main" org.apache.beam.sdk.Pipeline$PipelineExecutionException: java.nio.file.InvalidPathException: Illegal char <*> at index 17: D:\\beam\\csv\\20*.csv
at org.apache.beam.runners.direc
浏览 0提问于2020-04-17得票数 0
2回答
我有一个包含以下模式和数据示例的CSV文件：
userId,movieId,tag,timestamp
28,63062,angelina jolie,1263047558
我有下面的代码来读取这个文件。
import org.apache.spark.sql.types._
val inputPath = "FileStore/tables/o8pa07nd1495067426592/tags.csv"
val customSchema = StructType(Array(
StructField("userId", StringType, tr
浏览 21提问于2017-06-24得票数 0
我正在尝试将DataFrame写入HDFS上的CSV文件，如下所示
df.write()
.format("com.databricks.spark.csv")
.option("header", "true")
.save("/user/cloudera/csv");
但是我得到了以下错误
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/csv/CSVFormat
...
Caused by:
浏览 0提问于2018-06-20得票数 0
当我试图使用spark 1.6.1读取CSV文件.I m时遇到错误，下面是我的代码
val reftable_df = sqlContext.read
.format("com.databricks.spark.csv")
.option("header", "true")
.option("inferSchema", "true")
.load("/home/hadoop1/Reference_Currencyctoff.csv")
reftable_
浏览 4提问于2016-11-21得票数 1
回答已采纳
2回答
当我在将我的代码从Spark2.0迁移到2.1时，我无意中发现了一个与Dataframe保存相关的问题。
这是密码
import org.apache.spark.sql.types._
import org.apache.spark.ml.linalg.VectorUDT
val df = spark.createDataFrame(Seq(Tuple1(1))).toDF("values")
val toSave = new org.apache.spark.ml.feature.VectorAssembler().setInputCols(Array("value
浏览 3提问于2017-05-24得票数 3
回答已采纳
1回答
我需要为每个数据框行创建一个dataframe。 以下代码将创建包含Dataframe信息的单个csv import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.SparkConf
import java.sql.Timestamp
import org.apache.spark.sql._
import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType, LongType, DoubleType};
impo
浏览 11提问于2019-06-19得票数 0
我正试图用齐柏林飞艇( Zeppelin )在我的笔记本电脑上使用apache 编写火花代码。除了从本地磁盘读取文件外，一切正常工作，例如，当我尝试将csv文件读入Spark
val df = spark.read.csv("/User/myname/documents/data/xyz.csv")
我得到以下错误：
org.apache.spark.sql.AnalysisException: Path does not exist: file:/User/myname/documents/data/xyz.csv;
at org.apache.spark.sql.exe
浏览 0提问于2018-11-16得票数 0
回答已采纳
我正在尝试在我的开发环境中使用独立安装的Spark 2.2进行一些测试。
我使用databricks库读取csv文件，然后创建临时视图。在我使用spark.sql()运行select语句之后。如果我在该DataFrame上执行collect()或任何其他稍后需要生成执行器操作，我将收到NullPointerException。
我使用spark-shell BTW。
这是我使用的代码：
val dir = "Downloads/data.csv"
val da = spark.read.format("com.databricks.spark.csv").opt
浏览 0提问于2017-09-13得票数 0
我正在从CSV文件中读取DataFrame，其中第一列是事件的日期和时间。
2016-08-08 07:45:28+03
在下面的代码中，是否可以在架构定义中指定如何将这些字符串转换为日期？
val df:DataFrame = spark.read.options(Map(
"header" -> "true"
)).schema(StructType(
StructField("EventTime", DataTypes.DateType, false) ::
Nil
)).csv("C:/qos1h
浏览 1提问于2016-08-11得票数 5
回答已采纳
1回答
星火csv为^A(\001)
、、、、
我正试图用pyspark中的^A(\001)分隔符读取csv文件。我已经通过了下面的链接，正如在链接中提到的，我尝试了相同的方法，它正在按预期的方式工作，即我能够读取csv文件并进一步处理它们。
链接：
工作
spark.read.option("wholeFile", "true"). \
option("inferSchema", "false"). \
option("header", "true"). \
浏览 3提问于2018-04-19得票数 5
I创建CSV to XLSX app - My first question Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/poi/xssf/usermodel/XSSFWorkbook
at com.test.csv2xlsx.Csv2Xlsx.<init>(Csv2Xlsx.java:35)
at com.test.csv2xlsx.Csv2Xlsx.main(Csv2Xlsx.java:49)
Caused by: java.lang
浏览 82提问于2019-05-24得票数 1
回答已采纳
我正尝试在jenkins上使用以下脚本在windows批处理命令下运行J抄测试：
C:\Users\udeme.bassey\Downloads\apache-jmeter-5.4.1\apache-jmeter-5.4.1\bin>jmeter -jjmeter.save.saveservice.output_format=csv -n -t -l "C:\Users\udeme.bassey\Downloads\apache-jmeter-5.4.1\apache-jmeter-5.4.1\bin\Reports\VVjenkinsreport.csv“
Jenkin的控制台
浏览 3提问于2021-11-05得票数 0
回答已采纳
2回答
我对HDFS有一个奇怪的问题。虽然对现有文件的操作在访问HDFS集群的所有客户端上都很有魅力，但在一个客户机上却失败了：
工作主持人：
[user@host1]$ hadoop fs -ls /path/to/file.csv
found 1 items
-rw-r--r-- 3 compute supergroup 1628 2013-12-10 12:22 /path/to/file.csv
[user@host1]$ hadoop fs -get /path/to/file.csv /tmp/test.csv
[user@host1]$ cat /tmp/test.cs
浏览 0提问于2013-12-10得票数 0
回答已采纳
当我运行一个简单的Spark程序，试图从HDFS读取CSV时，我得到了一个NoSuchMethodError。
错误：
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext.load(Ljava/lang/String;Lscala/collection/immutable/Map;)Lorg/apache/spark/sql/DataFrame;
代码：
import org.apache.spark.SparkContext
import org.apa
浏览 3提问于2017-02-04得票数 1
我有一个csv case类，我想把它转换成RDDsome文件。我使用的是spark 1.6和scala 2.10.5。 stationDetails.toDF.coalesce(1).write.format("com.databricks.spark.csv").save("data/myData.csv") 给出错误 Exception in thread "main" java.lang.ClassNotFoundException: Failed to find data source: com.databricks.spark.csv
浏览 38提问于2019-06-28得票数 0
我正在阅读，关于分区，他说
默认情况下，为每个HDFS分区创建一个分区，默认为64 is。
我对HDFS并不十分熟悉，但是我遇到了一些复制这条语句的问题。我有一个名为Reviews.csv的文件，它是大约330 of的亚马逊食品评论文本文件。给定默认的64‘d块，我希望使用ceiling(330 / 64) = 6分区。但是，当我将文件加载到我的Shell中时，我得到了9个分区：
scala> val tokenized_logs = sc.textFile("Reviews.csv")
tokenized_logs: org.apache.spark.rdd.R
浏览 1提问于2018-12-01得票数 1
回答已采纳
1回答
我正在尝试将压缩的csv文件(.bz2)读取为DataFrame。我的代码如下
// read the data
Dataset<Row> rData = spark.read().option("header", true).csv(input);
当我在IDE中尝试时，这是可行的。我可以读取并处理数据，但是当我尝试使用maven构建数据并在命令行上运行它时，我会得到以下错误
Exception in thread "main" java.lang.ClassNotFoundException: Failed to find dat
浏览 2提问于2017-04-23得票数 1
回答已采纳
1回答
问题
Spark正在将字符串值读取为数字类型，并抛出异常。这个值应该作为我的模式中指定的字符串类型来读取。
输入
我正在使用的数据集可以从免费下载(240MB下载，912MB解压，需要一个免费帐户)。我正在从loan.csv文件中读取。
细节
即使值major_purchase是列purpose中的字符串值，我也会得到异常java.text.ParseException: Unparseable number: "major_purchase"。我已经在我的模式中显式地指定此列的类型为StringType：StructField("purpose", Strin
浏览 2提问于2017-08-06得票数 2
我正在尝试应用MLlib中提供的ALS矩阵分解。下面是我的代码
from pyspark.sql.types import StringType
from pyspark import SQLContext
sqlContext = SQLContext(sc)
t1 =
sqlContext.read.csv("/user/hadoop/personalization/test1.csv",header=False)
from pyspark.mllib.recommendation\
import ALS,MatrixFactorizationMode
浏览 0提问于2017-04-13得票数 0
我试图使用intellij作为IDE读取kotlin中的csv文件。我添加了依赖项(Commons-CSV-1.6-bin.zip，link-)并导入了CSVParser。读取文件时会出现这样的错误
NoClassDefFoundError: org/apache/apache/csv/CSVParser
浏览 1提问于2019-01-25得票数 0
回答已采纳
我正在尝试为Google Cloud Dataflow创建自己的模板，以便可以从GUI执行作业，从而使其他人更容易执行。我遵循了教程，创建了我自己的PipelineOptions类，并用parser.add_value_provider_argument()方法填充它。然后，当我尝试使用my_options.argname.get()将这些参数传递到管道中时，我得到一个错误，告诉我该项不是从运行时上下文中调用的。我不明白这个。args不是定义流水线图形本身的一部分，它们只是输入文件名、输出表名称等参数。
下面是代码。如果我硬编码输入文件名、输出表名称、写部署和分隔符，它就能工作。如果我用它们的
浏览 3提问于2018-07-11得票数 2
2回答
我试图使用apache_beam.dataframe.io.read_csv函数读取在线源代码，但没有成功。如果文件托管在google存储'gs://bucket/source.csv'上，但无法从'https://github.com/../source.csv'获取文件，一切都能正常工作。
from apache_beam.dataframe.io import read_csv
url = 'https://github.com/datablist/sample-csv-files/raw/main/files/people/people-10
浏览 14提问于2022-11-15得票数 0
回答已采纳
1回答
是否可以使用Apache从命令行csv转换为rdf？
是否有可能提供元数据，帮助转换？
用riot进行愚蠢尝试的例子
./apache-jena-3.3.0/bin/riot --base='http://example.com/csvtest/' --syntax=csv --output=ttl csv_dbs_examples/csv_inputs/CDs.csv
java.lang.NullPointerException
at org.apache.jena.ext.com.google.common.base.Preconditions.check
浏览 3提问于2017-05-14得票数 0
回答已采纳
? 已尝试加载列之间包含空格的csv文件。 csv的第1行： 058921107 039128053 20200701-290640-0 20200701 000000BORGWARNER ITHACA LLC DBA BORGWARNE 489140-10001 LDD INVENTORY
浏览 27提问于2020-08-26得票数 0
我在写MapReduce程序时遇到了这样的问题，我的输入文件被程序读了两次。我已经看过了这个答案，但不幸的是它没有帮助
我的Mapper类是：
package com.siddu.mapreduce.csv;
import java.io.IOException;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.Writable;
import org
浏览 0提问于2014-03-18得票数 0
我正在使用ApacheJ抄4.0版本。我已经在Gui模式下创建了一个.Using脚本，下面的步骤在.csv文件中执行了jmter script.It温柔报告。
执行脚本的步骤
1.打开命令promt 2.移动到jmter bin文件夹。3.执行以下命令
C:\apache-jmeter-4.0\apache-jmeter-4.0\bin>jmeter -n -t C:\apache-jmeter- 4.0\apache-jmeter-4.0\bin\examples\Post_call_24_FirstStep_10.jmx -l C:\apache-jmeter-4.0\apache-
浏览 0提问于2018-03-10得票数 1
回答已采纳
在Apache Beam documentation的USING DATAFRAMES部分，我对代码做了一些小的修改： from apache_beam.dataframe.io import read_csv
with beam.Pipeline() as p:
df = p | read_csv("test.csv")
agg = df[['A', 'B']].groupby('A').sum()
agg.to_csv('output_dummy') 我的test.csv看起来像这样 ? 它
浏览 13提问于2021-08-25得票数 0
2回答
我想做一件简单的事。我想把所有的事件统计成2分钟的时间戳。
效果很好。
df = df.groupBy(window(df["time_value"], "2 minutes")).count()
df.show()
+--------------------+-----+
| window|count|
+--------------------+-----+
|[2018-04-10 15:00...| 770|
|[2018-04-10 00:42...| 100|
|[2018-04-10 04:14...| 54|
|[2018-04-06 15:
浏览 1提问于2018-05-15得票数 1
回答已采纳
1回答
我试图使用从星火外壳中的aws s3读取csv。
下面是我所做的步骤。使用以下命令启动星火外壳
bin/火花-shell-com.databricks包:spark csv_2.10:1.2.0
在shell中，执行以下scala代码
scala> val hadoopConf = sc.hadoopConfiguration
scala> hadoopConf.set("fs.s3.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem")
scala> hadoopConf.
浏览 1提问于2015-08-18得票数 0
回答已采纳
我对spark和scala都很陌生，并且正在尝试加载一个csv，类似于：
A,09:33:57.570
B,09:43:02.577
...
我在scala.sql.types中看到的唯一时间类型是TimestampType，所以我用以下内容加载csv：
val schema = StructType(Array( StructField("A", StringType, true), StructField("time", TimestampType, true)))
val table = spark.read.option("header"
浏览 2提问于2016-10-07得票数 1
回答已采纳
2回答
我正在做一个小的scala程序，它把csv转换成地板。我使用的数据库火花-csv。这是我的build.sbt
name: = "tst"
version: = "1.0"
scalaVersion: = "2.10.5"
libraryDependencies++ = Seq(
"org.apache.spark" % % "spark-core" % "1.6.1" % "provided",
"org.apache.spark" % % "s
浏览 2提问于2017-04-07得票数 0
我已经从JMeter插件管理器下载了"Command-Line Graph Plotting“和"jpgc Standard Set”。
我从Jmeter/lib/ext路径执行以下命令:命令1: java -jar CMDRunner.jar --tool Reporter --generate-csv C:\jtl\Aggregate_Report.csv --input-jtl C:\jtl\file1.jtl --plugin-type AggregateReport -cp "cmdrunner-2.0.jar;JMeterPlugins-Extras.jar
浏览 1提问于2016-11-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
