使用带引号的字段中包含逗号的数据将CSV文件读取到spark中

文章/答案/技术大牛

发布

2回答

pyspark或sparklyr:使用包含换行符的文本读取csv；使用"|“分隔

csv、apache-spark、pyspark、delimiter、sparklyr

我正在尝试将一个大的(约20 GB) csv文件读取到Spark中。该文件有一个字段，其中包含带换行符(\n)的文本，并且文本没有用引号括起来。文件中有一个竖线分隔符("|")，表示新行开始的时间。我可以使用以下代码在pandas中读取此文件，但我希望<e

浏览 66提问于2021-01-29得票数 0

1回答

在逗号分隔的文件中使用逗号

vb.net、csv、datagridview

我有一个导入csv文件的vb项目，其中一些数据包含逗号。带逗号的字段用双引号引起来。我正在从csv的标题行创建一个datagridview，然后将文件的其余部分导入到dgv中，但是带有逗号的字段会导致问题。字段的<

浏览 0提问于2018-11-15得票数 1

1回答

scala、csv、apache-spark

我在一个文件(data.csv)中有CSV数据，如下所示： lat,lon,data35.657285, 139.749380, "1,2,3spark shell命令： spark.read.option("header", true).option("escape", "\"").csv("da

浏览 29提问于2019-12-23得票数 1

回答已采纳

2回答

用不匹配的引号读取文本文件

r、csv

我有一个大的(>1GB) CSV文件，我正试图读取到R中的一个数据帧中。解决这个问题的最好方法是什么？我目前的计划是使用像awk这样<em

浏览 9提问于2013-07-31得票数 1

回答已采纳

1回答

Python-to_csv

python、pandas、amazon-redshift

目前，我正试图使用to_csv将数据文件写入csv。数据的输入和输出如下。我如何编写to_csv以确保带逗号的字段仍然是双引号，而带有凯蒂的行则不会得到额外的双引号？Katie_"Appleseed"Title "Johnny,Appleseed&q

浏览 3提问于2018-01-02得票数 0

回答已采纳

1回答

fread:如何在字段值中内联分隔符？

r、csv、escaping、data.table

", sep=",", header=T)，而fread在下面的演示中不能工作，因为它引用了分隔符。我们现在集中在data.table和fread上，read.csv太慢了。我有一个csv文件，其中逗号作为字段值分隔符，点作为小数点。文件MyFile.csv有带逗号和点的字段名，例如"Product.Apple.Green,Purple&qu

浏览 0提问于2017-01-20得票数 0

回答已采纳

4回答

将包含偶尔使用引号的.CSV文件导入MS Access

vba、csv、ms-access、adodb

我正在将数据从.csv文件导入/插入到MS数据库。.csv文件中的一些字段中有引号，其他字段则没有(如果字段包含逗号，则字段位于引号内)。事实上，只有一些字段包含引号，这会导致导入跳过每一行，其中包含带有

浏览 2提问于2020-07-22得票数 2

回答已采纳

1回答

如何使用python在Apache中读取带有外壳的CSV文件？

python、apache-beam、apache-beam-io

我正在读取一个用逗号分隔的CSV文件，其中的字段用双引号括起来，其中一些字段的值中也有逗号，如："abc","def,ghi","jkl"。我们是否可以使用Apache将该文件读取到PCollection中？

浏览 2提问于2019-09-11得票数 4

回答已采纳

1回答

Spark忽略字符串中的逗号

apache-spark

尝试通过spark会话加载csv，但遇到在.i.e中包含双引号和逗号的字符串问题。"""A"" STAR ACCOUNTING,& TRAINING SOLUTIONS LIMITED""""A"" STAR ACCOUNTING& TRAINING S

浏览 19提问于2018-02-07得票数 1

回答已采纳

2回答

格式化包含HTML的CSV文件以导入到Excel

excel、csv、export

我想从我的应用程序中导出一个CSV文件，以便导入到Excel (或任何其他支持CSV文件的电子表格)中。无论如何，我的表格中的一个单元格具有丰富的内容(即HTML)，当然，这些内容可以包含逗号以及其他HTML字符和格式。我意识到Excel“可以”处理HTML格式的文本，但将其导出为CSV往往会使导入的数

浏览 3提问于2010-06-16得票数 5

5回答

使用可选文本限定符的大容量插入

c#、sql、sql-server、csv、bulkinsert

我正在使用bulk insert将csv导入数据库。它是逗号分隔的csv文件。所有字段都没有文本限定符。但有些字段可能包含逗号作为数据的一部分。例如，地址字段值。这些值用双引号括起来。这些双引号仅在字段值中包含逗号时才会

浏览 0提问于2009-09-04得票数 2

回答已采纳

1回答

在Python中读取字段内带有逗号的CSV文件

python、csv

我需要读取一个CSV文件，该文件中的字段包含逗号，因此我将包含逗号的字段用双引号引起来，例如：但是，当我尝试用Python读取文件时，我得到了用逗号分隔的字段<

浏览 1提问于2011-11-29得票数 27

回答已采纳

2回答

如何解析大CSV文件的方式，是健壮的不关闭双引号字符？

java、parsing、csv

我正在尝试解析大型CSV文件(这里的大意味着CSV文件通常比主内存大)。我将CSV逐行处理为一个流，这允许我处理那些大型文件。定义了双引号字符，将后面的所有内容看作是一次争吵(因此可以转义分隔符)： "aaa"

浏览 9提问于2015-05-19得票数 4

回答已采纳

1回答

如何防止pyspark在以JSON对象为值的csv字段中将逗号解释为分隔符

python、csv、pyspark

我正在尝试使用pyspark版本2.4.5和Databrick的星火- csv模块读取一个逗号分隔的csv文件。csv文件中的一个字段有一个json对象作为其值。csv的内容如下header_col_1, header_col_2, header_col_3one, {“ke

浏览 6提问于2020-07-22得票数 2

3回答

生成CSV创建问题，因为我在数据中有引号或逗号

ruby-on-rails、ruby、ruby-on-rails-3、csv

在我的result.csv.erb中，我遇到了在结果中的一些列中创建csv的问题，我得到了数据溢出。我有一个名为title的列，它的格式可以是Son's of fortune或Love,Fear,Hatred。在第一种情况下，出于某种原因，我在结果中得到“In my result。在另一种情况下，数据被拆分，就像默认的:col_sep一

浏览 2提问于2013-04-05得票数 1

回答已采纳

1回答

使用带有多个双引号的SSIS将csv文件导入Server

sql-server、csv、ssis、etl

在尝试使用SSIS包将csv文件导入Server表时，出现了一个非常特殊的情况。csv文件中的数据可以包含双引号和逗号。因此，带有逗号的数据是双引号，双引号是用额外的双引号转义的。我已经使用文本限定符成功

浏览 0提问于2017-11-18得票数 3

1回答

将我的行中包含逗号的CSV文件导入mongoDB

mongodb、csv

我真的希望这个问题以前没有人问过，也没有人回答过，但是我找不到一个明确的答案，所以就这样吧。我正在尝试将CSV文件导入mongoDB集合。CSV文件包含单词定义，其中通常包含逗号。我希望能够在mongodb中使用逗号存储这些数据点，并且能够在javascript应用程序中使用逗号读取它们。当我将csv导入到

浏览 10提问于2020-01-13得票数 0

4回答

如何使用Apache解析数据中包含\n的CSV？

scala、csv、apache-spark

我有一些CSV文件，其中包含数据本身的\n字符。我试图在Apache Spark 2.2中读取这些文件，但是Spark无法正确读取数据。第二排

浏览 0提问于2018-02-14得票数 2

回答已采纳

5回答

从csv文件读取时忽略逗号

java、opencsv

我有一个csv文件，它有5列，由"，“分隔。我试着使用Opencsv，但出现了同样的问题。

浏览 1提问于2013-04-15得票数 2

回答已采纳

2回答

如何在CSV文件中将逗号作为普通文本写入？(双引号方法无效)

python、csv

我使用Python在CSV文件中输出一些数据。它绝对是在CSV文件中，我不能使用其他任何东西，这就是我奉命做的。逗号必须用作分隔符，但有时数据包含逗号，因此我在字符串周围放置双引号，并将它们放在一个字段中。到目前为止，这是很好的，但是当数据也包含</

浏览 1提问于2014-05-29得票数 0

回答已采纳

点击加载更多

pyspark或sparklyr:使用包含换行符的文本读取csv；使用"|“分隔

在逗号分隔的文件中使用逗号