3回答
拆分巨大的CSV文件
、、、
我有一个大约20 GB的巨大的csv文件。它有5,000列和2,500,000行。我想把其中的每一列都写到一个文件中。我已经尝试过FOR循环，但它相当慢。我的代码如下：mkdir cols echo $i
浏览 21提问于2016-09-04得票数 2
回答已采纳
3回答
是否可以拆分一个巨大的CSV文件并指定分隔符以用于将来生成的文件。这是我的命令行： split -l 1000 original.csv --additional-suffix=.csv
浏览 23提问于2019-12-17得票数 0
回答已采纳
2回答
我需要每天分割包含50K+列的巨大(>1GB) CSV文件。但我被米勒的文件卡住了。如何将一个CSV拆分为N N 较小的CSV文件，其中N是源文件中的许多行？
浏览 5提问于2019-04-15得票数 3
回答已采纳
嗨，我有一个巨大的14 of的CSV文件，其中的条目跨越多行，并希望有一个简单的方法来拆分它，BTW拆分命令将不起作用，因为它不知道有多少列在一行上，并将它剪切错误。
浏览 26提问于2020-09-25得票数 0
回答已采纳
我有一个处理csv文件并将它们作为记录插入到数据库中的路由。由于它是一个巨大的csv文件，而Camel csv-splitter耗尽了内存，我们不得不编写我们自己的拆分器。我使用ProducerTemplate编写了拆分器。处理csv的路由看起来有点像这样： <
浏览 3提问于2012-11-18得票数 0
1回答
我不得不分割一个巨大的csv文件，现在我想处理其中的每一个，然后堆栈。然而，我不知道如何让R读i。for (i in 3:3) {}
**cannot open file 'F:data
浏览 0提问于2019-12-05得票数 1
回答已采纳
目前，我们的Couchbase存储桶中有数千个文档，我们希望将它们导出为csv (或json)格式以供进一步使用。cbtransfer <e
浏览 2提问于2021-03-18得票数 1
我想从一个巨大的csv文件中读取，通过将值拆分为"，“将每一行分配给数组。最后，我的目标是有一个数组(行)来保存这些值。到目前为止我的代码是这样的：
val file = "/home/tolga/Desktop/mics18-2/big-data/homework2/covtype.csv/data-10.csv&q
浏览 0提问于2018-03-23得票数 0
回答已采纳
3回答
每个月我们都会收到一个大于2 2GB的发票文件，我们的印刷厂有1.1 2GB的限制，目前所有这些过程都是手工完成的。这个应用程序的第一步是能够将这些巨大的2 1GB文件分成有限的1 1GB文件，这样它就不会破坏每个CSV条目，并且每个文件从头到尾都是可读的，而不会破坏任何数据。我如何将文件拆分给我，以满足上述要
浏览 1提问于2011-03-08得票数 0
回答已采纳
我有一个巨大的.txt文件，名为SDN_1，其行数超过100万行。我想用R将这个文件分割成更小的.txt文件(每行10,000行)。我使用这段代码将文件加载到R中：然后，我使用了以下代码来拆分表&
浏览 3提问于2016-10-08得票数 2
回答已采纳
我正在尝试在2D数组中读取一个巨大的CSV文件，一定有更好的方法在一个步骤中拆分行并将其保存到2D数组中：while (<IN>) my
浏览 3提问于2011-10-26得票数 5
3回答
我有一个巨大的20 of文件要复制到cassandra中，当然我需要处理错误的情况(如果服务器或传输/加载应用程序崩溃)。我需要重新开始处理(或其他节点)，并继续传输，而不是从头开始启动csv文件。使用复制CQLSH命令？使用flume还是sqoop？
浏览 0提问于2016-05-31得票数 2
我有一个巨大的.CSV文件，有关于铁人三项比赛(人，时代，国家，Overalltime...etc)的信息，所有的都是在. ------------- 09:10:22 DNS
，但我希望将表中的该列拆分为两列怎样才是拆分专栏的最
浏览 4提问于2016-11-21得票数 0
回答已采纳
我是azure数据工厂的新手。我有一个txt文件列表(通过拆分一个巨大的CSV文件创建- flights.txt)。txt文件的列表被列为flightaa、flightab、flightac等。只有第一个文件flightaa具有标题。我的所有文件都存储在输入容器的Azure blob存储中。我正在将文件名从flightaa转换为flight_1.
浏览 30提问于2020-12-29得票数 0
回答已采纳
1回答
我有一个巨大的CSV文件，我需要分割成小CSV文件，在每个文件中保留头部，并确保所有记录都被保存。例如，这里是原始文件： 1 01/01/2010 2 01/01/2010 3 06
浏览 0提问于2018-03-29得票数 0
回答已采纳
我有一个Apache NiFi流，在这里我读取了一个巨大的.csv文件。这是一个示例.csvVanderbilt, xxxx, xxxxDuke, xxxx, xxxx
Vanderbilt也就是说，将有一个.csv文件，包含两个Vanderbilt记录(共两行，b/c两个记录)，一个文件用于Georgetown，一个文件用于Duke。我
浏览 1提问于2018-10-02得票数 1
回答已采纳
1回答
我想从一个巨大的csv文件中读取，通过将值拆分为"，“将每一行分配给向量。最后，我的目标是有一个RDD的向量，其中包含的价值。但是，在Seq之后，我得到了一个错误：val file = "/data.<
浏览 0提问于2018-03-24得票数 1
回答已采纳
1回答
我每天必须循环遍历一个大约有50.000行的文件，以生成报告并将这些数据记录导入我们的数据库$csv_import = Import-Csv $csv_file -Delimiter ";" -Encoding "default"
function Import-
浏览 0提问于2019-01-16得票数 0
我正在做一个lambda，它将一个登陆到Bucket-A(源)的CSV文件转换为NDJSON，并将其移动到Bucket-B(目标)。下面的逻辑对于小文件来说工作得很好，但是我的CSV文件预计会超过200MB，有些文件大约是2.5 MB，即使当lambda设置为最大超时时，这个逻辑也会超时。我在看一篇文章，它谈到使用lambda tmp空间直接将信息写入/附加到文件中，该文件可以上传到S3，但tmp空间<em
浏览 59提问于2020-08-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
