如何将csv文件中可用的列名指定为orc文件的标题
将CSV文件中可用的列名指定为ORC文件的标题，可以通过以下步骤实现：
- 首先，确保你已经安装了ORC文件处理工具，如Apache ORC（https://orc.apache.org/）。
- 使用合适的编程语言（如Python、Java）打开CSV文件，并读取文件的第一行，即包含列名的行。将该行的内容保存为一个列表或数组。
- 创建一个ORC文件并设置相应的ORC文件配置，如数据压缩方式、数据类型等。
- 将列名列表作为ORC文件的字段名，并按照数据类型的要求指定每个字段的类型。
- 逐行读取CSV文件的数据，并按照ORC文件配置的字段顺序，将数据写入ORC文件。
下面是一个Python示例代码：
import pyorc
# 打开CSV文件并读取列名
with open('data.csv', 'r') as csv_file:
header = csv_file.readline().strip().split(',')
# 创建ORC文件
schema = 'struct<{}>'.format(','.join('{}:string'.format(column) for column in header))
orc_schema = pyorc.StructRepr(schema)
writer = pyorc.Writer('data.orc', schema=orc_schema, compression='snappy')
# 逐行读取CSV文件的数据，并写入ORC文件
with open('data.csv', 'r') as csv_file:
next(csv_file) # 跳过列名行
for line in csv_file:
data = line.strip().split(',')
writer.write(data)
# 关闭ORC文件写入器
writer.close()在上述示例代码中，我们使用了pyorc库来处理ORC文件，你可以根据自己的编程语言和库的选择进行实现。
推荐的腾讯云相关产品是腾讯云对象存储（COS，https://cloud.tencent.com/product/cos），用于存储ORC文件。你可以将生成的ORC文件上传到腾讯云对象存储中进行保存和管理。
相关·内容
如果没有明确的解决方案，这似乎是一个微不足道的问题。我有一个ORC文件，如果将其表示为CSV文件，将如下所示：
Animal,Name
Dog,Valentino
Cat,Meowser
等等。我可以用下面的代码行读入.orc文件：
df_animals = spark.read.orc(path="animals.orc")
在某种意义上，它生成一个有效的数据帧，但它包括数据中的标头，就像它们是数据一样，生成以下数据帧：
+---------+---------------+
| _c0| _c1|
+---------+-----------
浏览 14提问于2018-08-01得票数 2
回答已采纳
1回答
我是PySpark的新手。我有一个列名中包含连字符的csv文件。我可以成功地将文件读取到数据帧中。然而，当将df写入orc文件时，我得到一个错误，如下所示-
java.lang.IllegalArgumentException:缺少必需的字符':‘at’结构
当我通过删除连字符来重命名列时，我可以将数据帧写入orc。但是我需要列名有连字符，因为我想把这个orc附加到列名中有连字符的现有orc上。
有没有人能帮我一下？任何帮助都将非常感谢！
浏览 32提问于2021-02-13得票数 0
我在本地机器上有一个ORC文件，我需要它的任何合理格式(例如CSV、JSON、YAML、.)。
如何将ORC转换为CSV？
浏览 1提问于2019-02-01得票数 7
回答已采纳
正在使用ORC文件格式将从一个azure存储帐户分隔到另一个存储帐户的csv文件管道(X)推送到另一个存储帐户，但它引发一个错误：
Error found when processing 'Csv/Tsv Format Text' source 'time.csv' with row number 122277 found more columns than expected column count
如何解决此错误？
浏览 4提问于2019-10-02得票数 1
我是否可以将ORC文件视为类似于包含数据的列标题和行标签的CSV文件？如果是这样，我能以某种方式将其读入一个简单的pandas数据帧吗？我对Hadoop或Spark这样的工具不是很熟悉，但仅仅为了在Python中查看本地ORC文件的内容，有必要理解它们吗？
文件名为someFile.snappy.orc
我可以在网上看到spark.read.orc('someFile.snappy.orc')可以工作，但即使在import pyspark之后，它也会抛出错误。
浏览 2提问于2018-10-19得票数 8
1回答
我需要将ORC格式的文件直接写到S3桶中。该文件将是对数据库的查询的结果。我知道如何将CSV文件直接写入S3，但无法找到一种直接用ORC编写的方法。有什么建议吗？
浏览 0提问于2019-05-05得票数 0
我是Python和Stackoverflow的新手，所以请耐心等待。我有一个大约140k行的大型数据文件存储为csv。该文件被分成基于年龄组的部分，即。16-24，24-50等。在每次休息时，都会有关于受试者的年龄和性特征的信息线。在将csv加载到pandas之后，我尝试通过使用iloc划分年龄组的信息行来将数据帧拆分成几个较小的数据帧。现在我有了一个数据帧列表。我可以访问列表中的每个数据帧，没有问题，但是(我猜是由于信息行的原因) pandas在一列中显示所有信息。有没有一种方法可以格式化输出，并让pandas显示列标题，并将信息行放入列标题上方的标题中？我很抱歉，如果这不是非常清楚，请随
浏览 7提问于2019-05-29得票数 1
回答已采纳
我有一个包含兽人档案的目录。我正在使用下面的代码创建一个DataFrame
var data = sqlContext.sql("SELECT * FROM orc.`/directory/containing/orc/files`");
它使用此架构返回数据帧。
[_col0: int, _col1: bigint]
当所期望的模式是
[scan_nbr: int, visit_nbr: bigint]
当我以拼花格式查询文件时，我得到了正确的模式。
我缺少任何配置吗？
添加更多详细信息
这是Hortonworks分发版HDP 2.4.2 (星火1.6.1，Hadoop 2.
浏览 13提问于2016-07-30得票数 3
回答已采纳
使用CSV文件复制到Snowflake会根据需要加载JSON列。当使用ORC文件加载相同的JSON列时，我们看到标题和额外的双引号。
当加载csv数据时，数据显示为
{
"code":"user"
},
{
"clear": "{"id":"100","add_id":"188","ac_id":"pecid[318]"}"
}
使用ORC加载时，数据显示为
"[
{
""key"&#
浏览 0提问于2019-11-21得票数 0
自9月15日以来，当从驱动器创建数据库表时，BigQuery不再建议使用GOOGLE_SHEET文件格式。取而代之的是新的格式类型: Avro、JSONL、CSV、Parquet、ORC和云数据存储备份。 通过粘贴CSV或Avro格式的电子表格的URL来创建表时，BigQuery会发送错误消息：Failed to create table: Undefined parameter - ERROR_MESSAGE 有人正在处理同样的问题，还是有解决方案？ 最好的
浏览 40提问于2021-09-16得票数 0
我见过
但是distcp的问题是，它会将数据从hdfs移动到gs..and --我的表是ORC格式的。到目前为止，bigquery还声称只支持JSON、CSV、AVRO。
因此，需要帮助将数据从单元表(ORC格式)传输到BigQuery(任意格式)。
浏览 1提问于2018-02-13得票数 2
回答已采纳
我有如下所示的数据：
+---+-----+-------------------+
| x| y| z|
+---+-----+-------------------+
|xyz|12223|A,123@B,456@C,98765|
|abc|12456| A,123|
+---+-----+-------------------+
我把它保存为csv：
index.write.csv("D:\\spark\\tmp\\dd2")
这里有两个问题：
请告诉我如何将列名x，y，z保存到csv的标题中吗？
浏览 8提问于2017-08-24得票数 3
回答已采纳
我正在使用Spark2.0。
我有一个DataFrame。我的代码如下所示：
df.write.partitionBy("year", "month", "day").format("csv").option("header", "true").save(s"s3://bucket/")
当程序执行时，它以下列格式写入文件：
s3://bucket/year=2016/month=11/day=15/file.csv
如何将格式配置为这样：
s3://bucket/2016/11/1
浏览 4提问于2016-11-15得票数 26
回答已采纳
我有一个csv文件，其中只有一行数据没有标题。下面是我将数据导入到dataframe中的代码： df2 = pd.read_csv(path2, header=0) 当我执行read_csv时，它返回以下内容： Empty DataFrame
Columns: [0.940456, 0.077893, 0.840178, 0.668612, 0.923643, 0.641833, 0.845249, 0.361605, 0.453943, 0.695509, 0.825763, 0.503687, 0.617303, 0.276637, 0.636244, 0.075744]
Index:
浏览 12提问于2019-02-06得票数 4
回答已采纳
我必须将csv文件导入excel或直接导入Server数据库。
这是数据格式
列之间用逗号(，)分隔。
字符串括在~和~之间，可以包含逗号(，)
当我试图使用分隔符逗号(，)导入excel时，它会创建额外的列，其中ModelName包含逗号。
这是CSV文件中的一些行，检查最后一项"~Express，~“，它中包含逗号。
~ChromeStyleID~，~Country~，~年份~，~DivisionName~，~SubdivisionName~，~ModelName~ 349645，~US~，2013年，~GMC~，~GMC拾取~，~塞拉利昂2500HD~
349
浏览 7提问于2013-02-06得票数 1
回答已采纳
我已经用下面的配置在雅典娜创建了一个表 CREATE EXTERNAL TABLE `extern` (`FirstName` STRING, `LastName` STRING, `Email` STRING, `Phone` STRING, `AddressLine1` STRING, `City` STRING, `State` STRING, `PostalCode` STRING,
`time_on_page` DECIMAL(10,3), `page` STRING, `login_time` TIMESTAMP) ROW FORMAT SERDE 'org.apac
浏览 21提问于2020-04-08得票数 2
我有一个从csv文件中读取的现有表，如下所示
Ab<-read.table(“Ab.csv”,sep=”,”,header=T)
我有另一个专栏，就像
New_column<-rep(0,10)
如何将此New_column添加到现有的表Ab中，以及如何在修改后的表中为此添加的列添加列标题？
浏览 5提问于2014-07-16得票数 0
回答已采纳
如何将用斜杠('/')分隔的.csv数据文件读入matlab。
例如，我有一个.csv文件，如下所示，如何将其读入matlab，而不用NaN替换值
内Dia U/V椭圆Param a/b/c/d 0 0.152 / 0.0415 0.076 / 0.02075 / 0.076 / 0.02075 0 0.152 / 0.0387 0.076 / 0.01935 / 0.01935 0 0.152 / 0.0387 0.076 / 0.01935 / 0.076 / 0.01935
浏览 5提问于2016-08-17得票数 0
2回答
向CSV出口SSRS报告
、、、
我想导出一个SSRS报告到一个CSV文件。听起来很简单，但我不知道如何将双引号添加到导出的CSV文件中的列标题中。例如：
"UserName"|"UserAdd"
"Mike"|"Some Address"
浏览 0提问于2016-07-30得票数 1
1回答
我使用的是league/csv:^9.6 (9.6.2)。
我需要解析有很多列的CSV文件(150+)，并提取其中的一小部分(8)。这些列在偏移量(位置未知)方面不是固定的，但它们有稳定的唯一标题- so我想按标题选择它们，而不是偏移量。
但这里有一个问题:库抛出了一个关于重复头的异常。有什么解决方案可以跳过它们，正确地解析所有其他行吗？
或者在使用这个库之前，如何将它们从文件中剥离？这些副本的位置和计数事先是未知的。
谢谢!
浏览 4提问于2021-03-08得票数 0
CSV数据配置总是从第一行读取。我想在CSV文件中添加列标题。因此，我希望CSV配置从第二行开始读取。
下面是线程组中的设置。No.of线程=1循环Count= 10 (取决于CSV文件中的no.of行)
浏览 4提问于2014-05-08得票数 6
回答已采纳
我使用Azure流分析，我的输入是Eventhub，事件序列化格式是CSV，分隔符是逗号()，.My查询是选择DeviceId，温度从输入，我的输出是sql数据库。但是当我的工作在运行时，它会给我带来错误，就像
反序列化后，已找到0行。如果这不是预期的，可能的原因可能是缺少标题或格式错误的CSV输入
第二个错误是
无法将输入事件反序列化为Csv。一些可能的原因：
1)畸形事件
2)用不正确的序列化格式配置的输入源。
我会像这样发送埃文特的数据
string messageBody1 = "DeviceID:20," + "Temperature:30&#
浏览 7提问于2015-06-16得票数 2
回答已采纳
4回答
我试图连接到数据库，获取表的当前状态，并将该信息更新到csv文件中，使用下面提到的代码，可以将数据信息输入csv文件，但无法将头信息从数据库表中获取到csv文件中。
因此，我的问题是，如何将数据库表头信息输入CSV文件?
$config['database'] = 'sakila';
$config['host'] = 'localhost';
$config['username'] = 'root';
$config['password'] = '';
$d =
浏览 3提问于2010-03-29得票数 3
回答已采纳
我有csv文件，我正在使用scala中的databricks库将其转换为parquet文件。我使用的代码如下：
val spark = SparkSession.builder().master("local[*]").config("spark.sql.warehouse.dir", "local").getOrCreate()
var csvdf = spark.read.format("org.apache.spark.csv").option("header", true).csv(csvfile)
csv
浏览 3提问于2018-08-01得票数 2
回答已采纳
1回答
在单元格中创建orc表时，要将文件类型更改为ORC。这意味着您不能查看orc表之外的特定文件。
下面是一个示例orc create table语句
CREATE TABLE IF NOT EXISTS table_orc_v1
(
col1 int,
col2 int
)
PARTITIONED BY (odate date)
CLUSTERED BY (col1) INTO 10 BUCKETS
STORED AS ORC TBLPROPERTIES('transactional'='true');
如果我试图把这变成一个csv表(就像你在一个非orc表上做的
浏览 0提问于2018-12-20得票数 0
回答已采纳
1回答
ORC模式演变
、、、
通过一个示例ORC文件本身，我了解到ORC文件格式没有存储任何列信息，实际上所有的列名都将被_c0替换为_cn，在这种情况下，如何才能为ORC表实现适当的模式演变？
浏览 12提问于2019-01-31得票数 2
我是R的新手，但我得到了一个大的数据集来处理，我想知道我是否可以在R中完成这个过程，而不是手动处理。我有一个文件夹，大约有600个csv文件，有两个列，没有头文件。每个csv文件都有相同的第一列，但有不同的第二列，我想以下面详细说明的形式组合它们：
File1.csv
1.A
[2]A
[3]A
[4]A
File2.csv
1%-B
[2]B
3.B
4.B
我想把它们结合起来：
ID\File 1\x文件2
1\x{e76f}A\x{e76f}B
2\x{e76f}A\x{e76f}B
3\x{e76f}A\x{e76f}
4\x{e76f}A\x{e76f}B
我目前的代码是：
libr
浏览 1提问于2022-04-29得票数 2
表-A
Client_Code Client_Name POST_HC_STK
123 Sam 100
456 Lily 500
568 Maria 200
789 Champ 300
希望表输出如CSV文件中所示
Client Code Client Name Post Haircut Stock
123 Sam 100
456 Li
浏览 6提问于2017-11-23得票数 1
1回答
我想从gx模型中获取数据，并将其保存到csv文件中。以下是我面临的挑战-
如何将gxmodel文件存储到对象中。
在存储对象之后，如何将其存储在csv文件中。
浏览 0提问于2017-12-12得票数 1
1回答
我希望使用一个变量来指定csv文件中的特定单元格。我可以用：
emp1 <- read.csv("C:/Database/data/emp1.csv",as.is=TRUE)
numberofemployee <- 1
> emp1["1", "X.name"]
[1] "ALEX"
但如果我用：
> emp1["numberofemployee", "X.name"]
[1] NA
我猜想R是在寻找员工的编号作为列标题。
如何将其视为整数，以便指定单元格？
csv文件
#n
浏览 2提问于2013-11-27得票数 0
回答已采纳
1回答
我使用下面的CTAS命令使用SparkSQL创建表。 CREATE TABLE TBL2
STORED AS ORC
LOCATION "dbfs:/loc"
TBLPROPERTIES("orc.compress" = "SNAPPY")
AS
SELECT Col1
, ColNext2
, ColNext3
, ...
FROM TBL1 在那之后，我正在使用下面的PySpark代码读取新创建的位置(TBL2)下面的文件。但是，下面的data frame仅使用lowercase中的所有
浏览 12提问于2019-12-23得票数 1
回答已采纳
1回答
我见过Hortonworks通过数据源支持Spark1.2中的ORC的。
它涵盖了1.2版本，它解决了来自对象的ORC文件的问题或创建，而不是从csv到ORC的转换。我还看到了，正如我想要的那样，在Hive中完成这些转换。
请有人提供一个简单的例子，说明如何从星火1.6+加载普通的csv文件，并将其保存为ORC，然后将其加载为星火中的数据帧。
浏览 10提问于2016-04-05得票数 3
回答已采纳
我有一堆软件输出文件，我已经将它们处理成类似csv的文本文件。我可能很难做到这一点，因为我不太熟悉python库。 下一步是将所有这些数据收集到单个csv文件中。这些文件具有不同的标题，或者排序方式不同。 假设这是文件A： A | B | C | D | id
0 2 3 2 "A"
... 这是文件B： B | A | Z | D | id
4 6 1 0 "B"
... 我希望append.csv文件看起来像这样： A | B | C | D | Z | id
0 2 3 2 "A"
浏览 32提问于2019-12-04得票数 1
我有数百个没有头的CSV文件，这些文件是从我使用的软件导出的。列数和准确的列标题在批间可能有所不同，但在批处理中不会有任何变化。
我正在学习Pandas，我需要一些帮助来组装一个非常简单的笔记本，它将所有CSV文件加载到一个目录中，并将我选择的列标题添加到该目录中的所有文件中，并将它们保存为相同的CSV文件(相同的名称)，但现在包含在文件中的标题中。
正如我说过的，某些批将在需要标题的列数量和标题将是什么方面有所不同，因此最好保留随意更改标头的能力。
我有下面的代码，它可以很好地处理一个文件。如何循环目录中的所有文件，添加相同的标题，并保存文件。
import pandas as pd
df_
浏览 1提问于2019-08-11得票数 2
回答已采纳
3回答
我有一个像这样的熊猫数据框架：
'' count
sugar 420
milk 108
vanilla 450
...
第一列没有标题，我想给它起个名字：‘配料’。
我从csv文件创建了数据帧：
df = pd.read_csv('./data/file_name.csv', index_col=False, encoding="ISO-8859-1")
df = df['ingredient_group'] #selecting column
df = df.value_cou
浏览 10提问于2016-06-22得票数 35
回答已采纳
如果它是avro、orc或parquet表，我可以使用相应的库来获取模式。但是，如果输入/输出格式是TXT，并且数据存储在csv文件中，我如何获得模式programatically？
谢谢,
浏览 0提问于2019-03-15得票数 0
3回答
熊猫访问栏的位置或索引
、、、
我有一个列表，如下所示，我在csv文件中搜索它，以获得与它关联的项目代码。例如，对于0 ->项目代码是11 is。
L = [0, 2]
CSV file:
0, 11nm
1, 22nm
2, 33nm
3, 44nm
我目前正在做以下工作。
df = pd.read_csv('item_code.csv', sep = ',')
item_codes= df[df["No"].isin(L)]["item_code"].tolist()
但是，现在我想知道当文件标题(No，item_code)不可用时，如何对csv文件
浏览 6提问于2017-09-06得票数 2
回答已采纳
使用GCP控制台，我试图通过从本地机器上传CSV文件来创建表。
CSV文件中的第一个raw包含列头及其日文。
表创建成功，但标题/列标题显示垃圾字符(1
是否知道如何从CSV文件中读取日文列标题以创建表。
提前谢谢。
浏览 1提问于2020-04-22得票数 0
回答已采纳
我创建了一个csv文件-"dataaa.csv"，输入列标题"operation“来指定我想要提取的列，并使用了以下代码。
data = pd.read_csv('dataaa.csv')
df1=data.loc[:,"operation"]
.its正在工作。但现在我想把它扩展到一个真实的情况，
我需要在5210文件上迭代相同的过程，这是linux.The输出文件中的拆分命令的结果，文件名为xxa。但它不包含列标题“.How”操作a我可以读取列-这是我的文件中的第二列，这是足够可行的迭代在大量的文件。
浏览 0提问于2018-04-21得票数 0
3回答
我正在阅读一个使用熊猫的CSV文件，在结果中得到了不正确的价值观。我看到文件本身中没有浮点值：
尽管csv文件如下所示：
我不知道这些浮动值是从哪里来的，似乎是某种排序。
我怎么才能摆脱这个
这是CSV文件-
另外，我使用python代码创建了这个案例文件，如下所示
from csv import writer
with open('/content/drive/My Drive/Colab Notebooks/digit-recognition/custom-data.csv', 'a') as f_object:
# Pass t
浏览 1提问于2021-08-23得票数 1
回答已采纳
jdk 1.8 scala 2.12.11 spark 3.0.1当我在scala spark中读取配置单元表并写入导出orc文件时
df.write.option("compression", "none").mode(SaveMode.Overwrite).orc(dump_path)
它运行成功
当我想从python pyspark中的句号导出orc文件中读取orc文件时，它正在成功运行。
dfs = spark.read.orc("/Users/muller/Documents/gitcode/personEtl/knowledge_source
浏览 29提问于2021-02-19得票数 1
我们正尝试在pythonanywhere.com主机中使用view.py读取csv文件。我们希望从1.csv文件中的每一行获得三个单元格(id、语句和段落)，直到最后一个单元格。
代码是：
def home(request):
Stats = Statments.objects.all()
__file__ = '1.csv'
module_dir = os.path.dirname(__file__) # get current directory
file_name = os.path.join(module_dir, 'Po
浏览 17提问于2019-11-28得票数 0
假设我使用xlsx包从r到excel编写了一个数据文件。假设我有一个包含问号的列标题的dataframe (下面的代码)：
library(xlsx)
rm(list = ls())
fpath <- "whatever filepath"
#My df
df <- data.frame("Questions?" = c("bla", "bla bla"), "123Numbers"= c(1,2))
#Now output
wb <- createWorkbook()
sh <-
浏览 5提问于2020-01-07得票数 1
回答已采纳
我想检查CSV文件中的列是否正在存储与给定输入相等的任何数据。
我有一个csv文件，我称之为myFile.csv，我使用pandas来读取它，如下所示：
import pandas as pd
...
path = r'C:\Users\...\myFile.csv'
df = pd.read_csv(path)
我试图从其中一个列中读取数据，标题为Country/Region。我要做的是检查Country/Region是否包含有值'someRegion'的行
region = 'someRegion'
for item in df.Cou
浏览 0提问于2020-05-09得票数 0
回答已采纳
2回答
我正在尝试将csv文件作为dataframe从Azure databricks读取。标题列(当我在excel中打开时)如下所示。在CSV文件中，所有标头名称都采用以下格式。 例如： "City_Name"ZYD_CABC2_EN:0TXTMD 基本上，我希望只包含引号内的字符串作为我的头文件(City_Name)，并忽略字符串的第二部分(ZYD_CABC2_EN:0TXTMD) sales_df = spark.read.format("csv").load(input_path + '/sales_2020.csv', inferSchema
浏览 21提问于2021-02-10得票数 1
1回答
我能够将CSV数据转换为ORC格式。但是为了满足新的需求，我的应用程序需要序列化输入数据，这些数据可以是任何格式，如CSV、Avro等。转换成ORC writer可理解的格式，并将其写入kafka主题。稍后，我的应用程序或其他应用程序需要从kafka主题中读取这些数据，并将其写入ORC文件。输入数据被封装在一个对象中作为属性，同一对象具有定义为另一个属性的ORC模式。
浏览 63提问于2018-07-31得票数 0
我正在进行一些基准测试，需要比较ORC、Parquet和CSV格式。我已经将TPC/H (SF1000)导出到基于ORC的表中。当我想将它导出到Parquet时，我可以运行：
CREATE TABLE hive.tpch_sf1_parquet.region
WITH (format = 'parquet')
AS SELECT * FROM hive.tpch_sf1_orc.region
当我使用CSV尝试类似的方法时，就会得到错误Hive CSV storage format only supports VARCHAR (unbounded)。我假设它会将其他数据
浏览 12提问于2021-03-19得票数 2
回答已采纳
使用SQL Loader控制文件时，如下所示：
OPTIONS(**skip=1**,bindsize=1048576,rows=1024)
LOAD DATA
INFILE 'C:\Documents and Settings\FIRST.CSV'
INFILE 'C:\Documents and Settings\SECOND.CSV'
APPEND
INTO TABLE table_name
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' TRAILING N
浏览 4提问于2011-06-29得票数 7
在APEX 18.1附带的数据加载向导中，在您选择要上载的csv文件之后，系统会为您提供一个"TARGET COLUMN“下拉列表LOV，默认为"DO NOT LOAD”。可以告诉APEX您希望在此LOV中使用哪些值。我已经这样做了。
我的问题是，这是相当费力的。当用户使用没有标题的csv文件时，他们不一定知道您希望他们从LOV中选择哪个值来映射相关列。就像他们将要做的那样。
有人知道如何将LOV中的"DO NOT LOAD“值更改为另一个值吗？如果我可以让它默认到我选择的列，那就太好了。或者，在向导中有一个"SOURCE COLUMN“字段。
让"SO
浏览 1提问于2019-05-23得票数 1
1回答
我必须更改ORC文件的模式。ORC保存在adls位置。
orc文件中的原始模式是旧模式列标题：(C1，C2，C3，C4 )
我想用新的模式(从StructType和StructField创建)覆盖原来的模式。新架构列标题：(名称、年龄、性别、时间)
我使用的spark命令是: val df2 = spark.read.format("orc").schema(schema).load("path/")
只要我运行df2.show(2，false)
所有列的数据都变为null。
当我没有覆盖已经存在的旧模式并运行
val路径=spark.read.format(“
浏览 1提问于2021-05-26得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
