如何根据字段的值对DF进行模式推断？
根据字段的值对DataFrame（DF）进行模式推断，可以通过以下步骤实现：
- 导入必要的库和模块：
- 导入必要的库和模块：
- 创建一个示例的DataFrame：
- 创建一个示例的DataFrame：
- 根据字段的值进行模式推断：
- 根据字段的值进行模式推断：
- 示例结果：
- 示例结果：
在云计算领域中，可以使用腾讯云的相关产品来处理和分析DataFrame数据。以下是一些推荐的腾讯云产品和产品介绍链接地址：
- 腾讯云数据库（TencentDB）：提供高性能、可扩展的数据库服务，支持云原生架构和多种数据库引擎。产品介绍链接：https://cloud.tencent.com/product/cdb
- 腾讯云人工智能（AI）服务：包括图像识别、语音识别、自然语言处理等功能，可用于数据分析和模式推断。产品介绍链接：https://cloud.tencent.com/product/ai
- 腾讯云物联网（IoT）平台：提供设备接入、数据存储、数据分析等功能，用于处理物联网设备生成的数据。产品介绍链接：https://cloud.tencent.com/product/iotexplorer
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和情况进行。
相关·内容
我有一个根据my_type的值更改结构的字段my_structure，例如 +--------------------+--------------------+
| my_type| my_structure|
+--------------------+--------------------+
| a| [1, 2, 3]|
| a| [4, 5, 6]|
| b| nul
浏览 18提问于2021-04-14得票数 0
schema_of_json的文档中写道： Parameters:
json: Column or str
a JSON string or a foldable string column containing a JSON string. 但是执行下面的代码，其中我提供了一个列，会引发一个错误： import pyspark.sql.functions as f
from pyspark.shell import spark
df = spark.createDataFrame([
["""{"foo":&
浏览 101提问于2021-07-06得票数 1
回答已采纳
2回答
REST允许用户将自定义的无模式JSON添加到我们的REST资源中，我们需要在Elasticsearch中搜索它。这种自定义数据及其结构在同一类型的资源之间可以完全不同。
考虑一下这个示例文档：
{
"givenName": "Joe",
"username": "joe",
"email": "joe@mailinator.com",
"customData": {
"favoriteColor": "red",
&#
浏览 11提问于2015-07-01得票数 8
为了测试我的组件，我必须在不知道其结构的情况下将一个文件加载到BigQuery。我在BigQuery中使用了自动检测，它工作得很好。后来，我必须对测试文件中的字段进行散列处理，然后再次将其加载到BigQuery中。
我不能解释的是文件的加载方式不同。
当我的字段没有被散列时：
当我的字段被散列时：
有人能解释一下发生了什么吗？
浏览 14提问于2021-05-15得票数 0
3回答
我想将从Kafka传入的JSON数据转换成一个dataframe。
我使用的是结构化流和Scala 2.12
大多数人都添加了一个硬编码的模式，但是如果json可以有额外的字段，它需要每次更改代码库，这是很乏味的。
一种方法是将其写入文件并推断它，但我宁愿避免这样做。
还有其他方法来解决这个问题吗？
编辑:找到了一种将json字符串转换为dataframe的方法，但是不能从流源中提取它，可以提取它吗？
浏览 5提问于2020-06-26得票数 0
回答已采纳
1回答
当我对csv文件进行分析时，无法区分数据类型，仅将每个字段作为字符串给出
我已经尝试了下面的代码
rdd = sc.textFile(file)
header = rdd.first()
rdd = rdd.filter(lambda x: x != header)
rdd1 = rdd.mapPartitions(lambda x: csv.reader(x))
spark_df = rdd1.toDF(header.split(','))
对CSV文件进行分析后，我得到的所有文件都只是字符串，不能识别为数字、日期
浏览 0提问于2019-05-17得票数 0
我不希望在从一组jsons创建数据帧时推断出inferSchema = 'false'模式，但我不能像从csv中读取时那样传递。下面是我读取数据的方式：
df = spark.read.json(r's3://mypath/')
浏览 5提问于2017-12-12得票数 4
回答已采纳
1回答
在文件1中，JSON元素"image“是嵌套的。这些数据的结构如下所示：
{"id": "0001", "type": "donut", "name": "Cake", "image":{"url": "images/0001.jpg", "width": 200, "height": 200}}
Spark正确地推断出了结果模式：
val df1 = spark.read.json("/xxx/xxxx
浏览 0提问于2017-10-29得票数 1
回答已采纳
2回答
假设我创建了以下data.frame：
f <- c("a",2,3,8,7)
g <- c("b",4,1,8,14)
h <- c("abc",7,3,1,4)
i <- c("a",2,3,8,4)
df <- data.frame(f,g,h,i)
我如何通过要求R删除第一行中没有“a”的列来删除g和h列(在示例中，只保留f和i )？
浏览 4提问于2016-01-04得票数 0
回答已采纳
我有一个csv文件，其中包含数字(其中没有字符串)。它有int和float类型。但当我以这种方式读到“火种”时：
df = spark.read.csv("s3://s3-cdp-prod-hive/novaya/instacart/data.csv",header=False)
所有列的dataframe类型都是字符串。
如何将其自动读取为整数和浮点数？
有些列中包含nan。在文件中，它由nan表示
0.18277,-0.188931,0.0893389,0.119931,0.318853,-0.132933,-0.0288816,0.136137,0.12939,-0.24
浏览 3提问于2017-06-19得票数 16
我试图在索引中的一组字段上禁用date_detection。下面是映射
{
"my-index" : {
"mappings" : {
"properties" : {
"_class" : {
"type" : "text",
"fields" : {
"keyword" : {
"type" : "keywor
浏览 4提问于2022-05-12得票数 2
1回答
在星火数据中使用case类的优点是什么？我可以使用"inferschema“选项来定义模式，也可以定义Structtype字段。我提到了"“，但不明白除了使用反射生成模式之外，使用case类的优点是什么。
浏览 0提问于2018-10-25得票数 0
回答已采纳
在胶水转换之后，我希望找到一个解决方案来处理AWS DynamoDB中的空值。通常使用null的数据，当查询完成时，列将不会填充某些字段.但是在使用胶水的转换中，字段被设置为空.因此，显示null。
我在网上找到了下面的脚本
def drop_null_columns(df):
import pyspark.sql.functions as F
null_counts = (
df.select([F.count(F.when(F.col(c).isNull(), c)).alias(c) for c in df.columns])
.colle
浏览 3提问于2021-12-10得票数 0
在Python的pandas中，如果我有一个具有n列的DataFrame，并且我想将满足某些条件的行保留在特定的列中，我只需输入：df[df.column1 > 0]，我找不到在Julia pandas中执行此操作的正确语法。
浏览 2提问于2017-11-29得票数 0
3回答
我的Json：
{"apps": {"app": [{"id": "id1","user": "hdfs"}, {"id": "id2","user": "yarn"}]}}
模式：
root
|-- apps: struct (nullable = true)
| |-- app: array (nullable = true)
| | |-- element: struct (containsNull = true)
| |
浏览 0提问于2018-06-25得票数 1
回答已采纳
3回答
当我接收到XML数据时(在这种情况下，通过Twitter API调用)，我认为在开始使用它之前以某种方式验证它是最好的实践？我的应用程序最近出现了许多难以处理的问题，我想排除不良的XML数据。
XML曾经以某种方式变得“糟糕”吗？像Twitter这样超载的服务器会不会只吐出我应该得到的一半呢？
我真正的问题有两个:我是否应该在使用XML数据之前对其进行验证，以及如何进行验证？(我已经知道了XML数据的假设结构)
谢谢!
在我选择答案之前，还有最后一个澄清(感谢您的努力)：如果我只需要静态长度的XML文件中的5个可预测字段，这样的事情是否会留下创建XSD所能克服的漏洞？
if(!isset($x
浏览 0提问于2009-08-28得票数 2
回答已采纳
我正在使用Pyspark在Dataframe中转换JSON。我能够成功地改变它。但我面临的问题是，有一个键将出现在一些JSON文件中，而不会出现在另一个文件中。当我使用Pyspark SQL上下文展平JSON时，某些JSON文件中不存在键，它在创建Pyspark数据框时出错，抛出SQL分析异常。
例如，我的示例JSON
{
"_id" : ObjectId("5eba227a0bce34b401e7899a"),
"origin" : "inbound",
"converse" : "
浏览 0提问于2020-05-14得票数 1
1回答
我有一个用例，在这个用例中，我必须将数百万json格式的数据加载到Apache表中。因此，我的解决方案就是简单地将它们加载到dataframe中，并将它们写成Parquet文件。然后我将在它们上创建一个外部表。
我正在使用ApacheSpark2.1.0和Scala2.11.8。
它碰巧所有的消息都遵循一种灵活的模式。例如，一列“金额”的值可以是- 1.0或1。
由于我正在将数据从半结构化格式转换为结构化格式，但我的模式略有变化，因此我认为像json这样的数据源的inferSchema选项将对我有所帮助。
spark.read.option("inferSchema","
浏览 0提问于2018-11-18得票数 1
回答已采纳
我正在尝试处理一个月的网站流量，这些流量被存储在S3存储桶中作为json (每行一个json对象/网站流量点击)。数据量足够大，我不能让Spark来推断模式(OOM错误)。如果我指定模式，它显然加载得很好。但是，问题是每个json对象中包含的字段是不同的，所以即使我使用一天的流量构建一个模式，每月的模式也会不同(更多的字段)，因此我的Spark作业失败。
所以我很想知道其他人是如何处理这个问题的。例如，我可以使用传统的RDD mapreduce作业来提取我感兴趣的字段，将其导出，然后将所有内容加载到数据帧中。但这是缓慢的，似乎有点弄巧成拙。
我找到了一个，但没有我的相关信息。
谢谢。
浏览 11提问于2016-08-22得票数 8
回答已采纳
1回答
我有两个数据框，第一个来自岛上的一家摩托车租赁公司，它包括关于摩托车类型、持续时间、开始和结束时间以及许多其他字段的数据，第二个包括来自这个岛屿的气象数据。
由于每天的气象数据每3小时有8个记录/测量(例如，在凌晨1点、4点到22点)，我将第一个数据帧中的开始时间转换/削减为8个框，以便为每个记录组合相应的天气条件。
我如何将这两个框架组合在一起，以便每个租金都具有相应的天气条件？
假设我有字段df1.rent_id、df1.rent_day、df1.starting hour(从1到8)和df2.day、df2.hr(从1到8)、df2.temp等等
如何组合/连接这两个数据帧以获得我想要的
浏览 2提问于2019-06-16得票数 0
1回答
我使用的是Neo4j 2.0版本。假设，我有很多记录，其中一个字段是日期，如果我们需要支持很多查询，比如两个特定日期之间的记录计数等，我想我可能会让tpo按日期字段索引所有记录。这是正确的吗？那么，我该怎么做呢？"RECORD“类型的所有节点都需要在date上建立索引。我如何才能做到这一点？请注意，日期不是唯一的字段。以及如何在记录中存储日期属性。在CYPHER或Neo4j中支持日期。如何按日期字段对记录进行排序？
浏览 0提问于2014-02-08得票数 13
回答已采纳
我有以下JSON字段 {"constructorId":1,"constructorRef":"mclaren","name":"McLaren","nationality":"British","url":"http://en.wikipedia.org/wiki/McLaren"}
{"constructorId":2,"constructorRef":"bmw_sauber","name
浏览 45提问于2021-11-13得票数 0
回答已采纳
我有一个一般性的问题来自我遇到的具体例外。
我正在使用spark 1.6使用dataproc查询数据。我需要从2个日志中获取1天的数据(~10000个文件)，然后进行一些转换。
但是，我的数据可能(或者不可能)有一些糟糕的数据，在一整天的查询中没有成功，我尝试了000-09小时，没有发现错误。试了10到19小时，得到了一个例外。一小时一小时地尝试，发现坏数据是在小时内:10. 11和12小时都可以。
基本上我的代码是：
val imps = sqlContext.read.format("com.databricks.spark.csv").option("header
浏览 0提问于2016-03-17得票数 3
如何使用.toDF从序列中创建包含空值的数据帧？
这是可行的：
val df = Seq((1,"a"),(2,"b")).toDF("number","letter")
但我想做一些大致的事情：
val df = Seq((1, NULL),(2,"b")).toDF("number","letter")
浏览 21提问于2017-06-23得票数 4
回答已采纳
我有一个类似下面的数据框架。
itemName, itemCategory
Name1, C0
Name2, C1
Name3, C0
我想将此数据帧保存为分区拼接文件：
df.write.mode("overwrite").partitionBy("itemCategory").parquet(path)
对于这个数据帧，当我读回数据时，它的数据类型是itemCategory的字符串。
然而，有时我会收到来自其他租户的数据帧，如下所示。
itemName, itemCategory
Name1, 0
Name2, 1
Name3, 0
在这种情况下，在作为分区
浏览 0提问于2017-10-10得票数 4
我有一个很大的嵌套NDJ (新行分隔的JSON)文件，我需要将其读取到单个spark dataframe中并保存到parquet中。在尝试呈现模式时，我使用以下函数：
def flattenSchema(schema: StructType, prefix: String = null) : Array[Column] = {
schema.fields.flatMap(f => {
val colName = if (prefix == null) f.name else (prefix + "." + f.name)
浏览 2提问于2016-12-10得票数 5
1回答
我有一个有许多列的CSV，我只关心两列，它们是“文本字段(环境/s受影响的)”和“文本字段(评级)”。 环境列包含dev、test、prod等条目。rating列包含P1、P2、P3、P4、P5等条目。 我需要以某种方式绘制出每个环境发生了多少次。用Python做这件事最好的方法是什么？ 最终目标如下:测试中的P1/P2 : 15测试中的P1/P2测试中的总分: 30分测试中的P1/P2分阶段: 24分测试中的总分: 30 P1/P2是这些变量的集合，Total是其他变量的集合，即P3、P4、P5
浏览 13提问于2019-02-10得票数 1
回答已采纳
我正在从日期为"mm/dd/yyyy“格式的csv文件中提取时间序列 df = pd.read_csv(lib_file.csv)
df['Date'] = df['Date'].apply(lambda x:datetime.strptime(x,'%m/%d/%Y').strftime('%d/%m/%Y')) 下面是输出 ? 我将'Date‘的数据类型从object转换为datetime64 df['Date'] = pd.to_datetime(df['Date']
浏览 40提问于2021-08-16得票数 0
我有一个包含以下内容的文本文件
'word' , 'timestamp'
word1 , 1546403642
word2 , 1546392481
word1 , 1546403642
word3 , 1546394402
...
第一个字段是单词(最多10个单词，多次出现)，第二个字段是该单词出现的时间戳。
我没有问题读取这个文件，用Pandas解析这个CSV文件，并将linux时间戳转换成另一种格式，但我不知道如何将它放在Matplotlib中，以显示每个单词在时间上的出现情况，如下所示：
我正在寻找一个
浏览 0提问于2019-01-02得票数 0
回答已采纳
2回答
当使用.summary()函数与pandas统计模型一起使用时，OLS回归结果包括以下字段。
coef std err t P>|t| [0.025 0.975]
我如何获得标准化的系数(不包括截距)，类似于在SPSS中可以实现的？
浏览 2提问于2018-06-14得票数 9
我正在尝试更改箱形图的x轴的顺序。我知道我可以通过重新排序用作x美学的因子来安排情节。我可以使用reorder或forcats::fct_reorder使用另一列中的值来完成此操作，但是如何使用两列中的值进行重新排序？下面是一个数据集示例： df <- tibble::tribble(
~name, ~mod, ~dil,
"LiveGas", 1, 0,
"DilLiveGas", 1, 3,
"DilLiveGas1", 1, 1,
"DeadGas",
浏览 39提问于2020-11-27得票数 1
1回答
我使用的是，我有如下所示的JSON：
{
"name": "myname",
"age":"35"
}
或者：
{
"name": "myname",
"age":"35",
"country":"US"
}
我在Dataset上读到的内容如下：
Dataset<Row> df = sparkSession.read().json(jsonSet);
Dataset<R
浏览 0提问于2018-07-23得票数 1
回答已采纳
1回答
我正在尝试使用Apache Spark读取Json数据。下面是我到目前为止尝试过的代码：
val conf = new SparkConf()
.setAppName("ExplodeDemo")
.setMaster("local")
val sc = new SparkContext(conf)
val sqlContext = new SQLContext(sc)
import sqlContext.implicits._
val df = sqlContext.read.json("file loc
浏览 0提问于2018-02-05得票数 0
寻找一些关于我试图创建的工具的建议，因为我几乎没有关于XML的知识。
场景是，我有一个XSD架构；我已经使用Visual studio命令行中的XSD工具生成了一个C#类。
然后，我创建了一个基本的控制台应用程序，它将填充生成的C#类中的第一个分部类。
然后，程序将序列化这些数据，并在文件夹中创建一个XML作为概念验证。
我遇到的问题是找出填充和序列化类中所有数据的最佳方法，因为生成这些数据的XSD非常大。
任何关于处理这个问题的最佳方法的建议都将不胜感激！
浏览 0提问于2014-01-15得票数 0
tf.contrib.learn.ModeKeys.EVAL和tf.contrib.learn.ModeKeys.INFER之间的区别是什么
另外，这些是如何与tf.contrib.learn.Estimator类对象一起使用的呢？
我正在尝试遵循这个教程：，我正在努力理解这些“模式”中的每一个的目的。
接口文档：
浏览 4提问于2017-07-06得票数 1
回答已采纳
详细阐述:希望使用结构化星火流实现scala代码，使用DataFrame从Kafka读取JSON事件，并使用sql操作数据/列并将其写入hive？
使用scala 2.11/spark 2.2
我明白建立这种联系是直接的：
val df = spark
.readStream
.format("kafka")
.option("kafka.bootstrap.servers", "host1:port1,host2:port2")
.option("subscribe", "topic1")
.
浏览 1提问于2018-05-28得票数 1
我想从不遵循特定模式的pandas数据帧中过滤字符串。但是我只能得到一个空的Dataframe 我的代码 l = ['Dubai', 'St. Petersburg', 'Aachen', '21323', '123134', 'Klaus@facebook.com']
l = pd.DataFrame(l)
pattern = re.compile("([A-Z])\w+|(\w[A-Z\u00E4-\u02AF])\w+", re.UNICODE)
df = l.filter
浏览 10提问于2020-08-13得票数 0
第一篇文章/全部Python新手，所以对我的缓慢理解耐心！
我有一个数据文件，其中包含按事务顺序( date )排列的事务列表。
我增加了一个名为"DB/CR"的新字段/列，它依赖于“an”字段中"-“的存在，在没有"-”的情况下，该字段填充了'Debit'，否则'Credit‘。
注意到事务是按日期顺序进行的，我已经包括了另一个名为Top的新字段/列，它的输出是，我希望在独立的基础上填充和增量独立编号(从1开始)的借方和贷方。
因此，我创建了一个简单的循环，其中包含一个关联的' if‘/ 'elif’(prob可以使用e
浏览 0提问于2022-07-02得票数 -1
回答已采纳
1回答
推断火花模式
、、
当将csv文件(或任何其他文件)读入DataFrame并将inferSchema作为true时，是否对特定列的所有行进行了解析以推断模式，或者仅仅是其中的一个示例？示例：
df = (spark.read.format(file_type)
.option("inferSchema", infer_schema)
.option("header", first_row_is_header)
.option(&
浏览 6提问于2022-10-28得票数 1
2回答
我有两个看起来像
import pandas as pd
df1 = pd.DataFrame([2.1,4.2,6.3,8.4,10.5], index=[2,4,6,8,10])
df1.index.name = 't'
df2 = pd.DataFrame(index=pd.MultiIndex.from_tuples([('A','a',1),('A','a',4),
('A','b',5),('A',
浏览 3提问于2021-02-04得票数 0
回答已采纳
1回答
我如何继续证明这两个函数是正确类型的？我对这个问题有点迷惑。
let rec reduce f lst u =
match lst with
| [] -> u
| (h::t) -> f h (reduce f t u)
let rec forall2 p l1 l2 =
match (l1,l2) with
| ([],[]) -> true
| ([],_) -> false
| (_,[]) -> false
| ((h1::t1),(h2::t2)) ->
浏览 3提问于2017-10-18得票数 0
考虑以下DataFrame：
df = pd.DataFrame({'a':['123','667','323'],
'b':['8000','1. 300', '56'],
'c':['11','apple', '100']})
# a b c
# 0 123 8000 11
#
浏览 0提问于2021-09-02得票数 2
1回答
我如何使用这个答案(如何使用spark List to DataFrame in pyspark list创建一个表？ lst = [{'sfObject': 'event',
'objID': 'Id',
'interimRun': 'True',
'numAttributes_Total': 140,
'numAttributes_Compounded': 0,
'numAttributes_nonCompounded': 1
浏览 11提问于2020-06-10得票数 0
回答已采纳
因此，我有一个CSV文件，包含两列:日期和价格，但是当我试图在时间序列上使用ARIMA时，我遇到了以下错误：
ValueWarning:提供了日期索引，但它没有相关的频率信息，因此在预测时将被忽略。
“当预测时被忽略。”，ValueWarning)
所以我发现了这两个问题：
但是，当我试图运行示例中的代码时(第二个链接)：
import pandas as pd
from statsmodels.tsa.arima_model import ARMA
df=pd.DataFrame({"val": pd.Series([1.1,1.7,8.4 ],
浏览 10提问于2019-10-22得票数 24
回答已采纳
1回答
为了能够在不转义.的情况下使用.的列名，我需要一个函数来“验证”所有的列名--但是我尝试过的任何方法都没有及时完成这个工作(5分钟后我就中止了)。
我正在尝试我的算法的数据集是golub数据集(获取它)。它是一个有7200列的2.2MB CSV文件。重命名所有列应该是秒的问题。
中读取CSV的代码
var dfGolub = spark.read
.option("header", "true")
.option("inferSchema", "true")
.csv("golub_merged.c
浏览 2提问于2017-02-08得票数 3
回答已采纳
1回答
我有这个csv文件(称为df.csv)：
我在使用以下代码时读到了它：
import pandas as pd
df = pd.read_csv('df.csv')
我用下面的代码打印出来：
print(df)
打印的输出结果如下：
employment_type ltv
0
1
2 Salaried 77.13
3 Salaried 77.4
4 Salaried 76.42
5 Salaried 7
浏览 2提问于2022-04-05得票数 1
回答已采纳
2回答
目前，我正试图使用pyarrow构建一个拼花文件。为此，我使用了一段代码：
def create_dataframe(list_dict: dict) -> pa.table:
fields = set()
for d in list_dict:
fields = fields.union(d.keys())
dataframe = pa.table({f: [row.get(f) for row in list_dict] for f in fields})
return dataframe
大多数情况下，一切都很顺利。但是，我有一个问题
浏览 8提问于2022-02-01得票数 1
1回答
我读取了一些时间序列数据，并从中生成了一个pd.DataFrame对象：
dataframe为1行和84列，每个列的标签都是datetime对象，因此我可以在以后添加更多具有不同数据的行。正如您所看到的，这些列是无序的。这导致我的数据看起来不正确，当我打印它的线状图形形式。
我看到的唯一搜索结果是根据单个列的值对整个数据进行排序。如何根据每个列的头对数据进行排序，从而使我的列按时间顺序排列？
浏览 8提问于2020-04-09得票数 0
我希望根据是否定义了一个logo字段来构建一个站点标题(如果没有定义它，将使用站点标题)。
gatsby-config.js:
module.exports = {
siteMetadata: {
title: 'Hello Web',
logo: '/images/logo.png'
}
}
查询：
const query = graphql`
{
site {
siteMetadata {
title
logo
}
}
}
上面的操作很好，但是如果我移除l
浏览 3提问于2020-07-19得票数 1
回答已采纳
我使用PHP使用facet字段执行SOLR查询。其中一些字段包含有连字符的文本，这为我提供了一个被拆分的facet字段结果列表。
some-category-name会给出一个包含'some','category','name'键的数组，我不想要这个数组。
我的schema.xml将类别字段定义为：
<field name="category" type="text_general" indexed="true" stored="true" required="fals
浏览 1提问于2016-02-16得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
