我有下面的代码来验证pyspark中的字符串长度。在两个数据帧中收集结果，一个包含有效数据帧，另一个包含无效记录的数据帧。Datatype')) return valid_len,dt_invalid 对于一列，验证运行得很好它的运行时间是指数增长的。如果有办法解决这个问题，请告诉我。
浏览 51提问于2021-01-11得票数 0
2回答
我考虑的FPE专门为数字，CC，电话，SS #等，我想了一些小的“优化”，可以实现。我是否可以在Feistel网络中的每一轮之后验证字符串长度，如果数据无效，可以用相同的调整重复一轮，然后继续，直到完成了一组调整/成功的回合。对于解密，这将是完全相同的，因为任何无效的回合都可以简单地接受前一轮成功的调整。
这种方法有什么坏处吗？安全漏洞，实际上没有<em
浏览 0提问于2015-08-14得票数 1
回答已采纳
我想检查列表中的项目是否在列中的字符串中，并知道其中的哪些。假设我有一个PySpark Dataframe，它包含有25M行的id和description，如下所示：
我有一个这样的字符串列表：在输出方面，我希望如下所示：
浏览 9提问于2022-10-14得票数 1
我需要在PySpark中定义元数据。有些列具有字符串类型的最大长度。我注意到在中有VarcharType类型。然而，它在pyspark.sql.types中并不存在。from pyspark.sql.types import * StructField("POSTAL_CODE", VarcharType(4
浏览 6提问于2022-08-30得票数 0
回答已采纳
2回答
我有一个具有以下数据(所有列都有字符串数据类型)的Pyspark (原始数据)： 1 103我需要在value列中创建一个新的带有填充的修改的dataframe，这样该列的长度应该是4字符。如果长度小于4个字符，则在数据中添加0，如下所示：
id Valu
浏览 2提问于2017-07-30得票数 11
3回答
所以我遇到了一个问题，长度错误是rails异常，因为模型没有长度验证。然而，我的大多数字符串使用的是默认大小255，所以我必须在很多地方重复这个验证。是否有一种在所有字符串上设置默认验证器以验证默认数据库长度
浏览 7提问于2013-12-02得票数 4
回答已采纳
1回答
我是PySpark的新手，我想读取一个日志文件，其中包含很多行二进制代码，用换行符隔开。我需要使用以下方法过滤该文件：下面是一个输入文件中的一个示例行：在检查\x00每行的0位置时，我遇到了一个错误。错误是：
<e
浏览 0提问于2021-02-03得票数 0
1回答
我正试图在pyspark中对SGD模型执行交叉验证，我正在使用来自pyspark.mllib.regression、ParamGridBuilder和CrossValidator的pyspark.mllib.regression、ParamGridBuilder和CrossValidator的交叉验证，它们都来自pyspark.ml.tuning库。在跟踪了星火网站上的之后，我希望运行这个程序可以工作
lr = LinearRegre
浏览 2提问于2017-10-30得票数 1
给定两个列的表: DEVICEID和DEVICETYPEfrom pyspark.sql.functions import *
浏览 1提问于2020-06-23得票数 3
回答已采纳
4回答
如何用其本身的子字符串替换列？我正在尝试从字符串的开头和结尾删除选定的字符数。from pyspark.sql.functions import substringpdf = pd.DataFrame({'COLUMN_NAME':['_COLUMN_NAME_fix is blank
df.withColumn('COLUMN_NAME_fix', substring('COLUMN_
浏览 3提问于2017-10-14得票数 19
回答已采纳
1回答
我在我的表中有一列，我必须使用pyspark将分数保持到3位。如果小数点后的位数大于3，则将小数点后的数字向上舍入为3位。如果小数后面的数字长度小于3，则附加零。下面是一个例子。示例数据：请注意，"col_a“和"col_b”都是字符串类型。
我如何使用pyspark实现它？
浏览 3提问于2021-02-17得票数 0
我有下面的pyspark df| number|event_type||0342224022|11|+----------+----------+from pyspark.sql.functions import substring
df.select(substring(df['number'
浏览 0提问于2018-04-12得票数 7
回答已采纳
1回答
我遇到了这个函数的一些性能问题，它的目标是如果字符串数组的字符串与val参数匹配，则返回True。我想将其转换为Pandas UDF。
浏览 21提问于2020-01-23得票数 0
LINQ2SQL中的一个常见问题是，虽然.NET字符串允许将任意长度赋给它的变量，但您的数据库可能具有特定的最大长度约束(如VARCHAR(5))。，这是非常没有帮助的，因为它没有告诉您哪个字段是罪魁祸首。
显然，验证输入的最大字符串长度将是正确的方法。我面临的主要问题是为项目中的每个LINQ对象创建必要<em
浏览 3提问于2009-07-23得票数 2
回答已采纳
我试图编写一个yup验证器来验证字段的最大长度，这取决于字符串中是否包含一个破折号。如果包含一个破折号，则最大长度为10，如果没有破折号，则最大长度应为9。例如：'string111'的最大长度应为9。and dashes' .max(10, 'Invoice # has
浏览 9提问于2020-03-02得票数 0
我需要使用pyspark在字符串的最后一个字符(即在spark数据帧的列中)之前添加相同的数字。例如，假设我有字符串2020_week4或2021_week5。).otherwise(col("week"))) 需要注意的是，对于需要替换的单个数字字符串，week列的长度始终为10个字符。根据@thefourthbird关于regex语句的建议，我尝试了以下<e
浏览 35提问于2021-01-26得票数 0
回答已采纳
4回答
此外，在StackOverflow的例子中，提交细节，如标题，内容，标签等，有那么大的区别吗？如果有人被我的问题搞糊涂了，我说的大小是指我做的VARCHAR有多大。这类事情有没有既定的标准？
浏览 4提问于2011-03-13得票数 1
回答已采纳
我有两个列的数据，名字，年龄。我想添加新列name_length，它包含str.count(name)值。代码：from pyspark.sql.types import DoubleType
udf
浏览 4提问于2016-04-13得票数 1
回答已采纳
我正在尝试通过pyspark将一些文本写入到HDFS上的文件中，方法如下： command = (" echo '{0}' | HADOOP_USER_NAME=admin hadoop dfs -put- "+root+"/configs.txt").format(dump)
os.system(command) dump是一个字符串变量。root+"/configs.txt"文件路径现在，我面临的问题是
浏览 13提问于2019-12-04得票数 0
回答已采纳
我还有更多的问题要问-- ，我正在尝试从一个dataframe构建labledPoints，在这里，我有列中的特性和标签。这些特性都是布尔型的，只有1/0。assembler.setOutputCol('features')
from pyspark.mllib.regressionimport LabeledPoint
from <em
浏览 1提问于2016-06-01得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
