我正在尝试查找和隔离某些列不遵循特定模式的行。我从databricks文档中找到了以下示例,用于识别和检查列值是否为整数,并将错误记录写入json文件。 我想确定一个列值是否像1,245.00,而坏记录是否像1.245,00。这些值可以改变位数,只想检查数据是否像pyspark中的1,245.00那样遵循模式。 有时在原始数据中,逗号和点是互换的。 谁能告诉我如何像下面的例子一样在badrecordpath中收集这样的记录? // Creates a json file containing both parsable and corrupted records
Seq(""