要求:从Google Sheet中按日期检索行,因为Google sheet可以包含具有先前日期的数据 示例:我只需要获取2020年11月9日 ? 目前,我正在使用Pandas从Google Sheet中获取所有行,它工作得很好,但不知道如何才能从google sheet中获取特定的日期过滤器 我试过用pandas的数据框查询方法来过滤?not in the [index]'
Tra
我正在Python pandas上进行两个csv文件的比较,但是在有5个日期列的csv文件中,我已经在read_csv方法中使用了parse_ date =' dateofbirth ','lastupdates','dateofjoin','dateofresign,'endoftrade‘,但它只解析出生日期,而不是csv文件中的所有列。代码:
csv_pandas=pd.read_csv("path of the csv fil
如果输入数据的格式不同,我如何在Spark中按日期进行过滤。我的数据是dd-MMM-yy格式的这就是我正在尝试的:
val filteredDate = ZonedDateTime.now().minusMonths(monthsToFilterdataframe.filter(to_date(from_unixtime(unix_timestamp(col(columnName),"dd-M-yy")
我的数据集是巨大的。我正在使用Azure ML notebooks,并使用azureml.core读取日期集并转换为azureml.data.tabular_dataset.TabularDataset。无论如何,我会过滤tabularDataset中的数据,而不是转换为pandas数据帧。我使用下面的代码来读取数据。由于数据量巨大,pandas数据帧正在耗尽内存。我不需要将完整的数据加载到程序中。