我的数据集是csv格式的,而Spark又不能直接读取csv格式的数据,这里我们有两个方式,一是我提到的这篇博文里有写怎么读取csv文件,二是安装spark-csv包(在这里下载),github地址在这里
我们使用Spark Spark项目之外的spark-csv包来解释CSV格式的数据: from pyspark.sql import SQLContext from pyspark.sql.types
领取专属 10元无门槛券
手把手带您无忧上云