可以在提交Spark作业时,通过spark-submit –conf设置。...之上进行转换和Action
Transformation:将一个RDD通过一种规则,映射成另一种RDD;
Action:返回结果或者保存结果,只有action才出发程序的执行。...=listRdd.map(x=>x*x)//{1,4,9}
//对RDD中的元素进行过滤,生产新的RDD
val even=sequres.filter(_%2==0)//{4}
//将一个元素映射成多个...,生成新的RDD
nums.flatMap(x=>1 to x)//{1,1,2,1,2,3}
注解:
map:一一映射,元素数量不变
filter:过滤,输出元素数量小于等于
flatMap:展开,放大...(other: RDD[(K, W)], numPartitions: Int): RDD[(K, (V, W))]
说明:
1)cogroup函数对两个RDD(如:(K,V)和(K,W))相同Key