您的当前位置：首页正文

Spark文件保存到本地或HDFS：saveAsTextFile和saveAsObjectFile

来源：易榕旅网

scala版本：

 val rdd = sc.parallelize(1 to 10)
    rdd.saveAsTextFile("data1/save1")//保存在本地
   //todo 保存在hdfs上 设置了两个分区，所以会有两个文件
   rdd.saveAsTextFile("hdfs://hadoop01:9000/data/save/save1")
    //todo saveAsObjectFile 对于HDFS，默认采用SequenceFile保存。
rdd.saveAsObjectFile("hdfs://hadoop01:9000/data/save/save3")

java版本

        JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(1, 2, 3, 4, 5, 6, 7, 8, 9, 0));
        rdd.saveAsTextFile("file:///C:/data/save1"); //存到系统指定路径
        rdd.saveAsTextFile("data/sav21"); //保存到本地
        rdd.saveAsTextFile("data/save2");
        //保存到hdfs
        rdd.saveAsTextFile("hdfs://hadoop01:9000/data/save/save2");

hdfs dfs -chmod -R 777 /data/

因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文