以前我用spark连接hive都是把hive的配置文件放在spark的conf目录,后来有个项目在运行时才能确定要连接哪个hive源,我就找了个能在运行时加载配置文件的方法,代码如下:
import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.Path import org.apache.spark.sql.SparkSession import scala.collection.JavaConverters._ object ReadHive { def main(args: Array[String]): Unit = { val sparkBuilder = SparkSession .builder .master("local") .appName("Spk Pi") val conf = new Configuration() // 这里的文件地址可以换成从数据库里查询 val core = new Path("C:\\Users\\shadow\\Desktop\\core-site.xml") val hdfs = new Path("C:\\Users\\shadow\\Desktop\\hdfs-site.xml") val hive = new Path("C:\\Users\\shadow\\Desktop\\hive-site.xml") conf.addResource(core) conf.addResource(hdfs) conf.addResource(hive) for (c <- conf.iterator().asScala){ sparkBuilder.config(c.getKey, c.getValue) } val spark = sparkBuilder.enableHiveSupport().getOrCreate() spark.sql("select * from default.wt_test1").show() } }
我们以wordcount
为例,分析如何配置。我们的输入数据源来自cluster1的HDFS,需要将分析结果输出到cluster2的HDFS。
val conf = new SparkConf().setAppName("Spark Word Count") val sc = new SparkContext()// 在输入数据之前先将hadoop config配置为cluster1集群sc.hadoopConfiguration.addResource("cluster1/core-site.xml")sc.hadoopConfiguration.addResource("cluster1/hdfs-site.xml")// load dataval input = sc.textFile(args(0)).flatMap(_.split(" ")).map(x => (x, 1)).reduceByKey(_ + _)// 再将hadoop config设为cluster2集群sc.hadoopConfiguration.addResource("cluster2/core-site.xml") sc.hadoopConfiguration.addResource("cluster2/hdfs-site.xml") input.saveAsTextFile(args(1))
core-site.xml和hdfs-site.xml放在项目的
resources
目录下
通过上述例子我们可以看到,我们如果需要在spark
任务中想操作不同的hdfs
集群,我们需要在操作之前先将hadoop
的config
设置为我们需要操作的目标HDFS集群即可。
向spark提交任务:
bin/spark-submit --master yarn-client --class SparkWordcount run.jar /input /output
NOTE:这里我们即可以写成全路径形式,即:
hdfs://cluster1/input
hdfs://cluster2/output
,也可以写成上面相对路径的形式。
上面我们通过hadoopConfiguration
的addResource
方法来添加相关配置,其实Spark在操作hdfs的时候,只需hadoop的ha相关配置就可以了,所以我们也可以通过代码来直接配置hadoop的相关配置。
val conf = new SparkConf().setAppName("Spark Word Count")val sc = new SparkContext()sc.hadoopConfiguration.set("fs.defaultFS", "hdfs://cluster1");sc.hadoopConfiguration.set("dfs.nameservices", "cluster1");sc.hadoopConfiguration.set("dfs.ha.namenodes.cluster1", "nn1,nn2");sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster1.nn1", "namenode001:8020");sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster1.nn2", "namenode002:8020");sc.hadoopConfiguration.set("dfs.client.failover.proxy.provider.cluster1", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");val wc = sc.textFile(args(0)).flatMap(_.split(" ")).map(x => (x, 1)).reduceByKey(_ + _)sc.hadoopConfiguration.set("fs.defaultFS", "hdfs://cluster2");sc.hadoopConfiguration.set("dfs.nameservices", "cluster2");sc.hadoopConfiguration.set("dfs.ha.namenodes.cluster2", "nn3,nn4");sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster2.nn3", "namenode003:8020");sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster2.nn4", "namenode004:8020");sc.hadoopConfiguration.set("dfs.client.failover.proxy.provider.cluster2", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");wc.saveAsTextFile(args(1))
这样我们就两种不同的方式来配置hadoop
的config
,我们可以根据自己的需求来选择需要用哪种方式来配置