配置如何在Spark SQL中共享/隔離？

Question

所以，我有我的火花上下文SC，從我得到我的火花SQL上下文，

val sqlContext = new SQLContext(sc) 
sqlContext.sql("set spark.sql.shuffle.partitions=2") 

有時我想用2洗牌分區，但在其他一些時刻（可能是兼）我想有200. 這sqlContext是在我所有的線程之間共享，這些屬性如何隔離執行？他們是全球嗎？

謝謝！

Answer 1

對於不同執行間的隔離屬性，可以通過在SQLContext本身上發出newSession（）來獲得新的SQLContext。這樣，你用新創建的上下文所做的每件事都存在於上下文中，並在那裏死去。