Hadoop的地圖加入火花SQL

相當於我在尋找Hadoop的mapjoin相當於Spark和我能找到這個spark.sql.autoBroadcastJoinThresholdHadoop的地圖加入火花SQL

它是否工作正常火花SQL？我嘗試過，但是即使我應用參數，它也沒有效果，因爲隨機播放讀/寫是相同的。

我設置這個值，跑到我的查詢sqlContext.sql("SET spark.sql.autoBroadcastJoinThreshold=100000000;")

是否有火花SQL任何其他等同的概念？

謝謝..

來源

2014-09-24 user3279189

這在星火1.1.0介紹。
它是在Spark測試套件中進行了測試（有點） - 請參閱PlannerSuite。
您的SET查詢被不支持它的Spark版本高聲無聲地吞噬了 - 我只是用1.0.2來試用它。

來源

2014-09-24 21:56:59

謝謝... spark.sql.shuffle.partitions也僅在Spark 1.1.0中有記錄，但對Spark 1.0.1可以正常工作...... – user3279189 2014-09-25 05:38:05

我在這裏說的是不同的東西：執行此操作的代碼功能簡單地在1.0.0分支中丟失，我認爲1.0.2發佈了。我似乎在1.0.2發佈之前的一個星期左右出現了[this commit]（https://github.com/apache/spark/commit/c7db274be79f448fda566208946cb50958ea9b1a），但是我沒有看到證據表明它已經進入該版本（看大藍色矩形的最後一行）。 – 2014-09-25 13:22:20

我明白了......感謝您的信息......任何機會 - 您都可以在1.1.0中查看此功能？ – user3279189 2014-09-25 18:54:58

Hadoop的地圖加入火花SQL

回答

相關問題