星火喬布斯出錯了具有：有太多的元素，創造一個發電機組34

Question

正在嘗試運行mesos火花作業集羣查詢彈性數據，使用esJsonRDD查詢是這樣的： Fetching esJsonRDD from elasticsearch with complex filtering in Spark ，併爲多跑細小於32個節點的節點彈性羣集。作爲彈性節點的增加，作業失敗下面的例外：

org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Too many elements to create a power set 37 

如使用彈性2.3.4在https://github.com/elastic/elasticsearch-hadoop/issues/737

上午提到的，是有相同版本的彈性什麼解決辦法？ 這是我目前的Spark Job的gradle依賴關係。

compile group: 'org.elasticsearch', name: 'elasticsearch-spark_2.11', version: '2.4.5' 
compile group: 'org.apache.spark', name: 'spark-sql_2.11', version: '2.0.0' 
compile group: 'org.elasticsearch', name: 'elasticsearch', version: '2.3.4' 

Answer 1

改變了elasticsearch-spark版本5.5.0在https://github.com/elastic/elasticsearch-hadoop/issues/737提到和它的工作。

compile group: 'org.elasticsearch', name: 'elasticsearch-spark-20_2.11', version: '5.5.0'