1
所以我在spark中使用了groupByKey函數，但是它沒有被並行化，我可以看到在執行過程中只有1個內核被使用。看來我正在使用的數據不允許並行化。有沒有一種方法可以知道輸入數據是否適合並行化，或者它不是一個合適的RDD？有沒有辦法檢查Spark中的變量是否可並行化？
A
回答
1
Spark中並行化的單位是'分區'。也就是說，RDD在分區中被分割，並且轉換被並行應用於每個分區。 RDD數據如何在分區間分佈由分區器決定。默認情況下，使用HashPartitioner，對於大多數用途應該可以正常工作。
您可以檢查您的RDD是多少分區拆分爲使用：
rdd.partitions // Array of partitions
相關問題
- 1. 有沒有辦法檢查所有的變量是否都是空的？
- 2. 有沒有辦法檢查一個變量是否是JavaScript中的日期？
- 3. 可可 - 有沒有辦法檢查NSURLConnection是否存在緩存？
- 4. 有沒有辦法檢查代碼是否在TransactionScope中執行？
- 5. 有沒有辦法來檢查變量是否在Java中定義？
- 6. 有沒有辦法檢查一個變量是否是整數？ C++
- 7. 有沒有辦法檢查RDP連接是否可能？
- 8. 有沒有辦法檢查java中的變量標籤？
- 9. 有沒有辦法檢查子進程是否仍在運行？
- 10. 有沒有辦法用rspec檢查內部方法變量？
- 11. 如何檢查廣播變量在Spark 2.0中是否有效？
- 12. 有沒有辦法檢查（文件）句柄是否有效？
- 13. 有沒有辦法檢查我的代理是否在線？
- 14. 有沒有辦法檢查在Javascript（或局部變量）一clousure
- 15. 有沒有辦法檢查我的腳本是否在phantomjs中運行？
- 16. 有沒有辦法在C＃中運行時檢查堆棧變量？
- 17. 有沒有辦法在Javascript中檢測DOM節點的變化？
- 18. 有沒有辦法檢查文件是否在使用
- 19. 有沒有辦法檢查下一個令牌是否結束？
- 20. 有沒有辦法檢查用戶目前是否空閒？
- 21. 有沒有辦法檢查tethering是否活動？
- 22. 有沒有辦法檢查符號是否被引用？
- 23. 有沒有辦法檢查反應組件是否被卸載？
- 24. 有沒有辦法檢查是否獲得了NSLock？
- 25. 有沒有辦法檢查TLS是否啓用？
- 26. 有沒有辦法檢查iCloudDrive是否啓動？
- 27. 有沒有辦法檢查用戶是否使用JQuery登錄？
- 28. 有沒有辦法檢查JS線程是否忙？
- 29. 有沒有辦法檢查一個屬性是否超載？
- 30. 有沒有辦法檢查兩個DOM元素是否相等？
你能告訴我一個RDD和pipelinedRDD之間的差別，因爲當我嘗試調用分區方法，我得到的錯誤pipelinedRDD不具備分區功能。 – MetallicPriest 2014-11-08 18:11:08
看起來像Python API沒有'rdd.partitions'方法。嘗試使用'rdd.getNumPartitions'來獲取分區的數量。 – maasg 2014-11-08 18:30:18