我願做星火其中包括在基準：未壓縮數據的星火基準設置
有無10TB的每一行是在這種格式：浮動;浮動;字符串。
作業將基本上做到：上線
- 地圖上串
- reduceByKey，其中關鍵是基於兩個浮點數拆分
- 過濾器。
- 將結果存儲在HDFS
問題是： - 我應該多少磁盤空間有 - 多少內存 - 什麼是這個職位的參數（#EXEC，#core，#mem）和對於紗線site.conf
目前我有10個節點上（16Cores，16GB，存儲1.5To）存儲的15歲至和失敗，如：
錯誤client.TransportClient：無法發送RPC 6631382768729976966成爲nchophadoopslaves1/ABCD：43365：java.nio.channels.ClosedChannelException java.nio.channels.ClosedChannelException 17/07/06 17時05分42秒
WARN netty.NettyRpcEndpointRef：錯誤發送消息[消息=心跳（41 ，[Lscala.Tuple2; @ 4f4d418，BlockManagerId（41，benchophadoopslaves1,34521））]] 3次嘗試 java.io.IOException：無法將RPC 6631382768729976966發送到benchophadoopslaves1/ABCD：43365：java.nio.channels.ClosedChannelException at org.apache.spark.network.client.TransportClient $ 3.operationComplete（TransportClient.java:239） at org.apache.spark.network.client.TransportClient $ 3.operationComplete（TransportClient.java:226） at io.netty。 util.concurrent.DefaultPromise.not ifyListener0（DefaultPromise.java:680）