從Lambda同時提交EMR中的Spark作業

Question

我的應用程序需要使用EMR火花作業實時處理數據。

我使用的是Lambda的EMR的addJobFlowSteps API，但它本質上是順序的。

是否有任何其他方式從本質上是併發的Lambda提交喬布斯到EMR？

Answer 1

您可以使用自定義'spark-submit'腳本。

我用這個：

cat /usr/bin/spark-submit-forked 
#!/bin/bash 

(nohup spark-submit "$@" > /dev/null 2>&1 &)