亞馬遜EMR - 如何設置超時一步

Question

是有辦法來設置超時爲步亞馬遜AWS EMR？

我正在EMR上運行批處理Apache Spark作業，如果該作業不在3小時內結束，我希望作業停止併發生超時。

我無法找到一個方法來設置超時在星火未，也不紗線，也不在EMR配置。

感謝您的幫助！

Answer 1

好吧，正如許多人已經回答的那樣，此時EMR步驟不能通過API調用終止/停止/終止。

但是爲了實現您的目標，您可以將超時作爲應用程序代碼本身的一部分引入。當您提交EMR步驟時，會創建一個子進程來運行您的應用程序 - 無論是MapReduce應用程序，Spark應用程序等，並且完成步驟由此子進程（這是您的應用程序）返回的退出代碼確定。

例如，如果你提交的MapReduce的應用程序，你可以使用類似如下：

FileInputFormat.addInputPath(job, new Path(args[0])); 
FileOutputFormat.setOutputPath(job, new Path(args[1])); 

final Runnable stuffToDo = new Thread() { 
    @Override 
    public void run() { 
    job.submit(); 
    } 
}; 

final ExecutorService executor = Executors.newSingleThreadExecutor(); 
final Future future = executor.submit(stuffToDo); 
executor.shutdown(); // This does not cancel the already-scheduled task. 

try { 
    future.get(180, TimeUnit.MINUTES); 
} 
catch (InterruptedException ie) { 
    /* Handle the interruption. Or ignore it. */ 
} 
catch (ExecutionException ee) { 
    /* Handle the error. Or ignore it. */ 
} 
catch (TimeoutException te) { 
    /* Handle the timeout. Or ignore it. */ 
} 
System.exit(job.waitForCompletion(true) ? 0 : 1); 

參考 - Java: set timeout on a certain block of code?。

希望這會有所幫助。