2015-10-15 87 views
8

我使用API​​的Spark(火花核心API,而不是流SQL等) 我經常看到這樣的火花錯誤的甩日誌: 星火環境:1.3.1紗客戶端火花執行者爲什麼收到SIGTERM?

ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM 
  1. 誰觸發SIGTERM。 YARN,Spark還是我自己?
  2. 這個信號會終止Spark Executor嗎?如果沒有,哇會影響火花程序。

我按Ctrl + C,但是這是對子級SIGINT。如果YARN殺死執行者,那將是SIGKILL。

+0

大多數時間是紗線。檢查您的節點管理器日誌特定的時間。有時由於OOM YARN殺死容器。 – Sohaib

回答

2

您可能會在紗線記錄中找到原因。如果激活了日誌聚合,您可以鍵入

yarn logs -applicationId [app_id]

和查找例外。