如何恢復了Oozie/sqoop日誌在順電子病歷一旦集羣決定終止？

所以我們刨去使用，這將是高達好幾個小時在一天內處理數據，一旦處理完成的集羣將被終止的EMR。如何恢復了Oozie/sqoop日誌在順電子病歷一旦集羣決定終止？

定期Cloudera的安裝（或Hortonworks），當我們運行一個Oozie的工作，我們可以清楚地看到在順化的日誌和他們的地方保存。那麼，有沒有電子病歷的方式，我們可以將這些日誌保存到S3，一旦新的集羣啓動並運行，從S3堵塞這些保存的日誌回順化的新集羣。

請告知

來源

2016-11-07 bindas45

那個「地方」可能是Oozie的使用作爲後端的SQL數據庫。不確定EMR是否默認啓動虛擬DerbyDB實例，或者使用更強大的解決方案（即MySQL或PostgreSQL）。因此，現在您必須找出確切的技術，直接到達該數據庫的確切連接參數，以及最終在集羣終止之前將數據庫內容轉儲到某處的方法。 –

默認情況下，亞馬遜EMR集羣自動使用控制檯歸檔日誌文件到Amazon S3推出。您可以指定自己的日誌路徑，或者您可以允許控制檯爲您自動生成日誌路徑。

幾乎所有EMR節點的/ mnt/var/log /目錄中的所有日誌都會持續推送到S3以進行持久性存儲。這包括應用程序日誌，如OOZIE/SQOOP。

爲應用程序的S3前綴應該像

Oozie的：/j-3GL0155VMY123/node/i-f0954123/applications/oozie/

catalina.2016-11-15.log.gz 
catalina.out.gz 
derby.log.gz 
oozie-error.log.gz 
oozie-instrumentation.log.gz 
oozie-jpa.log.gz 
oozie-ops.log.gz 
oozie.log.gz

式中，j-3GL0155VMY123是EMR羣集ID，I-f0954123是主/芯的實例的編號。

如果您擔心容器日誌，那麼你可以看看/j-3GL0155VMY123/containers/前綴。

來源

2016-11-15 21:17:19

如何恢復了Oozie/sqoop日誌在順電子病歷一旦集羣決定終止？

回答

相關問題