如何檢索紗的日誌程序用java

Question

我實際檢索與Linux命令我的火花應用程序的日誌：

yarn logs -applicationId applicationid

有沒有辦法編程方式使用Java獲取呢？

Answer 1

是的，你可以。您可以通過YarnClient獲取有關應用程序的大部分關鍵信息，並可以撥打Spark History Server API。您正在尋找這裏的終點是

/applications/[base-app-id]/logs 

Answer 2

你在shell環境的方法是正確的！

在我看來，因爲紗線已經是一個可執行程序在你的系統中。

使當前java進程（即當前jvm）能夠訪問並使用它。你可以啓動一個新的子進程來幫助你完成這項工作。

也許隨後的代碼將幫助你。

public class YarnLog { 
    // 
    public static void getYarnLog(String appid) throws IOException { 
     BufferedReader br = null; 
     try { 
      Process p = Runtime.getRuntime().exec(String.format("yarn logs -applicationId %s", appid)); 
      br = new BufferedReader(new InputStreamReader(p.getInputStream())); 
      String line; 
      while((line = br.readLine()) != null) { 
       System.out.println(line); 
      } 
     } catch (IOException e) { 
      e.printStackTrace(); 
     } finally { 
      if(br != null) { 
       br.close(); 
      } 
     } 
    } 
} 

該子進程成功終止後，您可以使用您的具體日誌爲正常文件在你當前的工作目錄。

Answer 3

我想這樣做編程使用Java，所以我最後看了一眼在命令後面的代碼：

yarn logs -applicationId applicationid 

它是：

src/main/java/org/apache/hadoop/yarn/client/cli/LogsCLI.java 

我現在在檢索日誌一個字符串（內容）。該代碼是：

String applicationId = "application_1492795815045_3940"; 
ApplicationId appId = appId = ConverterUtils.toApplicationId(applicationId); 
LogCLIHelpers logCliHelper = new LogCLIHelpers(); 
Configuration config = new Configuration(); 
logCliHelper.setConf(config); 
String appOwner = UserGroupInformation.getCurrentUser().getShortUserName(); 
ByteArrayOutputStream baos = new ByteArrayOutputStream(); 
PrintStream ps = new PrintStream(baos); 
// Function to retrieve logs 
logCliHelper.dumpAllContainersLogs(appId, appOwner, ps); 
String content = new String(baos.toByteArray(), StandardCharsets.UTF_8); 
System.out.println(content)