當從NiFi中的Java SDK中調用時，Splunk引發HTTP 401未授權錯誤

Question

我有多個使用Cron驅動的調度策略運行的GetSplunk處理器。 Cron表達式看起來像'0 30 13 * *？'。它們都在第一次運行時成功執行查詢。但是，第二天，Splunk出現了401錯誤。來自nifi-app.log的錯誤如下。 NiFi中的Cron調度器是QuartzScheduler。

WARN [Timer-Driven Process Thread-7] o.a.n.c.t.ContinuallyRunProcessorTask Administratively 
Yielding GetSplunk[id=01581009-026c-114b-5e2e-401ebea6427d] due to uncaught Exception: 
com.splunk.HttpException: HTTP 401 -- call not properly authenticated 
2016-12-21 13:30:00,300 WARN [Timer-Driven Process Thread-2] o.a.n.c.t.ContinuallyRunProcessorTask 
com.splunk.HttpException: HTTP 401 -- call not properly authenticated 
at com.splunk.HttpException.create(HttpException.java:84) ~[na:na] 
at com.splunk.HttpService.send(HttpService.java:452) ~[na:na] 
at com.splunk.Service.send(Service.java:1293) ~[na:na] 
at com.splunk.HttpService.get(HttpService.java:165) ~[na:na] 
at com.splunk.Service.export(Service.java:222) ~[na:na] 
at com.splunk.Service.export(Service.java:237) ~[na:na] 
at org.apache.nifi.processors.splunk.GetSplunk.onTrigger(GetSplunk.java:461) ~[na:na] 
at org.apache.nifi.processor.AbstractProcessor.onTrigger(AbstractProcessor.java:27) ~[nifi-api-1.1.0-SNAPSHOT.jar:1.1.0-SNAPSHOT] 
at org.apache.nifi.controller.StandardProcessorNode.onTrigger(StandardProcessorNode.java:1064) ~[nifi-framework-core-1.1.0-SNAPSHOT.jar:1.1.0-SNAPSHOT] 
at org.apache.nifi.controller.tasks.ContinuallyRunProcessorTask.call(ContinuallyRunProcessorTask.java:136) [nifi-framework-core-1.1.0-SNAPSHOT.jar:1.1.0-SNAPSHOT] 
at org.apache.nifi.controller.tasks.ContinuallyRunProcessorTask.call(ContinuallyRunProcessorTask.java:47) [nifi-framework-core-1.1.0-SNAPSHOT.jar:1.1.0-SNAPSHOT] 
at org.apache.nifi.controller.scheduling.QuartzSchedulingAgent$2.run(QuartzSchedulingAgent.java:165) [nifi-framework-core-1.1.0-SNAPSHOT.jar:1.1.0-SNAPSHOT] 
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) [na:1.8.0_101] 
at java.util.concurrent.FutureTask.run(FutureTask.java:266) [na:1.8.0_101] 
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180) [na:1.8.0_101] 
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293) [na:1.8.0_101] 
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) [na:1.8.0_101] 
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) [na:1.8.0_101] 
at java.lang.Thread.run(Thread.java:745) [na:1.8.0_101]` 

GetSplunk處理器利用Java SDK for Splunk。我最早的時間是'-24h'，最近的時間是'現在'。我正在使用端口8089進行splunkd。在做了一些研究之後，似乎這可能是由於多個線程的問題。有沒有人碰過這個？ 幫助讚賞。

Answer 1

看了幾分鐘的代碼後，我認爲這是NiFi處理器的一個問題。

第一次處理器執行時，它懶惰地初始化的Splunk服務對象：

https://github.com/apache/nifi/blob/master/nifi-nar-bundles/nifi-splunk-bundle/nifi-splunk-processors/src/main/java/org/apache/nifi/processors/splunk/GetSplunk.java#L372-L377

作爲該初始化的一部分，所述的Splunk服務調用的登錄方法是這樣的：

public Service login(String username, String password) { 
     this.username = username; 
     this.password = password; 

     Args args = new Args(); 
     args.put("username", username); 
     args.put("password", password); 
     args.put("cookie", "1"); 
     ResponseMessage response = post("/services/auth/login", args); 
     String sessionKey = Xml.parse(response.getContent()) 
      .getElementsByTagName("sessionKey") 
      .item(0) 
      .getTextContent(); 
     this.token = "Splunk " + sessionKey; 
     this.version = this.getInfo().getVersion(); 
     if (versionCompare("4.3") >= 0) 
      this.passwordEndPoint = "storage/passwords"; 

     return this; 
    } 

由於這隻發生在處理器第一次執行時，它只會在停止並啓動處理器時纔會再次發生。在你的情況下，你的處理器已經運行了足夠長的時間，以致會話可能已經過期，並且處理器正在繼續嘗試執行。

我創造了這個JIRA的問題： https://issues.apache.org/jira/browse/NIFI-3349