進展報告的習慣性clojure？

Question

我應該如何監視clojure中映射函數的進度？

當使用命令式語言處理記錄時，我經常會每隔一段時間打印一條消息以指示事情已經走了多遠，例如，每1000條記錄報告一次。基本上這是計數循環重複。

我想知道我可以採取什麼辦法，以clojure在哪裏我映射函數在我的序列記錄。在這種情況下，打印消息（甚至保持進度的計數）似乎基本上是副作用。

我已經想出到目前爲止是這樣的：

(defn report 
    [report-every val cnt] 
    (if (= 0 (mod cnt report-every)) 
    (println "Done" cnt)) 
    val) 

(defn report-progress 
    [report-every aseq] 
    (map (fn [val cnt] 
      (report report-every val cnt)) 
     aseq 
     (iterate inc 1))) 

例如：

user> (doall (report-progress 2 (range 10))) 
Done 2 
Done 4 
Done 6 
Done 8 
Done 10 
(0 1 2 3 4 5 6 7 8 9) 

正在實現這種效果的還有其他（更好）的方式？

我在做什麼有什麼陷阱？ （我認爲我保留了懶惰，而不是頭腦風暴）

Answer 1

關於clojure的好處是您可以將報告附加到數據本身而不是執行計算的代碼。這可以讓你分開這些邏輯上不同的部分。下面是從我的misc.clj，我覺得我幾乎在每個項目中使用大塊：

(defn seq-counter 
    "calls callback after every n'th entry in sequence is evaluated. 
    Optionally takes another callback to call once the seq is fully evaluated." 
    ([sequence n callback] 
    (map #(do (if (= (rem %1 n) 0) (callback)) %2) (iterate inc 1) sequence)) 
    ([sequence n callback finished-callback] 
    (drop-last (lazy-cat (seq-counter sequence n callback) 
        (lazy-seq (cons (finished-callback)())))))) 

然後包裹周圍的記者你的數據，然後將結果傳遞給處理功能。

(map process-data (seq-counter inc-progress input)) 

Answer 2

我不知道這樣做的任何現有的方式，也許這將是瀏覽clojure.contrib文檔，看看是否已經存在的東西是個好主意。與此同時，我看了你的例子，並稍微澄清了一點。

(defn report [cnt] 
    (when (even? cnt) 
    (println "Done" cnt))) 

(defn report-progress [] 
    (let [aseq (range 10)] 
    (doall (map report (take (count aseq) (iterate inc 1)))) 
    aseq)) 

即使這個例子太簡單，你仍然朝着正確的方向前進。這給了我一個關於你的報告 - 進度函數的更一般化版本的想法。該函數將採用類似map的函數，要映射的函數，報表函數和一組集合（或用於測試reduce的種子值和集合）。

(defn report-progress [m f r & colls] 
    (let [result (apply m 
       (fn [& args] 
        (let [v (apply f args)] 
        (apply r v args) v)) 
       colls)] 
    (if (seq? result) 
     (doall result) 
     result))) 

該seq？部分是隻爲使用減少，而不是 必然返回一個序列。有了這個功能，我們可以重寫你的 例子是這樣的：

user> 
(report-progress 
    map 
    (fn [_ v] v) 
    (fn [result cnt _] 
    (when (even? cnt) 
     (println "Done" cnt))) 
    (iterate inc 1) 
    (range 10)) 

Done 2 
Done 4 
Done 6 
Done 8 
Done 10 
(0 1 2 3 4 5 6 7 8 9) 

測試過濾功能：

user> 
(report-progress 
    filter 
    odd? 
    (fn [result cnt] 
    (when (even? cnt) 
     (println "Done" cnt))) 
    (range 10)) 

Done 0 
Done 2 
Done 4 
Done 6 
Done 8 
(1 3 5 7 9) 

即使精簡函數：

user> 
(report-progress 
    reduce 
    + 
    (fn [result s v] 
    (when (even? s) 
     (println "Done" s))) 
    2 
    (repeat 10 1)) 

Done 2 
Done 4 
Done 6 
Done 8 
Done 10 
12 

Answer 3

我可能會執行在代理中報告。這樣的事情：

(defn report [a] 
    (println "Done " s) 
    (+ 1 s)) 

(let [reports (agent 0)] 
    (map #(do (send reports report) 
      (process-data %)) 
     data-to-process) 

Answer 4

我有一些運行緩慢的應用程序（例如數據庫ETL等）的這個問題。我通過添加功能(tupelo.misc/dot ...)to the tupelo library來解決它。示例：

(ns xxx.core 
    (:require [tupelo.misc :as tm])) 

(tm/dots-config! {:decimation 10}) 
(tm/with-dots 
    (doseq [ii (range 2345)] 
    (tm/dot) 
    (Thread/sleep 5))) 

輸出：

 0 .................................................................................................... 
    1000 .................................................................................................... 
    2000 ................................... 
    2345 total 

爲tupelo.misc命名空間can be found here API文檔。