提高斯卡拉列表查詢

Question

我有如下代碼：

for (user <- allValidationTransaction){ 
    val u_t = allTrainTransaction.slice(0, allTrainTransaction. 
    indexWhere(_.Transaction_ID == user.Transaction_ID)). 
      filter(_.CARD_ID == user.CARD_ID) 
} 

我該如何提高呢？它很慢。

Answer 1

這將根據核心數量快四倍或更多倍。使用30000行兩個2.5Ghz核心的速度要快五倍。請注意，List越多，降級越多。

val allValidationTransaction: IndexedSeq[tranx] = IndexedSeq.fill(30000)(random) 
val allTrainTransaction : IndexedSeq[userx] = IndexedSeq.fill(30000)(random_u) 

for (user <- allValidationTransaction){ 
    val u_t = allTrainTransaction.par.slice(0, allTrainTransaction.par. 
    indexWhere(_.Transaction_ID == user.Transaction_ID)). 
     filter(_.CARD_ID == user.CARD_ID) 
} 

檢查CPU使用情況以觀察par集合如何分配計算。

Answer 2

如果您的收藏 - allValidationTransaction和allTrainTransaction無法隨機訪問，您的代碼效率不高。 例如，slice和indexWhere列表不是常量操作。 請參閱http://www.scala-lang.org/api/current/scala/collection/immutable/List.html

時間：列表有O（1）prepend和head/tail訪問。大多數其他 操作都是O（n）列表中元素的數量。這個 包括基於索引的元素查找，長度，追加和逆向。

此外，如果您的代碼遍歷每個用戶3次allTrainTransaction集合。

1. 要找到具有相同的事務ID
2. 切片（如果它不是隨機訪問）
3. 要過濾如果你改變你的代碼具有相同的卡ID

指數程序風格，你可以獲得性能優勢。

以下是更新的答案。代碼未經測試。但它似乎工作。

@tailrec 
def helper[T](acc: Vector[T], trainTransactions: List[T], validTransaction: T): Vector[T] = 
    trainTransactions match { 
    case trainTransaction :: otherTrainTransactions if trainTransaction.Transaction_ID == validTransaction.Transaction_ID => 
     acc 

    case trainTransaction :: otherTrainTransactions if trainTransaction.CARD_ID == validTransaction.CARD_ID => 
     helper(acc :+ trainTransaction, otherTrainTransactions, validTransaction) 

    case trainTransaction :: otherTrainTransactions => 
     helper(acc, otherTrainTransactions, validTransaction) 

    case Nil => Nil 
    } 

allValidationTransaction.foldLeft(Vector.empty) { 
    case (acc, validationTransaction) => 
    acC++ helper(acc, allTrainTransactions, validationTransaction) 
}