CUDA Scalar和SIMD視頻指令的效率

Question

SIMD指令的吞吐量低於32位整數算術。 在SM2.0（僅限標量指令版本）的情況下，降低2倍。 如果SM3.0低6倍。

什麼時候適合使用他們的情況？

Answer 1

如果您的數據已經裝在由一個SIMD視頻教學本身處理的格式，那就需要多個步驟來解壓縮，以便它可以通過一個普通的指令進行處理。

此外，SIMD視頻教學的吞吐量也應根據實際操作的數量乘以普通算術操作比較時，它執行。

例如，對於指令vadd4，正在打包的32位數量（4字節整數量數）上執行4個整數加法。爲了用普通的整數相加來複制這種行爲，需要一個相當複雜的指令序列來將數據解包成4個數量，做4個整數相加，然後重新打包結果。如果你試圖用單個整數加起來，從一個結果進行可能會破壞下一個結果。 vadd4也提供了鉗位功能和其他整數加法不可用的行爲。

在SM2.0的情況下，只有vadd4執行的4個操作與4個整數的比例對解包數據的增加是必要的，這將使其具有吸引力。在SM3.0的情況下，當解包和打包被添加到普通整數添加例程時，vadd4看起來很有吸引力。情況變得更加有吸引力with cc 5.0。