共享內存優化混淆

Question

我已經在cuda中編寫了一個應用程序，它在每個塊中使用1kb的共享內存。 由於每個SM中只有16kb的共享內存，因此總共只能容納16個塊（我是否正確理解它？），儘管一次只能調度8個塊，但現在如果某個塊正忙着做內存操作，所以其他塊將在GPU上安排，但所有的共享內存被其他16塊已經在那裏調度使用，所以除非先前分配的塊完全完成，否則cuda不會在同一個SM上安排更多塊。或者它會將一些塊的共享內存移動到全局內存，並在那裏分配其他塊（在這種情況下，我們應該擔心全局內存訪問延遲？）

Answer 1

它不起作用。這將被安排在一個單獨的SM任何特定的時刻運行塊的數量永遠是最低如下：

1. 8塊
2. 塊，其靜態和與動態分配共享數內存小於16kb或48kb，取決於GPU架構和設置。還有共享內存頁面大小限制，這意味着每塊分配被四捨五入到頁面大小的下一個最大倍數
3. 每個塊寄存器使用的總和小於8192/16384/32678的塊的數量取決於體系結構。還有寄存器文件頁面大小，這意味着每塊分配四捨五入到頁面大小的下一個最大倍數。

這就是它的全部。沒有「分頁」共享內存來容納更多的塊。 NVIDIA產生一個計算佔用率的電子表格，隨工具包一起提供，並可單獨下載。您可以在其包含的公式中看到確切的規則。它們也在CUDA編程指南的第4.2節中討論。