使用共享優先級隊列進行負載均衡

Question

我正試圖在此刻實現負載平衡器，並且遇到了一點速度顛簸。情況如下（簡化的），

• 我有請求的隊列queue_a其通過worker_a
• 處理有其通過worker_b處理的請求queue_b的第二隊列
• 我有請求queue_c，可以去任何工人的3隊列

這種設置的原因是每個工作人員都有唯一的請求，只有它可以處理，但也有任何人都可以處理的一般請求。

我打算使用IntervalHeap的C5的3個實例來實現這個功能。每個工作人員都可以訪問其本地隊列+它所屬的共享隊列（例如，worker_a可以看到queue_a & queue_c）。

這個想法的問題是，如果在本地隊列中有一個請求，並且共享隊列中的請求具有相同的優先級，那麼不可能知道哪一個應該先被處理（IntervalHeap通常是當這種情況發生時，先到先服務）。

編輯：我發現IntervalHeap似乎不先來先-服務器相同的優先級的請求！

我想盡量減少隊列中的鎖定，因爲它會有相對較高的吞吐量和時間敏感性，但目前我能想到的唯一方法會涉及更多的複雜性，其中第三個隊列被刪除並共享請求放入queue_a和queue_b中。當請求被吸收時，它會知道這是一個共享請求，並且必須從其他隊列中刪除它。

希望能夠解釋清楚！

Answer 1

看來你最終會推動泡沫 - 無論你如何安排它，在最糟糕的情況下，你會有三件同樣優先的事情只由兩名工作人員執行。什麼樣的平局標準可以超越優先級來應用，以便選擇從哪個隊列中抽取下一個任務？

這裏有兩個想法：

1. 隨機挑選的隊列。所有優先事項都是平等的，所以選擇哪一個都不重要。在最糟糕的情況下，所有隊列的平均維修費用大致相同。

2. 通過從具有最多元素的隊列中取出來使隊列長度最小化。如果一個隊列的填充率一直高於其他隊列，這可能會導致其他隊列的捱餓。

HTH

Answer 2

同步你的員工可以共享同樣的資源池，以及他們的私人隊列。在隊列1中可用的項目和共享隊列中可用的項目1中，如果工作人員1首先拾取共享隊列的項目，這將是一個恥辱，因爲這會限制並行運行。相反，你希望工人1先拿起私人物品，然而這會導致新的警告，其中一個是工人1和工人2都忙於處理私人物品，因此舊的共享物品將不會被拾取。

尋找解決這些問題的解決方案在試圖降低複雜性時將會非常困難。一個簡單的實現只是在專用隊列爲空時處理共享項目。這不會解決在高負載情況下不能正確處理優先級的部分。 （例如，由於專用隊列總是滿的，共享隊列不會被處理）。爲了平衡這一點，只有在其他員工私人隊列爲空的情況下，纔可能首先處理私人隊列。這仍然不是一個完美的解決方案，因爲這仍然會優先於專用隊列項目而不是共享項目。再次解決這個問題可以通過設置多種策略來實現，但是這會帶來更多的複雜性。

這一切都取決於您的要求。