scalability

    1熱度

    1回答

    我的用例如下:我們正在使用Spark從HDFS讀取和轉換數據。轉換後的數據應保存在memsql中。 是否有任何使用Spark寫入memsql的最佳實踐?也就是說,使用Dataframe進行大規模(並行)寫入時,確保寫入性能和可伸縮性的最佳方式是什麼? 什麼是首選解決方案:使用memsql/Spark連接器(https://github.com/memsql/memsql-spark-connect

    0熱度

    1回答

    我有一個非常大的產品數據庫,並且可用空間非常小以節省所有映像。 我現在想要添加更多的服務器,並且必須在多個服務器上分發圖像。但我需要一種一致的方式來在所有服務器之間分割產品圖像。該ID是auto_increment,所以我不能使用它,因爲有時產品會被刪除,它們的圖像也會被刪除。所以在這種情況下,如果我只是說:服務器A上的ID爲1-10M,服務器B上的ID爲10M> ID < 20M等等。當ID爲1

    1熱度

    1回答

    我不知道,如果這樣的設計問題是合適的,但在這裏根據https://meta.stackexchange.com/questions/41469/is-there-a-stack-overflow-for-design-questions它不是完全關閉的限制。 在我的系統上有一個數字,下載大文件和處理它們的節點。每個文件都由唯一標籤標識。基於該標籤,節點可以構建適當的URL並下載相應的文件。文件隨時

    6熱度

    2回答

    我有一個非常大的矩陣我試圖通過glmnet在大量內存的服務器上運行。它工作正常,即使在非常大的數據集到一定點,在這之後我收到以下錯誤: Error in elnet(x, ...) : long vectors (argument 5) are not supported in .C 如果我理解正確的話,這是由R中的限制,不能有任何長度矢量再引起比INT_MAX。那是對的嗎?有沒有可用的解決方

    1熱度

    1回答

    我想要擴展Sails應用程序的數據庫。我有兩個想法: - 使用Amazon RDS。 - 使用MySQL主/從 但是,我不知道如何在Sails應用程序中應用2個選項?

    3熱度

    3回答

    我想知道爲什麼要用typed actors來使用無類型的actor。 我已經對這個閱讀幾個職位,以下一些人: What is the difference between Typed and UnTyped Actors in Akka? When to use what? http://letitcrash.com/post/19074284309/when-to-use-typedactors

    1熱度

    1回答

    使用Java應用程序水平擴展RDBMS的最新且最優化的方法是什麼?我知道分片作爲一種選擇,但它具有自己的一套複雜性,而更復雜的是故障轉移服務器。 感謝,

    1熱度

    1回答

    我知道node.js服務器緩存模塊。因此,在啓動服務器後,所有文件都將「編譯」,並且所有對代碼的更改都可以在重新啓動服務器後生效。 但是,如果在網站上總是有數百個用戶在線 - 您如何以某種方式進行這些更改(重新啓動服務器),您的數百個客戶端不會注意到任何問題,停機時間? 請給我一些指導和(你自己的)關於(我猜)可伸縮性,平衡服務器負載等方面的例子,這樣我就可以用node.js製作出超棒的動態網站。

    0熱度

    1回答

    我有一個場景,我感到困惑的使用線程或進程: 我有一個會談到由不同的公司提供了幾個其他的第三方網絡應用程序,並從這些應用程序中提取數據的應用程序。所以基本上我的應用程序會碰到這些第三方應用程序提供的api,帶來大量數據並將它們轉儲到數據庫中。 現在有許多因素顯著喜歡這裏 - 網絡延遲,數據庫的讀/寫,快/慢服務器在兩端等,所以基本上是應用在很大程度上耗費時間和資源,其性能取決於多種因素。 現在對於帶

    5熱度

    3回答

    我對擴展Docker容器有幾個基本問​​題: 我有5個不同的應用程序。他們沒有互相連接。在擁有容器之前,我會爲每個虛擬機運行1個應用程序,並在雲中逐個擴展和縮小它們。 現在用的容器,我得到一個虛擬機之上的隔離,所以現在我有可能運行在一臺主機與5個泊塢窗容器,每個應用程序在其自身的容器隔離。 只要我有我的主機上有足夠的資源,我可以放大和縮小這些容器單獨爲我的流量增大或縮小。例如我有3個容器中運行的應