區域在批量負載遷移過程中分裂

Question

在從RDBMS到Hbase的批量數據遷移過程中，區域分割是否有可能經常發生？如果它出現多次，那肯定會影響寫入和讀取性能。

我知道預分割可能會在某種程度上避免這個區域分裂。但是在我們的產品設計中，首先我們要在Hbase中單獨編寫新數據（可能需要6個月），一旦Hbase系統穩定地讀取和寫入新數據，就會開始將數據從RDBMS遷移到HBase的。在這個階段，我懷疑區域拆分可能太頻繁地發生，因爲數據太大，會影響讀寫性能。

我們的行鍵將按用戶順序遞增。對於不同的用戶，它將以不同的方式開始

請提出一些解決方案，以在數據遷移過程中保持服務器的性能。

Answer 1

我是不預先拆分hbase的支持者。該產品的一個關鍵特性是自動分片。分裂是一個非常快速的操作，但它會讓你走上壓實的道路。我發現在hbase堆壓縮行爲很差。在Splice Machine（開源），我們將壓縮轉移到Spark上，我們看到對hbase中的操作的影響很小。