partitioning

3熱度

1回答

我需要在分區表中實現更新（通過ON CONFLICT（））行。到目前爲止，我的嘗試：創建表： CREATE TABLE public.my_tbl ( goid character varying(255) NOT NULL, timestamps timestamp without time zone[], somenumber numeric[],

0熱度

1回答

Spring引導批分區JdbcCursorItemReader錯誤

即使在遵循Victor Jabor blog非常全面的示例之後，我仍無法獲得此工作。我在他描述和使用所有最新的依賴關係時遵循了他的配置。我，正如維克多試圖從一個數據庫讀取並寫入另一個數據庫。我有這個工作沒有分區，但需要分區來提高性能，因爲我需要能夠在5分鐘內讀取5到1000萬行。下面似乎工作： 1）ColumnRangePartitioner 2）TaskExecutorPartitionHan

0熱度

1回答

Oracle數據庫手冊表分區

我們的系統中有實時數據庫和檔案數據庫。來自實時數據庫的日常數據被移入歸檔數據庫。我們每天生成大約200萬個數據到不同的表格中。由於我們需要保留數據10年，我們創建了另一個用於存檔目的的Oracle數據庫，並使用批處理過程在每個午夜推送數據。由於數據快速增長，我們關心的是將數據存儲在歸檔數據庫的表中。由於我們沒有Oracle分區許可證，我們已經爲每個月創建了10年的表格（共120個表格）。我們

0熱度

1回答

HIVE總和查詢

我試圖將Teradata中的查詢轉換爲HIVE QL（HDF），並且一直在努力尋找示例。 Teradata（我的功能性最終目標） - 希望計算表中的記錄數，然後針對每個growth_type_id值，最終得到每個組的％。 select trim(growth_type_id) AS VAL, COUNT(1) AS cnt, SUM(cnt) over() as GRP_CNT,CNT/(GRP

0熱度

2回答

MYSQL中的子分區

我需要明智地分區表日期，然後這個分區需要通過用戶ID進行子分區。我分區表如下圖所示： ALTER TABLE sentbox1 PARTITION BY RANGE(to_days(CreatedDateTime))( PARTITION p20161130 VALUES LESS THAN (to_days('2016-11-30')), PARTITION p20161201 VALUES

0熱度

2回答

配置單元寫入分區和默認

我有一個日期時間表，事實表和分區表。目標是將date_time連接到事實並插入到分區表中。它正在工作，因爲我可以驗證/apps/hive/warehouse/dbname.db/p_tbl/p_year=2016/p_month=01/p_day=01以及幾個其他年，月，日文件夾存在。不過，我也有p_year=__HIVE_DEFAULT_PARTITION__/p_month=__HIVE_DE

0熱度

2回答

改變表的文件組的有效方法

我有大約300個位於不同分區的表，現在這些表沒有用於如此龐大的數據。現在，我得到空間問題時間，一些有價值的空間被爲這些表創建的150個文件組佔據，所以我想將表的文件組更改爲任何一個而不是150 FG，並通過刪除這些文件組來釋放空間。這些表格現在不包含任何數據，但定義了許多約束和索引。能否請您提出建議，如何有效完成？

0熱度

1回答

使用Galera集羣在MariaDB中旋轉分區

如何在Galera集羣上管理分區實時輪換？我不時捕獲元數據鎖，同時在表上刪除或添加分區。我在集羣中有3個節點，並且所有應用程序連接都通過負載均衡轉到第一個節點。如果第一個節點連接切換到第二個節點。對於分區我使用的下一個SP： CREATE DEFINER=`root`@`localhost` PROCEDURE `manage_partitions`() BEGIN if @@G

0熱度

2回答

在使用PartioningBy和groupingBy時無法獲得所需的輸出

我正在使用收集器的groupingBy和partioningBy函數。與人的名單我的工作，人員名單如下： List<Person> persons = Arrays.asList( new Person("Max", 18), new Person("Peter", 23), new Person("Pamela", 23), ne

2熱度

1回答

java.io.NotSerializableException：org.apache.spark.InterruptibleIterator在spark中執行mapPartition（）java

我試圖在示例數據上執行簡單的Spark RDD轉換mapPartition（）。但在這個過程中，我得到java.io.NotSerializableException: org.apache.spark.InterruptibleIterator 異常。這裏是我的例外： java.io.NotSerializableException: org.apache.spark.Interruptibl