我們可以製作一個在蜂巢中既有分區又有分區的表格嗎?我們可以製作一個在蜂巢中既有分區又有分區的表格嗎?
1
A
回答
3
是的。
分區是你把數據分成HDFS上的目錄數量。每個目錄都是一個分區。例如,如果你的表定義是像
CREATE TABLE user_info_bucketed(user_id BIGINT, firstname STRING, lastname STRING)
COMMENT 'A bucketed copy of user_info'
PARTITIONED BY(ds STRING)
CLUSTERED BY(user_id) INTO 256 BUCKETS;
那麼你就必須對HDFS目錄,如
/user/hive/warehouse/user_info_bucketed/ds=2011-01-11/
/user/hive/warehouse/user_info_bucketed/ds=2011-01-12/
/user/hive/warehouse/user_info_bucketed/ds=2011-01-13/
桶裝是關於你的數據是如何分區裏面分佈,因此,您所擁有的文件像
/user/hive/warehouse/user_info_bucketed/ds=2011-01-11/000000_0
/user/hive/warehouse/user_info_bucketed/ds=2011-01-11/000000_1
...
/user/hive/warehouse/user_info_bucketed/ds=2011-01-11/000000_255
/user/hive/warehouse/user_info_bucketed/ds=2011-01-12/000000_0
/user/hive/warehouse/user_info_bucketed/ds=2011-01-12/000000_1
...
/user/hive/warehouse/user_info_bucketed/ds=2011-01-12/000000_255
參考HDFS: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL+BucketedTables http://www.hadooptpoint.com/hive-buckets-optimization-techniques/
0
你可以!在這種情況下,您將在分區數據中使用桶!
1
是的。這是直截了當的。
嘗試下面的東西:
CREATE TABLE IF NOT EXISTS employee_partition_bucket
(
employeeID Int,
firstName String,
designation String,
salary Int
)
PARTITIONED BY (department string)
CLUSTERED BY (designation) INTO 2 BUCKETS
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n';
在這個例子中,我通過指定
Hopw創建的分區由部門和剷鬥這將幫助你
相關問題
- 1. 蜂巢:從現有的分區表
- 2. 我可以有一個蜂巢外部表分區搜索遞歸
- 3. 蜂巢中的分區和分層
- 4. 我們應該什麼時候在蜂巢中進行分區和分區?
- 5. 蜂巢桶vs分區
- 6. 蜂巢,桶裝的分區表
- 7. 通過減少分區的數量改變蜂巢表分區
- 8. Oracle 10g分區:我可以分區一個子表嗎?
- 9. 插入到蜂巢分區表錯誤
- 10. 蜂巢中的範圍分區
- 11. 分區蜂巢表與另一個外部表
- 12. 添加文件蜂巢分區
- 13. 下降蜂巢分區動態
- 14. 蜂箱 - 分區表
- 15. 蜂巢靜態分區加載的所有記錄
- 16. 蜂巢加入2桌人有其他分區不
- 17. 我可以有一個既是git工作區也是svn工作區的工作區?
- 18. ,我們可以有一個編輯文本中的Android 3.0蜂巢
- 19. 有沒有一種方法可以在MySQL/Rails中強制區分單個查找的區分大小寫?
- 20. 蜂房外部分區表
- 21. 是否有可能在BigQuery中使分區表非分區?
- 22. 我應該對錶格進行分區/子分區嗎?
- 23. Sqoop增量裝載到分區蜂巢表
- 24. HdInsight Azure DW Polybase到蜂巢表(ORC)與日期分區失敗
- 25. 蜂巢:動態分區添加到外部表
- 26. 蜂巢CREATE TABLE LIKE其他表集分區鍵
- 27. 將蜂巢分區映射到某個位置
- 28. 我們可以在SQL Server 2012標準版中執行表分區嗎
- 29. 我可以在SQL Server 2005中更改分區表嗎?
- 30. 分區通過在蜂房
如何數據將在文件系統目錄分配?你能詳細說明嗎? – Farooque