0
有一個配置項目(max-split-size
)來設置一個split
的最大尺寸。換句話說,我可以改變項目的值來改變分割數量。Presto拆分數量的最佳實踐?
我知道,更多的拆分會同時使用更多的cpu
,搜索會變得更快。
如果是這樣,爲什麼presto設置該項目的默認值是32M
而不是這樣的1M
?
有一個配置項目(max-split-size
)來設置一個split
的最大尺寸。換句話說,我可以改變項目的值來改變分割數量。Presto拆分數量的最佳實踐?
我知道,更多的拆分會同時使用更多的cpu
,搜索會變得更快。
如果是這樣,爲什麼presto設置該項目的默認值是32M
而不是這樣的1M
?
每個創建的分割都有開銷,所以你不希望它們太小。此外,某些文件格式(如ORC)不能被分割爲小於ORC條帶的大小,該ORC條帶的大小通常爲幾十到幾百兆字節