2016-04-11 350 views
0

有一個配置項目(max-split-size)來設置一個split的最大尺寸。換句話說,我可以改變項目的值來改變分割數量。Presto拆分數量的最佳實踐?

我知道,更多的拆分會同時使用更多的cpu,搜索會變得更快。

如果是這樣,爲什麼presto設置該項目的默認值是32M而不是這樣的1M

回答

1

每個創建的分割都有開銷,所以你不希望它們太小。此外,某些文件格式(如ORC)不能被分割爲小於ORC條帶的大小,該ORC條帶的大小通常爲幾十到幾百兆字節