Spark DataFrame groupBy

Question

我有看起來像這樣的Spark Java。代碼使用JDBC從oracle表中提取數據並顯示groupby輸出。

DataFrame jdbcDF = sqlContext.read().format("jdbc").options(options).load(); 
jdbcDF.show(); 
jdbcDF.groupBy("VA_HOSTNAME").count().show(); 

Long ll = jdbcDF.count(); 
System.out.println("ll="+ll); 

當我運行的代碼，jdbcDF.show();工作，而groupBy和計數不打印任何東西，被拋出任何錯誤。

我的專欄名稱是正確的。我試圖通過打印該列，它的工作，但當groupBy它無法正常工作。

有人可以幫我DataFrame輸出？我正在使用spark 1.6.3。

Answer 1

您可以嘗試

import org.apache.spark.sql.functions.count 

jdbcDF.groupBy("VA_HOSTNAME").agg(count("*")).show()