我现在用的Spark工作,但我发现,在星火SQL使用ORDER BY很慢排序一个数据帧。 那么如何排序不星火SQL一个数据帧?
Answer 1:
我不知道如果我完全理解你所需要的。
无论如何,如果要排序一个DF可以使用sortBy(在的情况下,或sortByKey(K,V))
例如,如果我们假设有一个DF(在这种情况下,从星火SQL来),我们可以像这样对它进行排序:
val sqlResult = sqlContext.sql("select first_column, second_column from logs").toDF()
val result = sqlResult.sortBy(x=>x._1) // first column sorting
正如前面所说的,您可以排序任何DF,但我只是想表明另一种方式来“访问”数据星火SQL,然后用星火核心功能对它们进行排序。
希望它可以帮助!
FF
文章来源: How to sort dataframe in Spark without using Spark SQL ?