如何在不使用SQL星火排序在星火数据帧?(How to sort dataframe in Spar

2019-10-22 17:56发布

我现在用的Spark工作,但我发现,在星火SQL使用ORDER BY很慢排序一个数据帧。 那么如何排序不星火SQL一个数据帧?

Answer 1:

我不知道如果我完全理解你所需要的。

无论如何,如果要排序一个DF可以使用sortBy(在的情况下,或sortByKey(K,V))

例如,如果我们假设有一个DF(在这种情况下,从星火SQL来),我们可以像这样对它进行排序:

val sqlResult = sqlContext.sql("select first_column, second_column from logs").toDF()
val result = sqlResult.sortBy(x=>x._1) // first column sorting

正如前面所说的,您可以排序任何DF,但我只是想表明另一种方式来“访问”数据星火SQL,然后用星火核心功能对它们进行排序。

希望它可以帮助!

FF



文章来源: How to sort dataframe in Spark without using Spark SQL ?