我可以运行Eclipse内火花单元测试(Can I run spark unit tests wit

最近，我们从使用烫伤引发移动。 我用日食和Scala IDE为Eclipse编写代码和测试。 测试运行良好与Twitter的JobTest类。 使用JobTest任何类将是自动提供给作为蚀内的阶单元测试运行。 我现在已经失去了这种能力。 火花测试用例是用SBT完全可以运行，但在Eclipse中运行配置为这些测试列出“适用无”。

有没有一种方法，以Eclipse中运行的火花单元测试？

Answer 1:

我认为使用Java将在斯卡拉工作同样的方法。 基本上只是做一个SparkContext使用主为“本地”，然后建立并运行单元测试正常。 要确保当测试完成后停止SparkContext。

我有这个工作星火1.0.0但不是一个新的版本。

public class Test123 {
  static JavaSparkContext sparkCtx;

  @BeforeClass
  public static void sparkSetup() {
    // Setup Spark
    SparkConf conf = new SparkConf();
    sparkCtx = new JavaSparkContext("local", "test", conf);     
  }

  @AfterClass
  public static void sparkTeardown() {
    sparkCtx.stop();
  }

  @Test
  public void integrationTest() {
    JavaRDD<String> logRawInput = sparkCtx.parallelize(Arrays.asList(new String[] {
            "data1",
            "data2",
            "garbage",
            "data3",
        }));
  }
}

文章来源: Can I run spark unit tests within eclipse