星火流的StreamingContext错误(Spark Streaming StreamingCo

我是一个Java老将谁是努力学习的Scala +星火流。我下载的基于Eclipse的IDE斯卡拉星火+核心+罐子星火流罐子都2.10和尝试的例子 - 我得到的错误：

val ssc = new StreamingContext(conf, Seconds(1));

描述资源路径位置类型糟糕的符号引用。在StreamingContext.class签名是指长期的conf封装org.apache.hadoop这是不可用的。它可以从当前的classpath被完全丢失，或者在类路径中的版本可能与编译StreamingContext.class时所使用的版本不兼容。 Lab.scala / AirStream icon免费1.0.1 / SRC线10的Scala问题

有什么事，我错过了这里？所有SparkContext没有错误，但在的StreamingContext收到此错误人的时间。

Answer 1:

确保在类路径中的Hadoop版本匹配的火花流罐子建兑之一。也可能有一些依赖火花流预计将在集群环境中提供; 如果是这样你就需要在Eclipse运行时手动添加到classpath中。

Answer 2:

我碰到了大约同样的问题。这通常是我在写斯卡拉/火花实践中阶等级：

package practice.spark

import org.apache.spark.SparkContext._
import org.apache.spark._
import org.apache.spark.sql._

object SparkService {
  def sparkInit(sparkInstanceConfig: Configuration): SparkService = {
    val sparkConf = new SparkConf().setAppName(sparkInstanceConfig.appName)
    val instanceSpark = new SparkService(sparkConf)
    return instanceSpark
  }
}

class SparkService(sparkConf: SparkConf) {
  val sc = new SparkContext(sparkConf)
  val sql = new org.apache.spark.sql.SQLContext(sc)
}

在我的Eclipse项目属性> Java构建路径>库我有jre8库，斯卡拉2.11库，火花core_2.11，和火花sql_2.11。我收到错误

描述资源路径位置类型缺失或无效依赖检测，同时加载的类文件“SparkContext.class”。无法访问包org.apache长期Hadoop的，因为它（或它的依赖）失踪。检查是否缺少或依赖性冲突而您的构建定义。（有重新运行-Ylog-classpath看到有问题的类路径。）一个完整的重建可能会帮助，如果“SparkContext.class”反对org.apache不兼容的版本编译。 BinAnalysisNew未知斯卡拉问题

然后我加入了Hadoop的核心罐子我的Java构建路径，并清除了这个问题。我使用了最新版本的罐子。

此问题也可能能够通过使用gradle这个或其他一些构建工具，会拿起项目中使用的每个瓶子的所有依赖及时清理。

文章来源: Spark Streaming StreamingContext error