有关HIVE_STATS_JDBC_TIMEOUT以及如何任何更新跳过它在源代码级(Any upda

2019-09-29 04:45发布

当我试图用Spark-SqlHive ,像下面的错误被抛出。

Exception in thread "main" java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
        at org.apache.spark.sql.hive.HiveUtils$.formatTimeVarsForHiveClient(HiveUtils.scala:204)
        at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver$.main(SparkSQLCLIDriver.scala:90)
        at org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.main(SparkSQLCLIDriver.scala)

按照SO线程蜂房统计-JDBC-超时的蜂箱查询功能于火花和火花的蜂箱-SQL查询错误nosuchfielderror蜂箱-统计-JDBC-超时 ,发生此问题,当您”重新使用Spark和蜂巢的具体版本,实际上,如果你想使用最新版本的火花像2.4.3和最新的蜂巢状3.1.1,它不能被跳过。

我们可以检查细节这个社区线程, https://issues.apache.org/jira/browse/SPARK-13​​446 ,因为Feb.2019没有更新。

所以,这样你就知道这个问题的任何更新? 如果我们要跳过它自己的源代码级别,任何线索如何做呢?

感谢您的帮助提前。

Answer 1:

使用蜂巢3.1.1将只能从星火3.0.0支持(尚未公布)。
吉拉- https://jira.apache.org/jira/browse/SPARK-24360



文章来源: Any update about HIVE_STATS_JDBC_TIMEOUT and how to skip it in source level