阿帕奇梁的BigQuery(Apache beam and BigQuery)

我想执行的Apache梁SDK 2.4和库com.google.cloud.bigquery但thow例外

Exception in thread main java.lang.NoSuchMethodError com.google.api.client.googleapis.services.json.AbstractGoogleJsonClient$Builder.setBatchPath(LjavalangString;)LcomgoogleapiclientgoogleapisservicesAbstractGoogleClient$Builder;
at com.google.api.services.bigquery.Bigquery$Builder.setBatchPath(Bigquery.java3519)

import com.google.cloud.bigquery.*;

<dependency>
    <groupId>com.google.cloud.dataflow</groupId>
    <artifactId>google-cloud-dataflow-java-sdk-all</artifactId>
    <version>[2.4.0, 2.99)</version>
</dependency>

<!-- slf4j API frontend binding with JUL backend -->
<dependency>
    <groupId>org.slf4j</groupId>
    <artifactId>slf4j-api</artifactId>
    <versi

on>1.7.14</version>
    </dependency>

   <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-jdk14</artifactId>
        <version>1.7.14</version>
    </dependency>

    <dependency>
        <groupId>com.google.cloud</groupId>
        <artifactId>google-cloud-bigquery</artifactId>
        <version>1.35.0</version>
    </dependency>

</dependencies>

the code example apache beam 2.4 using 

import com.google.api.services.bigquery.model.TableFieldSchema;
import com.google.api.services.bigquery.model.TableRow;
import com.google.api.services.bigquery.model.TableSchema;

如果我使用的库om.google.api.services.bigquery。 该代码示例成功运行。

它是内部使用什么库？

我应该使用什么库？ com.google.api.services.bigquery或com.google.cloud.bigquery？

Answer 1:

梁2.4使用com.google.api.services.bigquery V2-rev374-1.22.0。 这也是你应该梁2.4使用的库。 该com.google.api.services.bigquery库是过时，有一个悬而未决的问题进行升级。 不幸的是在梁的其他组件依赖于它们与com.google.cloud.bigquery不兼容的库，和那些需要在使用新的库之前进行升级。

如果你不这样做，你应该看看BigQuery的IO ，它提供了一个包装，为梁共同BigQuery的操作。

文章来源: Apache beam and BigQuery