在_spark_metadata一无所获(Found nothing in _spark_metad

我想从一个特定的文件夹中读取CSV文件，并在本地PC的学习目的在不同的位置写相同的内容给其他CSV文件。 我可以读取该文件，并显示在控制台上的内容。 但是，如果我想在指定的输出目录将其写入到另一个CSV文件，我得到了一个名为“_spark_metadata”这里面含有什么文件夹。

我粘贴整个代码在这里一步一步：

创建星火会议：

spark = SparkSession \
.builder \
.appName('csv01') \
.master('local[*]') \
.getOrCreate();

spark.conf.set("spark.sql.streaming.checkpointLocation", <String path to checkpoint location directory> )
userSchema = StructType().add("name", "string").add("age", "integer")

从CSV文件中读取

df = spark \
.readStream \
.schema(userSchema) \
.option("sep",",") \
.csv(<String path to local input directory containing CSV file>)

写到CSV文件

df.writeStream \
.format("csv") \
.option("path", <String path to local output directory containing CSV file>) \
.start()

在“字符串路径包含CSV文件的本地输出目录”我只得到不包含CSV文件的文件夹_spark_metadata。

任何帮助高度赞赏

Answer 1:

不要使用readStream从静态数据读取。 您使用的是从那里的文件添加到该文件夹的目录阅读。

你只需要spark.read.csv

文章来源: Found nothing in _spark_metadata