谁能给我这个星火参数的更精确的描述，以及它如何影响程序执行？ 我不能告诉这个参数不正是从文档“引擎盖下”。
Answer 1:
该参数会影响为Python工人的内存限制。 如果一个Python工作进程的RSS大于存储器限值时，那么它将从存储器到磁盘，这将降低存储器利用率，但通常是昂贵的操作溢出数据。
注意，此值每Python的劳动者申请，并且会有多个工人每执行人。
如果你想采取引擎盖下看看，再看看在Spark源代码树蟒/ pyspark目录，例如ExternalMerger实现： https://github.com/apache/spark/blob/41afa16500e682475eaa80e31c0434b7ab66abcb/python/pyspark/ shuffle.py＃L280
文章来源: What is spark.python.worker.memory?
