气流列表DAG超时30确切秒后(Airflow list dag times out exactly

2019-11-05 01:57发布

我有一个动态气流DAG( backfill_dag ),基本上读取admin变量(JSON),并建立它的自我。 Backfill_dag用于回填/历史记录载荷,因此,例如,如果我想历史负荷DAG X,Y,新西兰以某种顺序(并行XNY来看,Z取决于x)的话,我会在一个特定的JSON格式提到这一点,并把它的admin变量backfill_dag

Backfill_dag现在:

解析JSON,呈现的DAG的x,y和z的任务,并且其中x和y动态地构建本身平行和z取决于X

问题:

它只要作品好Backfill_dag可以在30秒list_dags。 由于Backfill_dag是有点复杂,在这里,它需要超过30秒列出(气流list_dags -sd Backfill_dag.py),因此它超时和DAG休息。

尝试:

我试图设置的参数, dagbag_import_timeout = 100 ,在airflow.cfg调度的文件,但没有帮助。

Answer 1:

我定我的代码。

修复:我在正在运行durring编译因此我list_dags命令我DAG有一些AWS S3 cp命令正在采取超过30秒,我删除它们(或在BashOperator任务则有),现在我的代码编译(list_dags)在夫妇秒。



文章来源: Airflow list dag times out exactly after 30 seconds