我有一个动态气流DAG( backfill_dag
),基本上读取admin变量(JSON),并建立它的自我。 Backfill_dag
用于回填/历史记录载荷,因此,例如,如果我想历史负荷DAG X,Y,新西兰以某种顺序(并行XNY来看,Z取决于x)的话,我会在一个特定的JSON格式提到这一点,并把它的admin变量backfill_dag
。
Backfill_dag
现在:
解析JSON,呈现的DAG的x,y和z的任务,并且其中x和y动态地构建本身平行和z取决于X
问题:
它只要作品好Backfill_dag
可以在30秒list_dags。 由于Backfill_dag
是有点复杂,在这里,它需要超过30秒列出(气流list_dags -sd Backfill_dag.py),因此它超时和DAG休息。
尝试:
我试图设置的参数, dagbag_import_timeout = 100
,在airflow.cfg
调度的文件,但没有帮助。