Questions tagged «directed-acyclic-graphs»

有人可以简单地向我解释什么是有向无环图吗？我看过维基百科，但它并没有真正使我看到它在编程中的用途。

109 directed-acyclic-graphs 

如何检查有向图是否为非循环图？以及如何调用算法？我将不胜感激。

82 algorithm  theory  directed-graph  directed-acyclic-graphs 

我正在尝试使用气流将s3文件从“非删除”存储桶（意味着我无法删除文件）移动到GCS。我不能保证每天都会有新文件，但是我必须每天检查新文件。 我的问题是动态创建subdag。如果有ARE文件，则需要subdags。如果没有文件，则不需要子目录。我的问题是上游/下游设置。在我的代码中，它确实可以检测文件，但不会像预期的那样启动子数据。我想念一些东西。 这是我的代码： from airflow import models from airflow.utils.helpers import chain from airflow.providers.amazon.aws.hooks.s3 import S3Hook from airflow.operators.python_operator import PythonOperator, BranchPythonOperator from airflow.operators.dummy_operator import DummyOperator from airflow.operators.subdag_operator import SubDagOperator from airflow.contrib.operators.s3_to_gcs_operator import S3ToGoogleCloudStorageOperator from airflow.utils import dates from airflow.models import Variable import logging args = { 'owner': 'Airflow', 'start_date': dates.days_ago(1), 'email': …

10 python  airflow  directed-acyclic-graphs 

我有一个如下的场景： 仅在源表（Athena）中有新数据可用时才触发Task 1和Task 2。一天中进行新的数据分区时，应该触发Task1和Task2。 触发Task 3仅完成Task 1和Task 2 Task 4仅触发完成Task 3 我的密码 from airflow import DAG from airflow.contrib.sensors.aws_glue_catalog_partition_sensor import AwsGlueCatalogPartitionSensor from datetime import datetime, timedelta from airflow.operators.postgres_operator import PostgresOperator from utils import FAILURE_EMAILS yesterday = datetime.combine(datetime.today() - timedelta(1), datetime.min.time()) default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': yesterday, 'email': FAILURE_EMAILS, …

9 python  airflow  amazon-athena  directed-acyclic-graphs  airflow-scheduler