Questions tagged «airflow»

问题 Airflow中是否有任何方法可以创建工作流，使得任务B. *的数量在任务A完成之前是未知的？我看过subdags，但看起来它只能与必须在Dag创建时确定的一组静态任务一起使用。 dag触发器会起作用吗？如果可以的话，请提供一个例子。 我有一个问题，在任务A完成之前，无法知道计算任务C所需的任务B的数量。每个任务B. *将花费数小时才能计算，并且无法合并。 |---> Task B.1 --| |---> Task B.2 --| Task A ------|---> Task B.3 --|-----> Task C | .... | |---> Task B.N --| 想法＃1 我不喜欢这种解决方案，因为我必须创建一个阻塞的ExternalTask​​Sensor，并且所有任务B. *将需要2-24小时才能完成。因此，我认为这不是可行的解决方案。当然有更简单的方法吗？还是不是为此设计了Airflow？ Dag 1 Task A -> TriggerDagRunOperator(Dag 2) -> ExternalTaskSensor(Dag 2, Task Dummy B) -> Task C Dag 2 …

96 python  workflow  airflow 

我已经启动了Airflow Web服务器并安排了一些工作。我可以在Web GUI上看到问题。 如何删除正在运行并显示在Web GUI中的特定DAG？是否有Airflow CLI命令可以执行此操作？ 我环顾四周，但找不到DAG已加载和计划后删除DAG的简单方法的答案。

74 airflow 

在使用进行全新安装后pip install apache-airflow，任何运行气流的尝试都会以python导入错误结束： Traceback (most recent call last): File "/Users/\*/env/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/Users/\*/env/lib/python3.7/site-packages/airflow/bin/cli.py", line 70, in <module> from airflow.www.app import (cached_app, create_app) File "/Users/\*/env/lib/python3.7/site-packages/airflow/www/app.py", line 26, in <module> from flask_wtf.csrf import CSRFProtect File "/Users/\*/env/lib/python3.7/site-packages/flask_wtf/__init__.py", line 17, in <module> from .recaptcha import \* File …

19 python  flask  airflow  werkzeug 

安装正确完成。db正确启动，尝试启动Web服务器时显示以下错误。 我重新安装了所有内容，但仍然无法正常工作。 如果有人帮助我，我将不胜感激。 控制台输出： $:~/airflow# airflow webserver -p 8080 ____________ _____________ ____ |__( )_________ __/__ /________ __ ____ /| |_ /__ ___/_ /_ __ /_ __ \_ | /| / / ___ ___ | / _ / _ __/ _ / / /_/ /_ |/ |/ / _/_/ |_/_/ /_/ …

16 airflow 

关闭。这个问题不能重现或由错别字引起。它当前不接受答案。 想改善这个问题吗？ 更新问题，使其成为Stack Overflow 的主题。 3个月前关闭。 我尝试airflow -version和airflow initdb时出现错误 File "/home/ravi/sandbox/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/home/ravi/sandbox/lib/python3.6/site-packages/airflow/bin/cli.py", line 70, in <module> from airflow.www.app import (cached_app, create_app) File "/home/ravi/sandbox/lib/python3.6/site-packages/airflow/www/app.py", line 37, in <module> from airflow.www.blueprints import routes File "/home/ravi/sandbox/lib/python3.6/site-packages/airflow/www/blueprints.py", line 25, in <module> from airflow.www import utils …

12 python  airflow 

我正在使用 https://github.com/helm/charts/tree/master/stable/airflow掌舵图并puckle/docker-airflow使用安装的Kubernetes构建v1.10.8 图像并在掌舵图中使用该图像，但是我一直在获取 File "/usr/local/bin/airflow", line 37, in <module> args.func(args) File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb db.initdb(settings.RBAC) File "/usr/local/lib/python3.7/site-packages/airflow/utils/db.py", line 332, in initdb dagbag = models.DagBag() File "/usr/local/lib/python3.7/site-packages/airflow/models/dagbag.py", line 95, in __init__ executor = get_default_executor() File "/usr/local/lib/python3.7/site-packages/airflow/executors/__init__.py", line 48, in get_default_executor DEFAULT_EXECUTOR = _get_executor(executor_name) File "/usr/local/lib/python3.7/site-packages/airflow/executors/__init__.py", line 87, in _get_executor …

12 kubernetes  airflow  kubernetes-helm  airflow-scheduler 

我正在尝试使用气流将s3文件从“非删除”存储桶（意味着我无法删除文件）移动到GCS。我不能保证每天都会有新文件，但是我必须每天检查新文件。 我的问题是动态创建subdag。如果有ARE文件，则需要subdags。如果没有文件，则不需要子目录。我的问题是上游/下游设置。在我的代码中，它确实可以检测文件，但不会像预期的那样启动子数据。我想念一些东西。 这是我的代码： from airflow import models from airflow.utils.helpers import chain from airflow.providers.amazon.aws.hooks.s3 import S3Hook from airflow.operators.python_operator import PythonOperator, BranchPythonOperator from airflow.operators.dummy_operator import DummyOperator from airflow.operators.subdag_operator import SubDagOperator from airflow.contrib.operators.s3_to_gcs_operator import S3ToGoogleCloudStorageOperator from airflow.utils import dates from airflow.models import Variable import logging args = { 'owner': 'Airflow', 'start_date': dates.days_ago(1), 'email': …

10 python  airflow  directed-acyclic-graphs 

我有一个如下的场景： 仅在源表（Athena）中有新数据可用时才触发Task 1和Task 2。一天中进行新的数据分区时，应该触发Task1和Task2。 触发Task 3仅完成Task 1和Task 2 Task 4仅触发完成Task 3 我的密码 from airflow import DAG from airflow.contrib.sensors.aws_glue_catalog_partition_sensor import AwsGlueCatalogPartitionSensor from datetime import datetime, timedelta from airflow.operators.postgres_operator import PostgresOperator from utils import FAILURE_EMAILS yesterday = datetime.combine(datetime.today() - timedelta(1), datetime.min.time()) default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': yesterday, 'email': FAILURE_EMAILS, …

9 python  airflow  amazon-athena  directed-acyclic-graphs  airflow-scheduler