Questions tagged «airflow»

9
在Airflow中创建动态工作流程的正确方法
问题 Airflow中是否有任何方法可以创建工作流,使得任务B. *的数量在任务A完成之前是未知的?我看过subdags,但看起来它只能与必须在Dag创建时确定的一组静态任务一起使用。 dag触发器会起作用吗?如果可以的话,请提供一个例子。 我有一个问题,在任务A完成之前,无法知道计算任务C所需的任务B的数量。每个任务B. *将花费数小时才能计算,并且无法合并。 |---> Task B.1 --| |---> Task B.2 --| Task A ------|---> Task B.3 --|-----> Task C | .... | |---> Task B.N --| 想法#1 我不喜欢这种解决方案,因为我必须创建一个阻塞的ExternalTask​​Sensor,并且所有任务B. *将需要2-24小时才能完成。因此,我认为这不是可行的解决方案。当然有更简单的方法吗?还是不是为此设计了Airflow? Dag 1 Task A -> TriggerDagRunOperator(Dag 2) -> ExternalTaskSensor(Dag 2, Task Dummy B) -> Task C Dag 2 …

17
气流:如何删除DAG?
我已经启动了Airflow Web服务器并安排了一些工作。我可以在Web GUI上看到问题。 如何删除正在运行并显示在Web GUI中的特定DAG?是否有Airflow CLI命令可以执行此操作? 我环顾四周,但找不到DAG已加载和计划后删除DAG的简单方法的答案。
74 airflow 

2
全新安装后无法运行apache气流,python导入错误
在使用进行全新安装后pip install apache-airflow,任何运行气流的尝试都会以python导入错误结束: Traceback (most recent call last): File "/Users/\*/env/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/Users/\*/env/lib/python3.7/site-packages/airflow/bin/cli.py", line 70, in <module> from airflow.www.app import (cached_app, create_app) File "/Users/\*/env/lib/python3.7/site-packages/airflow/www/app.py", line 26, in <module> from flask_wtf.csrf import CSRFProtect File "/Users/\*/env/lib/python3.7/site-packages/flask_wtf/__init__.py", line 17, in <module> from .recaptcha import \* File …

2
无法启动Airflow Web服务器并显示sqlalchemy.exc.NoInspectionAvailable:没有可用的检查系统
安装正确完成。db正确启动,尝试启动Web服务器时显示以下错误。 我重新安装了所有内容,但仍然无法正常工作。 如果有人帮助我,我将不胜感激。 控制台输出: $:~/airflow# airflow webserver -p 8080 ____________ _____________ ____ |__( )_________ __/__ /________ __ ____ /| |_ /__ ___/_ /_ __ /_ __ \_ | /| / / ___ ___ | / _ / _ __/ _ / / /_/ /_ |/ |/ / _/_/ |_/_/ /_/ …
16 airflow 

1
安装apache-airflow时出现错误[关闭]
关闭。这个问题不能重现或由错别字引起。它当前不接受答案。 想改善这个问题吗? 更新问题,使其成为Stack Overflow 的主题。 3个月前关闭。 我尝试airflow -version和airflow initdb时出现错误 File "/home/ravi/sandbox/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/home/ravi/sandbox/lib/python3.6/site-packages/airflow/bin/cli.py", line 70, in <module> from airflow.www.app import (cached_app, create_app) File "/home/ravi/sandbox/lib/python3.6/site-packages/airflow/www/app.py", line 37, in <module> from airflow.www.blueprints import routes File "/home/ravi/sandbox/lib/python3.6/site-packages/airflow/www/blueprints.py", line 25, in <module> from airflow.www import utils …
12 python  airflow 

1
Airflow Scheduler无法以kubernetes执行器启动
我正在使用 https://github.com/helm/charts/tree/master/stable/airflow掌舵图并puckle/docker-airflow使用安装的Kubernetes构建v1.10.8 图像并在掌舵图中使用该图像,但是我一直在获取 File "/usr/local/bin/airflow", line 37, in <module> args.func(args) File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb db.initdb(settings.RBAC) File "/usr/local/lib/python3.7/site-packages/airflow/utils/db.py", line 332, in initdb dagbag = models.DagBag() File "/usr/local/lib/python3.7/site-packages/airflow/models/dagbag.py", line 95, in __init__ executor = get_default_executor() File "/usr/local/lib/python3.7/site-packages/airflow/executors/__init__.py", line 48, in get_default_executor DEFAULT_EXECUTOR = _get_executor(executor_name) File "/usr/local/lib/python3.7/site-packages/airflow/executors/__init__.py", line 87, in _get_executor …

1
尝试根据文件名数组从父级dag创建动态subdag
我正在尝试使用气流将s3文件从“非删除”存储桶(意味着我无法删除文件)移动到GCS。我不能保证每天都会有新文件,但是我必须每天检查新文件。 我的问题是动态创建subdag。如果有ARE文件,则需要subdags。如果没有文件,则不需要子目录。我的问题是上游/下游设置。在我的代码中,它确实可以检测文件,但不会像预期的那样启动子数据。我想念一些东西。 这是我的代码: from airflow import models from airflow.utils.helpers import chain from airflow.providers.amazon.aws.hooks.s3 import S3Hook from airflow.operators.python_operator import PythonOperator, BranchPythonOperator from airflow.operators.dummy_operator import DummyOperator from airflow.operators.subdag_operator import SubDagOperator from airflow.contrib.operators.s3_to_gcs_operator import S3ToGoogleCloudStorageOperator from airflow.utils import dates from airflow.models import Variable import logging args = { 'owner': 'Airflow', 'start_date': dates.days_ago(1), 'email': …

1
仅当使用Python中的DAG在AWS athena表中可用的新分区/数据可用时,如何触发Airflow任务?
我有一个如下的场景: 仅在源表(Athena)中有新数据可用时才触发Task 1和Task 2。一天中进行新的数据分区时,应该触发Task1和Task2。 触发Task 3仅完成Task 1和Task 2 Task 4仅触发完成Task 3 我的密码 from airflow import DAG from airflow.contrib.sensors.aws_glue_catalog_partition_sensor import AwsGlueCatalogPartitionSensor from datetime import datetime, timedelta from airflow.operators.postgres_operator import PostgresOperator from utils import FAILURE_EMAILS yesterday = datetime.combine(datetime.today() - timedelta(1), datetime.min.time()) default_args = { 'owner': 'airflow', 'depends_on_past': False, 'start_date': yesterday, 'email': FAILURE_EMAILS, …
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.