“失火” Python异步/等待


114

有时需要执行一些非关键性的异步操作,但我不想等待它完成。在Tornado的协程实现中,您可以通过简单地省略yield关键字来“触发并忘记”一个异步函数。

我一直在尝试找出如何使用Python 3.5中发布的新语法async/ 来“激发并忘记” await。例如,一个简化的代码片段:

async def async_foo():
    print("Do some stuff asynchronously here...")

def bar():
    async_foo()  # fire and forget "async_foo()"

bar()

但是,发生的事情是bar()永远不会执行,而是收到运行时警告:

RuntimeWarning: coroutine 'async_foo' was never awaited
  async_foo()  # fire and forget "async_foo()"

有关?stackoverflow.com/q/32808893/1639625实际上,我认为它是重复的,但是我不想立即对其进行锤打。有人可以确认吗?
tobias_k '16

3
@tobias_k,我不认为它是重复的。链接上的答案过于广泛,无法回答此问题。
Mikhail Gerasimov

2
(1)您的“主要”进程是否会永远继续运行?或(2)您是否想让流程终止,但允许被遗忘的任务继续工作?或者(3)您是否更喜欢在结束之前等待被遗忘的任务的主流程?
朱利安·帕拉德

Answers:


168

更新:

如果您使用的是Python> = 3.7,请在任何地方替换asyncio.ensure_futureasyncio.create_task最新的,更好的派生task的方法


asyncio。“解雇”的任务

根据python docs的asyncio.Task说法,有可能启动一些协程以“在后台”执行asyncio.ensure_future 函数创建的任务不会阻止执行(因此函数将立即返回!)。这似乎是您要求的一种“解雇”的方法。

import asyncio


async def async_foo():
    print("async_foo started")
    await asyncio.sleep(1)
    print("async_foo done")


async def main():
    asyncio.ensure_future(async_foo())  # fire and forget async_foo()

    # btw, you can also create tasks inside non-async funcs

    print('Do some actions 1')
    await asyncio.sleep(1)
    print('Do some actions 2')
    await asyncio.sleep(1)
    print('Do some actions 3')


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

输出:

Do some actions 1
async_foo started
Do some actions 2
async_foo done
Do some actions 3

如果事件循环完成后正在执行任务怎么办?

请注意,asyncio期望任务将在事件循环完成时完成。因此,如果您更改main()为:

async def main():
    asyncio.ensure_future(async_foo())  # fire and forget

    print('Do some actions 1')
    await asyncio.sleep(0.1)
    print('Do some actions 2')

程序完成后,您会收到以下警告:

Task was destroyed but it is pending!
task: <Task pending coro=<async_foo() running at [...]

为防止这种情况,您可以在事件循环完成后等待所有待处理的任务

async def main():
    asyncio.ensure_future(async_foo())  # fire and forget

    print('Do some actions 1')
    await asyncio.sleep(0.1)
    print('Do some actions 2')


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

    # Let's also finish all running tasks:
    pending = asyncio.Task.all_tasks()
    loop.run_until_complete(asyncio.gather(*pending))

杀死任务而不是等待任务

有时,您不想等待任务完成(例如,某些任务可能创建为永久运行)。在这种情况下,您可以只取消()而不是等待它们:

import asyncio
from contextlib import suppress


async def echo_forever():
    while True:
        print("echo")
        await asyncio.sleep(1)


async def main():
    asyncio.ensure_future(echo_forever())  # fire and forget

    print('Do some actions 1')
    await asyncio.sleep(1)
    print('Do some actions 2')
    await asyncio.sleep(1)
    print('Do some actions 3')


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

    # Let's also cancel all running tasks:
    pending = asyncio.Task.all_tasks()
    for task in pending:
        task.cancel()
        # Now we should await task to execute it's cancellation.
        # Cancelled task raises asyncio.CancelledError that we can suppress:
        with suppress(asyncio.CancelledError):
            loop.run_until_complete(task)

输出:

Do some actions 1
echo
Do some actions 2
echo
Do some actions 3
echo

我复制并经过了第一个代码块,然后在最后运行了它,由于某种原因,我得到了:第4行async def async_foo():^好像第4行的函数定义存在语法错误:“ async def async_foo( ):“我想念什么吗?
吉·艾伦

3
@GilAllen此语法仅在Python 3.5+中有效。Python 3.4需要旧的语法(请参阅docs.python.org/3.4/library/asyncio-task.html)。Python 3.3及以下版本完全不支持asyncio。
Mikhail Gerasimov

你将如何杀死一个线程的任务?......我有一个创建一些任务的线程,我要杀死所有的挂单时,在其线程模stop()方法。
Sardathrion-反对SE滥用

@Sardathrion我不确定任务是否指向创建它的线程中的某个地方,但是没有什么可以阻止您手动跟踪它们:例如,只需将线程中创建的所有任务添加到列表中,当时间到时取消它们就可以解释了以上。
Mikhail Gerasimov

2
请注意,“自Python 3.7起已弃用Task.all_tasks(),请改用asyncio.all_tasks()”
Alexis

13

谢谢谢尔盖的简洁回答。这是相同的装饰版。

import asyncio
import time

def fire_and_forget(f):
    def wrapped(*args, **kwargs):
        return asyncio.get_event_loop().run_in_executor(None, f, *args, *kwargs)

    return wrapped

@fire_and_forget
def foo():
    time.sleep(1)
    print("foo() completed")

print("Hello")
foo()
print("I didn't wait for foo()")

产生

>>> Hello
>>> foo() started
>>> I didn't wait for foo()
>>> foo() completed

注意:检查我的其他答案,使用普通线程也可以做到这一点。


使用这种方法后,我每秒会产生大约5个小的“即发即弃”任务,因此速度显着下降。不要在生产中将其用于长时间运行的任务。它会占用您的CPU和内存!
PIR

10

这不是完全异步执行,但也许run_in_executor()适合您。

def fire_and_forget(task, *args, **kwargs):
    loop = asyncio.get_event_loop()
    if callable(task):
        return loop.run_in_executor(None, task, *args, **kwargs)
    else:    
        raise TypeError('Task must be a callable')

def foo():
    #asynchronous stuff here


fire_and_forget(foo)

3
简洁明了的答案。值得注意的是,executorwill将默认为call concurrent.futures.ThreadPoolExecutor.submit()。我提到是因为创建线程不是免费的。一秒钟丢掉1000次,可能会给线程管理带来很大压力
Brad Solomon

是的 在使用这种方法每秒创建约5个小的“一劳永逸”任务之后,我没有理会您的警告,并经历了明显的减速。不要在生产中将其用于长时间运行的任务。它会占用您的CPU和内存!
PIR

3

由于某种原因,如果您无法使用,asyncio那么这里是使用普通线程的实现。检查我的其他答案和谢尔盖的答案。

import threading

def fire_and_forget(f):
    def wrapped():
        threading.Thread(target=f).start()

    return wrapped

@fire_and_forget
def foo():
    time.sleep(1)
    print("foo() completed")

print("Hello")
foo()
print("I didn't wait for foo()")

如果我们仅需要此fire_and_forget功能,而asyncio没有其他功能,使用asyncio是否会更好?有什么好处?
PIR
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.