确保只运行一个程序实例


119

有没有一种Python方式可以只运行一个程序实例?

我想出的唯一合理的解决方案是尝试将其作为服务器在某个端口上运行,然后试图绑定到同一端口的第二个程序失败。但这不是一个好主意,也许有比这更轻巧的东西了吗?

(考虑到程序有时可能会失败,例如segfault-因此“锁定文件”之类的东西将无法工作)


1
如果您跟踪并修复了段错误,也许您的生活会更轻松。这并不是一件容易的事。
David Locke

它不在我的库中,而是在python的libxml绑定中,并且非常害羞-仅发射两天一次。
Slava V

5
Python的标准库支持flock(),这是现代UNIX程序的正确选择。打开端口会使用名称空间更为受限的位置,而pidfiles则更为复杂,因为您需要检查正在运行的进程以安全地使它们无效。羊群没有问题。
查尔斯·达菲,

s / UNIX / linux /,到那里,FTFY。
kaleissin

Answers:


100

以下代码可以完成此工作,它是跨平台的,并且可以在Python 2.4-3.2上运行。我在Windows,OS X和Linux上进行了测试。

from tendo import singleton
me = singleton.SingleInstance() # will sys.exit(-1) if other instance is running

最新的代码版本位于singleton.py中。请在这里提交错误

您可以使用以下方法之一安装tend:


2
我更新了答案,并包含了指向最新版本的链接。如果您发现错误,请提交给github,我会尽快解决。
索林2011年

2
@Johny_M谢谢,我做了一个补丁,并在pypi.python.org/pypi/tendo
sorin 2011年

2
在Python 2.6下的Windows上,这种语法对我不起作用。对我有用的是:1:从腱导入单例2:me = singleton.SingleInstance()
Brian

25
像这样琐碎的事情的另一个依赖?听起来不太吸引人。
WhyNotHugo 2012年

2
单例是否处理获得sigterm的进程(例如,如果进程运行时间过长),还是我必须处理?
JimJty 2014年

43

简单,跨平台的解决方案,在发现了另一个问题Zgoda酒店

import fcntl
import os
import sys

def instance_already_running(label="default"):
    """
    Detect if an an instance with the label is already running, globally
    at the operating system level.

    Using `os.open` ensures that the file pointer won't be closed
    by Python's garbage collector after the function's scope is exited.

    The lock will be released when the program exits, or could be
    released if the file pointer were closed.
    """

    lock_file_pointer = os.open(f"/tmp/instance_{label}.lock", os.O_WRONLY)

    try:
        fcntl.lockf(lock_file_pointer, fcntl.LOCK_EX | fcntl.LOCK_NB)
        already_running = False
    except IOError:
        already_running = True

    return already_running

很像S.Lott的建议,但是带有代码。


出于好奇:这真的是跨平台的吗?在Windows上可以使用吗?
约阿希姆·绍尔

1
fcntlWindows上没有模块(尽管可以仿真该功能)。
jfs

10
提示:如果要将其包装在函数中,则'fp'必须是全局的,否则该文件将在函数退出后关闭。
cmcginty 2014年

1
@Mirko Control + Z不会退出应用程序(在我知道的任何操作系统上),它都将其挂起。可以使用将应用程序返回到前台fg。因此,听起来好像它为您正常工作(即,应用程序仍处于活动状态,但已挂起,因此锁保持在原处)。
山姆布尔

1
在我这种情况下(Linux上的Python 3.8.3),此代码需要修改:lock_file_pointer = os.open(lock_path, os.O_WRONLY | os.O_CREAT)
baziorek

30

此代码特定于Linux。它使用“抽象” UNIX域套接字,但是它很简单并且不会留下过时的锁定文件。与上面的解决方案相比,我更喜欢它,因为它不需要专门保留的TCP端口。

try:
    import socket
    s = socket.socket(socket.AF_UNIX, socket.SOCK_STREAM)
    ## Create an abstract socket, by prefixing it with null. 
    s.bind( '\0postconnect_gateway_notify_lock') 
except socket.error as e:
    error_code = e.args[0]
    error_string = e.args[1]
    print "Process already running (%d:%s ). Exiting" % ( error_code, error_string) 
    sys.exit (0) 

postconnect_gateway_notify_lock可以更改唯一字符串,以允许需要强制执行单个实例的多个程序。


1
Roberto,您确定在内核崩溃或硬重置后,启动时将不会出现文件\ 0postconnect_gateway_notify_lock吗?在我的情况下,AF_UNIX套接字文件在此之后仍然存在,这破坏了整个构想。在这种情况下,上述获得特定文件名锁定的解决方案非常可靠。
Daniel Gurianov

2
如上所述,此解决方案适用于Linux,但不能在Mac OS X
比拉尔和奥尔加

2
此解决方案不起作用。我在Ubuntu 14.04上尝试过。从2个终端窗口同时运行相同的脚本。他们俩都很好。
戴蒙

1
这在Ubuntu 16中对我有用。而且通过任何方式终止该进程都可以启动另一个进程。戴蒙,我认为您在测试中做错了什么。(也许在上面的代码运行之后,您忘记让脚本进入睡眠状态,因此它立即退出并释放了套接字。)
路加福音

1
这不是睡眠问题。该代码有效,但仅作为内联代码。我把它放到一个函数中。该功能存在后,套接字便消失了。
史蒂夫·科恩

25

我不知道它是否足够的pythonic,但是在Java世界中,在定义的端口上进行侦听是一种使用广泛的解决方案,因为它可以在所有主要平台上使用,并且在崩溃的程序上没有任何问题。

侦听端口的另一个优点是可以将命令发送到正在运行的实例。例如,当用户第二次启动该程序时,您可以向运行中的实例发送命令以告诉它打开另一个窗口(例如Firefox就是这样做的。我不知道他们是否使用TCP端口或命名管道,或者这样的东西,虽然)。


+1这一点,特别是因为它可以让我通知正在运行的实例,因此它创建另一个窗口,弹出等
WhyNotHugo

1
使用例如import socket; s = socket.socket(socket.AF_INET, socket.SOCK_STREAM); s.bind(('localhost', DEFINED_PORT))。如果OSError将另一个进程绑定到同一端口,则将引发an 。
crishoj

12

以前从未编写过python,但这是我刚刚在mycheckpoint中实现的功能,以防止crond将其启动两次或更多次:

import os
import sys
import fcntl
fh=0
def run_once():
    global fh
    fh=open(os.path.realpath(__file__),'r')
    try:
        fcntl.flock(fh,fcntl.LOCK_EX|fcntl.LOCK_NB)
    except:
        os._exit(0)

run_once()

在另一期(http://stackoverflow.com/questions/2959474)发布后,找到了Slava-N的建议。此功能称为函数,它锁定正在执行的脚本文件(不是pid文件)并保持锁定状态,直到脚本结束(正常或错误)。


十分优雅。我更改了它,以便它从脚本的参数获取路径。还建议将其嵌入到常见的位置- 示例
Jossef Harush '17

10

使用一个pid文件。您有一些已知的位置,“ / path / to / pidfile”,并且在启动时会执行以下操作(部分伪代码,因为我是咖啡前人士,所以不想那么努力):

import os, os.path
pidfilePath = """/path/to/pidfile"""
if os.path.exists(pidfilePath):
   pidfile = open(pidfilePath,"r")
   pidString = pidfile.read()
   if <pidString is equal to os.getpid()>:
      # something is real weird
      Sys.exit(BADCODE)
   else:
      <use ps or pidof to see if the process with pid pidString is still running>
      if  <process with pid == 'pidString' is still running>:
          Sys.exit(ALREADAYRUNNING)
      else:
          # the previous server must have crashed
          <log server had crashed>
          <reopen pidfilePath for writing>
          pidfile.write(os.getpid())
else:
    <open pidfilePath for writing>
    pidfile.write(os.getpid())

因此,换句话说,您正在检查是否存在pidfile。如果不是,请将您的pid写入该文件。如果pidfile存在,则检查pid是否为正在运行的进程的pid;如果是这样,则您有另一个正在运行的实时进程,因此只需关闭。如果不是,则先前的进程崩溃了,因此将其记录下来,然后将您自己的pid写入旧文件中。然后继续。


4
这有比赛条件。测试然后写入序列可能会引发两个程序几乎同时启动,找不到文件并尝试同时打开以进行写入的异常。它应该对一个提出例外,允许另一个继续进行。
S.Lott


5

这可能有效。

  1. 尝试将PID文件创建到已知位置。如果失败,则有人将文件锁定了,您就完成了。

  2. 正常完成后,请关闭并删除PID文件,以便其他人可以覆盖它。

您可以将程序包装在Shell脚本中,即使程序崩溃,该脚本也会删除PID文件。

如果程序挂起,也可以使用PID文件将其杀死。


3

在UNIX上,使用锁定文件是一种非常普遍的方法。如果崩溃,则必须手动清理。您可以将PID存储在文件中,并在启动时检查是否有使用此PID的进程,否则将覆盖锁定文件。(但是,您还需要在read-file-check-pid-rewrite-file周围加锁)。您将在os -package中找到获取和检查pid所需的内容。检查是否存在具有给定pid的进程的常见方法是向其发送非致命信号。

其他替代方法可以将其与羊群或posix信号量结合使用。

如saua所建议的那样,打开网络插座可能是最简单,最方便的方法。


3

对于将wxPython用于其应用程序的任何人,您都可以使用此处记录的功能 wx.SingleInstanceChecker

我个人使用一个子类,wx.App该子类利用wx.SingleInstanceChecker和返回存在的应用程序现有实例,并False从中返回OnInit()

import wx

class SingleApp(wx.App):
    """
    class that extends wx.App and only permits a single running instance.
    """

    def OnInit(self):
        """
        wx.App init function that returns False if the app is already running.
        """
        self.name = "SingleApp-%s".format(wx.GetUserId())
        self.instance = wx.SingleInstanceChecker(self.name)
        if self.instance.IsAnotherRunning():
            wx.MessageBox(
                "An instance of the application is already running", 
                "Error", 
                 wx.OK | wx.ICON_WARNING
            )
            return False
        return True

这是一个简单的直接替换wx.App,禁止多个实例。要使用它,只需在代码中将替换wx.AppSingleApp,如下所示:

app = SingleApp(redirect=False)
frame = wx.Frame(None, wx.ID_ANY, "Hello World")
frame.Show(True)
app.MainLoop()

在为单例编码了一个套接字列表线程之后,我发现了这一点,它很好用,并且我已经安装在几个程序中,但是,我希望可以给单例附加的“唤醒”,以便将其带到一叠重叠窗口的中心。另外:“在此处记录”链接指向了无用的自动生成的文档,这是一个更好的链接
RufusVS 2016年

@RufusVS您是对的-这是一个更好的文档链接,已更新了答案。
马特·库布鲁

3

这是我最终只能使用Windows的解决方案。将以下内容放入一个模块,可能称为“ onlyone.py”或其他任何模块。将该模块直接包含在__ main __ python脚本文件中。

import win32event, win32api, winerror, time, sys, os
main_path = os.path.abspath(sys.modules['__main__'].__file__).replace("\\", "/")

first = True
while True:
        mutex = win32event.CreateMutex(None, False, main_path + "_{<paste YOUR GUID HERE>}")
        if win32api.GetLastError() == 0:
            break
        win32api.CloseHandle(mutex)
        if first:
            print "Another instance of %s running, please wait for completion" % main_path
            first = False
        time.sleep(1)

说明

该代码尝试创建一个互斥锁,其名称来自脚本的完整路径。我们使用正斜杠来避免与实际文件系统的潜在混淆。

优点

  • 不需要配置或“魔术”标识符,请根据需要在许多不同的脚本中使用它。
  • 周围没有陈旧的文件,互斥锁将与您一起消亡。
  • 等待时打印有用的消息

3

Windows上对此的最佳解决方案是使用@zgoda建议的互斥锁。

import win32event
import win32api
from winerror import ERROR_ALREADY_EXISTS

mutex = win32event.CreateMutex(None, False, 'name')
last_error = win32api.GetLastError()

if last_error == ERROR_ALREADY_EXISTS:
   print("App instance already running")

有些答案使用fctnl了Windows上不可用的(也包含在@sorin tento软件包中),并且如果您尝试使用像pyinstaller静态导入这样的软件包来冻结python应用程序,则会引发错误。

此外,使用锁定文件方法还会导致read-only数据库文件出现问题(sqlite3)。


2

我将其发布为答案,因为我是新用户,并且Stack Overflow尚未允许我投票。

Sorin Sbarnea的解决方案可在OS X,Linux和Windows下为我工作,对此我深表感谢。

但是,tempfile.gettempdir()在OS X和Windows下表现为一种方式,而在其他some / many / all(?)* nixes下表现为另一种方式(忽略OS X也是Unix!)。区别对于此代码很重要。

OS X和Windows具有用户特定的临时目录,因此,一个用户创建的临时文件对另一用户不可见。相比之下,在许多版本的* nix(我测试过Ubuntu 9,RHEL 5,OpenSolaris 2008和FreeBSD 8)下,临时目录对于所有用户都是/ tmp。

这意味着在多用户计算机上创建锁文件时,它是在/ tmp中创建的,只有第一次创建锁文件的用户才能运行该应用程序。

一种可能的解决方案是将当前用户名嵌入到锁定文件的名称中。

值得注意的是,OP抢占端口的解决方案在多用户计算机上也会出现异常。


对于某些读者(例如我),理想的行为是,无论涉及多少用户,都只能运行一个副本。因此,每个用户的tmp目录被破坏了,而共享的/ tmp或端口锁则表现出了预期的行为。
乔纳森·哈特利


1

我一直怀疑使用进程组应该有一个不错的POSIXy解决方案,而不必使用文件系统,但是我不太确定。就像是:

启动时,您的进程会向特定组中的所有进程发送“ kill -0”。如果存在任何此类进程,则退出。然后,它加入该组。没有其他进程使用该组。

但是,这是一个竞争条件-多个进程都可以恰好同时执行此操作,并且最终都加入了该团队并同时运行。到您添加某种互斥锁使其具有水密性时,您不再需要过程组。

如果您的过程仅由cron启动,每分钟或每小时启动一次,这可能是可以接受的,但是这让我有些紧张,因为它恰恰在您不希望的那一天出错。

我猜毕竟这不是一个很好的解决方案,除非有人可以改进?


1

上周,我遇到了这个确切的问题,尽管我确实找到了一些好的解决方案,但我还是决定制作一个非常简单干净的python软件包并将其上传到PyPI。它与tendo的不同之处在于它可以锁定任何字符串资源名称。尽管您当然可以锁定__file__以达到相同的效果。

安装方式: pip install quicklock

使用它非常简单:

[nate@Nates-MacBook-Pro-3 ~/live] python
Python 2.7.6 (default, Sep  9 2014, 15:04:36)
[GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.39)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> from quicklock import singleton
>>> # Let's create a lock so that only one instance of a script will run
...
>>> singleton('hello world')
>>>
>>> # Let's try to do that again, this should fail
...
>>> singleton('hello world')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Users/nate/live/gallery/env/lib/python2.7/site-packages/quicklock/quicklock.py", line 47, in singleton
    raise RuntimeError('Resource <{}> is currently locked by <Process {}: "{}">'.format(resource, other_process.pid, other_process.name()))
RuntimeError: Resource <hello world> is currently locked by <Process 24801: "python">
>>>
>>> # But if we quit this process, we release the lock automatically
...
>>> ^D
[nate@Nates-MacBook-Pro-3 ~/live] python
Python 2.7.6 (default, Sep  9 2014, 15:04:36)
[GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.39)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> from quicklock import singleton
>>> singleton('hello world')
>>>
>>> # No exception was thrown, we own 'hello world'!

看一下:https : //pypi.python.org/pypi/quicklock


1
我只是通过“ pip install quicklock”安装的,但是当我尝试通过“ from quicklock import singleton”使用它时,出现一个异常:“ ImportError:无法导入名称'singleton'”。这是在Mac上。
grayaii's

事实证明quicklock不适用于python3。这就是它对我失败的原因。
grayaii

是的,很抱歉,它根本无法适应未来。我将欢迎您为它的成功做出贡献!
内特·费雷罗

1

在罗伯托·罗萨里奥(Roberto Rosario)的回答的基础上,我提出了以下功能:

SOCKET = None
def run_single_instance(uniq_name):
    try:
        import socket
        global SOCKET
        SOCKET = socket.socket(socket.AF_UNIX, socket.SOCK_STREAM)
        ## Create an abstract socket, by prefixing it with null.
        # this relies on a feature only in linux, when current process quits, the
        # socket will be deleted.
        SOCKET.bind('\0' + uniq_name)
        return True
    except socket.error as e:
        return False

我们需要定义全局SOCKET变量,因为只有在整个过程退出时才会对其进行垃圾收集。如果我们在函数中声明局部变量,则在函数退出后它将超出范围,因此将删除套接字。

所有的功劳应该归功于罗伯托·罗萨里奥(Roberto Rosario),因为我只是澄清和阐述了他的代码。而且此代码仅在Linux上有效,如https://troydhanson.github.io/network/Unix_domain_sockets.html中以下引用的文字所述:

Linux具有一项特殊功能:如果UNIX域套接字的路径名以空字节\ 0开头,则其名称不会映射到文件系统中。因此,它不会与文件系统中的其他名称冲突。同样,当服务器在抽象名称空间中关闭其UNIX域侦听套接字时,其文件也将被删除。使用常规的UNIX域套接字,该文件在服务器关闭后仍然存在。


0

linux示例

此方法是基于创建临时文件后关闭应用程序而自动删除的。程序启动后,我们验证文件是否存在;如果文件存在(正在执行中),则程序关闭;否则,它将创建文件并继续执行程序。

from tempfile import *
import time
import os
import sys


f = NamedTemporaryFile( prefix='lock01_', delete=True) if not [f  for f in     os.listdir('/tmp') if f.find('lock01_')!=-1] else sys.exit()

YOUR CODE COMES HERE

1
欢迎使用Stack Overflow!尽管此答案可能是正确的,但请添加一些说明。赋予底层逻辑比提供代码更重要,因为它可以帮助OP和其他读者自己解决此问题和类似问题。
CodeMouse92

这是线程安全的吗?好像检查和临时文件创建不是原子的……
coppit

0

在Linux系统上,还可以询问 pgrep -a实例数,该脚本位于进程列表中(选项-a显示完整的命令行字符串)。例如

import os
import sys
import subprocess

procOut = subprocess.check_output( "/bin/pgrep -u $UID -a python", shell=True, 
                                   executable="/bin/bash", universal_newlines=True)

if procOut.count( os.path.basename(__file__)) > 1 :        
    sys.exit( ("found another instance of >{}<, quitting."
              ).format( os.path.basename(__file__)))

-u $UID如果限制适用于所有用户,请删除。免责声明:a)假定脚本的(基本)名称是唯一的,b)可能存在竞争条件。


-1
import sys,os

# start program
try:  # (1)
    os.unlink('lock')  # (2)
    fd=os.open("lock", os.O_CREAT|os.O_EXCL) # (3)  
except: 
    try: fd=os.open("lock", os.O_CREAT|os.O_EXCL) # (4) 
    except:  
        print "Another Program running !.."  # (5)
        sys.exit()  

# your program  ...
# ...

# exit program
try: os.close(fd)  # (6)
except: pass
try: os.unlink('lock')  
except: pass
sys.exit()  

2
欢迎使用Stack Overflow!尽管此代码块可以回答问题,但最好是提供一些解释,以解释其原因。请修改您的答案以包含此类说明。
Artjom B.
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.