如何在Docker容器中运行Cron作业?


275

我正在尝试在调用shell脚本的docker容器中运行cronjob。

昨天我一直在网上搜索和堆栈溢出,但是我找不到真正可行的解决方案。
我怎样才能做到这一点?

编辑:

我已经创建了一个(带注释的)github存储库,上面有一个工作的docker cron容器,该容器以给定的间隔调用shell脚本。

Answers:


365

您可以将crontab复制到映像中,以使从该映像启动的容器运行该作业。

请参阅“ 运行与码头工人cron作业从” 朱利安·布雷Ekito/docker-cron

让我们创建一个名为“ hello-cron” 的新文件来描述我们的工作。

* * * * * echo "Hello world" >> /var/log/cron.log 2>&1
# An empty line is required at the end of this file for a valid cron file.

以下Dockerfile描述了构建映像的所有步骤

FROM ubuntu:latest
MAINTAINER docker@ekito.fr

RUN apt-get update && apt-get -y install cron

# Copy hello-cron file to the cron.d directory
COPY hello-cron /etc/cron.d/hello-cron

# Give execution rights on the cron job
RUN chmod 0644 /etc/cron.d/hello-cron

# Apply cron job
RUN crontab /etc/cron.d/hello-cron

# Create the log file to be able to run tail
RUN touch /var/log/cron.log

# Run the command on container startup
CMD cron && tail -f /var/log/cron.log

(请参阅Gaafar评论如何apt-get降低安装噪音?
apt-get -y install -qq --force-yes cron也可以使用)

正如Nathan Lloyd评论中指出的:

关于陷阱的快速说明:
如果要添加脚本文件并告诉cron运行它,请记住,如果您忘记Cron会静默失败
RUN chmod 0744 /the_script


或者,确保您的工作本身直接重定向到stdout / stderr而不是日志文件,如hugoShaka答案所述

 * * * * * root echo hello > /proc/1/fd/1 2>/proc/1/fd/2

将最后一个Dockerfile行替换为

CMD ["cron", "-f"]

另请参阅(关于cron -f,即cron“前景”)“ docker ubuntu cron -f无法正常工作


生成并运行它:

sudo docker build --rm -t ekito/cron-example .
sudo docker run -t -i ekito/cron-example

请耐心等待2分钟,您的命令行应显示:

Hello world
Hello world

Eric 在评论中添加:

请注意,tail如果在映像构建过程中创建了正确的文件,则可能无法显示正确的文件。
如果是这种情况,则需要在容器运行时创建或触摸文件,以便尾部拾取正确的文件。

请参阅“ 泊坞窗末尾的输出未显示tail -fCMD ”。


1
我必须首先安装cron,因为它不包括在内。但是通过将其添加到Dockerfile中,它可以工作。谢谢!RUN apt-get update && apt-get install cron
C Heyer

2
您可能应该添加-y安装cron以避免
docker

1
@Gaafar对!我已将您的评论添加到答案中以提高可见性,并添加了另一个选项。
VonC

6
此解决方案仍然有效吗?当我遵循给出的准则时,以root用户身份登录并键入容器时crontab -l,我没有为root安装crontab,屏幕也保持空白。但是,当我检查'/etc/cron.d/'时,我看到crontab文件存在(甚至更令人惊讶),当我检查时/var/log/cron.log,我看到脚本正在运行(文件内容附加了Hello World)。我正在Dockerfile中提取此映像:FROM phusion/baseimage:0.10.0。关于行为差异有什么想法吗?
Homunculus Reticulli

11
从2018年开始,这种方法不再有效; 有没有人能够使他们的cronjob与Ubuntu作为基本映像一起工作?我对cron开箱即用时附带的Alpine图片不感兴趣
鹈鹕

145

在生产环境中采用的解决方案可能很危险

在docker中,每个容器仅应执行一个进程,因为如果不执行,则不会监视派生到后台的进程,并且该进程可能会在不知情的情况下停止。

当您CMD cron && tail -f /var/log/cron.log基本上使用cron流程进行分叉以便cron在后台执行时,主流程会退出并让您tailf在前台执行。后台cron进程可能会停止或失败,您不会注意到,您的容器仍将以静默方式运行,并且业务流程工具也不会重新启动它。

您可以通过直接的的cron的命令输出重定向到您的码头工人避免这样的事情stdoutstderr分别位于中/proc/1/fd/1/proc/1/fd/2

使用基本的shell重定向,您可能需要执行以下操作:

* * * * * root echo hello > /proc/1/fd/1 2>/proc/1/fd/2

您的CMD为: CMD ["cron", "-f"]


14
尼斯:cron -f用于“ cron前景色”。我将您的答案包含在我的上面,以提高可见度。+1
VonC

假设我的程序没有输出任何东西。我是否仍可以使用此方法,并确保我的过程不会在后台停止?
Arcsector '18年

1
@Arcsector此方法避免将进程放在后台,这就是为什么它不会无提示地失败的原因。在Docker容器中具有后台进程并不简单。如果要有一个正在运行的后台进程,则可能要使用一个初始化进程来监视在容器中运行的多个进程。另一种方法是将过程开始到另一个位于称为“ sidecar”的主要容器旁边的容器中。最好的方法通常是避免容器中的多个进程。
hugoShaka,

干净整洁!喜欢它:)
AmaelH

1
这是一个很好的解决方案,除了一个问题之外,对我们来说效果很好。当容器收到SIGTERM信号时,它似乎并不等待调度的进程完成并正常关闭,而是杀死了可能导致问题的进程。
James Hulse

106

对于那些想要使用简单轻巧的图像的人:

FROM alpine:3.6

# copy crontabs for root user
COPY config/cronjobs /etc/crontabs/root

# start crond with log level 8 in foreground, output to stderr
CMD ["crond", "-f", "-d", "8"]

其中cronjobs是包含您的cronjobs的文件,格式为:

* * * * * echo "hello stackoverflow" >> /test_file 2>&1
# remember to end this file with an empty new line

10
基于简单,轻便和标准的图像。这应该是公认的答案。还可以使用> /proc/1/fd/1 2> /proc/1/fd/2重定向直接从docker日志访问cronjobs输出。
HenriTel

2
对于不使用高山的人:支持该-d 8参数的crond 不是标准的cron,它是busybox中的crond命令。例如,从ubuntu中,您可以将其运行为busybox crond -f -d 8。对于较旧的版本,您必须使用-L /dev/stdout/
Trendfischer

对于我的需要-模拟一个独立运行的cron作业的生产设置集,我需要在其中查看发生的情况-这很棒。
托尔比约恩Ravn的安徒生

2
如果可以的话,我会给这个+100。到目前为止,这是在Docker环境中运行cron作业的最佳方法。
Jitsusama

1
如果您不想每次更改cron作业时都构建新映像(或者如果需要多次),则可以运行Alpine并使用卷来设置cron。我使用以下代码进行了测试:docker run -v ${PWD}/cronjobs:/etc/crontabs/root alpine:3.6 crond -f -d 8。@Groostav,您可以在Docker Compose中使用类似的方法。
duality_

38

@VonC提出的建议很好,但我更喜欢在一行中完成所有cron作业配置。这样可以避免跨平台的问题,例如cronjob的位置,并且您不需要单独的cron文件。

FROM ubuntu:latest

# Install cron
RUN apt-get -y install cron

# Create the log file to be able to run tail
RUN touch /var/log/cron.log

# Setup cron job
RUN (crontab -l ; echo "* * * * * echo "Hello world" >> /var/log/cron.log") | crontab

# Run the command on container startup
CMD cron && tail -f /var/log/cron.log

运行Docker容器后,您可以通过以下方式确保cron服务是否正常运行:

# To check if the job is scheduled
docker exec -ti <your-container-id> bash -c "crontab -l"
# To check if the cron service is running
docker exec -ti <your-container-id> bash -c "pgrep cron"

如果您希望使用ENTRYPOINT而不是CMD,则可以将上面的CMD替换为

ENTRYPOINT cron start && tail -f /var/log/cron.log

1
有趣的选择。+1
VonC

2
RUN apt-get update && apt-get -y install cron否则将无法找到包cron
alphabetasoup

2
谢谢Youness,您给了我执行以下操作的想法,该方法在我的情况下有效,其中每个cron在不同的文件中指定: RUN cat $APP_HOME/crons/* | crontab 像一个
超级

添加cron到入口点脚本似乎是最好的选择:ENTRYPOINT [“ entrypoint.sh”]
bozdoz

20

还有另一种方法可以使用Tasker,它是具有cron(调度程序)支持的任务运行程序。

为什么呢 有时要执行cron作业,您必须将基本图像(python,java,nodejs,ruby)与crond混合。这意味着要维护另一个图像。Tasker通过分离crond和您的容器来避免这种情况。您可以只关注要执行命令的图像,然后配置Tasker使其使用它。

这是一个docker-compose.yml文件,它将为您运行一些任务

version: "2"

services:
    tasker:
        image: strm/tasker
        volumes:
            - "/var/run/docker.sock:/var/run/docker.sock"
        environment:
            configuration: |
                logging:
                    level:
                        ROOT: WARN
                        org.springframework.web: WARN
                        sh.strm: DEBUG
                schedule:
                    - every: minute
                      task: hello
                    - every: minute
                      task: helloFromPython
                    - every: minute
                      task: helloFromNode
                tasks:
                    docker:
                        - name: hello
                          image: debian:jessie
                          script:
                              - echo Hello world from Tasker
                        - name: helloFromPython
                          image: python:3-slim
                          script:
                              - python -c 'print("Hello world from python")'
                        - name: helloFromNode
                          image: node:8
                          script:
                              - node -e 'console.log("Hello from node")'

那里有3个任务,它们每分钟都会运行一次(every: minute),并且每个任务都将scriptimagesection中定义的图像内执行代码。

只需运行docker-compose up,然后看它就可以工作。这是带有完整文档的Tasker存储库:

http://github.com/opsxcq/tasker


Dockerception(从另一个容器运行docker容器)是一种不好的做法,应仅限于持续集成。一种解决方法是docker exec在指定的容器上使用。
HenriTel

1
Tasker在docker(Dind / Dockerception)中未使用docker,请注意,将docker套接字作为映射传递,所有生成的容器都在Tasker运行的守护程序中生成。而且,如果您不想在docker内部运行tasker,则可以将其部署为其他任何应用程序。
OPSXCQ

1
我没有使用Tasker的优势。使用java和sh ***只是为了执行cron作业,对我来说似乎真的是一个矫kill过正。
卡尔·阿德勒

混合cron和所需的基本映像(例如python / node)会创建一个需要维护和部署的额外依赖项,在这种情况下,所有作业共享同一容器,这意味着您必须担心在清理完所有内容之后每个工作都在运行。在Tasker上运行的作业是幂等的,因此您无需担心任何事情。
OPSXCQ

13

VonC的答案很彻底。另外,我想补充一件事。如果您只想运行cron作业而不尾随文件,则很想&& tail -f /var/log/cron.log从cron命令中删除。

但是,这将导致Docker容器在运行后不久退出,因为当cron命令完成时,Docker认为最后一个命令已退出,因此杀死了该容器。可以通过在前台运行cron来避免这种情况cron -f


9

尽管这旨在通过Docker的容器在容器中的运行进程旁运行作业 exec界面,但您可能对此很感兴趣。

我编写了一个守护程序,该守护程序可以观察容器并计划在容器中的元数据中定义的作业。例:

version: '2'

services:
  wordpress:
    image: wordpress
  mysql:
    image: mariadb
    volumes:
      - ./database_dumps:/dumps
    labels:
      deck-chores.dump.command: sh -c "mysqldump --all-databases > /dumps/dump-$$(date -Idate)"
      deck-chores.dump.interval: daily

“经典”的,类似cron的配置也是可能的。

这是文档,这是图像存储库


谢谢。这个答案最适合Docker容器环境。Docker映像中没有任何更改,仅添加了用于执行任务的特殊容器,其工作方式类似于docker exec <container_name> <some_command>按计划执行命令。
PRIHLOP

这是最干净的“完成工作”的答案。
Ibrahim Awad

9

我根据其他答案创建了一个Docker映像,该映像可以像

docker run -v "/path/to/cron:/etc/cron.d/crontab" gaafar/cron

其中/path/to/cron:crontab文件的绝对路径,或者您可以将其用作Dockerfile中的基础:

FROM gaafar/cron

# COPY crontab file in the cron directory
COPY crontab /etc/cron.d/crontab

# Add your commands here

供参考,图像在这里


有趣的形象。+1
VonC

5

在其他主机上部署容器时,只需注意它不会自动启动任何进程。您需要确保“ cron”服务正在容器中运行。在我们的案例中,我将Supervisord与其他服务一起使用以启动cron服务。

[program:misc]
command=/etc/init.d/cron restart
user=root
autostart=true
autorestart=true
stderr_logfile=/var/log/misc-cron.err.log
stdout_logfile=/var/log/misc-cron.out.log
priority=998

我在supervisor.log中收到一个错误,该错误表明cron服务已停止多次并进入了致命状态。但是,cron似乎运行在顶部并正常执行cronjobs。谢谢你!
lephleg

是的,同样的事情也发生在我身上,但是它可以正常工作,所以不必费心。
Sagar Ghuge

5

在专用容器中定义cronjob,该容器通过docker exec对您的服务运行命令。

这具有更高的内聚性,正在运行的脚本将有权访问您为服务定义的环境变量。

#docker-compose.yml
version: "3.3"
services:
    myservice:
      environment:
        MSG: i'm being cronjobbed, every minute!
      image: alpine
      container_name: myservice
      command: tail -f /dev/null

    cronjobber:
     image: docker:edge
     volumes:
      - /var/run/docker.sock:/var/run/docker.sock
     container_name: cronjobber
     command: >
          sh -c "
          echo '* * * * * docker exec myservice printenv | grep MSG' > /etc/crontabs/root
          && crond -f"

我无法使用docker swarm使它正常工作。遇到myservice unknown错误。
Mark Grimes

应该警告有关安装Docker
随便,

4

如果要在Windows上使用docker,请记住,如果打算将crontab文件从Windows导入到ubuntu容器,则必须将行尾格式从CRLF更改为LF(即从dos更改为unix)。如果没有,您的计划工作将无法进行。这是一个工作示例:

FROM ubuntu:latest

RUN apt-get update && apt-get -y install cron
RUN apt-get update && apt-get install -y dos2unix

# Add crontab file (from your windows host) to the cron directory
ADD cron/hello-cron /etc/cron.d/hello-cron

# Change line ending format to LF
RUN dos2unix /etc/cron.d/hello-cron

# Give execution rights on the cron job
RUN chmod 0644 /etc/cron.d/hello-cron

# Apply cron job
RUN crontab /etc/cron.d/hello-cron

# Create the log file to be able to run tail
RUN touch /var/log/hello-cron.log

# Run the command on container startup
CMD cron && tail -f /var/log/hello-cron.log

实际上,这花了我几个小时才能弄清楚,因为在Docker容器中调试cron作业是一项繁琐的任务。希望它可以帮助其他无法使他们的代码正常工作的人!


3

从以上示例中,我创建了此组合:

在Nano中使用Crontab进行高山图像编辑(我讨厌vi)

FROM alpine

RUN apk update
RUN apk add curl nano

ENV EDITOR=/usr/bin/nano 

# start crond with log level 8 in foreground, output to stderr
CMD ["crond", "-f", "-d", "8"]

# Shell Access
# docker exec -it <CONTAINERID> /bin/sh

# Example Cron Entry
# crontab -e
# * * * * * echo hello > /proc/1/fd/1 2>/proc/1/fd/2
# DATE/TIME WILL BE IN UTC

2

与一次性作业并行设置cron

使用应该定期运行的作业创建一个脚本文件,例如run.sh。

#!/bin/bash
timestamp=`date +%Y/%m/%d-%H:%M:%S`
echo "System path is $PATH at $timestamp"

保存并退出。

使用Entrypoint代替CMD

如果在Docker容器化过程中有多个任务需要执行,请使用入口点文件将其全部运行。

入口点文件是一个脚本文件,在发出docker run命令时生效。因此,我们要运行的所有步骤都可以放在此脚本文件中。

例如,我们有2个作业要运行:

运行一次作业:回显“ Docker容器已启动”

运行定期作业:run.sh

创建entrypoint.sh

#!/bin/bash

# Start the run once job.
echo "Docker container has been started"

# Setup a cron schedule
echo "* * * * * /run.sh >> /var/log/cron.log 2>&1
# This extra line makes it a valid cron" > scheduler.txt

crontab scheduler.txt
cron -f

让我们了解在文件中设置的crontab

* * * * *:Cron时间表;该作业必须每分钟运行一次。您可以根据需要更新时间表。

/run.sh:将定期运行的脚本文件的路径

/var/log/cron.log:用于保存计划的cron作业的输出的文件名。

2>&1:错误日志(如果有)也将重定向到上面使用的相同输出文件。

注意:不要忘记添加额外的新行,因为它使它成为有效的cron。 Scheduler.txt:完整的cron设置将重定向到文件。

在cron中使用系统/用户特定的环境变量

我实际的cron工作期望将大多数参数作为环境变量传递给docker run命令。但是,通过bash,我无法使用属于系统或docker容器的任何环境变量。

然后,将其作为解决此问题的解决方法:

  1. 在entrypoint.sh中添加以下行
declare -p | grep -Ev 'BASHOPTS|BASH_VERSINFO|EUID|PPID|SHELLOPTS|UID' > /container.env
  1. 更新cron设置并指定-
SHELL=/bin/bash
BASH_ENV=/container.env

最后,你entrypoint.sh应该看起来像

#!/bin/bash

# Start the run once job.
echo "Docker container has been started"

declare -p | grep -Ev 'BASHOPTS|BASH_VERSINFO|EUID|PPID|SHELLOPTS|UID' > /container.env

# Setup a cron schedule
echo "SHELL=/bin/bash
BASH_ENV=/container.env
* * * * * /run.sh >> /var/log/cron.log 2>&1
# This extra line makes it a valid cron" > scheduler.txt

crontab scheduler.txt
cron -f

最后但并非最不重要的一点:创建一个Dockerfile

FROM ubuntu:16.04
MAINTAINER Himanshu Gupta

# Install cron
RUN apt-get update && apt-get install -y cron

# Add files
ADD run.sh /run.sh
ADD entrypoint.sh /entrypoint.sh

RUN chmod +x /run.sh /entrypoint.sh

ENTRYPOINT /entrypoint.sh

而已。构建并运行Docker映像!


1
@himanshuIIITian我尝试过这个问题,问题是“一次性运行”的脚本永远不会返回,而且玉米-f不会返回,所以...这对我不起作用,有什么想法吗?谢谢
多伦·列维

@DoronLevi-能否请您分享一些日志以调查问题?或者,您可以从此处检查整个代码-github.com/nehabhardwaj01/docker-cron
himanshuIIITian

感谢您的反馈。我很高兴这个答案很有帮助。
himanshuIIITian

1

Cron作业存储在/ var / spool / cron / crontabs中(我知道的所有发行版中的公用位置)。顺便说一句,您可以使用以下方法在bash中创建cron选项卡:

crontab -l > cronexample
echo "00 09 * * 1-5 echo hello" >> cronexample
crontab cronexample
rm cronexample

这将使用cron任务创建一个临时文件,然后使用crontab对其进行编程。最后一行删除临时文件。


cron守护进程通常不会在容器中运行。
马特

@BhargavNanekalva,需要在此答案无法解决的容器中进行专门设置​​。
马特

@Matt,您能指出在容器中应如何指定吗?。我执行crontab -l并显示命令-kagda.ru/i/6d014816d43_29-06-2017-11:38:59_6d01.png 但仍未运行
Tebe

@Копать_Шо_я_нашел crond除了必须在容器中运行的服务之外,还必须运行,通常使用s6之类的服务管理器。可能会提出这样的问题以寻求适当的答案
Matt

1

当在一些限制了根访问权限的精简映像上运行时,我必须将用户添加到sudoers中并以 sudo cron

FROM node:8.6.0
RUN apt-get update && apt-get install -y cron sudo

COPY crontab /etc/cron.d/my-cron
RUN chmod 0644 /etc/cron.d/my-cron
RUN touch /var/log/cron.log

# Allow node user to start cron daemon with sudo
RUN echo 'node ALL=NOPASSWD: /usr/sbin/cron' >>/etc/sudoers

ENTRYPOINT sudo cron && tail -f /var/log/cron.log

也许对某人有帮助


我相信节点映像使用节点用户;所以也许您需要为该用户添加权限
bozdoz

1

所以,我的问题是一样的。解决方法是更改​​中的命令部分docker-compose.yml

命令:crontab / etc / crontab && tail -f / etc / crontab

命令:crontab / etc / crontab

命令:tail -f / etc / crontab

问题是“&&”命令之间。删除后,一切都很好。


-1

到目前为止,我找到的最可靠的方法是运行一个独立的cron容器-安装docker客户端并绑定安装docker sock,以便您可以与主机上的docker服务器通信。

然后只需对每个cron作业使用env vars和一个入口点脚本来生成/ etc / crontab

这是我使用此原理创建的图像,并在过去3-4年中用于生产。

https://www.vip-consult.solutions/post/better-docker-cron#content


答案应该是自成体系的,不应链接到外部资源
Nicolas Bouliane

-2

尝试使用发条级宝石安排任务。请遵循此链接中提供的步骤。

http://fuzzyblog.io/blog/rails/2017/05/11/adding-cron-to-a-dockerized-rails-application-using-clockwork.html

您可以如下所示在lib / clock.rb文件中调用rake任务。

every(1.day, 'Import large data from csv files', :at => '5:00') do |job|
  `rake 'portal:import_data_from_csv'`
end

在docker-compose文件中创建一个单独的容器,并在容器内运行以下命令。

command: bundle exec clockwork lib/clock.rb

1
使用其他工具进行计划的好主意。但是,这个问题是专门要求cron的,因此,我认为,建议您对该问题进行评论会更好。
理查德·基弗
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.