使用dockerfile克隆私人git repo

我已经从似乎各种各样的工作dockerfile中复制了此代码，这是我的：

FROM ubuntu

MAINTAINER Luke Crooks "luke@pumalo.org"

# Update aptitude with new repo
RUN apt-get update

# Install software 
RUN apt-get install -y git python-virtualenv

# Make ssh dir
RUN mkdir /root/.ssh/

# Copy over private key, and set permissions
ADD id_rsa /root/.ssh/id_rsa
RUN chmod 700 /root/.ssh/id_rsa
RUN chown -R root:root /root/.ssh

# Create known_hosts
RUN touch /root/.ssh/known_hosts

# Remove host checking
RUN echo "Host bitbucket.org\n\tStrictHostKeyChecking no\n" >> /root/.ssh/config

# Clone the conf files into the docker container
RUN git clone git@bitbucket.org:Pumalo/docker-conf.git /home/docker-conf

这给我错误

Step 10 : RUN git clone git@bitbucket.org:Pumalo/docker-conf.git /home/docker-conf
 ---> Running in 0d244d812a54
Cloning into '/home/docker-conf'...
Warning: Permanently added 'bitbucket.org,131.103.20.167' (RSA) to the list of known hosts.
Permission denied (publickey).
fatal: Could not read from remote repository.

Please make sure you have the correct access rights
and the repository exists.
2014/04/30 16:07:28 The command [/bin/sh -c git clone git@bitbucket.org:Pumalo/docker-conf.git /home/docker-conf] returned a non-zero code: 128

这是我第一次使用dockerfiles，但是从我阅读的内容（以及从有效的配置中获取的内容）中我看不到为什么这不起作用。

我的id_rsa与我的dockerfile位于同一文件夹中，并且是我的本地密钥的副本，可以克隆此存储库。

编辑：

在我的dockerfile中，我可以添加：

RUN cat /root/.ssh/id_rsa

而且它会打印出正确的密钥，因此我知道它已正确复制。

我也尝试按照诺亚的建议去做：

RUN echo "Host bitbucket.org\n\tIdentityFile /root/.ssh/id_rsa\n\tStrictHostKeyChecking no" >> /etc/ssh/ssh_config

可悲的是这也行不通。

我的密钥受到密码保护，这是导致问题的原因，下面列出了一个工作文件（以帮助将来的Google员工）

FROM ubuntu

MAINTAINER Luke Crooks "luke@pumalo.org"

# Update aptitude with new repo
RUN apt-get update

# Install software 
RUN apt-get install -y git
# Make ssh dir
RUN mkdir /root/.ssh/

# Copy over private key, and set permissions
# Warning! Anyone who gets their hands on this image will be able
# to retrieve this private key file from the corresponding image layer
ADD id_rsa /root/.ssh/id_rsa

# Create known_hosts
RUN touch /root/.ssh/known_hosts
# Add bitbuckets key
RUN ssh-keyscan bitbucket.org >> /root/.ssh/known_hosts

# Clone the conf files into the docker container
RUN git clone git@bitbucket.org:User/repo.git

您应该为该Docker映像创建新的SSH密钥集，因为您可能不想在其中嵌入自己的私钥。为了使其工作，您必须将该密钥添加到git存储库中的部署密钥中。这是完整的食谱：

1. 生成ssh密钥，使用ssh-keygen -q -t rsa -N '' -f repo-key它们可以得到repo-key和repo-key.pub文件。

2. 将repo-key.pub添加到您的存储库部署密钥。
   在GitHub上，转到[您的存储库]->设置->部署密钥

3. 在您的Dockerfile中添加以下内容：

   添加回购密钥/
   跑 \
     chmod 600 /回购键&& \  
     回显“ IdentityFile / repo-key” >> / etc / ssh / ssh_config && \  
     echo -e“ StrictHostKeyChecking no” >> / etc / ssh / ssh_config && \  
     //您的git clone命令在这里...
   

请注意，上面关闭了StrictHostKeyChecking，因此您不需要.ssh / known_hosts。尽管我可能更喜欢上面答案之一中的ssh-keyscan解决方案。

无需摆弄ssh配置。使用包含环境变量的配置文件（而非Dockerfile），并使用Shell脚本在运行时更新您的Docker文件。您可以将令牌保留在Dockerfile中，并且可以通过https进行克隆（无需生成或传递ssh密钥）。

转到设置>个人访问令牌

• 生成repo启用了范围的个人访问令牌。
• 像这样克隆： git clone https://MY_TOKEN@github.com/user-or-org/repo

一些评论者指出，如果您使用共享的Dockerfile，则可能会将您的访问密钥暴露给项目中的其他人。尽管这可能与您的特定用例无关，但可以通过以下一些方法来解决：

• 使用Shell脚本来接受可能包含您的键作为变量的参数。用sed或类似名称替换Dockerfile中的变量，即调用sh rundocker.sh MYTOKEN=foo将替换为的脚本https://{{MY_TOKEN}}@github.com/user-or-org/repo。请注意，您还可以使用配置文件（.yml或所需的任何格式）来执行相同的操作，但要使用环境变量。
• 仅为该项目创建一个github用户（并为其生成访问令牌）

另一个选择是使用多阶段docker构建，以确保您的SSH密钥不包含在最终映像中。

如我的帖子所述，您可以准备具有git clone所需依赖项的中间映像，然后COPY将所需文件放入最终映像中。

另外，如果我们有LABEL中间层，甚至可以在完成后将它们从计算机中删除。

# Choose and name our temporary image.
FROM alpine as intermediate
# Add metadata identifying these images as our build containers (this will be useful later!)
LABEL stage=intermediate

# Take an SSH key as a build argument.
ARG SSH_KEY

# Install dependencies required to git clone.
RUN apk update && \
    apk add --update git && \
    apk add --update openssh

# 1. Create the SSH directory.
# 2. Populate the private key file.
# 3. Set the required permissions.
# 4. Add github to our list of known hosts for ssh.
RUN mkdir -p /root/.ssh/ && \
    echo "$SSH_KEY" > /root/.ssh/id_rsa && \
    chmod -R 600 /root/.ssh/ && \
    ssh-keyscan -t rsa github.com >> ~/.ssh/known_hosts

# Clone a repository (my website in this case)
RUN git clone git@github.com:janakerman/janakerman.git

# Choose the base image for our final image
FROM alpine

# Copy across the files from our `intermediate` container
RUN mkdir files
COPY --from=intermediate /janakerman/README.md /files/README.md

然后我们可以构建：

MY_KEY=$(cat ~/.ssh/id_rsa)
docker build --build-arg SSH_KEY="$MY_KEY" --tag clone-example .

证明我们的SSH密钥已消失：

docker run -ti --rm clone-example cat /root/.ssh/id_rsa

从构建机器中清除中间映像：

docker rmi -f $(docker images -q --filter label=stage=intermediate)

对于bitbucket存储库，生成具有对存储库和项目的读取访问权限的App Password（Bitbucket设置->访问管理-> App Password，请参见图片）。

然后，您应该使用的命令是：

git clone https://username:generated_password@bitbucket.org/reponame/projectname.git

您通常不希望git clone在Docker构建中执行私有回购。在此处进行克隆涉及将私有ssh凭据放置在映像中，以后任何有权访问您的映像的人都可以提取它们。

相反，通常的做法是在您选择的CI工具中从docker外部克隆git repo，然后COPY将文件简单地复制到映像中。这有第二个好处：Docker缓存。Docker缓存会查看正在运行的命令，它包含的环境变量，输入文件等，如果它们与同一父步骤中的先前构建相同，则会重用该先前的缓存。使用git clone命令，命令本身是相同的，因此即使更改了外部git repo，docker也将重用缓存。但是，COPY命令将在构建上下文中查看文件，并查看它们是否相同或已被更新，并且仅在适当时使用缓存。

如果要向构建中添加凭据，请考虑采用多阶段构建，并仅将这些凭据放置在从未标记过并推送到构建主机之外的早期阶段。结果看起来像：

FROM ubuntu as clone

# Update aptitude with new repo
RUN apt-get update \
 && apt-get install -y git
# Make ssh dir
# Create known_hosts
# Add bitbuckets key
RUN mkdir /root/.ssh/ \
 && touch /root/.ssh/known_hosts \
 && ssh-keyscan bitbucket.org >> /root/.ssh/known_hosts

# Copy over private key, and set permissions
# Warning! Anyone who gets their hands on this image will be able
# to retrieve this private key file from the corresponding image layer
COPY id_rsa /root/.ssh/id_rsa

# Clone the conf files into the docker container
RUN git clone git@bitbucket.org:User/repo.git

FROM ubuntu as release
LABEL maintainer="Luke Crooks <luke@pumalo.org>"

COPY --from=clone /repo /repo
...

最近，BuildKit一直在测试一些实验性功能，这些功能允许您将ssh密钥作为永远不会写入映像的挂载来传递：

# syntax=docker/dockerfile:experimental
FROM ubuntu as clone
LABEL maintainer="Luke Crooks <luke@pumalo.org>"

# Update aptitude with new repo
RUN apt-get update \
 && apt-get install -y git

# Make ssh dir
# Create known_hosts
# Add bitbuckets key
RUN mkdir /root/.ssh/ \
 && touch /root/.ssh/known_hosts \
 && ssh-keyscan bitbucket.org >> /root/.ssh/known_hosts

# Clone the conf files into the docker container
RUN --mount=type=secret,id=ssh_id,target=/root/.ssh/id_rsa \
    git clone git@bitbucket.org:User/repo.git

您可以使用以下命令进行构建：

$ DOCKER_BUILDKIT=1 docker build -t your_image_name \
  --secret id=ssh_id,src=$(pwd)/id_rsa .

请注意，这仍然要求您的ssh密钥不受密码保护，但是您至少可以在一个阶段中运行构建，删除COPY命令，并避免ssh证书成为映像的一部分。

BuildKit还为ssh添加了一个功能，该功能使您仍然可以使用受密码保护的ssh密钥，结果如下所示：

# syntax=docker/dockerfile:experimental
FROM ubuntu as clone
LABEL maintainer="Luke Crooks <luke@pumalo.org>"

# Update aptitude with new repo
RUN apt-get update \
 && apt-get install -y git

# Make ssh dir
# Create known_hosts
# Add bitbuckets key
RUN mkdir /root/.ssh/ \
 && touch /root/.ssh/known_hosts \
 && ssh-keyscan bitbucket.org >> /root/.ssh/known_hosts

# Clone the conf files into the docker container
RUN --mount=type=ssh \
    git clone git@bitbucket.org:User/repo.git

您可以使用以下命令进行构建：

$ eval $(ssh-agent)
$ ssh-add ~/.ssh/id_rsa
(Input your passphrase here)
$ DOCKER_BUILDKIT=1 docker build -t your_image_name \
  --ssh default=$SSH_AUTH_SOCK .

再次，将其注入到构建中而无需写入图像层，从而消除了凭据可能意外泄漏的风险。

要强制docker git clone在缓存之前的行时运行偶数，您可以注入一个随每个构建更改的构建ARG，以中断缓存。看起来像：

# inject a datestamp arg which is treated as an environment variable and
# will break the cache for the next RUN command
ARG DATE_STAMP
# Clone the conf files into the docker container
RUN git clone git@bitbucket.org:User/repo.git

然后将变化的arg注入docker build命令中：

date_stamp=$(date +%Y%m%d-%H%M%S)
docker build --build-arg DATE_STAMP=$date_stamp .

上述解决方案不适用于bitbucket。我认为这可以解决问题：

RUN ssh-keyscan bitbucket.org >> /root/.ssh/known_hosts \
    && eval `ssh-agent` \
    && ssh-add ~/.ssh/[key] \
    && git clone git@bitbucket.org:[team]/[repo].git