如何在Python中复制文件?


2472

如何在Python中复制文件?

我找不到任何东西os


117
似乎cp不是系统调用,因此不属于os模块。这是一个shell命令,因此将其放置在shutil模块中。
waldol1

Answers:


3002

shutil有很多方法可以使用。其中之一是:

from shutil import copyfile
copyfile(src, dst)
  • 将名为src的文件的内容复制到名为dst的文件。
  • 目标位置必须可写;否则,将引发IOError异常。
  • 如果dst已经存在,它将被替换。
  • 特殊文件(例如字符或块设备和管道)无法使用此功能进行复制。
  • 对于copysrcdst是作为字符串给出的路径名。

如果使用os.path操作,请使用copy而不是copyfilecopyfile只接受字符串


147
copy和copyfile有什么区别?
马特

385
在copy(src,dst)中,dst可以是目录。
Owen

41
请注意,并非所有元数据都会被复制,具体取决于您的平台。
凯文·霍恩

12
请注意,这不是原子操作。注意在线程应用程序中使用它。
waterbyte

4
请注意,它无法处理类似的缩写~,但可以处理相对路径
zwep18年

1250
┌──────────────────┬────────┬───────────┬───────┬────────────────┐
│     Function     │ Copies │   Copies  │Can use│   Destination  │
│                  │metadata│permissions│buffer │may be directory│
├──────────────────┼────────┼───────────┼───────┼────────────────┤
│shutil.copy       │   No   │    Yes    │   No  │      Yes       │
│shutil.copyfile   │   No   │     No    │   No  │       No       │
│shutil.copy2      │  Yes   │    Yes    │   No  │      Yes       │
│shutil.copyfileobj│   No   │     No    │  Yes  │       No       │
└──────────────────┴────────┴───────────┴───────┴────────────────┘

731

copy2(src,dst)通常比以下copyfile(src,dst)原因更有用:

  • 它允许dst将一个目录(而不是完整的目标文件名),在这种情况下,基本名称src用于创建新的文件;
  • 它将原始修改和访问信息(mtime和atime)保留在文件元数据中(但是,这会带来一些开销)。

这是一个简短的示例:

import shutil
shutil.copy2('/src/dir/file.ext', '/dst/dir/newname.ext') # complete target filename given
shutil.copy2('/src/file.ext', '/dst/dir') # target filename is /dst/dir/file.ext

19
我正在尝试从100万个文件中随机复制10万个文件。copyfilecopy2
Vijay

4
我是否正确地假设shutil.copy2('/dir/file.ext', '/new/dir/')(在目标路径后带有斜线)将消除是否复制到名为“ dir”的新文件或将该文件放入该名称的目录中的歧义?
扎克

1
@Vijay,我相信这是由于复制元数据造成的。
乔纳森·H

@Zak如果/new/dir存在的目录没有任何歧义,请参阅@MatthewAlpert的注释。
乔纳森·H

@Zak您是正确的,在末尾添加斜杠可消除歧义。如果/new/dir/不存在,Python将抛出一个IsADirectoryError,否则它将文件复制到/new/dir/原始名称下。
martonbognar

125

您可以使用shutil软件包中的一种复制功能:

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ━━━━━━━━━━━━━━━━━━━━━━━━━━━━
功能保留支持接受复制其他
                      权限目录目的。文件obj元数据  
―――――――――――――――――――――――――――――――――――――――――――― ――――――――――――――――――――――――――――
shutil.copy               ✔✔☐☐
 shutil.copy2              ✔✔☐✔
 shutil.copyfile           ☐☐☐☐
 shutil.copyfileobj        ☐☐✔☐
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ ━━━━━━━━━━━━━━━━━━━━━━━━━━━━

例:

import shutil
shutil.copy('/etc/hostname', '/var/tmp/testhostname')

10
只是好奇,您是如何生成该表的?
lightalchemist

16
@lightalchemist我只是将vim用作便签本,从Wikipedia表中复制了使用的unicode符号,然后将结果复制到了stackoverflow编辑器中以进行最终润饰。
maxschlepzig

3
这与两年前的其他答案有何不同? stackoverflow.com/a/30359308/674039
wim

1
@wim,您必须将我的答案与您链接的答案2017年版本进行比较,该版本是我发布答案时的最新版本。主要区别:我的答案使用更好/更具描述性的列标题,表布局不会分散注意力,它包括指向文档的直接链接,并且添加了一个列(即“ accepts file obj”)。
maxschlepzig

4
好。YMMV,但我认为,对外观进行的更改和类似的较小改进最好是对现有答案的编辑,而不是重复答案。
wim

104

在Python中,您可以使用


import os
import shutil
import subprocess

1)使用shutil模块复制文件

shutil.copyfile 签名

shutil.copyfile(src_file, dest_file, *, follow_symlinks=True)

# example    
shutil.copyfile('source.txt', 'destination.txt')

shutil.copy 签名

shutil.copy(src_file, dest_file, *, follow_symlinks=True)

# example
shutil.copy('source.txt', 'destination.txt')

shutil.copy2 签名

shutil.copy2(src_file, dest_file, *, follow_symlinks=True)

# example
shutil.copy2('source.txt', 'destination.txt')  

shutil.copyfileobj 签名

shutil.copyfileobj(src_file_object, dest_file_object[, length])

# example
file_src = 'source.txt'  
f_src = open(file_src, 'rb')

file_dest = 'destination.txt'  
f_dest = open(file_dest, 'wb')

shutil.copyfileobj(f_src, f_dest)  

2)使用os模块复制文件

os.popen 签名

os.popen(cmd[, mode[, bufsize]])

# example
# In Unix/Linux
os.popen('cp source.txt destination.txt') 

# In Windows
os.popen('copy source.txt destination.txt')

os.system 签名

os.system(command)


# In Linux/Unix
os.system('cp source.txt destination.txt')  

# In Windows
os.system('copy source.txt destination.txt')

3)使用subprocess模块复制文件

subprocess.call 签名

subprocess.call(args, *, stdin=None, stdout=None, stderr=None, shell=False)

# example (WARNING: setting `shell=True` might be a security-risk)
# In Linux/Unix
status = subprocess.call('cp source.txt destination.txt', shell=True) 

# In Windows
status = subprocess.call('copy source.txt destination.txt', shell=True)

subprocess.check_output 签名

subprocess.check_output(args, *, stdin=None, stderr=None, shell=False, universal_newlines=False)

# example (WARNING: setting `shell=True` might be a security-risk)
# In Linux/Unix
status = subprocess.check_output('cp source.txt destination.txt', shell=True)

# In Windows
status = subprocess.check_output('copy source.txt destination.txt', shell=True)


9
使用单字符串命令是不好的编码风格(灵活性,可靠性和安全性),请['copy', sourcefile, destfile]尽可能使用语法,尤其是当参数来自用户输入时。
Marcel Waldvogel,

8
为什么您列出了常规复制功能的许多不良选择?
maxschlepzig

6
shutil是内置的,无需提供非便携式替代品。实际上,可以通过删除系统相关的解决方案来改善答案,在删除之后,该答案仅是现有答案的副本/文档的副本。
让·弗朗索瓦·法布尔

3
os.popen现在已弃用了一段时间。并check_output没有返回的状态,但输出(这是在的情况下空copy/cp
让·弗朗索瓦·法布尔

2
shutil实际上并不复制文件。文档顶部一个警告。“这意味着丢失了文件所有者和组以及ACL。在Mac OS上,未使用资源派生和其他元数据。这意味着资源将丢失,文件类型和创建者代码将不正确。在Windows上,文件所有者,ACL和备用数据流不会被复制。”
gman19年

96

复制文件是一个相对简单的操作,如下面的示例所示,但是您应该为此使用shutil stdlib模块

def copyfileobj_example(source, dest, buffer_size=1024*1024):
    """      
    Copy a file from source to dest. source and dest
    must be file-like objects, i.e. any object with a read or
    write method, like for example StringIO.
    """
    while True:
        copy_buffer = source.read(buffer_size)
        if not copy_buffer:
            break
        dest.write(copy_buffer)

如果要按文件名复制,可以执行以下操作:

def copyfile_example(source, dest):
    # Beware, this example does not handle any edge cases!
    with open(source, 'rb') as src, open(dest, 'wb') as dst:
        copyfileobj_example(src, dst)

25
我注意到前一阵子,该模块被称为shutil(单数),而不是shutils(复数),而事实上它在Python 2.3。不过,我在这里以此功能为例。
pi。

4
复制文件的内容是一项简单的操作。复制带有元数据的文件绝非易事,如果要跨平台,则更是如此。
LaC 2012年

3
真正。查看shutil文档,copyfile函数也不会复制元数据。
pi。

3
是的,我不确定您为什么不只复制的来源shutil.copyfileobj。另外,try, finally在异常发生后,您没有任何处理关闭文件的方法。但是,我要说的是,您的函数根本不应该负责打开和关闭文件。那应该放在包装函数中,如shutil.copyfilewraps shutil.copyfileobj
ErlVolton 2014年

2
上面的代码应指定dest为可写的:open(dest, 'wb')
user1016274

69

使用shutil模块

copyfile(src, dst)

将名为src的文件的内容复制到名为dst的文件。目标位置必须可写;否则,将引发IOError异常。如果dst已经存在,它将被替换。特殊文件(例如字符或块设备和管道)无法使用此功能进行复制。src和dst是以字符串形式给出的路径名。

看一下filesys中标准Python模块中可用的所有文件和目录处理功能。


shutil实际上并不复制文件。文档顶部一个警告。“这意味着丢失了文件所有者和组以及ACL。在Mac OS上,未使用资源派生和其他元数据。这意味着资源将丢失,文件类型和创建者代码将不正确。在Windows上,文件所有者,ACL和备用数据流不会被复制。”
gman19年

47

目录和文件复制示例-来自Tim Golden的Python资料:

http://timgolden.me.uk/python/win32_how_do_i/copy-a-file.html

import os
import shutil
import tempfile

filename1 = tempfile.mktemp (".txt")
open (filename1, "w").close ()
filename2 = filename1 + ".copy"
print filename1, "=>", filename2

shutil.copy (filename1, filename2)

if os.path.isfile (filename2): print "Success"

dirname1 = tempfile.mktemp (".dir")
os.mkdir (dirname1)
dirname2 = dirname1 + ".copy"
print dirname1, "=>", dirname2

shutil.copytree (dirname1, dirname2)

if os.path.isdir (dirname2): print "Success"

24

首先,我详尽介绍了shutil方法的摘要,供您参考。

shutil_methods =
{'copy':['shutil.copyfileobj',
          'shutil.copyfile',
          'shutil.copymode',
          'shutil.copystat',
          'shutil.copy',
          'shutil.copy2',
          'shutil.copytree',],
 'move':['shutil.rmtree',
         'shutil.move',],
 'exception': ['exception shutil.SameFileError',
                 'exception shutil.Error'],
 'others':['shutil.disk_usage',
             'shutil.chown',
             'shutil.which',
             'shutil.ignore_patterns',]
}

其次,解释示例中的复制方法:

  1. shutil.copyfileobj(fsrc, fdst[, length]) 操作打开的对象
In [3]: src = '~/Documents/Head+First+SQL.pdf'
In [4]: dst = '~/desktop'
In [5]: shutil.copyfileobj(src, dst)
AttributeError: 'str' object has no attribute 'read'
#copy the file object
In [7]: with open(src, 'rb') as f1,open(os.path.join(dst,'test.pdf'), 'wb') as f2:
    ...:      shutil.copyfileobj(f1, f2)
In [8]: os.stat(os.path.join(dst,'test.pdf'))
Out[8]: os.stat_result(st_mode=33188, st_ino=8598319475, st_dev=16777220, st_nlink=1, st_uid=501, st_gid=20, st_size=13507926, st_atime=1516067347, st_mtime=1516067335, st_ctime=1516067345)
  1. shutil.copyfile(src, dst, *, follow_symlinks=True) 复制并重命名
In [9]: shutil.copyfile(src, dst)
IsADirectoryError: [Errno 21] Is a directory: ~/desktop'
#so dst should be a filename instead of a directory name
  1. shutil.copy() 复制时不设置元数据
In [10]: shutil.copy(src, dst)
Out[10]: ~/desktop/Head+First+SQL.pdf'
#check their metadata
In [25]: os.stat(src)
Out[25]: os.stat_result(st_mode=33188, st_ino=597749, st_dev=16777220, st_nlink=1, st_uid=501, st_gid=20, st_size=13507926, st_atime=1516066425, st_mtime=1493698739, st_ctime=1514871215)
In [26]: os.stat(os.path.join(dst, 'Head+First+SQL.pdf'))
Out[26]: os.stat_result(st_mode=33188, st_ino=8598313736, st_dev=16777220, st_nlink=1, st_uid=501, st_gid=20, st_size=13507926, st_atime=1516066427, st_mtime=1516066425, st_ctime=1516066425)
# st_atime,st_mtime,st_ctime changed
  1. shutil.copy2() 保留元数据进行复制
In [30]: shutil.copy2(src, dst)
Out[30]: ~/desktop/Head+First+SQL.pdf'
In [31]: os.stat(src)
Out[31]: os.stat_result(st_mode=33188, st_ino=597749, st_dev=16777220, st_nlink=1, st_uid=501, st_gid=20, st_size=13507926, st_atime=1516067055, st_mtime=1493698739, st_ctime=1514871215)
In [32]: os.stat(os.path.join(dst, 'Head+First+SQL.pdf'))
Out[32]: os.stat_result(st_mode=33188, st_ino=8598313736, st_dev=16777220, st_nlink=1, st_uid=501, st_gid=20, st_size=13507926, st_atime=1516067063, st_mtime=1493698739, st_ctime=1516067055)
# Preseved st_mtime
  1. shutil.copytree()

以递归方式复制以src为根的整个目录树,返回目标目录


1
shutil实际上并不复制文件。文档顶部一个警告。“这意味着丢失了文件所有者和组以及ACL。在Mac OS上,未使用资源派生和其他元数据。这意味着资源将丢失,文件类型和创建者代码将不正确。在Windows上,文件所有者,ACL和备用数据流不会被复制。”
gman19年

19

对于小文件并且仅使用python内置函数,可以使用以下单行代码:

with open(source, 'rb') as src, open(dest, 'wb') as dst: dst.write(src.read())

正如@maxschlepzig在下面的评论中提到的,对于文件太大或内存至关重要的应用程序,这不是最佳方法,因此应首选Swati的答案。


3
这会将完整的源文件读入内存,然后再写回。因此,除了最小的文件复制操作外,这不必要地浪费了内存。
maxschlepzig

1
真的吗?我认为.read()并且.write()默认情况下会被缓冲(至少对于CPython是这样)。
soundstripe

@soundstripe,当然,这是真的。open()默认情况下,由... 返回的文件对象会缓冲IO,这一事实在这里无济于事,因为它read()被指定为:'如果n为负数或省略,请读取直到EOF。这意味着read()返回的完整文件内容为字符串。
maxschlepzig

@maxschlepzig我明白你的意思,我承认我没有意识到这一点。我提供此答案的原因是,如果有人想仅使用内置文件进行简单文件复制,而无需为此导入模块。当然,如果要使用此选项,则不应该考虑内存优化。无论如何,谢谢您的帮助。我相应地更新了答案。
Yellow01

14

你可以用 os.system('cp nameoffilegeneratedbyprogram /otherdirectory/')

还是像我那样

os.system('cp '+ rawfile + ' rawdata.dat')

rawfile我在程序内部生成的名称在哪里。

这是仅Linux的解决方案


10
这不是可移植的,并且是不必要的,因为您只能使用shutil。
科里·戈德堡

4
即使shutil不可用- subprocess.run() (没有shell=True!)也是的更好选择os.system()
maxschlepzig

1
shutil更便于携带
Hiadore

1
subprocess.run()@maxschlepzig的建议是在调用外部程序时迈出的一大步。但是,为了灵活性和安全性,请使用['cp', rawfile, 'rawdata.dat']传递命令行的形式。(但是,为了进行复制,shutil建议您和朋友一起调用外部程序。)
Marcel Waldvogel,

2
尝试使用带有空格的文件名。
让·弗朗索瓦·法布尔

11

对于大文件,我所做的就是逐行读取文件并将每一行读入数组。然后,一旦数组达到特定大小,请将其附加到新文件中。

for line in open("file.txt", "r"):
    list.append(line)
    if len(list) == 1000000: 
        output.writelines(list)
        del list[:]

2
这似乎有点多余,因为编写器应该处理缓冲。for l in open('file.txt','r'): output.write(l)应该找到工作;只需根据您的需要设置输出流缓冲区即可。或者您也可以通过遍历一次try来逐字节读取,output.write(read(n)); output.flush()其中where n是您一次要写入的字节数。这两个都没有条件检查哪个是奖励。
拥有

1
是的,但是我认为这可能更容易理解,因为它复制了整行而不是其中的一部分(以防我们不知道每行多少字节)。
ytpillai

非常真实 用于教学的编码和用于效率的编码非常不同。
拥有

1
看源代码-writelines调用write,hg.python.org/cpython/file/c6880edaf6f3/Modules/_io/bytesio.c。此外,文件流已经打开,因此写入无需每次都重新打开。
拥有

2
太厉害了 它没有充分的理由就做不必要的工作。它不适用于任意文件。如果输入在Windows之类的系统上具有异常行尾,则副本不是字节相同的。您为什么认为这比调用in中的复制函数更容易理解shutil?即使忽略shutil,简单的块读/写循环(使用无缓冲IO)也是很简单的,它会很高效,并且比这有意义得多,因此肯定更容易教授和理解。
maxschlepzig

11
from subprocess import call
call("cp -p <file> <file>", shell=True)

10
这取决于平台,所以我不会使用。
凯文·迈耶

5
这样call是不安全的。请参考有关它的子过程文档。
buhtz

2
这不是可移植的,并且是不必要的,因为您只能使用shutil。
科里·戈德堡

2
嗯,为什么是Python?
Baris Demiray

也许在启动之前检测到操作系统(无论是DOS还是Unix,因为它们是使用最多的两个)
MilkyWay90

8

Python 3.5开始,您可以对小文件(例如:文本文件,小jpegs)执行以下操作:

from pathlib import Path

source = Path('../path/to/my/file.txt')
destination = Path('../path/where/i/want/to/store/it.txt')
destination.write_bytes(source.read_bytes())

write_bytes 将覆盖目的地位置的所有内容


2
然后有人在大文件上(有意或有意地)使用了代码…使用from中的函数可以shutil为您处理所有特殊情况,使您放心。
Marcel Waldvogel,

4
至少它不会一遍又一遍地重复相同的解决方案。
让·弗朗索瓦·法布尔

6
open(destination, 'wb').write(open(source, 'rb').read())

在读取模式下打开源文件,并在写入模式下写入目标文件。


1
这个想法很好,代码也很漂亮,但是适当的copy()函数可以做更多的事情,例如复制属性(+ x位),或者例如在发现磁盘已满的情况下删除已经复制的字节。
劳尔·萨利纳斯-蒙塔古多

1
即使是一句话,所有答案也都需要说明。没有任何解释会树立不好的先例,也无助于理解程序。如果一个完整的Python新手看到了这个,想使用它,但是因为他们不理解而不能这样做怎么办?您想对您的答案有所帮助。
connectyourcharger

1
难道不是.close()所有这些都缺少了open(...)吗?
luckydonald

不需要.close(),因为我们不在任何地方存储文件指针对象(无论是src文件还是目标文件)。
S471

1
yellow01的答案相同的次优内存浪费方法。
maxschlepzig

-3

Python提供了内置功能,可使用操作系统外壳程序实用程序轻松复制文件。

以下命令用于复制文件

shutil.copy(src,dst)

以下命令用于复制带有元数据信息的文件

shutil.copystat(src,dst)

copy然后copystat,您应该运行以保留文件元数据。在Python 3.3+中,copystat还复制扩展属性。
ingyhere
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.